Pythonで行列内の重複する行を検出する方法

Pythonでは、行列（リストのリスト）の中に同じ内容の行が存在するかどうかを確認したいケースがあります。本記事では、行列を引数として受け取り、重複している行を検出してコンソールに表示する方法を解説します。

基本的なアプローチは以下の通りです。

• map関数を使って、各行（リスト）をタプルに変換します。リストは変更可能（ミュータブル）なため辞書のキーにできませんが、タプルは不変（イミュータブル）なのでキーとして使用できます。
• collections.Counterを使って、各行の出現回数をカウントします。
• 出現回数が1より大きい行をコンソールに出力します。

サンプルコード

以下に具体的な実装例を示します。

from collections import Counter

def find_dupes(my_matrix):
    my_matrix = map(tuple, my_matrix)

    freq_dict = Counter(my_matrix)

    for (row, freq) in freq_dict.items():
        if freq > 1:
            print(row)

my_matrix = [[1, 1, 0, 1, 0, 1], [0, 0, 1, 0, 0, 1], [1, 0, 1, 1, 0, 0],
             [1, 1, 0, 1, 0, 1], [0, 0, 1, 0, 0, 1], [0, 0, 1, 0, 0, 1]]
print("The matrix is :")
print(my_matrix)

print("The result is :")
find_dupes(my_matrix)

実行結果

The matrix is :
[[1, 1, 0, 1, 0, 1], [0, 0, 1, 0, 0, 1], [1, 0, 1, 1, 0, 0], [1, 1, 0, 1, 0, 1], [0, 0, 1, 0, 0, 1], [0, 0, 1, 0, 0, 1]]
The result is :
(1, 1, 0, 1, 0, 1)
(0, 0, 1, 0, 0, 1)

コードの解説

• まず、collectionsモジュールからCounterクラスをインポートします。
• 行列を引数として受け取るfind_dupesという名前の関数を定義します。
• map関数を使って、行列の各行（リスト）をタプルに変換します。
• Counterを使って、行列内の各値（行）の出現回数を取得します。
• カウント結果は辞書形式で保存されます。
• 辞書の各項目を順番に処理していきます。
• ある行の出現回数が1より大きい場合、その行をコンソールに表示します。
• 関数の外側で行列（正確にはリストのリスト）を定義し、コンソールに表示します。
• 必要な引数を渡して関数を呼び出します。
• 重複している行だけが結果としてコンソールに表示されます。

この手法を使えば、Counterによる一括カウントのおかげで、行列のサイズが大きくなっても効率的に重複行を検出できます。データの前処理や重複データのチェックなど、さまざまな場面で応用できるテクニックです。