Python – K番目の列要素が重複する行を削除する方法

リストの中に、特定の列（K番目の要素）が同じ値を持つ行が複数含まれている場合、それらの重複行を削除したいことがあります。Pythonでは、シンプルな反復処理とappendメソッドを組み合わせることで、この処理を簡単に実現できます。

サンプルコード

以下に具体的な実装例を示します。

my_list = [[45, 95, 26], [70, 35, 74], [87, 65, 23], [70, 35, 74], [67, 85, 12], [45, 65, 0]]

print("リストの内容：")
print(my_list)

K = 1
print("Kの値：")
print(K)

my_result = []
my_mem = []
for index in my_list:
    if index[K] not in my_mem:
        my_result.append(index)
        my_mem.append(index[K])

print("処理後のリスト：")
print(my_result)

出力結果

リストの内容：
[[45, 95, 26], [70, 35, 74], [87, 65, 23], [70, 35, 74], [67, 85, 12], [45, 65, 0]]
Kの値：
1
処理後のリスト：
[[45, 95, 26], [70, 35, 74], [87, 65, 23], [67, 85, 12]]

コードの解説

• まず、ネストされたリスト（リストのリスト）を定義し、その内容をコンソールに表示します。
• 次に、比較対象となる列のインデックスKを初期化し、コンソールに出力します。
• 重複除去後の行を格納するための空のリストと、すでに確認済みのK番目の要素を記録するための空のリストをそれぞれ用意します。
• 元のリストを反復処理し、各行のK番目の要素が記録用リストに存在しない場合のみ、その行を結果リストに追加するとともに、そのK番目の要素を記録用リストにも追加します。これにより、K番目の要素が重複する行は最初に出現したものだけが残ります。
• 最後に、重複が除去された結果のリストをコンソールに表示します。

補足：より効率的な方法

上記の方法では、in演算子によるリスト検索に線形時間 O(n) かかるため、データ量が多い場合はパフォーマンスが低下します。代わりにset（集合）を使うことで、より高速に処理できます。

my_result = []
seen = set()
for row in my_list:
    if row[K] not in seen:
        seen.add(row[K])
        my_result.append(row)

セットへの追加・検索は平均 O(1) で動作するため、大規模なデータを扱う場合でも快適に動作します。用途やデータサイズに応じて、適切な方法を選択しましょう。