Python Pandasで重複するインデックス値をすべてTrueとして検出する方法

Pandasのインデックスに含まれる重複する値をすべてTrueとして示すには、index.duplicated()メソッドを使用し、keepパラメータにFalseを指定します。

通常、duplicated()はデフォルト設定（keep='first'）では最初に出現した値をFalseとし、2回目以降の重複のみをTrueとして返します。しかし、keep=Falseを指定すると、重複している要素は最初の出現も含めてすべてTrueとしてマークされます。データクレンジングや重複データの全体把握に非常に便利な機能です。

必要なライブラリのインポート

まず、必要なライブラリをインポートします。

import pandas as pd

重複を含むインデックスの作成

次に、重複する値を含むインデックスを作成します。ここでは「Airplane」が2回登場するインデックスを作成しています。

index = pd.Index(['Car','Bike','Airplane','Ship','Airplane'])

インデックスの表示

作成したインデックスを表示して確認します。

print("Pandas Index with duplicates...\n",index)

重複値をすべてTrueとして取得

keepパラメータに「False」を設定して、重複するすべてのインデックス値をTrueとして示します。

print("\nIndicating all duplicate index values True...\n", index.duplicated(keep=False))

完全なサンプルコード

以下に実行可能なコード全体を示します。

import pandas as pd

# 重複を含むインデックスを作成
index = pd.Index(['Car','Bike','Airplane','Ship','Airplane'])

# インデックスを表示
print("Pandas Index with duplicates...\n",index)

# データのdtype（データ型）を返す
print("\nThe dtype object...\n",index.dtype)

# データの次元数を取得
print("\nGet the dimensions...\n",index.ndim)

# 重複するすべてのインデックス値をTrueとして示す
# keepパラメータに「False」を設定
print("\nIndicating all duplicate index values True...\n", index.duplicated(keep=False))

実行結果

上記のコードを実行すると、以下のような出力が得られます。

Pandas Index with duplicates...
Index(['Car', 'Bike', 'Airplane', 'Ship', 'Airplane'], dtype='object')

The dtype object...
object

Get the dimensions...
1

Indicating all duplicate index values True...
[False False True False True]

結果の解説

出力結果を見ると、「Airplane」が出現する位置（2番目と4番目）の両方がTrueになっていることがわかります。これはkeep=Falseによって、重複する値の最初の出現も含めてすべてTrueとして判定されたためです。一方、「Car」「Bike」「Ship」のように一度しか登場しない値はFalseになっています。