PythonでPandas DataFrameを重複行なしで連結する方法

複数のDataFrameを連結するにはconcat()メソッドを使用します。さらに、連結後の重複行を除外したい場合は、drop_duplicates()メソッドを組み合わせることで簡単に実現できます。

基本の手順

まず、必要なライブラリをインポートします。

import pandas as pd

次に、連結対象となる2つのDataFrameを作成します。

# DataFrame1を作成
dataFrame1 = pd.DataFrame(
    {
        "Car": ['BMW', 'Jaguar', 'Audi', 'Mustang'],
        "Units": [100, 150, 110, 80]
    }
)

# DataFrame2を作成
dataFrame2 = pd.DataFrame(
    {
        "Car": ['Tesla', 'Jaguar', 'Mercedes', 'Mustang'],
        "Units": [120, 150, 180, 80]
    }
)

この例では、「Jaguar」と「Mustang」の行が両方のDataFrameに存在するため、単純に連結すると重複が発生します。

そこで、concat()で連結した直後にdrop_duplicates()を呼び出すことで、重複行を自動的に取り除けます。

concatRes = pd.concat([dataFrame1, dataFrame2]).drop_duplicates()

完全なサンプルコード

以下が全体のコードです。

import pandas as pd

# DataFrame1を作成
dataFrame1 = pd.DataFrame(
    {
        "Car": ['BMW', 'Jaguar', 'Audi', 'Mustang'],
        "Units": [100, 150, 110, 80]
    }
)

print("DataFrame1 ...\n", dataFrame1)

# DataFrame2を作成
dataFrame2 = pd.DataFrame(
    {
        "Car": ['Tesla', 'Jaguar', 'Mercedes', 'Mustang'],
        "Units": [120, 150, 180, 80]
    }
)

print("\nDataFrame2 ...\n", dataFrame2)

# DataFrameを連結し、重複行を削除
concatRes = pd.concat([dataFrame1, dataFrame2]).drop_duplicates()
print("\n重複のない連結結果...\n", concatRes)

出力結果

上記のコードを実行すると、以下のような出力が得られます。

DataFrame1 ...
      Car  Units
0     BMW    100
1  Jaguar    150
2    Audi    110
3 Mustang     80

DataFrame2 ...
       Car  Units
0    Tesla    120
1   Jaguar    150
2 Mercedes    180
3  Mustang     80

重複のない連結結果...
       Car  Units
0      BMW    100
1   Jaguar    150
2     Audi    110
3  Mustang     80
0    Tesla    120
2 Mercedes    180

ポイント解説

drop_duplicates()は、デフォルトではすべての列の値が一致する行を重複として判定します。特定の列だけを基準に重複を排除したい場合は、subset引数を指定してください。また、連結後にインデックスを振り直したい場合や、元のインデックスが不要な場合は、pd.concat([dataFrame1, dataFrame2], ignore_index=True)のようにignore_index=Trueを指定すると、0から始まる新しい連番インデックスが割り当てられ、結果がより見やすくなります。