PythonでpandasのSeriesに重複する要素が含まれているかどうかを確認する方法

データ分析を行う際、pandasのSeriesに重複した要素が含まれていないかを確認したいケースはよくあります。本記事では、Pythonを使ってSeries内の重複要素を検出する方法を、具体的なコード例とともに解説します。

前提：対象となるデータ

まず、以下のようなSeriesを例として考えてみましょう。

0    1
1    2
2    3
3    4
4    5

このSeriesには重複する要素が存在しません。以降では、これをプログラムで検証するためのアプローチを紹介します。

方法1：len()関数とnp.unique()を組み合わせる

最もシンプルな方法は、元のSeriesの長さと、np.unique()によって重複を除去した配列の長さを比較することです。両者の長さが一致すれば重複はなく、一致しなければ重複が存在すると判断できます。

例えば、次のように重複を含むSeriesがあるとします。

0    1
1    2
2    3
3    4
4    5
5    3

この場合、if文を使って長さを比較し、結果を出力します。

if(len(data)==len(np.unique(data))):
    print("no duplicates")
else:
    print("duplicates found")

コード例（ラムダ式を使用）

ラムダ式を使えば、この判定処理をより簡潔に記述できます。

import pandas as pd
import numpy as np
data = pd.Series([1,2,3,4,5])
result = lambda x: "no duplicates" if(len(data)==len(np.unique(data))) else "duplicates found!"
print(result(data))

出力結果

no duplicates

重複がないため、「no duplicates」と表示されました。

方法2：if文による条件分岐で直接判定する

同じロジックを、if文による条件分岐でそのまま記述することも可能です。こちらの方が処理の流れが直感的で読みやすいでしょう。

コード例（重複を含むデータ）

import pandas as pd
import numpy as np
data = pd.Series([1,2,3,4,5,3])
if(len(data)==len(np.unique(data))):
    print("no duplicates")
else:
    print("duplicates found")

出力結果

duplicates found!

値「3」が2回登場しているため、Seriesの長さ（6）とユニークな要素の数（5）が一致せず、「duplicates found!」と正しく判定されました。

補足：pandasのduplicated()メソッドも活用できる

なお、pandasにはduplicated()やany()を組み合わせた便利な手法もあります。

data.duplicated().any()  # 重複があればTrueを返す

用途に応じて、NumPyベースの方法とpandasネイティブの方法を使い分けるとよいでしょう。

まとめ

Seriesに重複要素が含まれているかの判定は、「元のデータの長さ」と「ユニーク化後の長さ」を比較するだけで簡単に実現できます。np.unique()との組み合わせは軽量で汎用的なため、ぜひ覚えておきましょう。