【Python】pandasのclip関数でデータフレームの最小値・最大値のしきい値をトリミングする方法

データ分析では、外れ値や極端な数値を一定の範囲内に収めたいケースがよくあります。pandasのclip関数を使えば、データフレーム内の値を指定した下限（最小しきい値）と上限（最大しきい値）で簡単にトリミングできます。

例えば、次のようなデータフレームに対して、最小しきい値と最大しきい値によるトリミングを行うと、以下のような結果が得られます。

minimum threshold:
    Column1 Column2
0      30      30
1      34      30
2      56      30
3      78      50
4      30      90
maximum threshold:
    Column1 Column2
0      12      23
1      34      30
2      50      25
3      50      50
4      28      50
clipped dataframe is:
    Column1 Column2
0      30      30
1      34      30
2      50      30
3      50      50
4      30      50

解決の手順

この問題は、以下の手順で解決できます。

• まず、対象となるデータフレームを定義します。

• df.clip関数にlower=30を指定して呼び出すことで、最小しきい値（下限）を適用した結果を取得します。30未満の値はすべて30に置き換えられます。

df.clip(lower=30)

• 同様に、df.clip関数にupper=50を指定して呼び出すことで、最大しきい値（上限）を適用した結果を取得します。50より大きい値はすべて50に置き換えられます。

df.clip(upper=50)

• lowerとupperを同時に指定すれば、最小・最大両方のしきい値を一度に適用したデータフレームを得られます。

df.clip(lower=30, upper=50)

コード例

実際のコードを見てみましょう。動作をより理解しやすくなっています。

import pandas as pd
data = {"Column1":[12,34,56,78,28],
        "Column2":[23,30,25,50,90]}
df = pd.DataFrame(data)
print("DataFrame is:\n",df)
print("minimum threshold:\n",df.clip(lower=30))
print("maximum threshold:\n",df.clip(upper=50))
print("clipped dataframe is:\n",df.clip(lower=30,upper=50))

実行結果

DataFrame is:
    Column1 Column2
0      12      23
1      34      30
2      56      25
3      78      50
4      28      90
minimum threshold:
    Column1 Column2
0      30      30
1      34      30
2      56      30
3      78      50
4      30      90
maximum threshold:
    Column1 Column2
0      12      23
1      34      30
2      50      25
3      50      50
4      28      50
clipped dataframe is:
    Column1 Column2
0      30      30
1      34      30
2      50      30
3      50      50
4      30      50

ポイント解説

clip関数は元のデータフレームを変更せず、新しいデータフレームを返す点に注意してください。元のオブジェクト自体を更新したい場合は、inplace=Trueを指定するか、結果を再代入してください。また、外れ値の影響を抑えてモデルの学習を安定させたい場合など、前処理の場面で非常に役立つ便利な関数です。