PythonとPandasのpipe()メソッドでパイプラインを作成する方法

Pandasでパイプラインを作成するには、pipe()メソッドを使用します。pipe()を使うことで、DataFrameに対して任意の関数を連続的に適用でき、データ処理の流れを簡潔かつ読みやすい形で記述できます。

準備：pandasのインポート

まず、必要なpandasライブラリをエイリアス付きでインポートします。

import pandas as pd

DataFrameの作成

次に、サンプル用のDataFrameを作成します。

dataFrame = pd.DataFrame(
   {
      "Car": ['BMW', 'Lexus', 'Audi', 'Mustang', 'Bentley', 'Jaguar'],
      "Units": [100, 150, 110, 80, 110, 90]
   }
)

パイプラインの作成

pipe()メソッドを使ってパイプラインを作成し、列名を大文字に変換するカスタム関数upperFunc()を呼び出します。

pipeline = dataFrame.pipe(upperFunc)

以下は、列名を大文字に変換するupperFunc()関数の定義です。

def upperFunc(dataframe):
   # 列名を大文字に変換
   dataframe.columns = dataframe.columns.str.upper()
   return dataframe

完全なサンプルコード

ここまでの手順をまとめた完全なコードは以下の通りです。

import pandas as pd

# 列名を大文字に変換する関数
def upperFunc(dataframe):
   # 大文字へ変換
   dataframe.columns = dataframe.columns.str.upper()
   return dataframe

# DataFrameを作成
dataFrame = pd.DataFrame(
   {
      "Car": ['BMW', 'Lexus', 'Audi', 'Mustang', 'Bentley', 'Jaguar'],
      "Units": [100, 150, 110, 80, 110, 90]
   }
)

print("DataFrame ...\n", dataFrame)

# pipe()を使ってパイプラインを作成
pipeline = dataFrame.pipe(upperFunc)

# パイプラインを実行して結果を表示
print("\nDisplaying column names in uppercase...\n", pipeline)

実行結果

上記のコードを実行すると、次のような出力が得られます。列名が「Car」「Units」から「CAR」「UNITS」に変換されていることが確認できます。

DataFrame ...
        Car   Units
0       BMW     100
1      Lexus     150
2       Audi     110
3    Mustang      80
4    Bentley     110
5     Jaguar      90

Displaying column names in uppercase...
        CAR   UNITS
0       BMW     100
1      Lexus     150
2       Audi     110
3    Mustang      80
4    Bentley     110
5     Jaguar      90

pipe()メソッドのメリット

pipe()を活用すると、複数の前処理ステップをメソッドチェーンのように連結できます。例えば、df.pipe(funcA).pipe(funcB).pipe(funcC)のように書くことで、処理の順序が明確になり、コードの可読性と保守性が向上します。大規模なデータ前処理パイプラインを構築する際に特に有効な手法です。