PythonでSeriesをダミー変数に変換し、NaN値を除外する方法

pandasのSeriesに含まれるカテゴリカルデータをダミー変数（one-hotエンコーディング）に変換する際、NaN値をどのように扱うかは重要なポイントです。この記事では、pd.get_dummies()関数を使ってSeriesをダミー変数に変換し、dummy_na=Falseを指定することでNaN値を除外する方法を解説します。

期待される出力

例えば、「Male」と「Female」からなるSeriesをダミー変数に変換すると、以下のような結果が得られます。

   Female Male
0    0    1
1    1    0
2    0    1
3    1    0
4    0    1
5    0    0
6    1    0
7    1    0

注目すべきはインデックス5の行です。元のSeriesではNaN値だったため、「Female」「Male」どちらの列も0になっています。dummy_na=Falseを設定することで、NaN値は新しい列として作成されず、単純にすべてのカテゴリで0として扱われます。

解決手順

• 「Male」と「Female」の要素を含むリストを作成し、pandasのSeriesに代入します。

• Seriesに対してpd.get_dummies()関数を適用し、引数dummy_naをFalseに設定します。

pd.get_dummies(series, dummy_na=False)

コード例

以下のコードで実際の動作を確認してみましょう。

import pandas as pd
import numpy as np
gender = ['Male','Female','Male','Female','Male',np.nan,'Female','Female']
series = pd.Series(gender)
print("Series is:\n",series)
print("Dummy code is:\n", pd.get_dummies(series, dummy_na=False))

実行結果

Series is:
0    Male
1    Female
2    Male
3    Female
4    Male
5    NaN
6    Female
7    Female
dtype: object
Dummy code is:
   Female Male
0    0    1
1    1    0
2    0    1
3    1    0
4    0    1
5    0    0
6    1    0
7    1    0

補足：dummy_na=Trueとの違い

もしdummy_na=Trueを指定した場合は、NaN値専用の「NaN」列が新たに作成され、欠損値のある行ではその列が1になります。機械学習の前処理では、欠損値の情報を保持したい場合にTrueを、欠損値を単に無視したい場合にはFalseを選択するとよいでしょう。