scikit-learnを使ってPythonでデータ前処理を行う方法を解説

データ前処理とは何か？

データの前処理とは、データのクリーニング、無効なデータやノイズの除去、データを適切な値への置き換えなどを行う作業を指します。対象はテキストデータに限らず、画像や動画の処理も含まれます。機械学習パイプラインにおいて、前処理は非常に重要なステップです。

データ前処理とは、基本的に、さまざまなリソース（または単一のリソース）から収集したすべてのデータを、共通のフォーマットや均一なデータセットへとまとめるタスクのことです。

この工程を行うことで、学習アルゴリズムがデータセットから効率よく学習し、高い精度で関連性のある結果を出力できるようになります。

なぜ前処理が必要なのか？

現実世界のデータは決して理想的ではありません。そのため、以下のような問題が含まれている可能性があります。

• 欠損値（空のセル）
• 入力エラーや不正確な値
• 外れ値
• 列間の不整合や形式のばらつき

また、画像データの場合には、正しく整列されていなかったり、鮮明さが不足していたり、ファイルサイズが過大であることもあります。前処理の目的は、こうした不整合やエラーを取り除き、分析や学習に適した状態に整えることにあります。

なお、データ前処理は単一のタスクではなく、段階的に実行される一連のタスクです。あるステップの出力が次のステップの入力となり、それが順番に続いていきます。

サンプル：数値をブール値に変換する

ここでは、scikit-learnを使って数値データをブール値（0と1）に変換する具体例を紹介します。

コード例

import numpy as np
from sklearn import preprocessing
input_data = np.array([[34.78, 31.9, -65.5],[-16.5, 2.45, -83.5],[0.5, -87.98, 45.62],
[5.9, 2.38, -55.82]])
data_binarized = preprocessing.Binarizer(threshold=0.5).transform(input_data)
print("\nValues converted from numeric to Boolean :\n", data_binarized)

出力結果

Values converted from numeric to Boolean :
[[1. 1. 0.]
 [0. 1. 0.]
 [0. 0. 1.]
 [1. 1. 0.]]

コードの解説

• 必要なパッケージ（numpy と sklearn の preprocessing モジュール）をインポートします。
• Numpyライブラリを使用して、入力用の数値配列データを生成します。
• sklearnの「preprocessing」クラスに含まれる「Binarizer」関数を使い、数値をブール値に変換します。しきい値（threshold）として0.5を指定しているため、0.5より大きい値は1に、それ以外は0に変換されます。
• ブール値とは、基本的に1と0のみを指します。
• 最後に、変換後のデータをコンソールに出力して確認します。

このようにscikit-learnの前処理機能を活用すれば、わずか数行のコードでデータを機械学習に適した形式へと変換できます。欠損値の補完やスケーリングなど、他の前処理手法と組み合わせることで、さらに高品質なデータセットを構築できます。