データ変換とは？データマイニングに欠かせない5つの変換手法と正規化の基本

データ変換（Data Transformation）とは、収集したデータをマイニング（分析）に適した形へと変換・統合するプロセスです。生データのままではノイズや粒度のばらつきが邪魔になり、分析精度や効率が低下します。そこで必要になるのがデータ変換であり、主に以下の手法が用いられます。

データ変換の主な手法

1. スムージング（Smoothing／平滑化）

データからノイズを取り除く処理です。具体的には、ビニング（binning）、回帰分析、クラスタリングなどの手法が含まれます。スムージングはデータクリーニングの一種であり、ユーザーが指定した変換によってデータの不整合を修正する際にも活用されます。

2. 集約（Aggregation）

データに対して要約・集計操作を適用する処理です。例えば、日次の売上データを集計して月次・年次の合計金額を算出することが挙げられます。この工程は、複数の粒度（granularity）でデータを分析できるようにするため、データキューブを作成する際によく利用されます。

3. 一般化（Generalization）

低レベルの「原始的（プリミティブ）」な生データを、概念階層を用いてより高いレベルの概念へ置き換える処理です。例えば、「番地」といったカテゴリ属性は、「市区町村」や「国」といった上位概念へ一般化できます。同様に、「年齢」といった数値属性も、「若年層」「中年」「高齢者」といった上位概念へマッピングすることが可能です。

4. 正規化（Normalization）

属性データを、−1.0〜1.0 や 0.0〜1.0 のような小さな指定範囲内に収まるようスケーリングする処理です。

5. 属性構築（Attribute Construction）

与えられた属性セットから新しい属性を作成・追加し、マイニングプロセスを効率化しやすくする処理です。

これらのうち、スムージングはデータクリーニングの一形態であり、集約と一般化はデータ削減（データリダクション）の一形態として機能します。また、属性の正規化では、その値が 0.0〜1.0 のような狭い指定範囲に収まるようスケール調整が行われます。

正規化が特に役立つ場面

正規化は、ニューラルネットワークをはじめとする分類アルゴリズムや、最近傍分類・クラスタリングなどの距離測定を用いる手法において特に有効です。

例えば、ニューラルネットワークのバックプロパゲーション（誤差逆伝播法）アルゴリズムを使って分類マイニングを行う場合、訓練データの各属性の入力値を正規化しておくことで、学習フェーズの高速化が期待できます。

さらに、距離ベースの手法では、正規化により、元々値の範囲が広い属性（例：所得）が、範囲の狭い属性（例：二値属性）に過剰な影響を与えることを防ぐことができます。

データ正規化の主な方法

Min-max正規化（最小値-最大値正規化）

元データに対して線形変換を実行する方法です。属性 A の最小値・最大値をそれぞれ min_A、max_A とするとき、min-max正規化は値 v を [new_min_A, new_max_A] の範囲にある v′ へと、次の計算式でマッピングします。

$$v'=\frac{v-min_{A}}{max_{A}-min_{A}}(new\_max_{A}- new\_min_{A})+new\_min_{A}$$

Z-score正規化（Zスコア正規化／ゼロ平均正規化）

属性 A の平均と標準偏差に基づいて値を正規化する方法です。属性 A の値 v は、次の計算式により v′ へ変換されます。

$$v'=\frac{v-\bar{A}}{\sigma_{A}}$$

ここで、Ā および σ_A は、それぞれ属性 A の平均と標準偏差を表します。この方法は、属性 A の実際の最小値・最大値が不明な場合や、外れ値（outlier）が存在して min-max正規化がそれらに支配されてしまう場合に特に有効です。

10進スケーリング（Decimal Scaling）

属性 A の値の小数点の位置を移動させることで正規化を行う方法です。移動する桁数は、属性 A の最大絶対値に依存します。属性 A の値 v は、次の計算式により v′ へ変換されます。

$$v'=\frac{v}{10^{j}}$$

ここで、j は Max(|v′|) < 1 を満たす最小の整数です。

このように、データ変換と正規化を適切に行うことで、分析対象のデータ品質が向上し、機械学習モデルの学習効率や予測精度の向上にも大きく寄与します。目的やデータの特性に応じて最適な手法を選択することが重要です。