データ削減とは？意味から主な5つの手法までわかりやすく解説

データ削減の概要

データマイニングは、大規模なデータベースから選択されたデータに対して適用されます。しかし、膨大な量のデータを対象に分析やマイニングを実行すると、処理に非常に長い時間がかかり、現実的ではなくなってしまいます。

そこで活用されるのがデータ削減（Data Reduction）です。これは、元のデータの完全性（整合性）を保ちながら、元のデータセットよりもはるかに小さい体積のデータ表現を得るための技術です。データを削減することで、最終的な分析結果の品質を損なうことなく、データマイニング処理の効率を大幅に向上させることができます。

データ削減の目的

データ削減の狙いは、データをよりコンパクトに定義することにあります。データサイズが小さくなるほど、高度で計算コストの大きいアルゴリズムでも容易に適用できるようになります。

削減の対象は、行数（レコード数）の場合もあれば、列数（次元数）の場合もあります。

データ削減の主な5つの手法

1. データキューブ集約（Data Cube Aggregation）

この手法では、データキューブの構築時に集約操作を適用します。例えば、2002年から2004年の「All Electronics」の四半期ごとの売上データがあるとします。もし関心があるのが四半期ごとの合計ではなく年間売上（年ごとの合計）であれば、データを集約して、四半期単位ではなく年間売上を要約するデータを作成できます。その結果、分析タスクに不可欠な情報を失うことなく、データセットの体積を小さくできます。

2. 属性サブセット選択（Attribute Subset Selection）

この手法では、無関係な属性、関連性の弱い属性、あるいは冗長な属性（次元）を検出して削除します。分析対象のデータセットには数百もの属性が含まれることがありますが、その一部はマイニングタスクにとって無関係または冗長である場合があります。

例えば、「セール通知を受けた顧客が新しい人気CDを購入しそうかどうか」を予測するタスクでは、年齢や音楽の好み（music_taste）といった属性は有用ですが、顧客の電話番号のような属性はおそらく無関係です。

3. 次元削減（Dimensionality Reduction）

次元削減では、エンコーディング機構を用いてデータセットのサイズを縮小します。データの符号化や変換を適用することで、元のデータの縮小版（圧縮版）の表現を得ます。圧縮されたデータから元のデータを情報の損失なしに復元できる場合、その削減は「可逆（ロスレス）」と呼ばれます。

4. 数量削減（Numerosity Reduction）

この手法では、データをより小さな代替表現によって格納または予測します。パラメトリックモデル（実際のデータではなくモデルのパラメータのみを保存すればよい）や、ノンパラメトリック手法（クラスタリング、サンプリング、ヒストグラムの利用など）が用いられます。

5. 離散化と概念階層生成（Discretization and Concept Hierarchy Generation）

この手法では、属性の生のデータ値を、区間（範囲）やより高い概念レベルに置き換えます。データ離散化は数量削減の一種であり、概念階層の自動生成にも非常に有効です。離散化と概念階層生成は、さまざまな抽象化レベルでデータをマイニングできるようにする動的なツールと言えます。

まとめ

データ削減は、膨大なデータを扱うデータマイニングにおいて、処理時間の短縮と効率化を実現するための重要な前処理ステップです。データキューブ集約、属性サブセット選択、次元削減、数量削減、離散化と概念階層生成という5つの手法を目的に応じて使い分けることで、分析結果の精度を維持しながら、より高速で実用的なデータ分析が可能になります。