データ一般化とは？属性指向帰納法による大規模データ分析の基本原則を解説

データ一般化の概要

データ一般化とは、年齢属性の数値といった比較的低レベルの値を、「若年層」「中年層」「高齢層」のような高レベルの概念に置き換えることでデータを要約する手法です。言い換えれば、データベース内に存在する膨大なタスク関連情報を、比較的低い概念レベルからより高い概念レベルへと抽象化していくプロセスといえます。

大規模なデータセットを効率的かつ柔軟に一般化するためには、主に以下の2つのアプローチが用いられます。

1. OLAPアプローチ

データキューブ技術は、データウェアハウスをベースとした事前計算指向のマテリアライズドビュー（実体化ビュー）方式として捉えることができます。OLAPやデータマイニングのクエリが実際に処理される前に、オフラインで集計を行っておくのが特徴です。

2. 属性指向帰納法アプローチ

属性指向帰納法は、リレーショナルデータベースのクエリを指向した、一般化ベースのオンラインデータ分析手法です。まずリレーショナルデータベースへのクエリによってタスク関連データを収集し、その後、対象となるデータ集合内の各属性が持つ複数の異なる値を調査したうえで、一般化を実行します。

一般化は「属性除去」によって実現されます。同一内容に一般化されたタプルを統合し、それぞれの出現回数を累積することで集計を行うことで、一般化済みデータセットのサイズを削減でき、ユーザーとの対話的な提示も可能になります。

属性指向帰納法の基本原則

• データ焦点化：扱うデータはタスクに関連していなければなりません。たとえば分析の次元（ディメンション）などが該当し、その結果として元のリレーションが得られます。
• 属性除去：属性Aに非常に多くの具体値が存在するものの、Aに対する一般化演算子が用意されていない場合、あるいはAの上位概念が他の属性によって定義されている場合には、属性Aを除去することができます。
• 属性一般化：属性Aに多数の異なる値が存在し、かつAに対する一般化演算子の集合が利用可能である場合には、適切な演算子を選択してAを一般化します。
• 分析的特徴付け：関連性の低い属性をフィルタリングしたり、関連属性の優先順位付けを行ったりするための統計的な前処理手法です。属性関連度分析の尺度を活用することで、概念記述のプロセスから除外すべき無関係な属性を見極めます。この前処理ステップをクラス特徴付けや比較に組み込んだものを「分析的特徴付け」と呼びます。

属性関連度分析が必要な理由

属性関連度分析が重要視される理由は、主に以下の3点にあります。

• どの次元（ディメンション）を分析に含めるべきかを判断できる
• より高いレベルでの一般化を実現できる
• 属性の数を絞り込むことで、パターンを直感的かつ容易に理解できる

属性関連度分析の基本的な考え方は、与えられたクラスやアプローチに対して各属性がどの程度関連しているかを定量的に評価できる尺度を用いることです。こうした尺度には、情報利得（Information Gain）、曖昧性、相関係数などが挙げられます。