数値データの離散化と概念階層生成の主要な手法を徹底解説

数値データの離散化と概念階層生成の主な手法

数値属性に対する概念階層を定義する作業は、適用可能なデータ範囲の多様性やデータ値の頻繁な更新があるため、複雑で手間がかかります。数値データの概念階層生成にはさまざまな手法が存在し、以下に主要な4つの手法を紹介します。

ビン分割（Binning）

ビン分割は、あらかじめ定義されたビンの数に基づくトップダウン型の分割手法です。この手法は、数値の削減や概念階層生成のための離散化手法としても利用されます。得られた分割に対して再帰的に適用することで、概念階層を構築することも可能です。

ビン分割はクラス情報を使用しないため、教師なし離散化手法に分類されます。その一方で、ユーザーが指定するビン数や外れ値の存在に結果が左右されやすいという弱点があります。

ヒストグラム分析（Histogram Analysis）

ビン分割と同様に、ヒストグラム分析もクラス情報を使用しない教師なし離散化手法です。ヒストグラムは、属性Aの値を「バケット」と呼ばれる相互に重ならない範囲に分割します。

たとえば等幅ヒストグラムでは、値を同じ幅の区間に分割します（例：各バケットの幅が10ドルの価格区分）。一方、等頻度ヒストグラムでは、各区間が同じ数のデータタプルを含むように値を分割します。

ヒストグラム分析のアルゴリズムは、各区間に対して再帰的に適用でき、事前に指定した概念レベル数に達するまで処理を続けることで、多層的な概念階層を自動的に生成できます。

また、再帰処理を制御するために、レベルごとの最小区間サイズを設定することもできます。これは、各レベルにおける区間の最小幅、または各区間に含まれる値の最小数を指定するものです。

エントロピーに基づく離散化（Entropy-Based Discretization）

エントロピーは、離散化で広く使われる尺度です。この概念は、情報理論と情報利得の概念に関するクロード・シャノンの先駆的な研究によって初めて導入されました。

エントロピーに基づく離散化は、教師ありのトップダウン型分割手法です。分割点（属性範囲を分割するためのデータ値）の計算と決定において、クラス分布情報を活用します。

クラスタ分析（Cluster Analysis）

クラスタ分析は、広く利用されているデータ離散化手法の一つです。クラスタリングアルゴリズムを適用することで、数値属性Aの値をクラスタ（グループ）に分割し、離散化を実現します。

クラスタリングは属性Aの分布やデータポイント間の近接性を考慮するため、高品質な離散化結果を得られる点が特徴です。また、トップダウン型の分割戦略またはボトムアップ型の統合戦略のいずれかを用いることで、属性Aの概念階層を生成できます。この際、各クラスタが概念階層のノードとなります。