モデルベースクラスタリングとは？基本概念と主要な手法をわかりやすく解説

モデルベースクラスタリング（モデルに基づくクラスタリング）は、データクラスタリングに対する統計的なアプローチです。観測された（多変量）データは、有限個の構成要素モデルの組み合わせから生成されたものとみなされます。各構成要素モデルは確率分布であり、一般的にはパラメトリックな多変量分布が用いられます。

例えば、多変量ガウス混合モデルの場合、各構成要素は多変量ガウス分布となります。そして、ある観測値を生成した構成要素によって、その観測値が属するクラスタが決定されます。

モデルベースクラスタリングは、与えられたデータと数学的モデルとの適合度を高めることを目的とした手法であり、「データは基本的な確率分布の組み合わせによって生成される」という仮定に基づいています。

モデルベースクラスタリングの主な種類

モデルベースクラスタリングには、大きく分けて以下の3つのアプローチがあります。

1. 統計的アプローチ

統計的アプローチの中核となるのが、EMアルゴリズム（Expectation Maximization：期待値最大化法）です。これは広く知られている反復改善アルゴリズムであり、k-means法の拡張と考えることができます。

• 重み（確率分布）に基づいて、各オブジェクトをクラスタへ割り当てることができます。
• 重み尺度に基づいて、新しい平均値が計算されます。

このアプローチの基本的な考え方は以下の通りです。

• パラメータベクトルの初期推定値から処理を開始します。
• パラメータベクトルから生成される混合密度に対して、データを反復的に再スコアリングします。
• 再スコアリングされたパターンを用いて、パラメータ推定値を更新します。
• 特定の構成要素におけるスコアに基づいて配置されたパターンを、同一クラスタに属するものとして扱います。

アルゴリズムの手順

• まず、k個のクラスタ中心をランダムに割り当てます。
• その後、以下の2つのステップを繰り返しながらクラスタを反復的に改良していきます。

Eステップ（期待値ステップ）： 各データポイント X_i を、次の確率でクラスタ C_k に割り当てます。

$$\mathrm{P(X_{i}\in\:C_{k})\:=\:P(C_k\arrowvert\:X_i)\:=\:\frac{P(C_k)P(X_i\arrowvert\:C_k)}{P(X_i)}}$$

Mステップ（最大化ステップ）： モデルパラメータの推定に使用されます。

$$\mathrm{m_k\:=\:\frac{1}{N}\displaystyle\sum\limits_{i=1}^N \frac{X_{i}P(X_i\:\in\:C_k)}{X_{j}P(X_i)\in\:C_j}}$$

2. 機械学習アプローチ

機械学習は、大量のデータを処理するための複雑なアルゴリズムを構築し、その結果をユーザーに提供するアプローチです。経験を通じて学習し、予測を行える高度なプログラムを活用します。

訓練データを繰り返し入力することで、アルゴリズム自身が継続的に改善されていきます。機械学習の主な目的は、データから学習し、人間が理解・活用できるモデルを構築することにあります。

この分野で有名な手法の一つが漸増的概念学習（Incremental Conceptual Learning）です。これは分類木（クラス分けの木構造）の形式で階層的クラスタリングを生成し、各ノードが一つの概念を定義するとともに、その概念の確率的表現を保持します。

このアプローチの限界：

• 「属性同士が互いに独立である」という仮定は、実際には相関が存在しうるため、多くの場合に強すぎる前提となってしまいます。
• 大規模データベースのデータ、偏った（スキューした）木構造、計算コストの高い確率分布を伴うクラスタリングには適していません。

3. ニューラルネットワークアプローチ

ニューラルネットワークアプローチでは、各クラスタを一つの「例（プロトタイプ）」として表現し、それがクラスタの原型として機能します。新しいオブジェクトは、何らかの距離尺度に基づいて、最も類似度の高いプロトタイプを持つクラスタへと割り当てられます。