ドキュメントクラスタリング分析とは何ですか？

ドキュメントのクラスタリングは、教師なしでファイルを整理するための重要な手法です。ドキュメントが用語ベクトルとして表される場合、クラスタリング手法を適用できます。ドキュメントスペースは、数百から数千に及ぶ大きな次元を持ち続けています。

次元の呪いのために、最初にドキュメントを低次元の部分空間に投影することは理にかなっています。そこでは、ドキュメント空間の意味構造が明確になります。低次元のセマンティック領域では、従来のクラスタリングアルゴリズムを使用できます。

ドキュメントクラスタリング分析にはいくつかの方法があります-

スペクトルクラスタリング −スペクトルクラスタリング手法は、最初に元のデータにスペクトル埋め込み（次元削減）を実行し、次に削減されたドキュメントスペースに従来のクラスタリングアルゴリズム（k-meansなど）を適用します。

スペクトルクラスタリングで動作することができ、高度に非線形なデータを処理する能力を示します（データ空間はすべてのローカルエリアで高い曲率を持っています）。微分幾何学への強力なリンクにより、ファイル空間の多様体アーキテクチャを見つけることができます。

これらのスペクトルクラスタリングアルゴリズムの制限により、「トレーニング」データでのみ表される非線形埋め込み（次元削減）を使用できます。埋め込みを理解するには、いくつかのデータポイントを使用する必要があります。データセットが巨大な場合、そのような埋め込みを理解することは計算コストがかかります。これにより、高データセットでのスペクトルクラスタリングのソフトウェアが制限されます。

混合モデル −混合モデルクラスタリング手法は、多くの場合多項成分モデルを含む混合モデルを使用してテキストデータをモデル化します。クラスタリングには、次の2つのステップが含まれます-

テキストデータと追加の事前知識に基づいてモデルパラメータを推定することができます。

推定されたモデルパラメータに基づいてクラスターを推測している可能性があります。混合モデルの定義方法によって異なりますが、これらのメソッドは単語とドキュメントを同時にクラスター化できます。

確率的潜在意味解析（PLSA）と潜在的ディリクレ割り当て（LDA）は、そのようなアプローチの2つの例です。クラスタリング手法の利点は、ファイルの比較分析をサポートするようにクラスターを設計できることです。

潜在意味インデックス（LSI）および局所性保存インデックス（LPI）の方法は、線形次元削減方法です。 LSIおよびLPIで変換ベクトル（埋め込み関数）を実現するために使用されます。このような埋め込み関数はどこにでも表示されます。したがって、データの要素を使用して埋め込み関数を理解し、一部のデータを低次元空間に埋め込むことができます。

LSIの目的は、グローバルな再構成エラーを最小限に抑えるという意味で、元のドキュメントスペースに最適な部分空間近似を見つけることです。言い換えると、LSIは、ドキュメント表現の最も識別力のある機能ではなく、最も代表的な機能を明らかにしようとしています。したがって、LSIは、クラスタリングの最終的な目標である、異なるセマンティクスを持つドキュメントの識別に最適ではない可能性があります。