大規模なデータセットでのk-medoidsアルゴリズムはどの程度効率的ですか？

PAMのような古典的なk-medoidsパーティショニングアルゴリズムは、小さなデータセットでは効率的に機能しますが、巨大なデータセットではうまくスケーリングしません。より高いデータセットを処理でき、CLARA（Clustering Large Applications）として知られるサンプリングベースの方法を使用できます。

CLARAの背後にあるアプローチは次のとおりです。サンプルがかなりランダムな方法で選択される場合、元のデータセットを厳密に定義する必要があります。選択された代表的なオブジェクト（medoid）は、データセット全体から選択されたものと同様になります。 CLARAは、データセットのいくつかのサンプルを抽出し、各サンプルにPAMを適用して、最適なクラスタリングを出力として返します。

CLARAのパフォーマンスは、サンプルサイズに基づいています。 PAMは特定のデータセット間で最良のkメドイドを検索しますが、CLARAはデータセットの選択されたサンプル間で最良のkメドイドを検索します。 CLARANS（大規模アプリケーションのクラスタリングはランダム化された検索に依存）として知られるk-medoidsタイプのアルゴリズムが提案されました。サンプリング方法をPAMに接続できます。 CLARAには検索のすべての段階で固定サンプルがありますが、CLARANSは検索のすべての段階である程度のランダム性を持つサンプルを描画します。

クラスタリング手順は、各ノードが可能性のあるソリューション（k個のメドイドのセット）であるグラフの検索と見なすことができます。 2つのノードのセットが1つのオブジェクトだけ異なる場合、2つのノードは隣接しています（特に、グラフ内の円弧によってリンクされています）。各ノードには、各オブジェクトとそのクラスターのメドイドとの間の完全な非類似度で表されるコストを割り当てることができます。

各ステップで、PAMは、最小コストのソリューションを検索する際に、最新のノードのすべてのネイバーを決定します。次に、最新のノードが、コストが最も高くなるネイバーに置き換えられます。 CLARAはデータセット全体のサンプルを操作するため、より少ない近傍を決定し、検索を最初のグラフよりも小さいサブグラフに制限します。

CLARANSは、PAMとCLARAの両方よりも効率的であることが実験的に示されています。オブジェクトが実際にクラスターに適用される量を定義するオブジェクトのプロパティのシルエット係数を使用して、最も「自然な」クラスターの数を検出するために使用できます。 CLARANSを使用すると、外れ値を検出することもできます。

CLARANSの計算の複雑さはO（n ² ）ここで、nはオブジェクトの数です。さらに、そのクラスタリング品質は、使用されるサンプリング方法に基づいています。ディスク上にあるデータオブジェクトを管理するCLARANSの機能は、R*ツリーなどの空間データ構造を探索する方法に焦点を当てることでさらに改善できます。