データストリームクラスタリングの方法論は何ですか？

データストリームクラスタリングは、電話データ、マルチメディアデータ、金銭的トランザクションなどを含む継続的に表示されるデータのクラスタリングとして説明されます。データストリームクラスタリングは、一般にストリーミングアルゴリズムとして扱われ、目的は、一連のポイントを指定して、最適なクラスタリングを作成することです。少量のメモリと時間を利用して、ストリームの

一部のアプリケーションでは、類似性に基づいて、そのようなデータをセットに自動クラスタリングする必要がありました。例には、Web侵入検知、Webクリックストリームの分析、および株式市場分析のためのアプリケーションが含まれています。

静的データセットをクラスタリングするためのいくつかの動的な方法があります。データストリームをクラスタリングすると、そのようなアルゴリズムに追加の力がかかります。計算のデータストリームモデルでは、データのシングルパスを作成するためにアルゴリズムが必要であり、メモリが制限され、処理時間が明確であるのに対し、ストリームは非常に動的で、時間の経過とともに進化する可能性があります。

データストリームクラスタリングには、次のようないくつかの方法があります-

過去のデータの概要を計算して保存する −限られたメモリスペースと迅速な対応要件のため、以前に表示したデータの要約を計算し、関連する結果を保存し、必要に応じてそのような要約を使用して重要な統計を計算します。

分割統治戦略を適用する −データストリームを到着順序に基づいてチャンクに分割し、これらのチャンクの要約を計算してから、要約をマージできます。この方法では、より小さなビルディングブロックからより高いモデルを構築できます。

受信データストリームの増分クラスタリング −ストリームデータはシステムを継続的かつ段階的に導入するため、変更されたクラスターは段階的に洗練されている必要があります。

マイクロクラスタリングとマクロクラスタリングの分析を実行します −ストリームクラスターは次の2つのステップで計算できます-

• 階層的なボトムアップクラスタリングアルゴリズムを適用することでマイクロクラスターが形成されるマイクロクラスターレベルで要約を計算して保存できます。

• ユーザー指定のレベルでマクロクラスターを計算できます（別のクラスタリングアルゴリズムを使用してマイクロクラスターをグループ化するなど）。この2段階の計算により、データが効率的に圧縮され、エラーの領域が小さくなります。

クラスターの進化を分析するために複数の時間粒度を調査する −ストリームデータ分析では、最新のデータがリモート（つまり古い）データとは異なる役割を果たすことが多いため、傾斜した時間枠モデルを使用して、さまざまな時点で要約されたデータのスナップショットを保存します。

ストリームクラスタリングをオンラインプロセスとオフラインプロセスに分割する −データのストリーミング中に、データスナップショットの基本的な要約を計算、保存、および段階的に更新する必要があります。

したがって、このような動的に変化するクラスターを維持するには、オンラインプロセスが必要です。一方、ユーザーは、過去、現在、または進化しているクラスターについて質問するクエリを実行できます。このような分析は、オフラインで実行することも、オンラインクラスターのメンテナンスとは独立したプロセスとして実行することもできます。