プログラミング
 Computer >> コンピューター >  >> プログラミング >> プログラミング

STREAMとは何ですか?


STREAMは、k-中央値問題のために作成された個別パスの定数要素近似アルゴリズムです。 k-medians問題は、ポイントとそれらが割り当てられているクラスター中心との間の二乗和誤差(SSQ)が最小になるように、N個のデータポイントをk個のクラスターまたはグループにクラスター化することです。アイデアは、同じクラスターに同様のポイントを割り当てることです。これらのポイントは、他のクラスターのポイントとは異なります。

ストリームデータモデルでは、データポイントは1回しか表示できず、メモリと時間は制限されています。高品質のクラスタリングを実装できます。STREAMアルゴリズムは、データストリームをmポイントのバケット(またはバッチ)で処理し、各バケットはメインメモリに収まります。

バケットごとに、b i 、STREAMは、バケットのポイントをkクラスターにクラスター化します。次に、k個の中心に関する情報のみを保持することにより、バケット情報を要約します。各クラスターの中心は、そのクラスターに割り当てられたポイントの数によって重み付けされます。

次に、STREAMはポイントを破棄し、中心情報のみを保持します。十分な数のセンターが収集されているため、重み付けされたセンターがクラスター化されて、O(k)クラスターセンターの別のグループが作成されます。これが繰り返されるため、すべてのレベルで最大m個のポイントが保持されます。このアプローチにより、ワンパス、O(kN)時間、O(N ε が得られます。 )-空間(一定のε<1の場合)、データストリームk-中央値の定数因子近似アルゴリズム。

STREAMは、明確な面積と時間で品質のk-mediansクラスターを変更します。ただし、レコードの進化も時間の粒度も処理しませんでした。クラスタリングは、ストリームの古くて古いデータによって支配される可能性があります。クラスターの特徴は、クラスターが評価される瞬間と、クラスターが測定される期間の両方によって変化する可能性があります。

たとえば、ユーザーは先週、先月、または昨年に表示されたクラスターをテストするように要求できます。これらは異なる場合があります。したがって、データストリームクラスタリングアルゴリズムは、ユーザー定義の期間にわたってインタラクティブな方法でクラスターを計算する柔軟性もサポートする必要があります。

CluStreamは、ユーザー指定のオンラインクラスタリングクエリに基づいて進化するデータストリームをクラスタリングするためのアルゴリズムです。クラスタリングプロセスをオンラインコンポーネントとオフラインコンポーネントに分割します。

オンラインコンポーネントは、マイクロクラスターを使用してデータストリームに関する要約統計量を計算して保存し、マイクロクラスターの増分オンライン計算と保守を実行します。オフラインコンポーネントは、マクロクラスタリングを実行し、保存された要約統計量を使用していくつかのユーザーの質問を解決します。これは、傾斜した時間枠モデルに依存します。

履歴と現在の両方のストリームデータ情報に基づいてデータストリームを進化させるクラスター、傾斜時間枠モデル(プログレッシブ対数モデルなど)が採用され、最新性に応じてさまざまなレベルの粒度で一連のマイクロクラスターのスナップショットが保存されます。


  1. データセンターとは何ですか?

    datacenterと綴られることもあるデータセンター (一言)は、多数のコンピュータサーバーと関連機器を含む施設に付けられた名前です。 データセンターは、壁を超えた「コンピュータールーム」と考えてください。会社のユーザー宛てのメール、財務記録、ウェブサイトのデータなど、あらゆる種類のデータを保存できます。 データセンターは何に使用されますか? 一部のオンラインサービスは非常に大きいため、1台または2台のサーバーから実行できません。代わりに、これらのサービスを機能させるために必要なすべてのデータを保存および処理するために、数千または数百万台の接続されたコンピューターが必要です。 たと

  2. シリアル化とは

    最近のプロジェクト更新会議で、私のチームは、シリアライゼーションを使用してこのアプリケーションとの間でデータをやり取りする方法について話しました。 ソフトウェア プロジェクトにもっと関わりたいと考えていたあるエンジニアは、この用語になじみがないと言っていました。 より大規模なプロジェクトに飛び込むまで発生しない、このような重要なプロセスを見落としがちです。ある時点で私がそうであったように、これはこの人に当てはまりました。 だからそれについて書きたかった。その日、私は同僚がシリアライゼーションについて学ぶのを手伝いました。あなたは今日それについて学ぶことになります. シリアライゼーシ