外れ値の検出方法は何ですか？

外れ値の検出にはさまざまな方法があります-

監視対象の方法 −教師あり手法は、データの正常性と異常性をモデル化します。ドメインの専門家は、基本データのサンプルをテストしてラベルを付けます。外れ値の検出は、分類の問題としてモデル化できます。このサービスは、外れ値を識別できる分類子を理解することです。

サンプルは、トレーニングとテストに使用できます。さまざまなアプリケーションでは、専門家は通常のオブジェクトのみにラベルを付けることができ、通常のオブジェクトのモデルに接続していないいくつかのオブジェクトは外れ値として文書化されます。外れ値をモデル化し、オブジェクトが外れ値のモデルを接続していないと見なすさまざまな方法があります。

教師なしメソッド −さまざまな適用方法では、「通常」または「外れ値」とラベル付けされたオブジェクトは適用されません。したがって、教師なし学習アプローチを使用する必要があります。教師なし外れ値検出方法は、通常のオブジェクトがかなり「クラスター化」されているなど、暗黙の仮定を作成します。

教師なし外れ値検出方法は、通常のオブジェクトが外れ値よりもはるかに一般的なパターンに従うことを予測します。通常のオブジェクトは、大きな類似性を共有する1つのチームに辞退する必要はありません。代わりに、複数のグループを形成でき、各グループには複数の機能があります。

この仮定はいつか真実になることはありません。通常のオブジェクトは、いくつかの強力なパターンを送信しません。むしろ、それらは均一に分布しています。集合的な外れ値は、小さな領域で大きな類似性を共有します。

教師なし手法では、このような外れ値を効率的に特定できません。一部のアプリケーションでは、通常のオブジェクトが個別に配布され、いくつかのオブジェクトは強力なパターンに従わない場合があります。たとえば、一部の侵入検知とコンピュータウイルス検出の問題では、通常のアクティビティが明確であり、高品質のクラスタに低下しないものもあります。

一部のクラスタリング手法は、教師なし外れ値検出手法として容易にするように適合させることができます。主なアイデアは、最初にクラスターを検出することです。したがって、一部のクラスターに属していないデータオブジェクトは、外れ値として識別されます。しかし、そのような方法は2つの問題から悪化します。まず、一部のクラスターに属していないデータオブジェクトは、外れ値ではなくノイズである可能性があります。次に、最初にクラスターを検出してから外れ値を検出するのはコストがかかります。

半教師あり方法 −いくつかのアプリケーションでは、いくつかのラベル付きインスタンスを取得することは可能ですが、そのようなラベル付きインスタンスの数は少ないです。通常のオブジェクトと外れ値のオブジェクトの小さなグループのみがラベル付けされているが、一部のデータはラベル付けされていない場合が発生する可能性があります。このような方法に取り組むために、半教師あり外れ値検出方法が作成されました。

半教師あり学習アプローチのアプリケーションとして、半教師あり外れ値検出方法を考慮することができます。たとえば、一部のラベル付き通常オブジェクトにアクセスできる場合、近くにあるラベルなしオブジェクトでそれらを使用して、通常オブジェクトのモデルをトレーニングできます。通常のオブジェクトのモデルは、外れ値を識別するために使用されます。通常のオブジェクトのモデルに適さないオブジェクトは、外れ値として定義されます。