外れ値検出の課題は何ですか？

外れ値は、別の構造によって生成されたかのように、本質的に残りのオブジェクトから逸脱するデータオブジェクトです。表示を簡単にするために、外れ値ではないデータオブジェクトを「通常の」情報または期待される情報として定義できます。同様に、外れ値を「異常な」データとして定義できます。

外れ値は、特定のクラスまたはクラスターで組み合わせることができないデータコンポーネントです。これらは、さまざまなデータオブジェクトの一般的な動作からいくつかの動作を持つデータオブジェクトです。この種のデータの分析は、知識を掘り起こすために重要になる可能性があります。

外れ値の検出にはさまざまな課題があります-

通常のオブジェクトと外れ値を効果的にモデル化する −外れ値検出要素は、主に通常の（外れ値ではない）オブジェクトと外れ値のモデリングに基づいています。これは、アプリケーションで使用可能な通常の動作を列挙するのが複雑なためです。

データの正常性と異常性（外れ値）の境界は明確ではありません。代わりに、広範囲の灰色のアプリケーションが存在する可能性があります。その結果、さまざまな外れ値検出手法が入力情報の各オブジェクトに「通常」または「外れ値」のラベルを割り当てますが、他のアプローチでは、オブジェクトの「外れ値」を計算するスコアを各オブジェクトに割り当てます。

アプリケーション固有の外れ値の検出 −類似性/距離測度を選択しており、データオブジェクトを定義するための関係モデルは外れ値の検出に不可欠です。残念ながら、そのような選択はソフトウェアに依存します。いくつかのアプリケーションには複数の要件があります。

外れ値検出でのノイズの処理 −外れ値はノイズとは異なります。実際の情報セットの品質が悪い影響を与えることが知られています。ノイズ提供は、いくつかのアプリケーションで収集されたデータに不可避的に存在します。ノイズは、属性値の偏差として表示されることも、欠落値として滑らかになることもあります。

データ品質の低さとノイズの存在は、外れ値の検出に大きな課題をもたらします。彼らは情報をだまして、通常のオブジェクトと外れ値の違いを曖昧にすることができます。さらに、ノイズと欠落した情報は、外れ値を「隠し」、外れ値検出の有効性を低下させる可能性があります。外れ値は、ノイズポイントとして「偽装」されて発生する可能性があり、外れ値検出アプローチは、ノイズポイントを外れ値として誤って認識する可能性があります。

わかりやすさ −一部のアプリケーションメソッドでは、ユーザーは外れ値を検出するだけでなく、検出されたオブジェクトが外れ値である理由を学習する必要があります。理解しやすさの要件を組み合わせることができます。外れ値の検出手法は、検出のいくつかの理由をサポートする必要があります。

たとえば、統計的アプローチを使用して、オブジェクトが外れ値になる可能性の程度を検証できます。これは、オブジェクトがレコードの大部分を生成したのと同じ構造によって作成された可能性に依存します。可能性が小さいほど、オブジェクトが同じ構造によって生成された可能性は低くなり、オブジェクトは外れ値として受け入れられやすくなります。