異常検知における「異常」の原因とは？3つの主要な要因を徹底解説

異常検知（Anomaly Detection）とは

異常検知とは、多数のオブジェクト（データ点）の中から、他と明らかに異なる性質を持つオブジェクトを発見することを目的とした手法です。異常なオブジェクトは、散布図上で他のデータ点から大きく離れた位置に存在することから、「外れ値（アウトライアー）」とも呼ばれます。

また、異常なオブジェクトは通常予想される属性値や一般的な属性値から大きく逸脱しているため、「偏差検出（Deviation Detection）」と呼ばれることもあります。さらに、複数の意味で例外的な存在であることから、「例外マイニング（Exception Mining）」という名称で言及される場合もあります。

自然界、人間社会、あるいはデータ集合の世界において、ほとんどの事象やオブジェクトは本質的に普通のものであり、規則的です。しかし、例外的・特異的なオブジェクトを正しく認識できることは非常に重要です。例えば、記録的な干ばつや大雨、突出した成績を持つ人気アスリート、他のすべての値より極端に大きい、または小さい属性値などがその代表例といえます。

異常が発生する3つの主な原因

データマイニングの分野では、異常が生じる原因として以下の3つが挙げられます。

1. 異なるクラスに由来するデータ

あるオブジェクトが他の多くのオブジェクトと異なるのは、それが別の種類（クラス）に属しているためである場合があります。

典型的な例として、クレジットカードの不正利用が挙げられます。不正利用を行う人物は、カードを正当な目的で利用する大多数の利用者とは、まったく異なるクラスのユーザーに分類されます。

このような異なるクラスに属する要素を示す異常の例としては、不正行為（詐欺）、侵入（サイバー攻撃）、疾病の発生（アウトブレイク）、異常な検査結果などがあります。これらの異常は実務上非常に重要であり、データマイニングにおける異常検知の主要なターゲットとなっています。

2. 自然な変動（Natural Variation）

一部のデータセットは、正規分布（ガウス分布）などの統計的分布によってモデル化できます。このような分布では、分布の中心から離れるほど、そのデータオブジェクトが出現する確率は次第に低下していきます。

言い換えれば、多くのオブジェクトは中心（平均的なオブジェクト）の近くに存在し、平均的なオブジェクトから大きく異なるオブジェクトが出現する可能性は小さいということです。

例えば、極めて背の高い人は、独立した別クラスの存在という意味で異常なのではなく、身長という特定の属性値が他の大多数の値から大きく外れているという意味で異常だといえます。このように、稀で起こりにくい変動を示す異常は、分析上注目に値するものとなります。

3. データの測定・収集エラー

データセット自体や測定プロセスに含まれる誤りも、異常の原因となります。例えば、人的ミス、計測機器の不具合、ノイズの混入などにより、誤った測定値が記録されることがあります。

この種の異常には有用な情報が含まれておらず、データの品質を低下させ、その後のデータ分析の精度にも悪影響を及ぼすだけです。そのため、こうした異常は除去することが目的となります。実際、このタイプの異常の削除は、前処理、特にデータクレンジング（データクリーニング）の主要な目標の一つです。

まとめ

異常検知において、異常の原因を見極めることは非常に重要です。「別クラスに属するデータ」「自然な変動」「測定・収集エラー」という3つの原因を理解することで、どの異常がビジネス上価値のある発見につながるのか、逆にどの異常が単なるノイズとして除去すべきものなのかを適切に判断できるようになります。