外れ値（異常値）検出の主な手法とは？教師あり・教師なし・半教師あり学習の違いを解説

データ分析において、他の観測値から大きく外れた「外れ値（アウトライアー）」を検出することは、品質管理、不正検知、侵入検知など多くの分野で重要な課題となっています。外れ値検出の手法は、大きく分けて「教師あり」「教師なし」「半教師あり」の3つのアプローチに分類されます。本記事では、それぞれの手法の特徴、仕組み、そして課題について詳しく解説します。

教師あり手法（Supervised Methods）

教師あり手法では、データの「正常性」と「異常性」をモデル化します。ドメインの専門家が元データのサンプルを検査し、ラベル付けを行います。これにより、外れ値検出は分類問題として扱うことができ、外れ値を識別できる分類器を構築することが目的となります。

サンプルはモデルの訓練とテストの両方に活用できます。多くのアプリケーションでは、専門家が「正常なオブジェクト」にのみラベルを付与し、正常オブジェクトのモデルに適合しないオブジェクトを外れ値として記録するケースが一般的です。逆に、外れ値のモデルを構築し、そのモデルに適合しないオブジェクトを正常とみなすアプローチも存在します。

教師なし手法（Unsupervised Methods）

実際のアプリケーションでは、「正常」や「外れ値」としてラベル付けされたデータが利用できないケースが少なくありません。このような場合には、教師なし学習のアプローチを採用する必要があります。

教師なしの外れ値検出手法は、「正常なオブジェクトはある程度まとまってクラスタを形成する」という暗黙の仮定に基づいています。つまり、正常なオブジェクトは外れ値よりもはるかに高い頻度でパターンに従うと予測します。ただし、正常なオブジェクトが必ずしも1つのグループに集まる必要はなく、複数のグループを形成し、各グループが独自の特徴を持つ場合もあります。

しかし、この仮定が常に成り立つとは限りません。正常なオブジェクトが明確なパターンを持たず、一様に分布している一方で、集合的な外れ値が狭い範囲で高い類似性を共有するケースも存在します。このような状況では、教師なし手法では外れ値を効率的に識別できません。例えば、一部の侵入検知やコンピュータウイルス検知の問題では、正常な活動が多様であり、高品質なクラスタを形成しないことがあります。

また、クラスタリング手法を応用して教師なしの外れ値検出を行うことも可能です。基本的な考え方は、まずクラスタを発見し、どのクラスタにも属さないデータオブジェクトを外れ値として特定するというものです。しかしこの方法には2つの課題があります。
第一に、どのクラスタにも属さないオブジェクトは、外れ値ではなく単なるノイズである可能性があること。
第二に、先にクラスタを発見してから外れ値を見つけるため、計算コストが高くなることです。

半教師あり手法（Semi-Supervised Methods）

多くのアプリケーションでは、ラベル付きのインスタンスを入手することは可能でも、その数が非常に限られているケースがあります。ごく一部の正常オブジェクトと外れ値のみにラベルが付いており、残りの大部分のデータはラベルなしであるといった状況です。半教師ありの外れ値検出手法は、こうした状況に対処するために開発されました。

半教師ありの外れ値検出手法は、半教師あり学習アプローチの応用と捉えることができます。例えば、ラベル付きの正常オブジェクトがいくつか利用可能な場合、それらを近傍のラベルなしオブジェクトと組み合わせて、正常オブジェクトのモデルを訓練できます。そして、この正常オブジェクトのモデルを用いて外れ値を識別します。具体的には、正常オブジェクトのモデルに適合しないオブジェクトを外れ値と定義するのです。

まとめ

外れ値検出の手法選択は、利用可能なラベル付きデータの量に大きく依存します。十分なラベル付きデータがあれば教師あり手法が有効であり、ラベルがまったくない場合は教師なし手法、少量のラベルのみ利用できる場合は半教師あり手法が適しています。それぞれの手法の特性と前提条件を正しく理解した上で、目的やデータの性質に合った手法を選択することが、精度の高い外れ値検出への鍵となります。