データマイニングにおける外れ値の種類を徹底解説！3つのタイプと検出のポイント

はじめに：データマイニングにおける外れ値とは

データマイニングにおいて、外れ値（アウトライヤー）はデータセット内の他のオブジェクトから大きく逸脱した値やパターンを指します。一見すると「異常なノイズ」のように思えますが、不正検知や故障予測など、実務上きわめて重要な情報を含んでいることも少なくありません。

外れ値には複数の種類があり、それぞれ特徴や検出手法が異なります。本記事では、代表的な3つのタイプ——グローバル外れ値・文脈外れ値・集合的外れ値について詳しく解説します。

1. グローバル外れ値（大域外れ値）

グローバル外れ値とは、与えられたデータセット全体に対して、あるデータオブジェクトが他の大部分のデータから本質的に乖離しているものを指します。「ポイント異常（point anomaly）」とも呼ばれ、最も単純で基本的な外れ値のタイプです。多くの外れ値検出手法は、このグローバル外れ値の発見を目的として設計されています。

検出の鍵となる「逸脱度」の測定

グローバル外れ値を特定するうえで重要な課題は、対象アプリケーションに適した逸脱度（偏差）の測定基準を見つけることです。これまでにさまざまな測定手法が提案されており、その基準によって外れ値検出アプローチは複数のカテゴリに分類されます。

応用例：コンピュータネットワークの侵入検知

グローバル外れ値検出は多くの分野で活用されています。たとえばネットワーク侵入検知では、あるコンピュータの通信挙動が通常のパターンから大きく外れている場合（短時間に大量のパケットが送信されるなど）、その挙動はグローバル外れ値として扱われ、該当するコンピュータはハッキング被害の疑いがあると判断できます。

2. 文脈外れ値（条件付き外れ値）

文脈外れ値は「条件付き外れ値」とも呼ばれます。これは、特定の条件下でのみ他のデータポイントから逸脱するデータオブジェクトを指します。つまり、同じ値でも状況次第で「正常」にも「異常」にもなり得るのが特徴です。

2種類の属性：文脈属性と行動属性

文脈外れ値の分析では、データオブジェクトの属性を以下の2種類に分けて考えます。

• 文脈属性： 外れ値を判断する際の前提条件となる属性です。例として時間帯、場所、季節などが挙げられます。
• 行動属性： オブジェクト自体の特性を表し、その文脈の中で外れ値かどうかを判定するために用いられます。気温の例では、温度・湿度・気圧などが行動属性に相当します。

文脈外れ値分析を活用すれば、ユーザーは多様な文脈や条件ごとに外れ値を特定でき、多くのアプリケーションで有用性を発揮します。

局所外れ値との関係

文脈外れ値は、密度ベースの外れ値分析手法で導入された局所外れ値概念の一般化と捉えることができます。局所外れ値とは、そのオブジェクトが存在する局所領域の密度から本質的に乖離しているものを指します。

グローバル外れ値との関係

一方、グローバル外れ値検出は「文脈属性の集合が空である特別なケース」と考えることも可能です。言い換えれば、グローバル外れ値検出ではデータセット全体が文脈として扱われます。文脈外れ値分析はユーザーに高い柔軟性をもたらし、複数の文脈に応じた外れ値の特定ができる点で優れています。

3. 集合的外れ値

集合的外れ値とは、個々のデータポイントとしては外れ値ではないものの、複数のデータポイントが集まった集合全体として見たときに、データセットの残りの部分から逸脱している状態を指します。重要なのは、各データオブジェクト単体では外れ値として認識されない点であり、集合として評価した場合にのみ異常が検出されるという特性です。

検出には背景知識が必要

集合的外れ値を正確に識別するためには、複数のデータオブジェクトが示す振る舞い同士の関係性に関する背景知識（ドメイン知識）が不可欠です。個々のデータだけではなく、データ間の関連性や時系列パターンまで踏み込んだ分析が求められます。

まとめ

データマイニングにおける外れ値は、以下の3タイプに大別されます。

• グローバル外れ値： データセット全体から逸脱した個別のオブジェクト。最も基本的なタイプ。
• 文脈外れ値： 特定の条件下でのみ逸脱とみなされるオブジェクト。文脈属性と行動属性で構成される。
• 集合的外れ値： 個々には正常でも、集合全体として見ると逸脱しているパターン。

それぞれの特性を理解し、目的やデータの性質に応じて適切な検出手法を選択することが、効果的な異常検知・データ分析への第一歩となります。