例外値はどのように計算される？データキューブ探索における3つの指標を解説

例外値を示す3つの指標

データの異常（アノマリー）を検出するための例外インジケータとして、SelfExp、InExp、PathExpという3つの指標が用いられます。これらの指標は、セル内の数値がその期待値からどれほど「驚くべき」ものであるか、すなわち期待値との乖離度合いを表します。

これらの指標は、すべての集計レベルにおいて各セルごとに計算され、関連付けられます。いずれも表解析のための統計的手法に基づいています。

残差とスケール化残差

あるセルの値が例外とみなされるかどうかは、その期待値からの差異の大きさによって決まります。ここでいう期待値は、統計モデルによって算出されます。実際のセル値と期待値との差は「残差」と呼ばれます。

直感的には、残差が大きいほど、そのセル値は例外的であるといえます。ただし、残差同士を比較する際には、残差に関連付けられた期待標準偏差に基づいて値をスケール化する必要があります。したがって、スケール化された残差の値があらかじめ定められた閾値を超えた場合に、そのセル値は例外とみなされます。

期待値の決定方法

SelfExp、InExp、PathExpの各指標は、このスケール化残差に基づいています。あるセルの期待値は、より上位レベルのグループ化（group-by）の関数として求められます。たとえば、A、B、Cという3つの次元を持つキューブにおいて、Aのi番目、Bのj番目、Cのk番目の位置にあるセルの期待値は、γ、γAi、γBj、γCk、γABij、γACik、γBCjkといった係数の関数で表されます。これらは、使用される統計モデルの係数です。

これらの係数は、上位レベルの集計値を見て形成された全般的な印象に基づき、より詳細なレベルの値がどのように変化しうるかを反映します。このアプローチでは、セル値の例外的性質は、その下位に続く値の例外にも依存します。そのため、例外を発見した際には、ユーザーがドリルダウン操作によって例外を詳しく分析することが重要になります。

計算の3つのフェーズ

例外値の計算は、以下の3つのフェーズで構成されます。

• 第1フェーズ： キューブを定義する集計値（sumやcountなど）を計算します。例外の検出は、これらの集計値に対して行われます。
• 第2フェーズ： モデルフィッティングを行います。モデルの係数を決定し、それを用いて標準化残差を計算します。このフェーズの計算内容は第1フェーズと共通しているため、両者をオーバーラップさせて実行できます。
• 第3フェーズ： 標準化残差に基づいて、SelfExp、InExp、PathExpの値を計算します。このフェーズは計算量的には第1フェーズと同等です。したがって、探索主導型（discovery-driven）のデータ探索のためのデータキューブ計算は、効率的に完了させることができます。