大規模データベースの統計的尺度とは？代表値と散布度を徹底解説

リレーショナルデータベースシステムには、count()、sum()、avg()、max()、min() の5つの組み込み集計関数が用意されています。これらの集計関数は、多次元情報の記述的マイニングにおける基本的な尺度として活用できます。さらに、高次元データベースでは「中央傾向の尺度」と「データの散布度」という2種類の記述統計量を効果的に利用することが可能です。

中央傾向の尺度（代表値）

中央傾向の尺度には、平均値、中央値、最頻値、中間範囲などが含まれます。

平均値

算術平均は、すべての値を合計し、その個数で割ることで求められます。すべてのデータが計算に使用される点が特徴です。給与のようなN個の値（観測値）x₁, x₂, …, x_n があるとき、この値の集合の平均は次のように表されます。

$$\mathrm{X'\:=\:\frac{\sum_{i=1}^N\:X_i}{N}\:=\:\frac{X_1+X_2\:\dotsm\:X_n}{N}}$$

これは、リレーショナルデータベースシステムがサポートする集計関数 average（avg()）に対応します。多くのデータキューブでは sum と count が事前計算されて保存されているため、平均値の導出は非常に簡単です。

$$\mathrm{average\:=\:\frac{sum}{count}}$$

中央値

中央値の計算方法は、値の分布に応じて2通りあります。

x₁, x₂, …, x_n を降順に並べ替えたとき、n が奇数であれば、中央値は次の式で求まります。

$$\mathrm{\left(\frac{n+1}{2}\right)^{th}\:value}$$

例：1, 4, 6, 7, 12, 14, 18 の場合

中央値 = 7

n が偶数の場合は、次の式で中央値を求めます。

$$\mathrm{\frac{\left(\frac{n}{2}\right)^{th}value\:+\:\left(\frac{n}{2}\:+\:1\right)^{th} value}{2}}$$

例：1, 4, 6, 7, 8, 12, 14, 16 の場合

$$\mathrm{Median\:=\:\frac{7+8}{2}\:=\:7.5}$$

中央値は分配的尺度でも代数的尺度でもなく、全体的尺度に分類されます。大規模なデータベースで正確な中央値を求めるのは容易ではありませんが、近似値であれば効率的に計算できます。

最頻値

最頻値とは、値の集合の中で最も頻繁に出現する値のことです。分布には単峰性、双峰性、多峰性といったタイプがあります。データがカテゴリ型（名義尺度で測定されたもの）である場合、計算できる代表値は最頻値のみです。順序尺度以上のデータでも最頻値は計算できますが、必ずしも適切な指標とは言えません。

データの散布度

数値データがどの程度広がっているかを示す度合いを、散布度または分散と呼びます。データの散布度を測る代表的な指標には、範囲、四分位範囲、標準偏差などがあります。

範囲（レンジ）

範囲は、データの集合における最大値と最小値の差として表されます。

$$\mathrm{Range\:=\:X_L-X_S}$$

ここで、

$\mathrm{X_L\:\rightarrow\:最大値}$

$\mathrm{X_S\:\rightarrow\:最小値}$

四分位数と四分位範囲

中央値以外で最もよく使われるパーセンタイルが四分位数です。第1四分位数 Q₁ は25パーセンタイル、第3四分位数 Q₃ は75パーセンタイルに相当します。中央値を含む四分位数は、データの中心・広がり・形状に関する手がかりを与えてくれます。四分位範囲はシンプルな散布度の指標であり、データの中央半分がカバーする範囲を示します。これを四分位範囲（IQR）と呼び、次のように定義されます。

$$\mathrm{IQR\:=\:Q_{3}-Q_{1}}$$

標準偏差

分散を求める際に偏差を二乗すると、その単位も二乗されることになります。そこで、分散の平方根を取ったものが標準偏差です。標準偏差は元のデータと同じ単位を持つため、散布度の指標として最も広く利用されています。