数の削減（ニューメロシティ・リダクション）とは？データ削減の主な手法を解説

数の削減（ニューメロシティ・リダクション）とは

数の削減（Numerosity Reduction）とは、元のデータよりも小規模な代替的なデータ表現を選択することで、データ全体の量を削減する手法です。この技術は大きく「パラメトリック法」と「ノンパラメトリック法」の2種類に分けられます。

パラメトリック法では、モデルを用いてデータを近似します。この場合、実際のデータそのものではなく、モデルのパラメータだけを保存すればよいため、大幅なデータ圧縮が可能になります。代表的な例として、対数線形モデル（Log-linear models）などが挙げられます。

一方、ノンパラメトリック法では、削減されたデータ表現をそのまま保存します。代表例には、ヒストグラム、クラスタリング、サンプリングなどがあります。

数の削減の主な手法

1. 回帰分析と対数線形モデル

回帰分析や対数線形モデルは、与えられたデータを近似するために利用されます。線形回帰では、データが直線に当てはまるようにモデル化を行います。たとえば、ある確率変数y（応答変数）を、別の確率変数x（予測変数・説明変数）の線形関数として「y = wx + b」という式で表すことができ、このときyの分散は一定であると仮定します。

2. 対数線形モデル

対数線形モデルは、離散的な多次元確率分布を近似するために用いられる手法です。n次元（たとえばn個の属性）のタプル集合が与えられた場合、各タプルをn次元空間上の点とみなすことができます。

対数線形モデルを使用すると、離散化された属性集合に対して、多次元空間内の各点の確率を、次元の組み合わせのごく一部の部分集合に基づいて求めることができます。これにより、低次元空間から高次元のデータ空間を構築することが可能になります。

3. ヒストグラム

ヒストグラムは、ビン分割（binning）を用いてデータ分布を近似する手法で、データ削減の代表的な形式として広く知られています。属性Aのヒストグラムでは、Aのデータ分布を互いに重複しない部分集合（バケット）に分割します。各バケットが単一の属性値と頻度のペアのみを表す場合、そのバケットは「シングルトンバケット」と呼ばれます。

4. クラスタリング

クラスタリングでは、データタプルをオブジェクトとして扱います。そして、オブジェクトをいくつかのグループ（クラスタ）に分割し、同じクラスタ内のオブジェクト同士は互いに「類似」しており、他のクラスタのオブジェクトとは「非類似」になるように構成します。この類似性は一般的に、距離関数に基づく空間上の「近さ」によって定義されます。

クラスタの品質は、「直径（diameter）」によって評価できます。直径とは、クラスタ内の任意の2つのオブジェクト間の最大距離のことです。また、別の指標として「重心距離（centroid distance）」もあります。これは、クラスタの重心（クラスタ領域における「平均的なオブジェクト」＝平均点）から各オブジェクトまでの平均距離として表されます。

5. サンプリング

サンプリングは、データ削減のアプローチとして活用できる手法です。膨大なデータセットを、それよりもはるかに小さい無作為サンプル（部分集合）によって表現できるため、効率的なデータ管理が実現できます。