データクリーニングとは？欠損値・ノイズ・不整合データへの対処法を解説

データクリーニング（データクレンジング）とは、欠損値の補完、ノイズを含むデータの平滑化、外れ値の分析と除去、データ内の不整合の解消などを行い、データをきれいな状態に整えるプロセスを指します。

たとえば、粒度の異なる複数レベルのデータが、実際に必要な形式と一致しないケースがあります。分析には「20〜30歳」「30〜40歳」「40〜50歳」といった年齢区分が必要なのに、取り込んだデータには生年月日しか含まれていない、といった状況です。このような場合、データを適切な型や区分へ分割することで、利用可能な形に整形できます。

データクリーニングの種類

データクリーニングは、主に以下の3つのカテゴリに分けて考えることができます。

1. 欠損値（Missing Values）への対応

欠損値は、適切な値で補完する必要があります。代表的なアプローチは次の通りです。

• 多くの属性に欠損値を含むレコード（タプル）は、無視する。
• 欠損値を手作業で入力して補完する。
• 共通のグローバル定数で補完する。
• 該当する属性の平均値で補完する。
• 最も可能性の高い値（最尤値）で補完する。

2. ノイズを含むデータ（Noisy Data）への対応

ノイズとは、測定された変数に含まれるランダムな誤差やばらつきのことです。ノイズに対処するための主な平滑化手法は以下の通りです。

• ビニング（Binning）：ソート済みのデータ値を、その「近傍」、すなわちノイズを含む値の周辺にある値を参照しながら平滑化する手法です。整列された値は複数のバケット（ビン）に分配されます。近傍の値を参照する仕組みのため、局所的な平滑化を実現できます。
• 回帰（Regression）：データを関数に当てはめることで平滑化します。線形回帰では、2つの属性（変数）に最もよく適合する「最良」の直線を見つけ、一方の属性からもう一方を予測できるようにします。重回帰分析は線形回帰の発展形であり、3つ以上の属性を扱い、データを多次元空間へ適合させます。
• クラスタリング（Clustering）：外れ値の検出に役立ちます。類似した値をクラスタにまとめ、クラスタの外側に位置する値を外れ値として識別します。
• コンピュータと人間による組み合わせ検査：コンピュータによる自動検出と人間による確認を組み合わせることで、外れ値を特定することもできます。外れ値のパターンには、意味のあるものと単なるゴミ（無意味なデータ）があり、注目に値するパターンはリストとして出力し、人間が判断します。

3. 不整合データ（Inconsistent Data）への対応

不整合は、さまざまなトランザクションでの記録、データ入力時のミス、あるいは複数のデータベースから情報を統合する際に発生することがあります。一部の冗長性は相関分析によって検出できます。また、複数ソースからのデータを正確かつ適切に統合することで、冗長性を減らし、未然に防ぐことが可能です。