データマイニングの歴史とは？定義からKDDプロセスまで徹底解説

データマイニングとは何か

データマイニングとは、統計や数学の手法を含むパターン認識技術を活用し、リポジトリに保存された大量のデータを精査することで、有用な新しい相関関係・パターン・トレンドを見つけ出すプロセスです。

具体的には、事実に基づくデータセットを分析し、予期していなかった関係性を発見すると同時に、データの保有者にとって論理的かつ有益な形でレコードを新たな方法で要約することを目的としています。

また、データベースの所有者が明確で有益な結果を得られるよう、当初は未知だった規則性や関連性を見出すために、膨大な情報を選択・探索・モデル化する一連の手順でもあります。

データサイエンスとの共通点と多様な手法

データマイニングはデータサイエンスとよく似ており、特定の目的を持った人が、特定の状況下で特定のデータセットに対して実行します。テキストマイニング、Webマイニング、音声・動画マイニング、画像データマイニング、ソーシャルメディアマイニングなど、多彩なサービスが含まれるのが特徴です。

実行には、シンプルなソフトウェアから高度に専門化された専用ツールまで、さまざまなアプリケーションが利用されます。

アウトソーシングによるメリット

データマイニングを外部委託（アウトソーシング）すれば、作業を迅速化しながら運用コストを抑えることができます。専門企業は最新技術を駆使して、手作業では発見が困難なデータまで蓄積・活用できます。

現在、複数のプラットフォーム上には膨大なデータが存在していますが、実際に活用できる知識はごく限られています。だからこそ、データマイニングの価値が高まっているのです。

多様な呼び名と活用してきた分野

データから有用なパターンを発見するこの手法には、「ナレッジ抽出」「データディスカバリー」「データハーベスティング」「データ考古学」「データパターン処理」など、さまざまな名称が付けられてきました。

これまでに統計学者、データアナリスト、そして経営情報システム（MIS）のコミュニティなどで幅広く活用され、近年ではデータベース分野においても人気が急速に高まっています。

KDDの誕生とデータマイニングの位置づけ

データベースからの知識発見（KDD：Knowledge Discovery in Databases）というプロセスは、1989年に開催された最初のKDDワークショップ（Piatetsky-Shapiro 1991）で提唱されました。「知識こそがデータ駆動型発見の最終成果物である」という考え方に基づいており、その後、人工知能（AI）や機械学習の分野でも広く普及しました。

KDDプロセスとデータマイニングの違い

KDDは、データから有用な知識を発見する一連のプロセス全体を指します。一方、データマイニングは、そのプロセスにおける特定のステップを意味します。つまりデータマイニングとは、データからパターンを抽出するための特定のアルゴリズムを適用することです。

この「KDDプロセス」と「プロセス内のデータマイニング工程」の違いこそが、本記事の中心的なポイントです。

さらに、KDDプロセスには以下のような重要なステップが含まれています。

・データ準備
・データ選択
・データクレンジング（前処理）
・適切な事前知識の組み込み
・マイニング結果の適切な分析

これらのステップは、データから本当に有用な知識を引き出すために不可欠です。

注意点：「データドレッジング」の危険性

データマイニング手法を無批判に適用することは危険です。統計学の文献では、このような行為は「データドレッジング（data dredging）」として正しく非難されています。

闇雲に分析を行うと、無意味で無効なパターンを簡単に「発見」してしまう恐れがあるため、適切な手順と検証が重要になります。