KDD（データベースからの知識発見）とは？プロセスとデータマイニングの関係を解説

KDD（Knowledge Discovery in Databases）は、日本語で「データベースからの知識発見」と訳され、データの中から知識を発見するまでの一連の幅広いプロセスを指す概念です。単に特定のデータマイニング技術を実行するだけでなく、その技術をどのように高度に活用するかという視点が重視されています。

この分野は、人工知能、機械学習、パターン認識、データベース、統計学、エキスパートシステム向けの知識獲得、そしてデータ可視化など、多岐にわたる研究領域の研究者たちにとって重要な関心事となっています。

KDDプロセスの目的

KDDプロセスの主な目的は、大規模なデータベースに蓄積された情報の中から価値ある知識を抽出することです。具体的には、何が「知識」とみなされるのかを識別するために、データマイニングアルゴリズムを活用します。

データベースからの知識発見は、大規模なデータリポジトリに対する体系的かつ探索的な分析・モデリングとして捉えられており、大規模で複雑なデータセットから、有効で有用かつ理解可能なパターンを認識するための組織的なプロセスなのです。

「非自明なプロセス」であることの意味

KDDは、データの中から「有効」「新奇」「潜在的に有用」「最終的に理解可能」なパターンを識別する、非自明（non-trivial）な手続きと定義されます。「プロセスである」という表現は、KDDが複数のステップで構成されていることを示しており、具体的にはデータ準備、パターンの探索、知識の評価と洗練などが含まれ、これらは何度も反復して実行されます。

また、「非自明」とは、何らかの探索や推論が含まれることを意味します。つまり、数値の集合の平均値を計算するような、あらかじめ定義された量を求める単純な計算とは本質的に異なるのです。

データマイニングとの関係

データマイニングは、KDDプロセスの中核を担う要素です。レコードを調査し、モデルを構築し、これまで未知だったパターンを発見するアルゴリズムによる推論がここに該当します。構築されたモデルは、情報から知識を抽出するだけでなく、情報の分析や将来の予測にも活用されます。

データマイニングはKDDプロセスにおける一つのステップであり、許容可能な計算効率の制約のもとで、データに対して特定のパターン（またはモデル）を列挙するデータ分析および発見アルゴリズムの適用を含みます。

なお、パターンの空間はしばしば無限であるため、パターンの列挙にはこの空間内での何らかの探索が伴います。現実的な計算能力の制約により、データマイニングアルゴリズムが分析できる範囲には大きな限界が生じる点にも注意が必要です。

KDDプロセスの全体像

KDDプロセスは、おおむね以下の流れで構成されます。

まず、データベースを対象に、必要な選択、前処理、サブサンプリング、変換といった準備作業を行います。次に、データマイニング手法（アルゴリズム）を適用して、データからパターンを列挙します。最後に、データマイニングの出力結果を評価し、列挙されたパターンの中から知識とみなせるサブセットを識別します。

KDDプロセスにおけるデータマイニングの部分は、レコードからパターンを抽出・列挙するためのアルゴリズム的な手法に関わります。一方で、KDDプロセス全体には、マイニングによって得られたパターンの評価と解釈も含まれており、どのパターンを新しい知識として扱うべきかを判断するのです。