プログラミング
 Computer >> コンピューター >  >> プログラミング >> プログラミング

データマイニングのタスクとは?定義に必要な5つのプリミティブを解説

データマイニングとは

データマイニングとは、統計学や数学の手法を含むパターン認識技術を活用し、データベースやリポジトリに蓄積された大量のデータの中から、有用な新しい相関関係・パターン・トレンドを発見するプロセスです。

具体的には、実際のデータセットを分析して一見気づきにくい関係性を明らかにするとともに、データの所有者にとって論理的かつ実用的な形でレコードを要約することを目指します。

データマイニングタスクの定義方法

データマイニングのタスクは、データマイニングシステムへの入力となる「データマイニングクエリ」を設計する形で定義されます。このクエリは、「データマイニングタスクプリミティブ」と呼ばれる基本要素によって記述されます。

これらのプリミティブを利用することで、ユーザーは知識発見の過程でシステムと柔軟に対話でき、マイニング処理の方向性を指示したり、得られた結果を多様な視点や深さから検証したりすることが可能になります。

データマイニングタスクを構成する5つの要素

1. マイニング対象となる関連データの指定

ユーザーが関心を持つデータベースの一部、またはデータセットの範囲を定義するものです。対象となるデータベースの属性やデータウェアハウスのディメンション(次元)を特定します。これらは「関連属性」または「関連ディメンション」と呼ばれます。

2. 発見すべき知識の種類

実行するデータマイニング機能の種類を定義します。具体的には、特性付け(characterization)、識別(discrimination)、相関・連関分析、分類(classification)、予測(prediction)、クラスタリング、外れ値分析、進化分析などが含まれます。

3. 発見プロセスで使用する背景知識

マイニング対象ドメインに関する知識は、知識発見プロセスの方向づけや、発見されたパターンの評価に役立ちます。代表的な背景知識として「概念階層(concept hierarchy)」が挙げられ、これにより複数の抽象化レベルでデータをマイニングできるようになります。

4. パターン評価のための興味深さ尺度と閾値

興味深さ尺度(interestingness measures)は、マイニングプロセスの指針として活用できるほか、発見後のパターン評価にも利用できます。なお、知識の種類によって適切な評価尺度は異なる点に注意が必要です。

5. 発見されたパターンの可視化表現

発見されたパターンをどのような形式で提示するかを定義します。ルール、表、チャート、グラフ、決定木、キューブなど、多彩な表現形式が利用可能です。

データマイニングクエリ言語の役割と課題

これらのプリミティブを組み込んだデータマイニングクエリ言語を設計すれば、ユーザーはデータマイニングシステムと柔軟に対話できるようになります。さらに、そのようなクエリ言語は、使いやすいグラフィカルインターフェースを構築する基盤にもなり、他の情報システムとの連携や、データ処理環境全体への統合を促進します。

一方で、包括的なデータマイニング言語の設計は決して容易ではありません。データマイニングは、データの特性付けから進化分析まで幅広い機能をカバーしており、それぞれのタスクが異なる要件を持つためです。効果的なクエリ言語を設計するには、各種データマイニングタスクの能力、限界、そして基盤となる構造についての深い理解が不可欠となります。

  1. 時間的データマイニング(Temporal Data Mining)とは?基本概念と主なタスクを解説

    時間的データマイニングとは時間的データマイニング(Temporal Data Mining)とは、大規模な時間データ(時系列データ)の集合から、自明ではない暗黙的な情報、そして潜在的に重要な知識を抽出するプロセスを指します。時間データは主に数値などの基本的なデータ型からなる系列であり、これらのデータから有益な知識を導き出すことを目的としています。時間的データマイニングの目的は、機械学習、統計学、データベース技術などのさまざまな手法を活用し、高度な順序データの中から時間的なパターン、予期しないトレンド、あるいは隠れた相関関係を発見することにあります。ここでいう順序データには、アルファベットからな

  2. データマイニングの理論的基礎とは?代表的な6つの理論を徹底解説

    はじめにデータマイニングは、大量のデータから有用な知識やパターンを抽出する技術ですが、その背後には複数の理論的基盤が存在します。本記事では、データマイニングの基礎となる代表的な理論を6つの観点からわかりやすく解説します。1. データ削減(Data Reduction)この理論では、データマイニングの本質は「データ表現の削減」にあると考えます。巨大なデータベースへの問い合わせに対して高速におおよその回答を得る必要があるため、厳密な確実性をある程度犠牲にしてでも、応答速度を優先するという考え方です。具体的な手法としては、特異値分解(主成分分析の中核を担う技術)、ウェーブレット、回帰分析、対数線形モ