頻出アイテムセットのマイニングが困難なタスクである理由とは？

データマイニングとは、リポジトリに保存された大量のレコードを、統計的手法や数値的手法といったパターン認識技術を用いて分析し、有用な新しい相関関係・パターン・トレンドを発見するプロセスです。事実に基づくデータセットを分析することで、これまで気づかれていなかった関係性を明らかにし、データ所有者にとって論理的かつ有益な形で情報を要約します。

データマイニングは、膨大な量の情報を選択・探索・モデリングする一連の手続きであり、当初は未知であった規則性や関係性を発見し、データベースの所有者にとって明確で有益な結果を導き出すことを目的としています。

データマイニングはデータサイエンスとよく似ています。特定の状況下で、担当者が特定のデータセットに対して目的をもって実施するものであり、テキストマイニング、Webマイニング、音声・動画マイニング、記述的データマイニング、ソーシャルメディアマイニングなど、多彩な機能を含みます。シンプルなソフトウェアから高度に専門化されたものまで、さまざまなツールを通じて実行されます。

データマイニングをアウトソーシングすれば、低い運用コストですべての作業をより迅速に進められます。さらに、専門企業は最新技術を活用することで、手作業では発見が不可能なデータも保存・抽出できます。複数のプラットフォームには膨大なデータが存在する一方で、実際に活用できる知識はごく限られています。

最大の課題は、データを分析し、問題解決や企業の成長につながる本質的な情報を抽出することです。データをマイニングし、そこからより良い意思決定を引き出すための動的なツールや手法は数多く存在します。

頻出アイテムセットのマイニングが難しい理由

頻出アイテムセットのマイニングが複雑なタスクとなるのは、多次元空間における情報の希薄さ（スパース性）のため、低い抽象度のレベルではデータ項目間の強固な関連を見つけ出すことが困難だからです。

強い相関は、一般常識的な知識を表現できる高い概念レベルで発見されます。しかし、あるユーザーにとっての「常識」が、別のユーザーにとっては新鮮な知識に映ることもあります。そのため、データマイニングでは、複数の抽象レベルで相関ルールをマイニングできる可能性を提供し、抽象空間の間を柔軟に行き来できることが求められるのです。

頻出アイテムセットのマイニングが困難である主な理由は、以下の通りです。

• 計算量の爆発的な増大

  相関ルールを生成するために必要な計算量は、項目数や対象となるルールの複雑さに応じて指数関数的に増加します。

• 項目の扱い方の限界

  項目は、製品タイプなどの識別特性を除いて同一のものとして扱われますが、すべての問題がこの前提に当てはまるわけではありません。

• 適切な項目群の決定の難しさ

  最も難しいのは、分析に使用すべき適切な項目群を決定することです。項目を汎化することで、分析対象となる各項目の出現頻度をおおよそ同じ水準に揃えることができます。

• 稀な項目による障害

  ごく少数のトランザクションにしか出現しない稀な項目が存在する場合、相関ルールの生成は非常に困難になります。