メタルールとは?データマイニングでの活用方法と仕組みを徹底解説
データマイニングとは何か
データマイニングとは、リポジトリ(データ倉庫)に保存された膨大な量のデータを対象に、統計的手法や数学的手法といったパターン認識技術を用いて、有用な新しい相関関係・パターン・トレンドを発見するプロセスです。事実に基づくデータセットを分析することで、これまで気づかれていなかった関係性を明らかにし、レコードを論理的かつデータ保有者にとって有益な形で要約することを目指します。
データマイニングは、大量の情報を選択・探索・モデル化する一連の手続きであり、当初は未知であった規則性や関連性を発見して、データベースの所有者にとって明確で有益な結果を得ることを目的としています。
データサイエンスとの共通点と多様な手法
データマイニングはデータサイエンスとよく似ています。特定の状況下で、特定の目的をもって、特定のデータセットに対して人が実施するものだからです。この段階には、テキストマイニング、Webマイニング、音声・映像マイニング、画像データマイニング、ソーシャルメディアマイニングなど、さまざまな種類のサービスが含まれます。汎用的なソフトウェアから高度に専門化されたツールまで、用途に応じて多様なソフトウェアが活用されます。
メタルール(Metarules)の役割
メタルールを利用すると、ユーザーは自分がマイニングしたいルールの構文形式(シンタックス)を自由に定義できます。このルール形式は制約条件として機能するため、マイニング処理の効率と精度を大幅に向上させることが可能です。メタルールは、アナリストの持つデータに関する経験・期待・直感に基づいて手動で作成されることもあれば、データベーススキーマをもとに自動的に生成される場合もあります。
メタルールガイド型マイニングの実例:AllElectronicsの場合
メタルールによるガイド付きマイニング − ここで、あなたがAllElectronics社のマーケットアナリストであると想定してみましょう。顧客情報(年齢、住所、信用格付けなど)や顧客の取引履歴リストを含むデータへアクセスできる立場にあります。
顧客の属性と購入商品との間の相関関係を発見すること自体は可能ですが、これらの関係を反映したすべての相関ルールを網羅的に探すのは非効率です。そこで「どの顧客属性の組み合わせがオフィスソフトウェアの販売を促進するのか」だけに絞って調査したい、というのが典型的なケースです。
そのようなときに使えるメタルールの一例が次のとおりです。
P1(X, Y) ∧ P2(X, W) ⇒ buys(X, "office software")
ここで、P1 と P2 は述語変数であり、マイニング処理の中で指定されたデータベースの属性によって具体化(インスタンス化)されます。X は顧客を表す変数であり、Y と W はそれぞれ P1 と P2 に割り当てられた属性の値を受け取ります。
通常、ユーザーは P1 および P2 のインスタンス化に使用する属性のリストを自分で定義できますが、特に指定がない場合はデフォルトのセットが自動的に適用されます。
メタルールが形成する仮説と探索結果
メタルールは本質的に、ユーザーが知りたい、あるいは確認したいと考えている関係性についての仮説を表現するものです。データマイニングシステムは、このメタルールに適合するルールだけを効率的に探索します。たとえば、次のようなルールが見つかるかもしれません。
age(X, "30…39") ∧ income(X, "41K…60K") ⇒ buys(X, "office software")
これは「30〜39歳で年収41,000〜60,000ドル台の顧客は、オフィスソフトウェアを購入する傾向がある」という具体的な関係性を意味します。このようにメタルールを活用することで、無駄な探索を排除し、ユーザーが本当に必要とするビジネス知識だけを迅速かつ正確に抽出できるのです。
-
ウェブマイニングの3つの方法論とは?利用・構造・コンテンツマイニングを徹底解説
ウェブマイニングとは、機械学習(データマイニング)の手法をウェブ上のデータに適用し、知識を学習・導出することを目的とした技術です。ウェブマイニングの方法論は、大きく以下の3つの要素に分類できます。 1. Web利用マイニング(Web Usage Mining) Web利用マイニングは、Webページへのアクセスデータの集合を分析対象とするウェブマイニングの一種です。この利用データから、どのページがどのように閲覧されているかという傾向を読み取ることができます。 データは主にWebサーバーの接続ログ(アクセスログ)から自動的に収集されます。さらに、CGIスクリプトを通じて、リファラーログ、ユーザー
-
データマイニングにおけるメジャーの計算方法を解説!分布的・代数的・全体的の3分類
データマイニングやデータウェアハウスの分野では、メジャー(測定値)は使用される集計関数の種類に応じて、「分布的(distributive)」「代数的(algebraic)」「全体的(holistic)」という3つのカテゴリに分類されます。この分類を理解することは、大規模なデータキューブを効率的に計算するうえで非常に重要です。 分布的メジャー(Distributive Measure) 集計関数が「分布的」であるとは、データをn個の独立した部分集合(パーティション)に分割し、それぞれに対して関数を適用してn個の集計値を得た後、そのn個の集計値に関数を再度適用した結果が、データセット全体に一度だけ