データマイニングにおけるサポート度と信頼度の重要性とは?
サポート度が重要視される理由
データマイニングにおいて、サポート度(Support)は非常に重要な評価指標です。その理由は、サポート度が極めて低いルールは、単なる偶然で発生している可能性が高いためです。さらにビジネスの観点から見ても、ユーザーがほとんど一緒に購入しない商品の組み合わせを対象にしても利益につながらないため、低サポート度のルールは実用的な価値が乏しいと言えます。
アソシエーションルールの基本概念
アソシエーションルール(相関ルール)とは、「X→Y」という形式で表される含意の記述であり、ここでXとYは互いに素な項目集合(X∩Y=∅)を指します。アソシエーションルールの強さは、そのサポート度と信頼度という2つの指標によって評価されます。
- サポート度: 特定のデータセットにおいて、そのルールがどの程度適用可能か(出現頻度)を決定します。
- 信頼度: Xを含むトランザクションの中で、Yの項目がどの程度の頻度で出現するかを決定します。
信頼度が示すもの
信頼度(Confidence)は、ルールから導かれる推論の正確さを測定する指標です。X→Yという形式のルールにおいて、信頼度が高いほど、Xを含むトランザクションにYが存在すると判断する妥当性が高まります。また、信頼度は「Xが与えられた条件下でのYの条件付き確率」の推定値としても活用できます。
相関分析を行う際の注意点
アソシエーション分析の結果は、必ず慎重に解釈しなければなりません。アソシエーションルールから得られる推論は、必ずしも因果関係を意味するわけではないためです。実際に示されているのは、ルールの前件(antecedent)と後件(consequent)に含まれる要素間の強い共起関係にすぎません。真の因果関係を把握するには、データ内の原因と結果の属性に関する知識が必要であり、通常は時間の経過とともに現れる関係性の分析も求められます。
アソシエーションルールマイニングの問題定義
アソシエーションルールマイニングの問題は、次のように定式化できます。
アソシエーションルールの発見: トランザクションの集合Tが与えられたとき、サポート度≥minsup(最小サポート閾値)かつ信頼度≥minconf(最小信頼度閾値)を満たすルールをすべて発見する。
総当たり法の課題
アソシエーションルールを抽出する最も単純な方法は、考えられるすべてのルールに対してサポート度と信頼度を計算する総当たり(ブルートフォース)法です。しかしながら、データセットから導出可能なルールの数は指数関数的に増加するため、この手法は計算コストが膨大になり、現実的ではありません。
効率化のための基本的な工夫
アルゴリズムの性能を向上させる最初の工夫は、サポート度と信頼度の要件を分離することです。たとえば、ある項目集合が非頻出である場合、信頼度を計算することなく、そこから生成される候補ルール(3項目の項目集合なら6個)をすべて剪定(プルーニング)できます。
このような背景から、多くのアソシエーションルールマイニングアルゴリズムでは、問題を次の2つの主要なサブタスクに分解する戦略が採用されています。
1. 頻出項目集合の生成
目的は、指定された閾値以上のサポート度を持つ項目集合をすべて発見することです。これらの項目集合は「頻出項目集合(frequent itemsets)」と呼ばれます。
2. ルール生成
目的は、前段階で発見した頻出項目集合から、高信頼度のルールをすべて抽出することです。これらのルールは「強ルール(strong rules)」と呼ばれます。なお、計算コストの観点では、頻出項目集合の生成の方がルール生成よりも負荷が大きくなる傾向があります。
-
ZFSスナップショットとクローンの使い方を徹底解説!基本コマンドから活用シーンまで
ストレージデバイスにZFSを採用することに決めたなら、おめでとうございます。あなたは今、世界でも最も高機能で洗練されたファイルシステムの一つを使うことになります。家族写真や動画など、長期保存したい大切なデータがあるなら、ZFSは真剣に検討する価値のある選択肢です。 例えば4台のHDDによるミラー構成のような冗長化セットアップでは、ビットロット(経年劣化によるデータ破損)やストレージの劣化、コンピュータのエラーなどによって、データが1ビットも失われることはありません。ZFSは自己修復機能を備え、データを自動的に復旧できます。複雑なアルゴリズム、ハッシュ、マークルツリーによって、常にデータ整合性
-
Windowsサンドボックスの使い方と活用メリットを徹底解説
Windows 10の2019年5月アップデート(ビルド1903)には、注目すべき新機能が搭載されました。その名は「Windowsサンドボックス」。主に上級者向けの機能ですが、日常的なさまざまなタスクの安全性を高めることにも役立ちます。数秒でメインマシンから完全に切り離された隔離環境のWindowsを起動でき、セッションを終了するとその環境は自動的に破棄されます。Windowsサンドボックスが解決する課題サンドボックスは、Windowsの長年の悩みの種だった「ソフトウェアのインストールが不透明で、気づけばシステムを壊している」という問題についに決着をつけました。使い捨て前提の環境でさまざまなソ