プログラミング

データ前処理の主要な4つのステップデータマイニングや機械学習で高品質な分析結果を得るためには、事前のデータ前処理が不可欠です。データ前処理は、大きく分けて「データクリーニング」「データ統合」「データ削減」「データ変換」という4つのステップで構成されます。それぞれの内容を詳しく見ていきましょう。1. データクリーニング（Data Cleaning）データクリーニングは、欠損値の補完、ノイズの平滑化、外れ値の検出・除去、矛盾の解消といった作業を通じて、データを「きれい」な状態に整えるプロセスです。ユーザーがデータの品質に問題があると認識していれば、そのデータを用いたデータマイニングの結果を信頼する

シーケンシャルパターンマイニングとはシーケンシャルパターンマイニング（逐次パターンマイニング）とは、データの中から頻繁に出現する一連のイベントや部分列をパターンとして抽出するデータマイニング手法です。典型的な例としては、「キヤノンのデジタルカメラを購入したユーザーは、1ヶ月以内にHPのカラープリンターを購入する傾向がある」といった購買パターンの発見が挙げられます。シーケンシャルパターンの主な活用分野小売業のデータ分析においては、シーケンシャルパターンは商品の棚配置の最適化やプロモーション施策の立案に役立ちます。小売業にとどまらず、通信業界をはじめとするさまざまな業界でも、ターゲットマーケティン

GSP（一般化逐次パターン）とはGSPは「Generalised Sequential Patterns（一般化逐次パターン）」の略で、1996年にSrikantとAgrawalによって提案された逐次パターンマイニング手法です。両氏が以前に発表した、頻出アイテムセットマイニングの代表的アルゴリズムである「Apriori」を、系列データへと拡張したものにあたります。GSPは逐次パターンが持つ下向き閉包性（Apriori特性）を利用し、データベースを複数回走査しながら「候補生成→支持度検証」という手順で頻出パターンを段階的に絞り込んでいく方式を採用しています。GSPアルゴリズムの流れ第1回目の走査

配列アラインメント（整列）は、すべての生物が進化によってつながっているという事実に基づいた手法です。進化系統樹上で近い関係にある種ほど、ヌクレオチド（DNA・RNA）やタンパク質の配列に高い類似性が見られることを利用しています。 アラインメントとは何か アラインメントとは、配列同士を並べ、一致度を最大限に高めるように整列させる作業のことです。この作業によって、配列間の類似度を定量的に評価できます。共通の祖先を持つ2つの配列は「相同（ホモロガス）」であると呼ばれます。 配列アラインメントで得られる類似度は、2つの配列間に相同性があるかどうかを判断する重要な手がかりとなります。さらに、この情報をも

BLASTアルゴリズムの概要BLAST（Basic Local Alignment Search Tool）は、1990年頃にAltschul、Gish、Millerらによって、米国国立生物工学情報センター（NCBI）で開発されたアルゴリズムです。塩基配列やアミノ酸配列の間の機能的・進化的な関係を導き出すために用いられ、遺伝子ファミリーのメンバーを同定する際にも役立ちます。NCBIが提供するBLASTデータベースNCBIのウェブサイトでは、複数の一般的なBLASTデータベースが公開されており、内容に応じて核酸データベースとタンパク質データベースに分類されています。さらにNCBIは、ベクター配列

タプルID伝播の基本概念タプルID伝播（Tuple ID Propagation）は、仮想結合を実現するための手法であり、マルチリレーショナル分類の効率を大幅に向上させます。リレーション同士を物理的に結合する代わりに、対象リレーションのタプルIDを非対象リレーションのタプルに接続することで、複数のリレーションを仮想的に組み合わせるのが特徴です。タプルID伝播の利点この手法では、実際に物理結合を実行した場合と同じように述語を計算できます。IDは2つのリレーション間で容易に伝播できるため、必要なデータ転送量とストレージ容量がわずかで済み、柔軟性と効率性に優れています。その結果、複数のリレーションに

マルチリレーショナルクラスタリング（多関係クラスタリング）とは、複数のリレーションに格納されたデータを活用し、データオブジェクト同士の類似性に基づいてクラスタへ分割する手法です。CrossClusは「ユーザガイダンス付きクロスリレーショナルクラスタリング」を意味します。これは、ユーザからの指示をクラスタリングにどう活用するかを分析するとともに、物理的な結合（ジョイン）を回避するためのタプルID伝播という技術を用いる、マルチリレーショナルクラスタリングのアルゴリズムです。マルチリレーショナルクラスタリングの主な課題マルチリレーショナルクラスタリングにおける最大の課題は、複数のリレーションに多数の

集合値属性の一般化とは集合値属性には、同種（ホモジニアス）な型と異種（ヘテロジニアス）な型の2種類があります。一般的に、集合値情報は以下のような方法で一般化できます。各値を上位概念へ一般化する：集合内のすべての値を、それに対応するより高レベルの概念に置き換えます。集合の典型的な振る舞いを導出する：集合に含まれる要素数、要素の型や値の範囲、統計データにおける加重平均、あるいは集合が形成する主要なクラスタなどを求めます。複数の一般化オペレータを組み合わせる：いくつかの一般化オペレータを使用して代替的な一般化パスを分析します。この方法では、一般化の結果として異種集合が得られます。具体例例えば、ある人

統計的空間データ分析は、空間データの探索や地理データの解析において長年にわたり活用されてきた代表的な手法です。この分野では、「地理統計学（geostatistics）」という用語が連続的な地理空間に関連付けられる一方、「空間統計学（spatial statistics）」という用語は離散的な空間に関連付けられています。 非空間データとの決定的な違い：空間的自己相関 非空間データを扱う統計モデルでは、一般にデータ領域同士の統計的な独立性が仮定されます。しかし、従来のデータセットとは異なり、空間的に分布するデータにはこうした独立性は存在しません。現実には、空間オブジェクトは互いに関連し合っており

オンライン上には膨大な数の文書ファイルが存在しており、それらを自動的にカテゴリへ整理する「自動ドキュメント分類」は、テキストマイニングにおける不可欠な技術となっています。文書検索やその後の分析を効率的に支えるためには、大量の記録を自動で分類できることが極めて重要です。自動ドキュメント分類の主な活用例ドキュメント分類は、以下のような場面で幅広く活用されています。・自動トピックタグ付け：文書に対して適切なラベル（タグ）を割り当てる処理・トピックディレクトリの構築：文書群をテーマ別に整理した階層構造を作成・文体の識別：文書の執筆スタイルの判別・ハイパーリンクの目的定義：一連の文書に関連するリンクの意

ドキュメントクラスタリング（文書クラスタリング）とは、教師なし学習の枠組みで大量の文書ファイルを自動的に整理・分類する重要な技術です。文書を単語の出現頻度などからなるタームベクトル（項目ベクトル）として表現すれば、さまざまなクラスタリング手法を適用できます。ただし、文書空間は数百から数千にも及ぶ非常に高い次元数を持つのが特徴です。このような高次元データでは「次元の呪い」と呼ばれる問題が生じるため、まず文書を低次元の部分空間へ射影し、文書空間の意味構造を明確にしてからクラスタリングを行うのが効果的です。低次元化された意味空間上では、従来型のクラスタリングアルゴリズムをそのまま活用できます。ドキュ

統計パラメータを用いたクエリ応答の基本的な流れ統計パラメータは、トップダウン型のグリッドベースアプローチにおいて、以下のような手順で活用されます。まず、クエリ応答処理を開始する階層構造内のレイヤー（層）を決定します。この層には通常、少数のセルのみが含まれています。現在の層にある各セルについて、与えられたクエリに対するそのセルの関連性を反映した信頼区間（確率の推定範囲）を計算します。上位レベルのセルの統計パラメータは、下位レベルのセルのパラメータから容易に算出できます。これらのパラメータには、属性に依存しないパラメータである「カウント（count）」、属性に依存するパラメータである「平均（mea

COBWEBの基本的な仕組みCOBWEBは、オブジェクトを分類木（classification tree）へ段階的に追加していく増分クラスタリング手法です。COBWEBは木を適切な経路に沿って下降しながら、途中でカウント値を更新し、オブジェクトを分類するのに最も適したノード、すなわち「最良ホスト（best host）」を探索します。この判断は、オブジェクトを一時的に各ノードに配置し、その結果得られる分割の「カテゴリユーティリティ（category utility）」を計算することによって行われます。最も高いカテゴリユーティリティをもたらす配置こそが、そのオブジェクトにとっての最良ホストとなりま

CLIQUEアルゴリズムの概要CLIQUE（CLustering In QUEst）は、高次元空間における次元成長型部分空間クラスタリング（dimension-growth subspace clustering）向けに提案された最初のアルゴリズムです。次元成長型部分空間クラスタリングでは、クラスタリング処理が1次元の部分空間から開始され、より高次元の部分空間へと段階的に拡張されていきます。CLIQUEは各次元をグリッド構造のように分割し、セルに含まれるデータポイントの数に基づいて、そのセルが「密（dense）」であるかどうかを判定します。このため、CLIQUEは密度ベースのクラスタリング手法

PROCLUS（Projected Clustering／射影クラスタリング）は、代表的な次元削減型サブスペースクラスタリング手法の一つです。個々の低次元空間から探索を始めるのではなく、まず高次元属性空間におけるクラスタの大まかな近似を見つけるところから処理を開始するのが特徴です。重み付けによる反復的なクラスタ更新各次元にはクラスタごとに重みが割り当てられ、更新された重みは次の反復でクラスタを再構築するために使用されます。この仕組みにより、適切な次元数を持つすべてのサブスペース内の密な領域を効率的に探索でき、低い次元の射影空間で大量の重複クラスタが生成されるのを防ぐことができます。CLARAN

障害物を考慮したクラスタリングの課題データ集合とクラスタ中心との距離を最小化できるという点で、分割型クラスタリング手法は理想的です。しかし、k-means法を採用した場合、障害物の存在によってクラスタ中心を適切な位置に配置できないという問題が生じます。例えば、クラスタ中心が湖の中央に置かれてしまうようなケースが考えられます。そこで有効なのがk-medoids法です。この手法では、クラスタ内に実際に存在するオブジェクトを中心（medoid）として選択するため、こうした問題の発生を防ぐことができます。距離再計算の必要性と幾何学的計算新しいmedoidが選ばれるたびに、各オブジェクトと新しく選択され

シーケンシャル例外テクニックの概要シーケンシャル例外テクニック（Sequential Exception Technique：逐次例外法）は、人間が「同種とみなされる一連のオブジェクトの中から異常なものを見分ける」プロセスを模倣した外れ値検出の手法です。データに内在する冗長性（暗黙的冗長性）を活かして異常を検出できる点が大きな特徴です。サブセット列の構築n 個のオブジェクトからなるデータセット D が与えられると、まず 2 ≤ m ≤ n を満たすような部分集合の列 {D1, D2, ..., Dm} を構築します。各部分集合は次の包含関係を満たします。$$\mathrm{D_{j&minus

ランダム化アルゴリズムとはランダム化アルゴリズムは、ランダムサンプリングやスケッチングといった手法の形で、大規模かつ高次元のデータストリームを扱うために活用されています。ランダム性を取り入れることで、既存の決定論的アルゴリズムと比べて、よりシンプルかつ効率的なアルゴリズムを実現できる点が大きな特徴です。ラスベガス型とモンテカルロ型ランダム化アルゴリズムには大きく分けて2つのタイプがあります。常に正しい答えを返すものの実行時間が変動するアルゴリズムはラスベガス型と呼ばれます。一方、モンテカルロ型は実行時間に上限が定められている代わりに、必ずしも正しい結果を保証できないという特性を持ちます。実際の

Lossy Countingアルゴリズムの概要 Lossy Countingは、大量のデータストリームから頻出アイテムを近似的に検出するための有名なアルゴリズムです。ユーザーは2つの入力パラメータを指定します。1つは最小サポート閾値σ（シグマ）、もう1つは許容誤差の上限ε（イプシロン）です。理論上、入力ストリームは幅 w = ⌈1/ε⌉ のバケットに分割されて処理されます。 データ構造：頻度リスト Nを現在のストリーム長、つまりそれまでに処理済みのアイテム総数とします。このアルゴリズムでは、頻度が0より大きいすべての要素を管理するために「頻度リスト」というデータ構造を使用します。各アイテムの

データストリームクラスタリングとはデータストリームクラスタリングとは、電話データ、マルチメディアデータ、金融取引データなど、継続的に発生し続けるデータをクラスタリングする手法を指します。一般的にはストリーミングアルゴリズムとして扱われ、その目的は、与えられた一連の点列に対して、できるだけ少ないメモリと短い処理時間で、最適なクラスタリング結果を得ることにあります。こうしたデータを類似性に基づいて自動的にグループ分けしたいというニーズを持つアプリケーションは数多く存在します。具体例としては、Web侵入検知システム、Webクリックストリームの分析、株式市場の分析などが挙げられます。静的なデータセット