プログラミング

グリッドベースクラスタリングの概要グリッドベースのクラスタリング手法は、マルチ解像度（マルチレゾリューション）のグリッドデータ構造を活用します。この手法では、対象となる領域を有限個のセルに量子化し、それらのセルがグリッド構造を形成します。クラスタリングに関するすべての処理は、このグリッド構造上で実行されます。この手法の最大の利点は処理速度の速さです。処理時間はデータオブジェクトの数にはほとんど依存せず、量子化された空間における各次元のセル数のみに依存します。そのため、大規模なデータセットに対しても効率的に動作します。グリッドベースクラスタリングでは、マルチ解像度のグリッドデータ構造を用い、密度

進化的テクノロジー（ET）とは進化的アルゴリズムとは、生物の振る舞いを模倣するプロセスを用いて問題を解決する、進化型AIベースのコンピュータソフトウェアです。そのため、生殖、突然変異、組み換えといった、生物学的進化に関連するメカニズムが必要となります。データ抽出・変換ツールの代表例として挙げられるのが、Evolutionary Technologies社が提供する「ETL-EXTRACTツールスイート」です。抽出（Extract）とは、データウェアハウス環境における後続処理に備えて、ソースシステムから情報を取り出す処理を指し、ETLプロセスの最初のステップにあたります。抽出後、データは変換され

MBR（Memory-Based Reasoning：記憶ベース推論）は、いくつかの重要な構成要素から成り立っています。ここでは、それぞれの要素と選択のポイントを詳しく見ていきましょう。訓練セットの選択訓練セットには、この目的のためにニュース検索サービスから提供された49,652件のニュース記事が使用されました。これらの記事は約3か月分のニュースから収集され、ほぼ100の多様な情報源に由来しています。各記事は平均2,700語で構成され、8つの分類コードが割り当てられていました。訓練セットは特別に調整されたものではなかったため、コードの出現頻度には大きなばらつきがあり、実際のニュース記事全体にお

データマイニングとはデータマイニングとは、リポジトリに保存された膨大なデータを対象に、統計学や数学の手法を含むパターン認識技術を用いて解析を行い、有用な新たな相関関係・パターン・トレンドを発見するプロセスです。事実に基づくデータセットを分析することで、これまで気づかれていなかった関係性を見つけ出し、データの所有者にとって論理的かつ有益な形でレコードを要約することを目指します。学際的な分野としてのデータマイニングデータマイニングは学際的な分野であり、データベースシステム、統計学、機械学習、可視化、データサイエンスといった複数の専門分野の集合体です。採用するアプローチによっては、ニューラルネットワ

距離関数とは？ 距離関数（distance function）は、MBR（Memory-Based Reasoning／メモリベース推論）がデータ間の類似度を計算する際に用いる基本的な仕組みです。数学的に「真の距離計量」と呼ばれるものにおいて、点Aから点Bまでの距離 d(A,B) は、次の4つの性質を満たします。 距離計量が満たす4つの基本性質 明確性（Well-defined） ― 任意の2点間の距離は常に定義され、非負の実数として与えられます。すなわち d(A,B) ≥ 0 です。 同一性（Identity） ― ある点からその点自身への距離は常にゼロになります。すなわち d(A,A)

データマイニングとはデータマイニングは「データからの知識発見（Knowledge Discovery in Data）」とも定義される手法で、膨大なデータ（特に構造化データ）の中から異常値、相関関係、傾向、パターンなどを識別し、従来の分析では見逃されがちな、ビジネスの意思決定に役立つインサイトを抽出します。複雑な数理アルゴリズムを用いて、これまで見過ごされていたり未知だったりする事実やデータを発見することを目的としています。データサイエンスとの類似点とサービスの種類データマイニングはデータサイエンスとよく似ています。特定の目的のもと、担当者が特定の状況で特定のデータセットに対して実施するもので

協調フィルタリングとは協調フィルタリング（Collaborative Filtering）は、メモリベース推論の一種であり、パーソナライズされたレコメンデーションを支援する用途に特に適した手法です。協調フィルタリングシステムは、ユーザーの嗜好に関する履歴データを出発点とします。距離関数は嗜好の重なり具合に基づいて類似度を判定し、「同じものを好きなユーザー同士は互いに近い存在である」とみなします。さらに、評価（投票）は距離によって重み付けされるため、自分に近い類似ユーザーの評価ほど、推薦結果に大きな影響力を持ちます。言い換えれば、同じ嗜好を持つ仲間集団（ピアグループ）の判断を活用することで、特定

データマイニングとはデータマイニングとは、大量のデータを選択・探索・モデル化するプロセスであり、当初は未知だった規則性や相関関係を発見し、データベースの所有者にとって明確で有益な結果を得ることを目的としています。データマイニングは学際的な分野であり、データベースシステム、統計学、機械学習、可視化、データサイエンスなど、複数の分野の知見を組み合わせて成り立っています。採用される手法に応じて、ニューラルネットワーク、ファジィ理論・ラフ集合理論、知識表現、帰納論理プログラミング、ハイパフォーマンスコンピューティングなど、他分野のアプローチも活用されます。また、マイニング対象のデータ種別や応用分野によ

アソシエーションルール学習とはアソシエーションルール学習（相関ルール学習）は、教師なし学習の一種であり、あるデータ要素が別のデータ要素にどの程度依存しているかを検証し、より効果的な分析を可能にする手法です。データセット内の変数間に潜む興味深い関係性を発見することを目的とし、複数のルールに基づいてデータベース内の変数同士の関連性を見つけ出します。アソシエーションルール学習は機械学習における重要な手法で、マーケットバスケット分析、Web利用マイニング、連続生産など、幅広い分野で活用されています。特にマーケットバスケット分析では、大手小売業者が商品間の関係を把握するために広く採用している手法です。ア

KDD（データベースからの知識発見）とはKDDは「Knowledge Discovery in Databases（データベースからの知識発見）」の略称で、データの中から知識を発見する一連の広範なプロセスを定義する概念です。データマイニングという具体的な手法を、より高い視点から活用することを重視しています。この分野は、人工知能、機械学習、パターン認識、データベース、統計学、専門家システムのための知識獲得、データ可視化など、多くの研究分野から注目を集めています。KDDプロセスの主な目的KDDプロセスの主な目的は、大規模なデータベースの中から有用な知識を抽出することです。これを実現するために、デー

マーケットバスケット分析とはマーケットバスケット分析（Market Basket Analysis）は、単一の分析手法を指すものではなく、POS（販売時点情報管理）のトランザクションデータを理解するための一連のビジネス課題を表す概念です。マーケットバスケットデータとは、ユーザー、注文（購入・バスケットとも呼ばれ、学術論文では「アイテムセット」と表記されることもあります）、そしてアイテムという、性質の異なる3つのエンティティを表すトランザクションデータのことです。マーケットバスケットデータの構成要素注文（Order）注文は、マーケットバスケットデータの中核となるデータ構造であり、ユーザーによる1

ビットコインウォレットとはビットコインウォレットは、ビットコインを送受信するためのデジタルウォレットです。物理的な財布に似ていますが、現金そのものを保管するのではなく、ビットコインアドレスにアクセスして取引を行うための暗号データを保存します。また、ビットコイン以外の複数の暗号資産（仮想通貨）に対応できるウォレットも多く存在します。ここでは、主なビットコインウォレットの種類を5つに分けて解説します。1. デスクトップウォレットデスクトップウォレットは、デスクトップPCやノートPCにインストールして使用するタイプのウォレットで、ユーザー自身がウォレットを完全にコントロールできるのが最大の特徴です。

OrangeデータマイニングとはOrangeは、標準的および非標準的な機械学習・データマイニングアルゴリズムを多数含むC++コアのオブジェクトとルーチンライブラリを基盤とした、オープンソースのデータビジュアライゼーション、データマイニング、機械学習ツールです。Orangeでは、最新のアルゴリズムや実験デザインを迅速にプロトタイピングできるスクリプト環境が提供されています。中核ライブラリの上には、Pythonベースのモジュール群が配置されており、処理速度がそれほど重要でない機能についてはPythonで実装されています。具体的な機能としては、決定木の整形表示、バギングやブースティング、属性サブセッ

回帰（Regression）とは回帰とは、連続値を持つあらゆる属性を予測するために用いられる教師あり機械学習手法の一種です。回帰を活用することで、企業は目的変数と説明変数（予測子変数）の関係性を分析できます。データ探索に欠かせない重要なツールであり、財務予測や時系列モデリングにも広く利用されています。データの平滑化と線形回帰の基本回帰のようにデータを関数へ当てはめることで、データを平滑化することができます。線形回帰では、2つの属性（変数）に最も適合する「最良」の直線を見つけ出し、一方の属性を使ってもう一方の属性を予測できるようにします。さらに、重回帰は線形回帰の発展形であり、3つ以上の属性を扱

回帰分析とは回帰（Regression）とは、連続値を持つ属性（目的変数）を予測するために用いられる教師あり機械学習手法の一種です。回帰分析を活用することで、企業は目的変数と説明変数（予測変数）の関係性を明らかにすることができます。また、回帰はデータ探索のための重要なツールであり、売上や需要などの金銭的な予測（ファイナンス予測）や、時系列モデリングにも広く活用されています。回帰分析にはさまざまな種類があります。本記事では、代表的な以下の5つの手法について詳しく解説します。線形回帰（Linear Regression）多項式回帰（Polynomial Regression）ロジスティック回帰（L

回帰（Regression）とは回帰は、連続的な数値を持つ属性（目的変数）を予測するために用いられる教師あり機械学習手法の一種です。企業が目的変数と説明変数（予測変数）の関係性を分析する際に役立ち、売上予測や時系列モデリングなど、データ探索に欠かせないツールとして広く活用されています。回帰では、データを関数に当てはめることで平滑化を行います。中でも基本的なのが線形回帰であり、2つの属性（変数）に対して最もよく当てはまる「最適な」直線を見つけ出し、一方の属性の値からもう一方の属性を予測します。さらに、3つ以上の属性を扱い、データを多次元空間に当てはめる重回帰分析へと拡張することも可能です。線形回

CART（Classification and Regression Trees：分類回帰木）は、1984年にLeo Breiman、Jerome Friedman、Richard Olshen、Charles Stoneの4人によって発表された、有名な決定木アルゴリズムです。CARTは二分木を構築し、純度をさらに高められる新しい分割が見つかる限り、分割を繰り返していきます。なぜプルーニング（枝刈り）が必要なのか分割を繰り返して成長させた決定木は、訓練データに過剰に適合する「過学習（オーバーフィッティング）」を起こしやすくなります。そこで重要になるのがプルーニングです。より単純な部分木はそれぞ

C5アルゴリズムの概要C5は、オーストラリアの研究者J. Ross Quinlan（J・ロス・クインラン）氏が長年にわたり開発・改良を続けている決定木アルゴリズムの最新バージョンです。その前身にあたるID3は1986年に発表され、機械学習分野に大きな影響を与えました。その後継アルゴリズムは、現在でも多くの商用データマイニングサービスで採用されています。CARTとの共通点とプルーニングの仕組みC5が生成する決定木は、CART（分類回帰木）が生成するものと基本的に同じです。CARTと同様に、C5はまず過学習（オーバーフィッティング）した木を構築し、その後、剪定（プルーニング）を行うことで、より汎化

フィードフォワードニューラルネットワーク（Feed-forward Neural Network、順伝播型ニューラルネットワーク）は、信号が入力から出力への一方向にのみ伝わるニューラルネットワークです。ある層の出力がその同じ層に影響を及ぼすようなフィードバック（ループ）は存在しません。この種のネットワークは比較的シンプルな構造を持ち、入力と出力を関連付ける役割を果たします。パターン認識などの用途に活用でき、その構成はボトムアップ型またはトップダウン型として表現されます。隠れ層の仕組み隠れ層の各ユニットは、通常、入力層のすべてのユニットと完全に接続されています。標準的なユニットを用いる場合、隠れ

ニューラルネットワークとはニューラルネットワークとは、人間の脳の働き方を模倣するプロセスを通じて、データセットの中に潜む基本的な関係性を発見しようとする一連のアルゴリズムです。このアプローチでは、ニューラルネットワークは生物学的あるいは人工的なニューロン（神経細胞）のシステムを表現します。ニューラルネットワークは、脳の認知システムや神経機能における（仮説上の）学習プロセスをモデル化した分析手法であり、既存のデータに対して「学習」と呼ばれるプロセスを実行した後、他の観測値から新しい観測値（特定の変数について）を予測することができます。バックプロパゲーションの学習ステップバックプロパゲーション（誤