プログラミング

機械学習では、訓練中にモデルの汎化誤差（generalization error）を推定する手法がいくつか存在します。この誤差の推定値は、学習アルゴリズムがモデル選択を行う際の重要な指標となり、過学習（overfitting）に陥らない適切な複雑さを持つモデルを見つけるのに役立ちます。モデルが構築された後は、テストセットを用いて、まだ見たことのないデータのクラスラベルを予測できます。テストセット上でモデルの性能を測定することは、汎化誤差の偏りのない（unbiased）推定値を得られるため非常に有用です。テストセットから求めた精度や誤り率は、同じドメインにおける複数の分類器の相対的な性能を比較す

データマイニングにおいて頻繁に直面する課題の一つが、回帰式を用いて従属変数（目的変数）の値を予測する際に、候補となる予測変数（説明変数）が複数あり、その中からどれを選ぶべきかという問題です。また、「多くの変数を含めておけば、これまで隠れていた関係性が明らかになるかもしれない」という期待から、変数を増やしたくなることもあります。実際に、ある企業では椅子やテーブルの脚に付ける傷防止カバーを購入した顧客は信用リスクが低いことを発見しました。しかし、利用可能なすべての変数をモデルに放り込む前に、慎重になるべき理由がいくつかあります。予測変数を絞り込むべき8つの理由予測に必要なすべての予測変数を揃えるこ

k近傍法（k-NN）アルゴリズムの概要k近傍法（k-Nearest Neighbors：k-NN）は、クラスへの所属（Y）と予測変数 X1、X2、…、Xn との関係の構造について、何ら前提を置かない分類手法です。この手法は、線形回帰で仮定されるような線形形式など、特定の関数形におけるパラメータ推定を行わないため、「ノンパラメトリックなアプローチ」と呼ばれます。代わりに、データセット内の予測変数値同士の類似性から情報を引き出して分類を行う点が大きな特徴です。k-NNの基本的な仕組みk近傍法の考え方は非常にシンプルです。まず、分類したい新しいデータに類似したレコードを、訓練データセットの中から k

k-NNアルゴリズムとはk近傍法（k-NN：k-Nearest Neighbors）は、分類問題に広く用いられる機械学習手法の一つです。最大の特徴は、クラスへの所属（Y）と予測変数 X1、X2…Xn との関係について、特定の構造を一切仮定しない点にあります。ノンパラメトリックなアプローチk-NNはノンパラメトリック手法に分類されます。線形回帰のように特定の関数形を仮定してパラメータを推定する必要がなく、データセット内の予測変数値同士の類似性に基づいて判断を行います。この柔軟さにより、複雑な非線形の関係も捉えることが可能です。k-NNアルゴリズムの主な利点k-NNの最大の強みは、そのシンプルさと

判別分析は、分類スコアを算出するために2つの主要な前提条件に依存しています。これらの前提がどの程度満たされているかによって、モデルの性能が大きく左右されます。本記事では、判別分析の強みと弱点、そして適切な性能評価の方法について詳しく解説します。 前提1：予測変数の多変量正規性 第一の前提は、各クラスにおける予測変数（説明変数）の測定値が多変量正規分布から発生していると仮定することです。 この仮定がおおよそ満たされている場合、判別分析はロジスティック回帰などの他の分類手法よりも強力なツールとなります。実際、データが多変量正規分布に従う場合、判別分析はロジスティック回帰より約30%効率的であり、

機械学習における最もシンプルな学習構造は、単純な暗記、いわゆる「丸暗記（ロート学習）」です。訓練データのインスタンス群をそのまま記憶しておき、新しいインスタンスに遭遇した際には、記憶の中から最も強く類似している訓練インスタンスを探し出して対応します。 インスタンスベース学習とは ここで問題となるのは、「類似している」をどう定義するかという点です。この手法は、インスタンス群から「知識」を抽出するという従来のアプローチとは根本的に異なります。クラスが既知のインスタンスそのものを保存し、クラスが未知の新しいインスタンスを既知のインスタンスに関連付けることで動作します。ルールを作ろうとするのではなく、

デシジョンツリー（決定木）とは、フローチャートのような木構造を持つモデルです。各内部ノードは属性に対するテストを表し、各ブランチ（枝）はそのテストの結果を示し、葉ノードはクラスまたはクラス分布を表します。木の中で最上位に位置するノードは「ルートノード」と呼ばれます。デシジョンツリー構築の基本的な流れデシジョンツリーの構築問題は、再帰的に定義することができます。まず、ルートノードに配置する属性を選択し、その属性が取りうる値ごとに1つのブランチを作成します。これにより、サンプル集合は属性の値ごとに複数の部分集合へと分割されます。この手順は、各ブランチに対して再帰的に繰り返されます。このとき対象とな

機械学習手法のある特定のデータセットに対する誤り率を測定する標準的な方法が「10分割交差検証（tenfold cross-validation）」です。さらに信頼性の高い結果を得るには、この10分割交差検証を10回繰り返します。本記事では、それ以外の代表的な推定方法として、「一つ抜き交差検証（leave-one-out cross-validation）」と「ブートストラップ（bootstrap）」の2つの手法を詳しく解説します。一つ抜き交差検証（Leave-One-Out Cross-Validation）一つ抜き交差検証は、nをデータセット内のインスタンス（事例）の総数とする、いわばn分割

動径基底関数（RBF：Radial Basis Function）ネットワークは、フィードフォワード型ニューラルネットワークの代表的なモデルの一つです。入力層を除けば2層構造を持ち、多層パーセプトロン（MLP）との違いは、隠れユニットが計算を実行する方法にあります。隠れユニットの仕組み各隠れユニットは、入力空間内の特定の点を定義します。あるデータインスタンスに対する隠れユニットの出力（活性化値）は、そのユニットが持つ点とインスタンスの点との距離に基づいて決まります。2つの点が近いほど、活性化値は高くなります。この仕組みは、距離を類似度の指標へ変換する非線形変換関数を用いて実現されます。一般には

一般化エグザンプラ（Generalized Exemplars）とは一般化エグザンプラとは、インスタンスが占める領域を長方形の範囲として表現した概念です。高次元空間で扱われることから「超長方形（ハイパーレクタングル）」とも呼ばれます。新しいインスタンスを定義する際には、超長方形への距離を計算できるよう、従来の距離関数を拡張することが不可欠となります。新規エグザンプラの一般化プロセス新しいエグザンプラが正しく定義されると、同じクラスの最近傍エグザンプラと直接マージされることで一般化されます。このときの最近傍エグザンプラは、単一のインスタンスである場合もあれば、すでに一般化された超長方形である場合

属性が「離散（discrete）」であるとは、取り得る値の数が比較的少なく有限であることを指します。一方、「連続（continuous）」な属性は、取り得る値の数が非常に多く（実質的に無限）、一般にはある区間として表現されます。 言い換えると、離散データ属性は値域が有限集合である関数とみなすことができ、連続データ属性は値域が無限の全順序集合、すなわち通常は区間である関数とみなせるということです。 離散化の目的と2つのアプローチ 離散化とは、連続属性が取り得る値の数を減らすために、その値域を複数の区間へ分割する処理のことです。この問題へのアプローチには大きく分けて2つの方法があります。 教師な

デスクトップマシンのスペックは、ユーザーの特性と利用するツールの要件によって決まります。Webブラウザ経由でHTMLドキュメントとしてデータを閲覧するだけのカジュアルユーザーであれば、ブラウザを快適に動作させる程度の性能で十分です。一方、複雑なクエリや分析をゼロから構築するパワーユーザーの場合は、より高性能なマシンが必要となる可能性があります。データウェアハウスのフロントエンドとしてデスクトップ環境を検討する際には、以下のような課題があります。クロスプラットフォーム対応組織によっては、マーケティング部門にMacintoshを使い続けるメンバーがいたり、エンジニアリング部門や製造部門でUNIXが

ディレクトリサーバーとはディレクトリサーバーは、ネットワーク上でアクセス可能な各種リソースを一元的に管理するデータウェアハウスの一種です。管理対象のリソースには、データベースデバイス、個々のデータベース、ファイルリポジトリ、トランザクションシステム、ファイルストレージ領域、プリンター、そしてユーザー（人）などが含まれます。人に関する情報には、氏名や住所、組織内での役割、メールアドレスなどが含まれます。ディレクトリサーバーは、正当に認証されたリクエスターに対してのみ選択された情報を開示し、ネットワーク上での通信手段を把握するための、有用で一元化された管理リソースとして機能します。LDAP標準との

対称鍵暗号化とは 対称鍵暗号化は、最もシンプルな形式の暗号化方式です。「秘密鍵暗号」と呼ばれることもあります。この方式では、たった一つの秘密鍵を使って情報を暗号化（施錠）し、同じ鍵で復号（解錠）することができます。 対称鍵暗号化が特に役立つ2つのケース 1. データの個人暗号化 ユーザー自身だけが知る秘密鍵でデータを暗号化する方法です。鍵を他人に開示しない限り、強度の高い鍵であれば誰もデータを復号することはできません。 データウェアハウスでは、特に機密性の高いデータに対してこの暗号化が有効です。中でも、集計時の制約条件として使われない数値型ファクトテーブルのデータに適しています。暗号化され

公開鍵暗号方式とは共通鍵暗号方式には、「鍵をいかに安全に配布するか」という大きな課題があります。離れた場所にいる2者の間で、たとえインターネット上であっても安全な通信路を確立できるよう、さまざまな暗号方式が開発されてきました。こうした暗号方式の総称が「公開鍵暗号方式」です。公開鍵暗号方式では、2つの鍵を使用します。一方の鍵で情報を暗号化し、もう一方の鍵で復号する仕組みです。このうち、片方の鍵を「秘密鍵」、もう片方を「公開鍵」として指定します。秘密鍵と公開鍵の役割秘密鍵は所有者が厳重に管理・保管し、公開鍵は世界中の誰にでも自由かつ広く公開されます。公開鍵のリストはどこにでも掲載でき、例えばアメリ

データウェアハウスとはデータウェアハウジングは、さまざまなソースからデータを収集・管理し、ビジネスにとって意味のある洞察を提供するために主に活用される手法です。データウェアハウスは、経営判断を支援することを目的として特別に設計されています。簡単に言えば、データウェアハウスとは、組織の運用系データベースから独立して管理されるデータベースを指します。データウェアハウスシステムにより、複数のアプリケーションシステムを統合することが可能になり、統合された履歴データによる強固な分析基盤を提供することで、データ処理を支えます。データウェアハウスは、多次元空間においてデータを汎用化し、一元化します。その構築

ファクトテーブルの処理とは ファクトテーブルは複合主キーを採用しており、これは各ディメンションテーブルに対応する複数の外部キーと、これらのディメンションを使用する各メジャー（測定値）のカラムで構成されます。 データステージングにおける代理キーへの置き換え すべてのデータステージングプロセスには、受信したファクトテーブルのレコードに含まれる本番環境のIDを、データウェアハウスの代理キー（サロゲートキー）に置き換えるステップが必須です。この置き換えは、ファクトテーブル内の各ディメンションに対して行われます。さらに、必要に応じてその他の処理、計算、再構築も実施されます。 参照整合性（RI）の重要

データマイニングとはデータマイニングとは、リポジトリ（データ保管庫）に保存された膨大なデータを対象に、統計的手法や数学的手法といったパターン認識技術を活用しながら、有用な新たな相関関係・パターン・トレンドを発見するプロセスです。具体的には、事実に基づくデータセットを分析し、これまで気づかれていなかった関係性を見出すとともに、データ所有者にとって論理的かつ実用的な形でレコードを要約することを目指します。データマイニングにおける主な変換手法1. 通常値・異常値・範囲外・不可能なファクトへのフラグ付け測定されたファクト（事実）に特別なフラグを付けることは、非常に有効な手法です。一部の測定値は正しいも

データマイニングとは、リポジトリに保存された大量のデータの中から、統計的手法や数学的手法といったパターン認識技術を用いて、有用な新しい相関関係・パターン・トレンドを発見するプロセスです。事実に基づくデータセットを分析して予期しない関係性を見つけ出すとともに、データの所有者にとって論理的かつ有益な形でレコードを要約することを目的としています。データマイニングには、主に以下のような重要な概念があります。1. 分類（Classification）分類とは、データのクラスや概念を表現し、区別できるようなモデルを構築する手続きのことです。その目的は、クラスラベルが未知であるオブジェクトについて、構築した

データ可視化とは何かデータ可視化（Data Visualization）とは、グラフ、図表、画像、リストなどの多彩な視覚的要素を活用して、データをわかりやすく表現する手法のことです。これにより、ユーザーは短時間でデータの全体像を把握し、有用な情報やパターン、トレンドを効率的に抽出できるようになります。さらに、データそのものの理解も格段に容易になります。言い換えれば、データをグラフィカルな形式で表現し、ユーザーがデータ内の傾向や変化の流れを直感的に理解できるようにすることが、データ可視化であると言えます。データ可視化に使われるツールデータ可視化には、チャートマップやグラフなど、さまざまなツールが