データマイニングにおける誤り率の推定方法とは？交差検証とブートストラップを解説

機械学習手法のある特定のデータセットに対する誤り率を測定する標準的な方法が「10分割交差検証（tenfold cross-validation）」です。さらに信頼性の高い結果を得るには、この10分割交差検証を10回繰り返します。本記事では、それ以外の代表的な推定方法として、「一つ抜き交差検証（leave-one-out cross-validation）」と「ブートストラップ（bootstrap）」の2つの手法を詳しく解説します。

一つ抜き交差検証（Leave-One-Out Cross-Validation）

一つ抜き交差検証は、nをデータセット内のインスタンス（事例）の総数とする、いわばn分割交差検証そのものです。各インスタンスを順番に1つずつ除外し、残りすべてのインスタンスを用いて学習手法を訓練します。そして、除外したインスタンスに対する判定結果，正しく分類できれば1、できなければ0，によってその正しさを評価します。こうして得られたn個の判定結果を平均したものが、最終的な誤り率の推定値となります。

この手法が興味深いとされる理由は2つあります。

利点1：可能な限り多くのデータを学習に使える

第一に、毎回の試行で最大限のデータを訓練に利用できます。これにより、構築される分類器が真に有用なものになる可能性が高まると期待できます。

利点2：決定論的な手続きである

第二に、この手続きは決定論的であり、ランダムサンプリングを一切含まない点です。そのため、同じデータセットに対しては何度実行しても必ず同じ結果が得られます。10回繰り返す必要はなく、そもそも繰り返す意味自体がありません。

ただし、大きな弱点として計算コストの高さが挙げられます。学習フェーズ全体をn回実行する必要があるため、大規模なデータセットに対しては通常、現実的に実行困難です。

ブートストラップ（Bootstrap）

もう一つの推定手法である「ブートストラップ」は、統計学における「復元抽出（sampling with replacement）」の手続きに基づいています。従来の方法では、訓練セットやテストセットをデータセットから作成する際、一度取り出したデータを戻さない非復元抽出が用いられていました。

しかし、多くの学習手法は同じインスタンスを複数回扱うことができ、同じインスタンスが訓練セットに2回含まれるか否かで学習結果が変化します。ブートストラップの基本的なアイデアは、復元抽出によってサンプリングを行い訓練セットを構築することです。ここでは、特に「0.632ブートストラップ」と呼ばれる変種を取り上げます（この名称の由来は後述します）。

0.632ブートストラップの手順

n個のインスタンスからなるデータセットに対し、復元抽出によってn回のサンプリングを行い、同じくn個のインスタンスを持つ新たなデータセットを作成します。この新しいデータセットには（ほぼ確実に）重複が生じるため、元のデータセットには一度も選ばれなかったインスタンスが必ず残ります。これらをテストインスタンスとして利用します。

なぜ悲観的な推定になるのか

この訓練セットで学習システムを訓練し、テストセット上の誤りを測定して得られる値は、真の誤り率の「悲観的な（大きめの）推定値」になります。なぜなら、訓練セットのサイズはnであっても、実際に含まれる異なるインスタンスは全体の約63%にとどまるからです。これは、10分割交差検証で訓練に使用される90%と比較すると少ないといえます。

ちなみに「0.632ブートストラップ」という名称は、この約63%という数値に由来します。ある特定のインスタンスが1回の抽出で選ばれない確率は1−1/nであり、n回の抽出で一切選ばれない確率は (1−1/n)ⁿ ≒ e⁻¹ ≒ 0.368 です。つまり約36.8%のインスタンスがテスト側に回り、残りの約63.2%が訓練に使われることになります。