データマイニングの推定方法は何ですか？

10分割交差検定は、特定のデータセットの学習スキームのエラー率を測定する標準的な方法です。信頼できる結果を得るには、10倍の交差検定を行います。 Leave-one-out相互検証とブートストラップの2つの方法があります。

Leave-One-Out相互検証

Leave-one-out交差検定は、公然とn分割交差検定です。ここで、nはデータセット内の複数のインスタンスです。各インスタンスは順番に省略され、学習スキームは残りのすべてのインスタンスでトレーニングされます。残りのインスタンスの正確さによって計算されます。つまり、成功または失敗の場合は1または0になります。データセットの各グループに1つずつ、n個の判断すべての結果が平均化され、その平均が最後の誤差推定を定義します。

このプロセスは、2つの理由から興味深いものです。まず、可能な限り多くの記録をそれぞれの場合のトレーニングに使用できます。これにより、分類子が本物である可能性が高くなると考えられます。

第二に、手順は決定論的です-ランダムサンプリングは含まれません。それを10回繰り返したり、まったく繰り返したりしても意味がありません。毎回同じ結果が得られます。これに対抗するために、学習フェーズ全体をn回実行する必要があり、これは一般に高いデータセットでは実行不可能であるため、高い計算コストが発生します。

ブートストラップ

ここで説明する2番目の推定方法であるブートストラップは、置換を伴うサンプリングの統計的手順に基づいています。以前は、トレーニングまたはテストセットを形成するためにデータセットからサンプルが取得されるたびに、置き換えなしで抽出されていました。

ほとんどの学習スキームは同じインスタンスを2回使用でき、トレーニングセットに2回存在する場合、学習結果に違いが生じます。ブートストラップの考え方は、データセットを置換してサンプリングし、トレーニングセットを形成することです。 0.632ブートストラップと呼ばれる、不思議なことに（ただし、すぐに明らかになる理由で）特定のバリアントについて説明します。

このために、n個のインスタンスのデータセットがn回サンプリングされ、復元されて、n個のインスタンスの異なるデータセットが提供されます。この2番目のデータセットの一部の要素は（ほぼ確実に）繰り返されるため、元のデータセットには選択されていないインスタンスがいくつか存在する必要があります。これらをテストインスタンスとして使用します。

トレーニングセットで学習システムをトレーニングし、テストセットでそのエラーを計算することによって得られる数値は、トレーニングセットのサイズはnですが、インスタンスの63％しか含まれていないため、真のエラー率の悲観的な推定値になります。これは、たとえば、10倍の交差検定で使用される90％と比較すると、それほど多くはありません。