偏りと分散の分解とは何ですか？

複数の仮説を結合する効果は、偏りと分散分解と呼ばれる理論的なデバイスを介して確認できます。同様のサイズの個別のトレーニングセットを無数に持つことができ、それらを使用して無数の分類器を作成できるとします。

テストインスタンスはすべての分類子によって処理され、個々の回答は一括投票によって決定されます。この状況では、完璧な学習設計がないため、エラーが発生します。エラー率は、機械学習のアプローチが目前の問題をどれだけうまく結び付けているかに基づいており、レコードにはおそらく学習できないノイズの影響もあります。

予想されるエラー率が、リンクされた分類器のエラーを、別々に選択された無数のテスト例にわたって平均することによって計算されたと仮定します。特定の学習アルゴリズムのエラー率は、学習問題のバイアスとして知られており、学習方法が問題をどの程度うまく結び付けているかを計算します。

無限の数のトレーニンググループを考慮しても削除できない学習アルゴリズムの「永続的な」エラーを計算します。実際の状況では正確に計算することはできません。概算することしかできません。

学習モデルのエラーの2番目の原因は、使用される特定のトレーニングセットに起因します。これは必然的に有限であるため、実際のインスタンスの母集団を完全に表すわけではありません。

与えられたサイズのすべての可能なトレーニンググループとすべての可能なテストセットにわたるエラーのこの要素の期待値は、その問題の学習方法の分散として知られています。分類器の完全な予想誤差は、バイアスと分散の合計で作成されます。これがバイアス分散分解です。

偏りと分散の分解は、二乗誤差に応じた数学的予測のコンテキストで学習されました。この場合、広く受け入れられている実装方法があります。ただし、分類の状況は明確ではなく、さまざまな競合する分解が提案されています。

バギングは、特定のトレーニングセットを使用して以前に定義されたフェーズをシミュレートすることにより、学習アプローチの不安定性を無効にしようとします。毎回新しい個別のトレーニングデータセットをサンプリングするのではなく、一部のインスタンスを削除して他のインスタンスをコピーすることにより、初期トレーニングデータが変更されます。インスタンスは、復元を使用して最初のデータセットからランダムにサンプリングされ、同じサイズの新しいデータセットが作成されます。このサンプリングプロセスでは、必然的に一部のインスタンスがコピーされ、他のインスタンスは削除されます。

リサンプリングによって作成されたデータセットは互いに異なりますが、1つのデータセットで確立されているため、独立していません。ただし、バギングを使用すると、初期トレーニングデータからの個々のモデル構成よりも大幅に優れた実装モデルが作成され、本質的に悪化することはありません。