バイアス・バリアンス分解とは？機械学習における誤差の仕組みとバギングの効果を解説

バイアス・バリアンス分解とは

複数の仮説を組み合わせることによる効果は、「バイアス・バリアンス分解」と呼ばれる理論的な枠組みを通じて検証できます。この考え方では、同じ規模の独立した訓練データセットが無限に存在すると仮定し、それらを用いて無限個の分類器を作成する場面を想定します。

1つのテスト事例がすべての分類器によって処理され、最終的な予測結果は多数決によって決定されるとします。この状況でも誤差は必ず発生します。なぜなら、どんな学習手法も完璧ではないからです。誤り率は、機械学習手法が対象の問題にどれだけ適合しているかに依存します。さらに、データに含まれるノイズの影響もあり、この部分は学習によって取り除くことが本質的に不可能です。

誤差の源泉1：バイアス

独立に選ばれた無限個のテスト事例に対して分類器の誤り率を平均したものが「期待誤り率」であると仮定します。特定の学習アルゴリズムのこの誤り率は、その学習問題における「バイアス」と呼ばれ、学習手法が問題にどの程度適合しているかを表します。

バイアスは、無限に多くの訓練データセットを用いても除去できない「永続的な」誤差を意味します。実際の状況で正確に計算することはできず、近似によって見積もることしかできません。

誤差の源泉2：バリアンス

学習されたモデルにおける誤差のもう1つの原因は、実際に使用された特定の訓練データセットに由来します。訓練データは必ず有限であり、そのため実在する事例の母集団を完全には代表できません。

この誤差要素の期待値（与えられたサイズのすべての訓練データセットとすべてのテストセットにわたって平均したもの）は、その問題における学習手法の「バリアンス」と呼ばれます。分類器の期待誤差全体は、バイアスとバリアンスの合計で構成されます。これこそが「バイアス・バリアンス分解」です。

分類問題における分解の難しさ

バイアス・バリアンス分解は、二乗誤差に基づく数値予測（回帰）の文脈で研究されてきたものであり、その適用方法については広く受け入れられた標準的な手法が存在します。しかし、分類問題の場合は状況が単純ではなく、互いに競合する複数の分解手法が提案されてきました。

バギングによる不安定性の抑制

バギング（Bagging）は、前述のプロセスを1つの訓練データセットを用いてシミュレートすることで、学習手法の不安定さを打ち消そうとする手法です。毎回新しい独立した訓練データをサンプリングする代わりに、元の訓練データから一部の事例を削除し、別の事例を複製することでデータを変化させます。具体的には、元のデータセットから復元抽出（リサンプリング）によってランダムに事例を抽出し、同じサイズの新しいデータセットを作成します。このサンプリング過程では、必然的に一部の事例が重複して含まれ、他の事例は除外されます。

リサンプリングによって作成されたデータセットは互いに異なりますが、1つの元データに基づいているため、統計的には独立ではありません。それにもかかわらず、バギングは元の訓練データから構築した単一のモデルよりも大幅に優れた性能を持つ統合モデルを作り出すことが実証されており、基本的に性能が劣化することはありません。