バギングとブースティングの違いとは？アンサンブル学習の基礎を徹底解説

機械学習の予測精度を高めるために広く使われている「アンサンブル学習」。その代表的な手法であるバギング（Bagging）とブースティング（Boosting）は、どちらも複数のモデルを組み合わせて性能を向上させますが、考え方や仕組みには大きな違いがあります。本記事では、それぞれの特徴と相違点をわかりやすく解説します。

バギング（Bagging）とは

バギングは「ブートストラップ・アグリゲーティング（Bootstrap Aggregation）」とも呼ばれるアンサンブル学習手法の一つで、ノイズの多いデータセットにおける分散を低減することを主な目的としています。

バギングでは、訓練データから復元抽出（重複を許すサンプリング）によってランダムにサンプルを選択します。そのため、同じデータポイントが複数回選ばれることもあります。

複数のデータサンプルが生成された後、それぞれの弱学習器（弱いモデル）が個別に訓練されます。タスクが回帰であれば各モデルの予測値の平均を、分類であれば多数決を取ることで、より精度の高い最終的な推定値を得られます。

ランダムフォレストとの関係

ランダムフォレスト（Random Forest）は、バギングをさらに発展させた手法です。ランダムに選択したレコードのサブセットで予測を行うだけでなく、すべての特徴量を使うのではなく、特徴量もランダムに選択して決定木を構築します。こうして生成された多数のランダムな決定木の集合体こそが、ランダムフォレストと呼ばれるものです。

金融分野での応用例

バギングは深層学習モデルとも組み合わせられており、金融業界では以下のような重要業務の自動化に活用されています。

• 不正取引の検知（詐欺検出）
• 信用リスクの算定
• オプション価格の評価

また、複数の機械学習手法をバギングで組み合わせることで、ローンの債務不履行リスクを予測する研究も行われています。銀行や金融機関では、クレジットカードの不正利用を防ぎながらリスクを最小化する手段としても注目されているのです。

ブースティング（Boosting）とは

ブースティングは、一連の予測器を順次構築していくアンサンブル手法です。連続的に決定木を適合させていき、各段階での目的は、前の木が残した誤差を解消することにあります。

ブースティングは、教師あり学習におけるバイアスと分散の両方を低減するために一般的に使われています。これは、弱学習器（ベース学習器）を強学習器へと変換するアルゴリズム群を指します。

• 弱学習器： 実際の分類に対して、わずかにしか正解できない分類器
• 強学習器： 実際の分類と高い相関を持つ分類器

バギングとブースティングの比較表

ここで、両者の違いを整理してみましょう。

まとめ

バギングとブースティングは、どちらも複数のモデルを組み合わせるアンサンブル学習ですが、バギングは「並列的」に独立したモデルを作り分散を抑えるのに対し、ブースティングは「逐次的」に誤りを修正しながらバイアスを抑える点が最大の違いです。データの特性や課題に応じて、適切な手法を選択することが高精度な予測モデル構築の鍵となります。