ランダムフォレストとは？基本概念と仕組みをわかりやすく解説

ランダムフォレストの概要

ランダムフォレスト（Random Forest）は、決定木分類器のために特別に設計されたアンサンブル学習手法の一つです。複数の決定木による予測結果を統合することで最終的な予測を行います。各決定木は、それぞれ独立したランダムベクトルの値に基づいて構築される点が大きな特徴です。

ランダムフォレストで使用されるランダムベクトルは、固定された確率分布から生成されます。これは、分類が難しいインスタンスに的を絞って確率分布を適応的に変化させるAdaBoostのような手法とは対照的です。

バギングとランダムフォレストの関係

決定木を用いたバギング（Bagging）は、ランダムフォレストの特殊なケースと見なすことができます。バギングでは、元の訓練データセットから復元抽出によってN個のサンプルを無作為に選択することで、モデル構築プロセスにランダム性を導入します。また、モデル構築の全過程を通じて、ブートストラップサンプルの作成には一様な確率分布が使用されます。

ランダムベクトルの導入方法

各決定木には、何らかの固定された確率分布から生成されたランダムベクトルが必要です。このランダムベクトルは、木の成長プロセスに対していくつかの方法で組み込むことができます。

Forest-RI（ランダム入力選択）

代表的な方法の一つは、決定木の各ノードで分割に使用するF個の入力特徴量を無作為に選択するというものです。これにより、利用可能なすべての特徴量を検討する代わりに、選択された特徴量の中からノードの分割方法が決定されます。木は剪定（プルーニング）を行わずに完全に成長させます。このアプローチにより、結果として得られる木に含まれるバイアスを低減することができます。

すべての木が構築された後、予測結果は多数決方式によって統合されます。この手法はForest-RIと呼ばれ、「RI」はRandom Input（ランダム入力）選択を意味します。さらにランダム性を高めたい場合は、バギングを併用してForest-RI用のブートストラップサンプルを作成することも可能です。

パラメータFが性能に与える影響

ランダムフォレストの頑健性と木々間の相関は、選択する特徴量の数Fに依存します。Fが十分に小さい場合、各決定木同士の相関は低くなります。一方で、特徴量の数Fが多くなるほど、木分類器としての強度は向上する傾向があります。

Forest-RC（ランダム線形結合）

元の特徴量数dが小さすぎる場合、決定木を構築するための独立したランダム特徴量セットを選択することが困難になります。このような状況では、特徴空間を拡張する方法として、入力特徴量の線形結合を作成する手法が有効です。

具体的には、各ノードにおいて入力特徴量からL個を無作為に選択し、新しい特徴量を作成します。入力特徴量は、[-1, 1]の範囲の一様分布から生成された係数を用いて線形結合されます。各ノードで、このようにして無作為に結合されたF個の新特徴量が生成され、その中から最も優れたものが最終的にノードの分割に選ばれます。この手法はForest-RCと呼ばれています。

まとめ

ランダムフォレストは、複数の決定木の予測を組み合わせることで、単一の決定木よりも高い予測精度と頑健性を実現する強力な機械学習手法です。ランダム性の導入方法にはForest-RIやForest-RCといったバリエーションがあり、データの特性や特徴量の数に応じて最適な手法を選択することが、高性能なモデル構築の鍵となります。