回帰モデルの予測変数はなぜ減らすべき？選択のポイントを解説

データマイニングにおいて頻繁に直面する課題の一つが、回帰式を用いて従属変数（目的変数）の値を予測する際に、候補となる予測変数（説明変数）が複数あり、その中からどれを選ぶべきかという問題です。

また、「多くの変数を含めておけば、これまで隠れていた関係性が明らかになるかもしれない」という期待から、変数を増やしたくなることもあります。実際に、ある企業では椅子やテーブルの脚に付ける傷防止カバーを購入した顧客は信用リスクが低いことを発見しました。

しかし、利用可能なすべての変数をモデルに放り込む前に、慎重になるべき理由がいくつかあります。

予測変数を絞り込むべき8つの理由

• 予測に必要なすべての予測変数を揃えることは、コストが高くついたり、現実的でなかったりする場合があります。

• 変数の数を減らせば、より正確に測定できることがあります（例：アンケート調査）。

• 予測変数が多いほど、データに欠損値が発生する可能性が高くなります。欠損値を含むレコードを削除または補完する場合、予測変数が多いと削除・補完の対象となるレコードの割合が高くなってしまいます。

• 簡潔さ（パーシモニー）は優れたモデルに不可欠な要素です。パラメータの少ないモデルの方が、各予測変数の影響についてより深い洞察を得られます。

• 多数の変数を含むモデルでは、多重共線性により回帰係数の推定が不安定になりがちです。（多重共線性とは、2つ以上の予測変数が結果変数に対して同じ線形関係を持っている状態を指します。）

• シンプルなモデルほど回帰係数は頑健になります。経験則として、レコード数nは、予測変数の数pに対して5(p+2)より大きくすることが一つの目安とされます。

• 結果変数と無相関な予測変数を使うと、予測の分散が増大することが示されています。

• 一方で、結果変数と相関のある予測変数を除外すると、予測の平均誤差（バイアス）が大きくなる可能性があります。

重要なのは「バイアス・バリアンス・トレードオフ」

最後の2点が示しているのは、予測変数が少なすぎても多すぎても問題があり、両者の間にトレードオフが存在するということです。一般的に、ある程度のバイアスを受け入れることで、予測の分散を抑えることができます。

この「バイアス・バリアンス・トレードオフ」は、特に複数の予測変数を扱う場合に重要になります。ノイズの標準偏差に比べて係数が小さく、しかも他の変数との間に中程度以上の相関を持つ変数がモデル内に含まれている可能性が高いからです。

このような変数を除外すれば予測の分散が減少し、結果として予測精度の向上につながります。この種のトレードオフへの配慮こそが、予測や分類を行うデータマイニング手法における重要な要素なのです。