回帰（Regression）とは？機械学習における回帰分析の基礎と活用法を解説

回帰（Regression）とは

回帰とは、連続値を持つあらゆる属性を予測するために用いられる教師あり機械学習手法の一種です。回帰を活用することで、企業は目的変数と説明変数（予測子変数）の関係性を分析できます。データ探索に欠かせない重要なツールであり、財務予測や時系列モデリングにも広く利用されています。

データの平滑化と線形回帰の基本

回帰のようにデータを関数へ当てはめることで、データを平滑化することができます。線形回帰では、2つの属性（変数）に最も適合する「最良」の直線を見つけ出し、一方の属性を使ってもう一方の属性を予測できるようにします。さらに、重回帰は線形回帰の発展形であり、3つ以上の属性を扱う際に、データを多次元空間へ当てはめる手法です。

線形回帰では、データが直線に適合するようにモデル化されます。例えば、確率変数y（応答変数）を、別の確率変数x（説明変数）の線形関数として「y = wx + b」という式で表すことができます。このとき、yの分散は一定であると仮定されます。

回帰と分類の関係

回帰の基本的な役割は、入力値に基づいて出力値を計算することです。分類に用いる場合は、入力値としてデータベース上の値を受け取り、出力値としてクラスを表します。回帰は分類問題の分析に活用できるだけでなく、予測など幅広い応用が可能です。回帰の最もシンプルな構造が、1つの説明変数と1つの予測だけを含む単純線形回帰です。

分類を実現する2つの方法

回帰は、以下の2つの方法によって分類を実行できます。

• 分割： データをクラスに基づいた領域ごとに分割します。
• 予測： 出力クラスの値を予測するための数式（式モデル）を作成します。

回帰の主な種類

これらの手法を用いることで、1つ以上の説明変数（独立変数）から目的変数（従属変数）の値を予測できます。回帰には以下のようなさまざまな形式があります。

• 線形回帰
• 重回帰
• 加重回帰
• 多項式回帰
• ノンパラメトリック回帰
• ロバスト回帰

特にロバスト回帰は、誤差が正規分布の条件を満たさない場合や、データに大きな外れ値が含まれる場合に有効な手法です。

回帰の前提条件と制約

回帰では、独立変数で表現された従属データセットを予測でき、一定期間のトレンドを把握することも可能です。変数の予測において優れた手法ですが、変数同士の独立性や変数の正規分布といった特定の前提条件や制約が存在することには注意が必要です。

回帰木とモデル木の違い

回帰木の各リーフ（葉）には連続値の予測結果が格納され、これはそのリーフに到達した訓練データセットにおける予測属性の平均値となります。一方、モデル木では、各リーフが回帰モデル、すなわち予測属性に対する多変量連続方程式に対応します。

単純な線形モデルではデータを十分に表現できない場合、回帰木やモデル木の方が線形回帰よりも効果的である傾向があります。