データマイニングにおける回帰分析の種類とは？代表的な5つの手法を徹底解説

回帰分析とは

回帰（Regression）とは、連続値を持つ属性（目的変数）を予測するために用いられる教師あり機械学習手法の一種です。回帰分析を活用することで、企業は目的変数と説明変数（予測変数）の関係性を明らかにすることができます。

また、回帰はデータ探索のための重要なツールであり、売上や需要などの金銭的な予測（ファイナンス予測）や、時系列モデリングにも広く活用されています。

回帰分析にはさまざまな種類があります。本記事では、代表的な以下の5つの手法について詳しく解説します。

• 線形回帰（Linear Regression）
• 多項式回帰（Polynomial Regression）
• ロジスティック回帰（Logistic Regression）
• リッジ回帰（Ridge Regression）
• ラッソ回帰（Lasso Regression）

1. 線形回帰（Linear Regression）

線形回帰は、2つの属性（変数）に最も適合する「最良」の直線を見つけ出すことで、一方の属性からもう一方の属性を予測する手法です。3つ以上の属性を扱い、データを多次元空間にフィッティングする拡張版は、多重線形回帰（重回帰）と呼ばれます。

基本的な回帰式は以下のように表されます。

Y = a + b * X + e

各要素の意味は次のとおりです。

• a： 切片（インターセプト）
• b： 回帰直線の傾き
• e： 誤差
• X・Y： それぞれ説明変数（予測変数）と目的変数

Xが複数の変数で構成される場合は、多重線形回帰（重回帰方程式）として扱われます。

線形回帰では、最小二乗法を用いて最適な当てはめ線を求めます。この方法は、各データ点から回帰直線までの偏差の二乗和を最小化するものであり、偏差が二乗されることで正と負の偏差が互いに打ち消し合うことを防ぎます。

2. 多項式回帰（Polynomial Regression）

回帰方程式において説明変数の次数が1より大きい場合、その式は多項式回帰と呼ばれます。

例えば、以下のような式です。

Y = a + b * x²

この回帰では、線形回帰のような直線ではなく、データ点に適合する曲線が最適な当てはめ線として採用されます。データ間に非線形な関係が存在する場合に有効な手法です。

3. ロジスティック回帰（Logistic Regression）

従属変数（目的変数）が「0と1」「真偽（True/False）」「成功か失敗か」といった二値で表される場合に用いられるのがロジスティック回帰です。予測値（Y）は0から1の範囲に収まり、主に分類問題に活用されます。

線形回帰とは異なり、独立変数と従属変数の間に線形関係があることは要求されません。この柔軟性により、ロジスティック回帰は分類ベースの課題に対して非常に有用な手法となっています。

4. リッジ回帰（Ridge Regression）

リッジ回帰は、多重共線性（マルチコリニアリティ）の問題を抱える回帰データを推定するために用いられる手法です。

多重共線性とは、2つの説明変数の間に線形相関が存在することを指します。通常の最小二乗法では不安定になりやすい状況でも、リッジ回帰はペナルティ項を加えることで安定した推定を可能にします。

5. ラッソ回帰（Lasso Regression）

LASSOは「Least Absolute Shrinkage and Selection Operator（最小絶対収縮および選択演算子）」の略称です。ラッソ回帰は、収縮（Shrinkage）を利用する線形回帰手法の一種であり、データ点を平均値とも呼ばれる中心点へと収縮させます。

ラッソ法は、多くのパラメータを持つシンプルでスパースなモデルにおいて、他の回帰手法よりも優れた性能を発揮します。また、多重共線性に悩まされるモデルにも適しており、不要な変数の係数をゼロにすることで特徴量選択の役割も果たします。

まとめ

回帰分析には、線形回帰をはじめ、多項式回帰、ロジスティック回帰、リッジ回帰、ラッソ回帰など複数の種類があり、それぞれ得意なデータ形状や課題が異なります。予測したい対象やデータの特性（線形性・非線形性、二値か連続値か、多重共線性の有無など）に応じて最適な手法を選択することが、精度の高いデータマイニングの鍵となります。