線形回帰（Linear Regression）とは？最小二乗法で直線の方程式を求める方法とC++実装

線形回帰（Linear Regression）は、与えられたデータ点の集合から、それらの点に最もよく当てはまる直線の方程式を求める統計的手法です。求められた直線をもとにすれば、現在のデータセットに存在しない新しい点の値を予測することも可能になります。

線形回帰の基本公式

いくつかのデータ点から線形回帰の問題を解くには、以下の公式を使用します。

m = (n・Σxy − Σx・Σy) / (n・Σx² − (Σx)²)
c = (Σy − m・Σx) / n

ここで、m は直線の傾き（slope）、c は y切片（y-intercept） を表します。これらの値を求めることで、次の形式の直線の方程式が得られます。

y = mx + c

入力と出力の例

入力:
いくつかの点の (x, y) 座標。{(1,3), (2,4), (3,5), (4,6), (5,8)}

出力:
傾き: 1.2　切片: 1.6
方程式: y = 1.2x + 1.6

アルゴリズム

linReg(coord)

入力： 与えられた座標点の集合。

出力： 傾き m と y切片 c。

Begin
    for i := 1 to n, do
        sumX := sumX + coord[i,0]
        sumY := sumY + coord[i,1]
        sumXsq := sumXsq + (coord[i,0]*coord[i,0])
        sumXY := sumXY + (coord[i,0] * coord[i,1])
    done

    m := (n * sumXY − (sumX*sumY)) / (n * sumXsq − (sumX * sumX))
    c := (sumY / n) − (m * sumX)/n
End

C++による実装例

以下は、上記のアルゴリズムをC++で実装したサンプルコードです。二次元配列に格納された座標点を受け取り、傾きと切片を参照渡しで返します。

#include<iostream>
#include<cmath>
#define N 5
using namespace std;

void linReg(int coord[N][2], float &m, float &c) {
    float sx2 = 0, sx = 0, sxy = 0, sy = 0;
    for(int i = 0; i<N; i++) {
        sx += coord[i][0];   // x の合計
        sy += coord[i][1];   // y の合計

        sx2 += coord[i][0]*coord[i][0];   // x^2 の合計
        sxy += coord[i][0]*coord[i][1];   // x*y の合計
    }

    // 傾きと切片を求める
    m = (N*sxy-(sx*sy))/(N*sx2-(sx*sx));
    c = (sy/N)-(m*sx)/N;
}

main() {
    // 座標点を保持する二次元配列
    int point[N][2] = {{1,3},{2,4},{3,5},{4,6},{5,8}};
    float m, c;
    linReg(point, m, c);
    cout << "The slope: " << m << " The Intercept: " << c << endl;
    cout << "The equation: " << "y = "<< m <<"x + "<< c;
}

実行結果

The slope: 1.2 The Intercept: 1.6
The equation: y = 1.2x + 1.6

まとめ

線形回帰では、各座標点の x、y、x²、xy の合計値を事前に計算しておくことで、傾き m と切片 c を効率よく導き出せます。この方法は最小二乗法に基づいており、機械学習やデータ分析の基礎となる重要な概念です。データの傾向を直線でモデル化することで、未知のデータに対する予測も簡単に行えるようになります。