一般化線形モデル（GLM）とは？基本概念から種類、活用方法まで徹底解説

一般化線形モデル（GLM）の基礎

一般化線形モデル（GLM：Generalized Linear Models）は、線形回帰の考え方をカテゴリ型の目的変数のモデリングへ拡張するための理論的基盤を定義するものです。

一般化線形モデルでは、目的変数 y の分散が y の平均値の関数として表される点が大きな特徴です。これは、y の分散が常に一定であると仮定する従来の線形回帰とは異なる点です。

GLMのアルゴリズムと特徴

一般化線形モデルは、従来の線形モデルを拡張した手法です。このアルゴリズムでは、対数尤度を最大化することでデータにモデルを適合させます。また、パラメータの正則化にはエラスティックネット（Elastic Net）ペナルティを利用できます。

モデルの適合計算は並列処理に対応しており高速で、非ゼロ係数を持つ予測変数の数が多いモデルに対しても優れたスケーラビリティを発揮します。

一般化線形モデルの主な種類

ロジスティック回帰

ロジスティック回帰は、ある事象が発生する確率を、一連の説明変数の線形関数としてモデル化する手法です。分類問題などで広く活用されています。

ポアソン回帰

カウントデータ（出現回数などの離散的な計数値）はしばしばポアソン分布に従うため、ポアソン回帰を用いてモデリングされるのが一般的です。

対数線形モデルによる多次元データ分析

対数線形モデルは、離散的な多次元確率分布を近似的に表現する手法です。これにより、データキューブの各セルに関連する確率値を計算できます。

たとえば、「都市（city）」「商品（item）」「年（year）」「売上（sales）」という属性のデータが与えられた場合を考えます。対数線形手法ではすべての属性がカテゴリ型である必要があるため、連続値属性（sales など）はあらかじめ離散化しておかなければなりません。

この手法では、「都市×商品」「都市×年」「都市×売上」の2次元キューブ、および「商品×年×売上」の3次元キューブに基づいて、4次元ベースキューブの各セルの確率を計算できます。さらに、反復的なアプローチを用いることで、低次元のキューブから高次元のデータキューブを構築することも可能です。

この方法は多次元データにも十分対応できるスケーラビリティを持ちます。予測だけでなく、データ圧縮（低次元キューブはベースキューブより格段に小さい記憶領域で済むため）やデータ平滑化（低次元キューブのセル推定値は、ベースキューブのそれよりもサンプリング変動の影響を受けにくいため）の観点でも有効です。

決定木による予測：回帰木とモデル木

決定木の帰納学習は、クラスラベルの分類だけでなく、連続値（順序値）の予測にも応用できます。予測を目的とした決定木には「回帰木」と「モデル木」の2種類があります。

回帰木

回帰木は、CART（Classification And Regression Trees）学習システムの一部として提案された手法です。各葉ノードには連続値の予測値が保存されており、その値は該当する葉に到達した訓練データの予測属性の平均値となっています。

モデル木

一方、モデル木では、各葉ノードが回帰モデル、すなわち予測属性に関する多変量線形方程式を保持します。

データが単純な線形モデルではうまく表現できない場合、回帰木やモデル木は線形回帰よりも高い精度と効率性を発揮する傾向があります。