統計ベースのアルゴリズムの種類とは？回帰とベイズ分類を徹底解説

統計ベースのアルゴリズムには2種類ある

統計ベースのアルゴリズムは、大きく分けて以下の2種類に分類されます。

• 回帰（Regression）
• ベイズ分類（Bayesian Classification）

1. 回帰（Regression）

回帰は、入力値に基づいて出力値を評価・予測する問題を扱います。分類に利用する場合、入力値にはデータベースの値が用いられ、出力値によってクラスが決定されます。回帰は分類問題の解決にも活用できますが、それ以外にも需要予測など、さまざまな用途に応用されている汎用性の高い手法です。

回帰の最も基本的な形は「単回帰分析（Simple Linear Regression）」であり、1つの説明変数（予測変数）と1つの予測値のみを扱います。

回帰を用いて分類を実装する方法は、主に次の2つがあります。

• 分割（Division）：データをクラスに基づいて複数の領域に分割します。

• 予測（Prediction）：出力クラスの値を予測するための数式（モデル）を作成します。

2. ベイズ分類（Bayesian Classification）

ベイズ分類では、統計的分類器を用いて分類を行います。ベイズ分類はベイズの定理に基づいており、大規模なデータベースに適用した場合でも、高い効率と処理速度を実現できることで知られています。

ベイズの定理とは

Xをデータタプルとします。ベイズ的手法では、Xは「証拠（evidence）」として扱われます。また、Hをある仮説、たとえば「データタプルXが特定のクラスCに属する」という仮説とします。データを分類するためには、確率P(H|X)を求めます。このP(H|X)は、「証拠」すなわち観測されたデータタプルXが与えられたときに、仮説Hが成り立つ確率を表します。

P(H|X)は、Xを条件とするHの事後確率（posterior probability）です。たとえば、データタプルの集合が「年齢」と「所得」という属性で定義されるユーザーに限定されており、Xが「年齢30歳・所得20,000ルピーのユーザー」であるとします。ここで、Hを「そのユーザーがコンピュータを購入する」という仮説とすると、P(H|X)は「ユーザーの年齢と所得が分かっている場合に、ユーザーXがコンピュータを購入する確率」を意味します。

一方、P(H)はHの事前確率（prior probability）です。たとえば、年齢・所得・その他の属性に関係なく、任意のユーザーがコンピュータを購入する確率に相当します。事後確率P(H|X)は、Xに依存しない事前確率P(H)よりも多くの情報に基づいて計算される点が特徴です。

同様に、P(X|H)はHを条件とするXの事後確率であり、「ユーザーXが30歳で所得20,000ルピーである確率」を表します。

P(H)、P(X|H)、P(X)は与えられたデータから求めることができます。ベイズの定理は、これらの値から事後確率P(H|X)を計算する方法を提供します。式は以下の通りです。

$$P(H|X)=\frac{P(X|H)P(H)}{P(X)}$$