ナイーブベイズ分類器の特徴とは？仕組みと強み・弱点を解説

ベイズ分類器とは

ベイズ分類器は統計的分類器の一種です。与えられたサンプルが特定のクラスに属する確率など、クラス所属確率を予測できる点が大きな特長です。また、大規模なデータベースを扱う場合でも高い効率と処理速度を発揮することが実証されています。

クラスが定義されると、システムは分類を導くルールを推論しなければならず、そのためには各クラスの記述（description）を発見できる必要があります。記述は訓練セットの予測属性を定義するものであり、正例だけがその記述を満たし、負例は満たさないようにしなければなりません。記述がすべての正例をカバーし、負例を一つもカバーしない場合、そのルールは「正しい」とみなされます。

ナイーブベイズ分類の基本的な考え方

すべての属性の寄与が互いに独立であり、それぞれが分類問題に等しく寄与すると仮定したシンプルな分類手法が「ナイーブベイズ分類」です。

ナイーブベイズ分類が「ナイーブ（単純）」と呼ばれるのは、クラス条件付き独立性を仮定しているためです。つまり、あるクラスが与えられたときの属性値の影響は、他の属性の値とは独立であるとみなします。この仮定は計算コストを大幅に削減する目的で設けられており、その簡略化ゆえに「ナイーブ」と呼ばれています。

ベイジアンネットワークの学習

観測可能な変数からネットワークトポロジを学習するアルゴリズムは複数存在しますが、これは本質的に離散最適化問題です。人間の専門家は通常、分析対象のドメインに影響を与える直接的な条件付き依存関係をよく把握しており、その知識はネットワーク設計の大きな助けとなります。専門家には、直接的な依存関係を持つノードについて条件付き確率を定義することが求められます。

これらの確率は、残りの確率値を評価する際にも利用できます。ネットワークトポロジが既知で、変数がすべて観測可能であれば、ネットワークの学習は比較的容易です。具体的にはCPT（条件付き確率表）のエントリを計算することになりますが、これはナイーブベイズ分類における確率の評価方法と本質的に同じです。

ナイーブベイズ分類器の主な特徴

1. 孤立したノイズへの頑健性

データから条件付き確率を推定する際、孤立したノイズ点は平均化されて影響が打ち消されるため、ナイーブベイズ分類器はそのような外れ値に対して頑健です。

2. 欠損値への対応

モデル構築や分類の段階で該当するインスタンスを除外することにより、欠損値を含むデータにも柔軟に対応できます。

3. 無関係な属性への頑健性

無関係な属性に対しても強い耐性を持ちます。属性X_iが分類に無関係であれば、P(X_i|Y)は一様分布となり、X_iのクラス条件付き確率は事後確率の全体計算にほとんど影響を与えません。

4. 相関する属性による性能低下

一方で、相関を持つ属性が存在すると、条件付き独立性の仮定が成り立たなくなり、ナイーブベイズ分類器の性能が低下する可能性があります。

例として、次のような確率を考えてみます。

P(A=0|Y=0) = 0.4、P(A=1|Y=0) = 0.6
P(A=0|Y=1) = 0.6、P(A=1|Y=1) = 0.4

ここでAは二値属性、Yは二値クラス変数です。さらに、別の二値属性Bが存在し、Y=0の場合はAと完全に相関している一方、Y=1の場合はAと独立していると仮定します。話を単純にするため、Bのクラス条件付き確率はAと同じであると考えます。このような相関関係があると、独立性の仮定が崩れ、分類精度に悪影響が及ぶことになります。