サポートベクターマシン（SVM）とは？仕組みと基本原理をわかりやすく解説

サポートベクターマシン（SVM）とは

サポートベクターマシン（SVM）は、統計的学習理論に基づく分類手法の一つです。手書き数字の認識からテキスト分類に至るまで、さまざまな実用的な応用分野で有望な成果を上げてきたことで知られています。

高次元データへの強さとサポートベクトル

SVMの大きな特徴は、高次元データを得意とし、「次元の呪い」と呼ばれる問題を回避できる点にあります。さらに、決定境界を定義する際に、訓練インスタンス全体ではなく、その一部のサブセットのみを使用するという点も特徴的です。この重要なデータ点は「サポートベクトル」と呼ばれます。

線形分離可能なデータと超平面

データセットが線形分離可能である場合、つまりすべての四角形が超平面の片側に、すべての円が反対側に位置するような超平面が見つけられる場合、SVMはその超平面を明示的に求めることができます。また、SVMの手法は、非線形分離可能なデータへも拡張することが可能です。

決定境界とマージンの概念

分類器は、テストインスタンスに対してどの程度うまく機能すると期待できるかという観点から、複数の候補となる超平面の中から1つを決定境界として選択しなければなりません。ここで、B1とB2という2つの決定境界を考えてみましょう。どちらの決定境界も、誤分類を起こすことなく訓練インスタンスをそれぞれのクラスに分離できます。各決定境界Biには、bi1およびbi2と表される一対の超平面が対応します。

bi1は、決定境界から平行な超平面を移動させ、最も近い四角形に接するまで動かすことで得られます。同様に、bi2は最も近い円に接するまで移動させた超平面です。この2つの超平面間の距離は「マージン」と呼ばれます。

マージンと汎化誤差の関係

一般に、マージンが大きい決定境界ほど、マージンが小さいものに比べて汎化誤差が小さくなる傾向があります。逆にマージンが小さい場合、決定境界にごくわずかな摂動が生じただけでも、分類結果に重大な影響が及ぶ可能性があります。

構造的リスク最小化（SRM）による理論的裏付け

線形分類器のマージンと汎化誤差の関係を理論的に説明するのが、「構造的リスク最小化（SRM：Structural Risk Minimization）」と呼ばれる統計的学習原理です。この原理は、分類器の汎化誤差Rに対して、訓練誤差Re、訓練例の数N、そしてモデルの複雑さを表す容量hを用いた上界を与えます。具体的には、確率1−nのもとで、分類器の汎化誤差は最大でも次のように抑えられます。

$$\mathrm{R\leq\:R_e\:+\varphi(\frac{h}{N},\frac{log(n)}{N})}$$

ここでφは、容量hに関して単調増加する関数です。この不等式は、最小記述長（MDL：Minimum Description Length）原理と類似しているため、読者にとって馴染み深いものかもしれません。SRMは、汎化誤差を「訓練誤差」と「モデルの複雑性」のトレードオフとして捉える、もう一つのアプローチだと言えるでしょう。