サポートベクターマシンとは何ですか？

かなりの精査を受けた分類アプローチは、サポートベクターマシン（SVM）です。このアプローチは、統計的学習理論にルーツがあり、手書きの数字の識別からテキストの分類まで、いくつかの実用的なアプリケーションで有望な経験的結果を示しています。

SVMは高次元データでも動作し、次元の呪いの問題を防ぎます。このアプローチの2番目の要素は、サポートベクターと呼ばれるトレーニングインスタンスのサブセットを使用して決定境界を定義することです。

SVMは、線形分離可能なデータでこのタイプの超平面を明示的に表示するように準備できます。これは、SVM方法論を非線形分離可能なデータに継続する方法を表示することで実現できます。データセットは線形分離可能です。つまり、超平面の片側にあるすべての正方形と、異なる側にあるすべての円を含む超平面を検出できます。

分類器は、これらの超平面の1つを選択して、テストインスタンスに実装することが期待される程度に応じて、その決定境界を記述する必要があります。 B1とB2の2つの決定境界について考えてみます。どちらの決定境界も、誤分類エラーを実行することなく、トレーニングインスタンスを特定のクラスに分離できます。各決定境界Biは、bi1およびbi2として示される、一対の超平面に関連しています。

Bi1は、平行な超平面を決定境界から離れて最も近い正方形と通信するまで変更することによって取得されますが、bi2は、超平面を最も近い円と通信するまで変更することによって取得されます。これら2つの超平面間の距離は、分類器のマージンと呼ばれます。

マージンの高い決定境界は、マージンの低い決定境界よりも汎化誤差が大きくなることに影響します。マージンが小さい場合、したがって、決定境界へのわずかな摂動がその分類に本質的な影響を与える可能性があります。

線形分類器のマージンをその汎化誤差に関連付ける適切な説明は、構造リスク最小化（SRM）と呼ばれる統計的学習原理によって与えられます。この原理は、トレーニングエラー（Re）、トレーニング例の数（N）、および容量（h）と呼ばれるモデルの複雑さの観点から、分類器（R）の汎化エラーの上限をサポートします。より明確に言えば、1-nの確率で、分類器の汎化誤差は最悪の場合があります

$$ \ mathrm {R \ leq \：R_e \：+ \ varphi（\ frac {h} {N}、\ frac {1og（n）} {N}）} $$

ここで、φは容量hの単調増加関数です。前述の不等式は、最小記述長（MDL）の原則をシミュレートするため、読者にはなじみがあります。 SRMは、汎化誤差をトレーニング誤差とモデルの複雑さの間のトレードオフとして定義する別のアプローチです。