サンプリングベースのアプローチとは？クラス不均衡問題への対処法を解説

サンプリングによるクラス不均衡問題への対処

サンプリングは、機械学習におけるクラス不均衡問題に対処するために広く活用されている手法です。その基本的な考え方は、データ例の分布を意図的に変化させ、訓練データセットの中で少数派クラス（レアクラス）を明確に定義できるようにすることにあります。サンプリングには、アンダーサンプリング、オーバーサンプリング、そして両方を組み合わせたハイブリッド方式など、さまざまな手法が存在します。

ここでは、100件の陽性例と1,000件の陰性例を含むデータセットを例に、各手法を見ていきましょう。

アンダーサンプリング（多数派クラスの削減）

アンダーサンプリングでは、すべての陽性例に加えて、陰性例からランダムに選択した100件を抽出し、訓練セットを構成します。しかしこの手法には、訓練に有用な陰性例の一部が選ばれずに失われてしまうという課題があり、その結果、最適とは言えないモデルが生成される可能性があります。

この問題を克服する方法の一つが、アンダーサンプリングを複数回実行し、アンサンブル学習と同様のアプローチで複数の分類器を構築することです。さらに、「焦点を絞ったアンダーサンプリング（Focused Undersampling）」を採用することもできます。これは、どの陰性例を除去すべきかについて情報に基づいた判断を行う手法であり、例えば決定境界から遠く離れた位置にある事例などを除去対象とします。

オーバーサンプリング（少数派クラスの増強）

オーバーサンプリングでは、訓練セット内の陽性例と陰性例の数が等しくなるまで、陽性例を複製していきます。この操作は、決定木などの分類器が決定境界を形成する際に影響を及ぼします。陽性例と陰性例を分離するための新たな決定境界を形成・検証するのに十分な事例が存在しない場合、陽性例が誤分類されてしまうことがあるのです。

一方で、ノイズを含むデータにオーバーサンプリングを適用すると、ノイズ事例が何度も複製されることにより、モデルの過学習（オーバーフィッティング）を引き起こすリスクがあります。なお、オーバーサンプリングは訓練セットに新しい情報を追加するものではない点にも注意が必要です。陽性例を複製することには、ごく一部の訓練事例のみが属する領域（スモール・ディスジャンクト）を定義するモデルの該当部分が、学習アルゴリズムによる刈り込み（プルーニング）で失われるのを防ぐという効果があります。ただし、陽性例が増加することで、モデル構築にかかる計算時間が長くなるというデメリットも生じます。

ハイブリッド方式（両者の組み合わせ）

ハイブリッド方式では、多数派クラスのアンダーサンプリングと少数派クラスのオーバーサンプリングを組み合わせることで、クラス間の分布をより均一な状態へと近づけます。

アンダーサンプリングは、ランダムサブサンプリングでも、焦点を絞ったサブサンプリングでも実施可能です。一方、オーバーサンプリングについては、既存の陽性例を複製する方法に加え、既存の陽性例の近傍に新しい陽性例を生成する方法（SMOTEなどの合成ベース手法に相当）も利用できます。これにより、単純な複製による過学習のリスクを抑えつつ、少数派クラスの表現力を高めることが期待できます。