ROC曲線とは？分類モデルの性能を評価する手法を解説

ROC曲線とは

ROCは「Receiver Operating Characteristic（受信者動作特性）」の略称です。ROC曲線は、2つの分類モデルを分析・比較するための便利な可視化ツールであり、その起源は第二次世界大戦中にレーダー画像の識別を目的として発展した信号検出理論にあります。

ROC曲線が示すもの

ROC曲線は、あるモデルにおける「真陽性率（感度）」と「偽陽性率」の間のトレードオフを表します。真陽性率とは、実際に陽性であるデータのうち、正しく陽性と認識できた割合のことです。一方、偽陽性率とは、実際には陰性であるデータを誤って陽性と認識してしまった割合を指します。

2クラス分類問題において、ROC曲線を見ることで、複数の閾値（しきい値）ごとに、モデルが「はい（陽性）」のケースをどれだけ正確に識別できるかと、「いいえ（陰性）」のケースを誤って「はい」と判定してしまう率とのバランスを読み取ることができます。一般的に、真陽性率を高めようとすると、偽陽性率もある程度上昇します。

AUC：モデル精度の指標

ROC曲線の下の面積（AUC：Area Under the Curve）は、モデルの精度を評価する重要な指標となります。AUCが1に近いほど、高性能なモデルであることを意味します。

ROC曲線の描き方

特定の分類モデルMについてROC曲線を作成するには、そのモデルが各テストタプル（データ）の予測クラスに対して、確率またはランキングスコアを返せる必要があります。まず、テストタプルをスコアの降順に並べ替えます。これにより、分類器が最も陽性（「はい」）クラスに属すると判断したデータがリストの先頭に配置されます。

ナイーブベイズ分類器やバックプロパゲーション（誤差逆伝播法）ベースの分類器は、この条件に適しています。また、決定木分類器なども、各予測に対してクラス確率分布を返すように変更することで、ROC曲線の作成に対応できます。

ROC曲線では、縦軸に真陽性率、横軸に偽陽性率をとります。具体的なプロット手順は以下の通りです。

1. 左下隅（真陽性率と偽陽性率がともに0の点）から開始します。
2. リストの先頭にあるタプルの実際のクラスラベルを確認します。
3. それが真陽性（正しく陽性と判定されたデータ）であれば、ROC曲線上で1つ上方向へ移動して点をプロットします。
4. この操作をリスト全体に対して繰り返します。

対角線とモデルの性能評価

同じグラフ上に複数の分類モデルのROC曲線を描くことで、モデル同士を比較できます。グラフには対角線も表示されます。この対角線上では、真陽性を1つ検出するたびに偽陽性もほぼ同程度に発生することを意味し、ランダムな推測と同等の性能を表しています。

したがって、モデルのROC曲線が対角線に近いほど、そのモデルの性能は低いと言えます。逆に、優れたモデルであれば、ランキングの上位から順に処理していく過程で、早い段階で多くの真陽性に到達できるため、曲線は原点付近から急峻に立ち上がります。その後、リストを下っていくにつれて真陽性が減少し、偽陽性が徐々に増えていくため、曲線は次第になだらかになり、水平に近づいていきます。