ROC曲線とは何か？分類モデルの評価に欠かせない指標の基礎を解説

ROC曲線の概要

ROC（Receiver Operating Characteristic：受信者動作特性）曲線とは、分類器における真陽性率（TPR）と偽陽性率（FPR）のトレードオフを視覚的に表現するグラフ手法です。ROC曲線では、縦軸に真陽性率（TPR）、横軸に偽陽性率（FPR）をプロットします。曲線上の各点は、分類器によって生成された各モデルに対応しています。

ROC曲線上の重要なポイント

ROC曲線には、よく知られた解釈を持ついくつかの重要な点が存在します。

• (TPR: 0, FPR: 0) — すべてのインスタンスを負クラスと予測するモデル
• (TPR: 1, FPR: 1) — すべてのインスタンスを正クラスと予測するモデル
• (TPR: 1, FPR: 0) — 理想的なモデル

最良の分類モデルは、可能な限りグラフの左上に近い位置に配置される必要があります。一方、ランダムな推測を行うモデルは、点 (TPR: 0, FPR: 0) と点 (TPR: 1, FPR: 1) を結ぶ主対角線上に位置します。ここでいうランダムな推測とは、レコードの属性値に関係なく、固定確率 p でそのレコードを正クラスと判定することを意味します。

ROC曲線を描くための前提条件

ROC曲線を描くためには、分類器が連続値の出力を生成できる必要があります。この連続値は、正クラスと判定される可能性が最も高いデータから最も低いデータまで、予測結果をランク付けするために使用されます。具体的には、ベイズ分類器が生成する事後確率や、人工ニューラルネットワークが出力する数値などがこれに該当します。

ROC曲線の作成手順

ROC曲線を生成する際は、以下の手順に従います。

1. 連続値の出力が正クラスの度合いを表していると仮定し、テストデータを出力値の昇順に並べ替えます。
2. 最下位のテストデータ（出力値が最も低いデータ）を選択し、そのデータとそれ以降にランク付けされたすべてのデータを正クラスに割り当てます。これは、すべてのテストデータを正クラスとして扱うことと同等です。この時点では、すべての正のインスタンスが正しく分類され、負のインスタンスはすべて誤分類されるため、TPR = FPR = 1 となります。
3. ソート済みリストから次のテストデータを選択します。選択したデータとそれ以降にランク付けされたデータを正クラス、それより下位のデータを負クラスとして定義します。直前に選択したデータの実際のクラスラベルを確認し、TP（真陽性）と FP（偽陽性）のカウントを更新します。
4. 直前に選択したデータが正クラスであれば、TP カウントが1減少し、FP カウントは変化しません。逆に、直前に選択したデータが負クラスであれば、FP カウントが1減少し、TP カウントは変化しません。
5. 最上位にランク付けされたテストデータが選択されるまで、手順3を繰り返し、その都度 TP と FP のカウントを適宜更新します。
6. 最後に、分類器の TPR を FPR に対してプロットすることで、ROC曲線が完成します。

このようにROC曲線を活用することで、分類モデルの性能を閾値に依存せずに包括的に評価でき、モデル間の比較や最適な閾値の選定に役立てることができます。