recall?precision?機械学習モデルの評価尺度についてまとめる

recall, precision, accuracy F値など機械学習モデルの評価尺度はいろいろあるのですが、どれがどれだかよくわからなくなってしまうのでまとめてみました

今回は1か0を予測する問題について考えたいと思います
※正例は1とします

これからの説明に使用するので、以下に混同行列を書いておきます
混同行列(confusion matrix)とは予測結果と実際のデータを比較するときに使用する表のことです

これもどれがFPでどれがFNだか分からなくなってしまうのですが、

と覚えておけば大丈夫です

accuracyは以下の式で表されます

$accuracy=\frac{TP+TN}{TP+FP+FN+TN}$

accuracyは、すべてのデータにおいて正解したものの割合はどのくらいかを表した指標になります

これはイメージしやすいと思います

続いてrecallです

recallは以下の式で表されます

$recall=\frac{TP}{TP+FN}$

recallは実際の正例の中(TP+FN)から、モデルがどれだけ拾えているかをあらわした指標です

つまり、どれだけ正例を見逃していないかということになります

モデルの予測結果をすべて正例にしてしまえば、必然的にrecallは1となります

precisionは以下の式で表されます

$precision=\frac{TP}{TP+FP}$

precisionは正例と予測したもの(TP+FP)の中に、どれだけ実際の正例があるかを表した指標です

つまり、正例をどれだけ命中させたかということになります

絶対に正例だと思うものだけ正例にしてしまえば、precisionは高くなります

F値は以下の式で表されます

$F_{score} = \frac{2recall*precision}{recall+precision}$

上のrecall, precisionでも説明したように

とrecallとprecisionはトレードオフの関係にあることがわかります

そこで、極端にモデルを学習させることなくrecallとprecisionを良い感じにするための指標としてF値があります

minminの備忘録