Prise en compte de la différence entre la courbe ROC et la courbe PR

introduction

Dans la tâche de classification de l'apprentissage automatique, la zone inférieure (ci-après, AUC) de la "courbe ROC" et de la "courbe de rappel de précision (ci-après, courbe PR)" est utilisée pour mesurer les performances de l'algorithme. Personnellement, honnêtement, je n'ai pas vraiment fait la distinction entre eux, mais l'article de @ ogamiki ici a fourni des conseils sur la façon de les utiliser correctement. ..

La courbe PR convient généralement lorsque la valeur TN est susceptible d'être élevée ou lorsqu'il existe de nombreux cas négatifs. Dans ce cas, la courbe PR peut exprimer plus clairement la différence.

J'étais un peu curieux de savoir quel genre de raison ce serait, alors j'ai réfléchi.

Que sont la courbe ROC et la courbe PR?

Pour la courbe ROC et la courbe PR, consultez d'abord l'article ici.

La courbe ROC et la courbe PR peuvent être considérées comme des indicateurs de l'exactitude du classement, par exemple "lorsque les échantillons de test ont été classés dans l'ordre dans lequel ils étaient censés être positifs, les échantillons positifs se sont-ils réellement solidifiés en haut?"

Par exemple, dans un tel classement, il y a une erreur de prédiction que l'échantillon initialement négatif est situé à la deuxième place et est classé plus haut que les autres échantillons positifs. Lorsque ce classement est obtenu, le TPR et le FPR, la précision et le rappel jusqu'à chaque classement sont calculés.

Pour les courbes ROC, FPR est sur l'axe horizontal, TPR est sur l'axe vertical, pour les courbes PR, Recall est sur l'axe horizontal et Precision est sur l'axe vertical.

• ROC-AUC est de 0,833.

• PR-AUC est de 0,764.

Ma conclusion sur la différence entre les courbes ROC et PR

En ce qui concerne la différence entre la courbe ROC et la courbe PR, ma conclusion est la suivante.

• Alors que l'ASC de la courbe PR met l'accent sur "l'exactitude de la prédiction de l'échantillon avec le classement le plus élevé", l'AUC de la courbe ROC évalue uniformément "l'exactitude sur tout le classement".

Intuitivement, l'AUC de la courbe PR a l'image de __ grossissant la précision du classement supérieur avec une loupe. À partir de là, les suggestions suivantes peuvent être obtenues.

• Si vous souhaitez mesurer en mettant davantage l'accent sur la précision du classement supérieur, vous devez adopter la courbe AUC de PR
• La théorie selon laquelle «la courbe PR convient lorsqu'il y a abondance de cas négatifs» est dérivée de «la nature humaine qui nous donne envie de donner la priorité à des classements plus élevés lorsqu'il y a abondance de cas négatifs».
• Cependant, l'ASC de la courbe PR fluctue considérablement en raison de la légère différence dans l'échantillon de test en haut du classement, de sorte que la fiabilité reste discutable.

Commentaire qualitatif

Un indice pour considérer la différence entre la courbe ROC et la courbe PR est que la courbe ROC et la courbe PR partagent l'axe de TPR = Rappel. Cependant, l'axe TPR = Rappel est placé sur l'axe vertical dans la courbe ROC et sur l'axe horizontal dans la courbe PR. Je pense que c'est le miso.

Par exemple, dans l'exemple précédent, considérez le moment où le TPR atteint 0,666 (3e rang).

Lorsque le TPR atteint 0,666, il est situé à la coordonnée (0,250,0,666) sur la courbe ROC, et jusqu'à ce point, il est en charge d'au plus 1/4 de la surface totale. Par conséquent, quelle que soit la gravité de la prédiction avant d'atteindre (0,250, 0,666), l'effet sur l'ASC sera faible. Par contre, dans la courbe PR, il est situé aux coordonnées (0,666, 0,666), et jusqu'à cette coordonnée, il est en charge des 2/3 de l'AUC totale. Par conséquent, si vous faites quelque chose de mal avant d'atteindre (0,666, 0,666), ce sera 8/3 fois plus influent que la courbe ROC.

En fait, l'ASC de la courbe ROC et de la courbe PR lorsque les 1ère et 2ème positions sont échangées est la suivante.

• ROC-AUC est de 0,750 (détérioration de 10%).

• PR-AUC est de 0,514 (33% de détérioration).

Vérification expérimentale

J'ai essayé de le montrer par la preuve et l'expérience de la théorie. La procédure expérimentale est la suivante.

1. Le programme utilisé était Python, et j'ai utilisé "boston house-pricing dataset" qui est inclus par défaut dans scikit-learn comme données de test.

• L'ensemble du programme de vérification est ici (GitHub)

2. Cet ensemble de données comprend un total de 506 échantillons, dont 84 (17%) concernent des propriétés de plus de 30 $ et le reste coûte moins de 30 $, chacun étant étiqueté positif ou négatif.
3. Nous avons mis en place un modèle pour prédire ce positif / négatif uniquement à partir des variables explicatives (le modèle est un modèle de régression logistique), et avons effectué des classements par ordre de score de prédiction. ―― L'AUC de la courbe ROC créée à partir de ce classement est de 0,985 et la courbe de PR est de 0,928 (c'est assez performant car les données utilisées pour l'entraînement elles-mêmes sont utilisées pour la prédiction).
4. Ici, créez un nouveau classement qui ne mélange aléatoirement qu'une partie du classement de score prévu de 0 à 100, et calculez l'AUC de la courbe ROC et PR de la même manière. --Dans le nouveau classement, les classements de 0 à 100 sont complètement aléatoires, donc l'AUC devrait se détériorer dès le début. ――En fait, afin de supprimer la fluctuation stochastique, la moyenne de l'ASC calculée en mélangeant 10 fois est prise.
5. De même, du 5e au 105e, du 10e au 110e au classement d'origine,. .. .. Nous allons donc calculer l'AUC (moyenne) du classement qui a remanié certains classements.

Si l'hypothèse est correcte, la PR-AUC devrait avoir une détérioration plus sévère de l'ASC lors du brassage de classements plus élevés que la ROC-AUC. Le résultat de la vérification est illustré dans la figure suivante.

L'axe horizontal montre à partir de quel rang dans le classement le mélange a été commencé, et l'axe vertical montre quel pourcentage de la valeur AUC d'origine s'est détérioré. Comme supposé, le PR-AUC se détériore de manière significative (c'est-à-dire sur le côté gauche du graphique) lorsqu'il est mélangé dans un classement plus élevé que le ROC-AUC (jusqu'à 3% de détérioration). Il est. Inversement, cela suggère que PR-AUC s'améliorera considérablement par rapport à ROC-AUC s'il peut être prédit avec précision dans les classements supérieurs.

Conclusion et impression

Si nous répétons la conclusion des résultats de vérification ci-dessus,

• Alors que l'ASC de la courbe PR met l'accent sur "l'exactitude de la prédiction de l'échantillon avec le classement le plus élevé", l'AUC de la courbe ROC évalue uniformément "l'exactitude sur tout le classement".

Avec une telle conclusion, j'ai pu avoir un sentiment de conviction. D'un autre côté, comme je l'ai écrit dans le commentaire de l'article de @ ogamiki ici, la courbe ROC et la courbe PR sont pratiques. Il existe également différents avantages et inconvénients.

(Ci-après, cité)

1. Interprétabilité de l'axe

Tout d'abord, Precision-Recall est un compromis entre les interprétations des axes, et il est facile pour les personnes qui ne sont pas familiarisées avec __statistics de comprendre __.

Par exemple, lorsqu'il s'agit de déterminer les meilleurs clients à approcher de tous les clients en priorité, "La précision est élevée mais le rappel est faible" = "Il y a peu de gaspillage, mais c'est un jugement avec de nombreuses omissions = une perte d'opportunité s'est produite" "La précision est faible mais le rappel est élevé" = "Il y a peu d'omissions, mais on estime qu'il y a beaucoup de coups perdus = Il y a une forte possibilité que le budget d'approche soit gaspillé" Ainsi, vous pouvez parler en termes commerciaux tout en entourant la courbe des relations publiques.

Au contraire, dans le cas de ROC, FPR est particulièrement difficile à comprendre, et il existe de nombreuses expériences qu'il est difficile de comprendre, peu importe ce que vous expliquez. Au final, je pense que le degré de conviction du décideur n'atteint pas la courbe PR car il s'installe avec un niveau de compréhension que "c'est un diagramme pour mesurer la précision pour le moment, et rappelez-vous que c'est un diagramme heureux si vous vous déplacez vers le haut à gauche". ..

2. Niveau absolu d'interprétabilité

D'autre part, ROC a l'avantage qu'il est plus facile de donner une signification claire au niveau absolu de __AUC par rapport à la courbe PR. Pour tout problème de prédiction, ROC-AUC a une valeur maximale de 1 et 0,5 pour la prédiction aléatoire. Par contre, la valeur maximale de la courbe PR est toujours de 1, mais la valeur de la prédiction aléatoire dépend du rapport des exemples positifs et négatifs du problème.

Si vous dites "ROC-AUC a obtenu 0,9!", Vous pouvez dire "C'était une bonne prédiction" pour n'importe quel problème, mais "PR-AUC a obtenu 0,4!" Je pense qu'il est difficile de juger à quel point c'est génial lorsqu'on vous le demande, sans un peu plus d'informations.

En ce sens, je pense que la courbe ROC est plus appropriée comme langage courant dans le domaine où il est nécessaire de juger «si cette prédiction est suffisamment précise» en peu de temps.

(Citation jusqu'à présent)

Ce qui est adopté comme langage commun pour l'exactitude de la classification est plus important que l'algorithme utilisé. J'espère que cet article vous donnera un sentiment de conviction pour ceux qui se battent dans le domaine de l'analyse.