Une enquête complète sur les fonctions de perte et les métriques en apprentissage profond

L’apprentissage profond (Deep Learning), en tant que branche importante de l’intelligence artificielle, a réalisé des progrès significatifs ces dernières années dans des domaines tels que la vision par ordinateur et le traitement du langage naturel. Cependant, le succès de l’apprentissage profond dépend largement du choix des fonctions de perte (Loss Function) et des indicateurs de performance (Performance Metrics). Les fonctions de perte sont utilisées pour mesurer la différence entre les prédictions du modèle et les valeurs réelles, et guident le processus d’optimisation du modèle ; tandis que les indicateurs de performance servent à évaluer les performances du modèle sur des données inédites. Bien que les fonctions de perte et les indicateurs de performance soient essentiels dans l’apprentissage profond, face à la multitude de choix disponibles, les chercheurs et les praticiens ont souvent du mal à déterminer les méthodes les plus adaptées à leurs tâches spécifiques.

À cet effet, cet article vise à fournir un examen complet des fonctions de perte et des indicateurs de performance les plus couramment utilisés dans l’apprentissage profond, afin d’aider les chercheurs et les praticiens à mieux comprendre et choisir les outils adaptés à leurs tâches. L’article couvre non seulement les tâches classiques de régression et de classification, mais explore également en profondeur les fonctions de perte et les indicateurs de performance dans des domaines tels que la vision par ordinateur, le traitement du langage naturel (NLP) et la génération augmentée par récupération (Retrieval-Augmented Generation, RAG).

Source de l’article

Cet article est co-écrit par Juan Terven, Diana-Margarita Cordova-Esparza, Julio-Alejandro Romero-González, Alfonso Ramírez-Pedraza et E. A. Chávez-Urbiola, issus d’institutions telles que l’Université nationale autonome du Mexique (UNAM) et l’Institut technologique de Monterrey (Tecnológico de Monterrey). L’article a été accepté le 13 mars 2025 et publié dans la revue Artificial Intelligence Review, avec le DOI 10.1007/s10462-025-11198-7.

Points principaux

1. Différence entre les fonctions de perte et les indicateurs de performance

Les fonctions de perte et les indicateurs de performance jouent des rôles différents dans l’apprentissage profond. Les fonctions de perte sont utilisées pendant l’entraînement pour optimiser les paramètres du modèle, mesurer la différence entre les prédictions du modèle et les valeurs réelles, et minimiser cette différence grâce à des méthodes d’optimisation comme la descente de gradient. Les indicateurs de performance, quant à eux, servent à évaluer la capacité de généralisation du modèle après l’entraînement, et aident à comparer les performances de différents modèles ou configurations. Cet article détaille quatre différences majeures entre les fonctions de perte et les indicateurs de performance, incluant leur moment d’utilisation, leurs critères de sélection, leurs objectifs d’optimisation et leur interprétabilité.

2. Propriétés des fonctions de perte

Lors du choix d’une fonction de perte, il est nécessaire de prendre en compte plusieurs propriétés, notamment la convexité, la différentiabilité, la robustesse, la régularité, la parcimonie et la monotonie. Ces propriétés déterminent l’applicabilité des fonctions de perte dans différentes tâches. Par exemple, la convexité garantit un minimum global pour la fonction de perte, tandis que la différentiabilité permet l’utilisation de méthodes d’optimisation basées sur le gradient.

3. Fonctions de perte et indicateurs de performance dans les tâches de régression

Les tâches de régression sont des problèmes d’apprentissage supervisé visant à prédire des valeurs continues. Cet article détaille les fonctions de perte couramment utilisées dans les tâches de régression, incluant l’erreur quadratique moyenne (Mean Squared Error, MSE), l’erreur absolue moyenne (Mean Absolute Error, MAE), la perte de Huber, la perte log-cosh (Log-Cosh Loss), la perte quantile (Quantile Loss) et la perte de Poisson (Poisson Loss). Chaque fonction de perte présente des avantages et des limites spécifiques. Par exemple, la MSE est sensible aux valeurs aberrantes, tandis que la MAE est plus robuste.

En ce qui concerne les indicateurs de performance, cet article discute de l’erreur quadratique moyenne racine (Root Mean Squared Error, RMSE), de l’erreur absolue moyenne en pourcentage (Mean Absolute Percentage Error, MAPE), de l’erreur absolue moyenne symétrique en pourcentage (Symmetric MAPE, SMAPE), du coefficient de détermination (R²) et du coefficient de détermination ajusté (Adjusted R²). Ces indicateurs ont chacun leurs scénarios d’application et leurs avantages et inconvénients, par exemple, la RMSE est sensible aux valeurs aberrantes, tandis que la MAPE est plus adaptée aux scénarios où l’erreur relative est importante.

4. Fonctions de perte et indicateurs de performance dans les tâches de classification

Les tâches de classification sont des problèmes d’apprentissage supervisé visant à prédire des étiquettes discrètes. Cet article détaille les fonctions de perte couramment utilisées dans les tâches de classification, incluant la perte d’entropie croisée binaire (Binary Cross-Entropy Loss, BCE), la perte d’entropie croisée catégorielle (Categorical Cross-Entropy Loss, CCE), la perte d’entropie croisée catégorielle parcimonieuse (Sparse CCE), la perte d’entropie croisée pondérée (Weighted Cross-Entropy Loss), la perte d’entropie croisée avec lissage des étiquettes (Cross-Entropy Loss with Label Smoothing), la perte de log-vraisemblance négative (Negative Log-Likelihood Loss, NLL), la PolyLoss et la perte charnière (Hinge Loss). Ces fonctions de perte présentent chacune des avantages dans différents scénarios, par exemple, la perte d’entropie croisée pondérée peut efficacement gérer les problèmes de déséquilibre de classes.

En ce qui concerne les indicateurs de performance, cet article discute de la matrice de confusion (Confusion Matrix), de l’exactitude (Accuracy), de la précision (Precision), du rappel (Recall), du score F1 (F1-Score), de la spécificité (Specificity), du taux de faux positifs (False Positive Rate, FPR), de la valeur prédictive négative (Negative Predictive Value, NPV) et du taux de découverte faux (False Discovery Rate, FDR). Ces indicateurs aident à évaluer de manière complète les performances des modèles de classification, par exemple, le score F1 est particulièrement important dans les ensembles de données déséquilibrés.

5. Fonctions de perte et indicateurs de performance dans la vision par ordinateur et le traitement du langage naturel

Cet article explore également en profondeur les fonctions de perte et les indicateurs de performance dans les domaines de la vision par ordinateur et du traitement du langage naturel. Dans la vision par ordinateur, les fonctions de perte couramment utilisées incluent la perte d’entropie croisée, la perte focale (Focal Loss) et la perte contrastive (Contrastive Loss), tandis que les indicateurs de performance incluent l’intersection sur union moyenne (Mean Intersection over Union, mIoU) et la précision moyenne (Average Precision, AP). Dans le traitement du langage naturel, les fonctions de perte couramment utilisées incluent la perte d’entropie croisée et la perte contrastive, tandis que les indicateurs de performance incluent BLEU, ROUGE et la perplexité (Perplexity).

6. Fonctions de perte et indicateurs de performance dans la génération augmentée par récupération (RAG)

La génération augmentée par récupération (Retrieval-Augmented Generation, RAG) est un modèle combinant la récupération et la génération, largement utilisé dans les systèmes de questions-réponses et les tâches de génération de texte. Cet article détaille les fonctions de perte couramment utilisées dans la RAG, incluant la perte d’entropie croisée et la perte contrastive, ainsi que les indicateurs de performance, tels que la similarité sémantique des réponses (Answer Semantic Similarity), la justesse des réponses (Answer Correctness) et la pertinence contextuelle (Context Relevance). Ces indicateurs aident à évaluer la fidélité et la pertinence des textes générés.

Importance et valeur de l’article

L’importance de cet article réside dans le fait qu’il fournit aux chercheurs et aux praticiens de l’apprentissage profond un cadre de référence complet pour les fonctions de perte et les indicateurs de performance. En analysant systématiquement les fonctions de perte et les indicateurs de performance dans différentes tâches, cet article aide les lecteurs à mieux comprendre leurs critères de sélection et leurs scénarios d’application. De plus, cet article propose des orientations futures de recherche, telles que les configurations multi-perte (Multi-Loss Setup) et la recherche automatisée de fonctions de perte, offrant de nouvelles perspectives pour le développement futur de l’apprentissage profond.

Points forts résumés

1. Exhaustivité : Cet article couvre un large éventail de fonctions de perte et d’indicateurs de performance, allant des tâches classiques de régression et de classification à des domaines tels que la vision par ordinateur, le traitement du langage naturel et la génération augmentée par récupération, fournissant ainsi une référence étendue.
2. Pratique : En analysant en détail les avantages et les inconvénients de chaque fonction de perte et indicateur de performance, cet article offre des conseils pratiques pour les chercheurs et les praticiens.
3. Prospective : Cet article propose des orientations futures de recherche, telles que la recherche automatisée de fonctions de perte et les indicateurs de performance robustes et interprétables, offrant de nouvelles perspectives pour le développement futur de l’apprentissage profond.

Cet article constitue non seulement une ressource de référence détaillée, mais fournit également des orientations importantes pour les recherches futures dans le domaine de l’apprentissage profond.