An Exact Characterization of the Generalization Error of Machine Learning Algorithms
Une caractérisation exacte de l'erreur de généralisation pour des algorithmes d'apprentissage automatique
Résumé
The worst-case data-generating (WCDG) probability measure is introduced as a tool for characterizing the generalization capabilities of machine learning algorithms. Such a WCDG probability measure is shown to be the unique solution to the maximization of the expected loss under a relative entropy constraint with respect to a reference probability measure. To analyze the concentration of the expected empirical induced by the WCDG probability measure, the notion of $(\epsilon, \delta)$-robustness of models is introduced. Closed-form expressions are presented for the sensitivity of the expected loss for a fixed model. These tools result in an explicit expression for the generalization error of arbitrary machine learning algorithms. This exact expression is provided in terms of the WCDG probability measure and leads to an upper bound that is equal to the sum of the mutual information and the lautum information between the models and the datasets, which is achieved by a Gibbs algorithm. This finding reveals the central role of the Gibbs algorithm in statistical machine learning.
La mesure de probabilité de génération de données dans le pire des cas (GDPC) est présentée comme un outil permettant de caractériser les capacités de généralisation des algorithme d’apprentissage automatique. Une telle mesure de probabilité de GDPC s’avère être la solution unique à deux problèmes d’optimisation différents : (a) La maximisation de la perte (ou risque) espérée sur l’ensemble des mesures de probabilité des données dont l’entropie relative par rapport à une mesure de référence n’est pas supérieure à un seuil donné ;
et (b) La maximisation de la perte espérée avec une régularisation par entropie relative par rapport à la mesure de référence. Une telle mesure de référence peut être interprétée comme un a priori sur les données. Les cumulants de la perte espérée lorsque les données sont obtenues en échantillonnant la mesure de GDPC s’avèrent majorés et minorés en termes des cumulants de la mesure de référence. Des expressions sous forme fermée sont présentées pour la sensibilité de la perte espérée pour un modèle fixe. Ces outils aboutissent à la caractérisation d’une nouvelle expression de l’erreur de généralisation pour les algorithmes d’apprentissage automatique. Cette expression exacte est en fonction de la mesure de probabilité de GDPC et conduit à une borne supérieure égale à la somme de l’information mutuelle et l’information lautum entre les modèles et les données, à un facteur près. Cette limite supérieure est obtenue par un algorithme de Gibbs. Cette découverte révèle qu’une exploration de l’erreur de généralisation de l’algorithme de Gibbs facilite la dérivation de conclusions globales applicables à tout algorithme d’apprentissage automatique.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
