Hyperparameter tuning : définition et cas d'application
L'hyperparameter tuning, c'est quoi ?
Les hyperparamètres correspondent aux paramètres d’ajustement des algorithmes d’apprentissage automatisé ou de machine learning. C’est au concepteur de l’algorithme de les configurer (souvent le data scientist). Un algorithme d’apprentissage automatique ne peut en effet fonctionner sans ces hyperparamètres. Leur réglage (tuning) nécessite un travail statistique afin de déterminer ceux qui donneront le meilleur résultat.
Exemples d'hyperparamètre : la forme et la taille d'un réseau de neurones, la vitesse d'apprentissage, ou encore la tolérance aux erreurs dans les machines à vecteurs de support.
Quelle méthode pour optimiser les hyperparamètres ?
Plusieurs approches existent en matière d'hyperparameter tuning, dont la recherche par quadrillage (Grid Search) : une liste de valeurs est établie pour chaque hyperparamètre. Le modèle sera entraîné pour chaque combinaison d'hyperparamètres, et un score calculé à chaque fois. La combinaison qui atteint le score le plus élevé sera choisie.
En quoi consiste l'hyperparameter tuning en random forest ?
Un random forest (traduction littérale : forêt aléatoire) est un algorithme utilisé pour les problématiques de prédiction, particulièrement apprécié quand il y a un nombre élevé de variables explicatives.
Régler et optimiser les hyperparamètres de cet algorithme consiste à choisir le nombre d’arbres qu’il faudra créer et le nombre de variables à utiliser pour chaque division d’un nœud. La recherche par quadrillage, ou Grid Search, peut être appliquée pour tester une série de paramètres, comparer les résultats, et déterminer le meilleur paramétrage.
En quoi consiste l'hyperparameter tuning en régression logistique ?
La régression logistique (ou logit) est un modèle statistique prédictif très utilisé en machine learning. C’est un classificateur binaire souvent employé pour déterminer la probabilité qu’une observation appartienne à une classe spécifique.
La régression logistique ne présente pas d'hyperparamètre véritablement critique. On pourra néanmoins appliquer des pénalités voire recourir à un solver autre que de type Newton (qui est le plus courant en régression logistique).
Quid de l'hyperparameter tuning en deep learning, pour un réseau de neurones ?
Le deep learning (apprentissage profond ou en profondeur) est un modèle d’apprentissage reposant sur un système de neurones artificiels, à l’image des neurones du cerveau humain. Ce type de modèle contient un nombre considérable d’hyperparamètres, et leur réglage est complexe. Une partie de la configuration d’un réseau de neurones artificiels consiste à décider du nombre de couches de nœuds cachées qui seront utilisées entre la couche d’entrée et la couche de sortie du réseau.
Le nombre de nœuds utilisés pour chaque couche doit aussi être déterminé. Ces variables de configuration qu’il faut définir manuellement font partie de l'hyperparameter tuning d'un réseau de neurones artificiel.