Hyperparamètre
Paramètre défini par l'humain avant le début de l'entraînement, qui contrôle le processus d'apprentissage lui-même.
Un hyperparamètre est un réglage externe au modèle, choisi avant (ou au début de) l’entraînement. Contrairement aux paramètres appris (poids, biais), il n’est pas directement optimisé par la rétropropagation. Il influence la vitesse d’apprentissage, la capacité du modèle à généraliser et parfois sa stabilité.
Comment ça fonctionne
Pendant l’entraînement, l’algorithme suit une procédure (optimisation, régularisation, architecture). Les hyperparamètres définissent cette procédure : par exemple la taille des pas de mise à jour, la quantité de régularisation, ou encore des choix d’architecture. Un mauvais réglage peut mener à un apprentissage trop lent, à la divergence, ou au surapprentissage.
À quoi ça sert
Ils permettent d’adapter un modèle à un jeu de données et à des contraintes (temps, mémoire, précision). Les ajuster est une étape clé de la performance : on parle de tuning ou d’optimisation d’hyperparamètres.
Exemples courants
- Taux d’apprentissage (learning rate)
- Batch size (taille de lot) et nombre d’époques
- Profondeur d’un réseau, nombre de neurones par couche
- Dropout, weight decay (régularisation)
- Paramètres d’un modèle :
C/gamma(SVM),k(k-NN), profondeur d’arbre (forêts)
Comment les choisir
Essais contrôlés (grille, recherche aléatoire), validation croisée, ou méthodes automatiques (Bayesian optimization, Hyperband), en mesurant la performance sur un jeu de validation.