Poids (Weights)
Valeurs numériques au sein d'un réseau de neurones déterminant l'importance d'une connexion entre deux neurones.
Les poids sont les paramètres appris par un modèle pendant l’entraînement. Ils traduisent, sous forme de nombres, la force et le sens d’une relation entre des éléments d’entrée et la sortie du réseau. Intuitivement, un poids élevé amplifie un signal, un poids proche de zéro le laisse presque inchangé, et un poids négatif inverse son influence.
Comment ça fonctionne
Dans une couche de neurones, on combine les entrées via une opération du type somme pondérée : chaque valeur d’entrée est multipliée par un poids, puis ces contributions sont additionnées (souvent avec un biais) avant de passer dans une fonction d’activation. Pendant l’apprentissage, l’algorithme ajuste les poids pour réduire l’erreur entre la prédiction et la vérité terrain, typiquement via descente de gradient et rétropropagation.
À quoi ça sert
Les poids permettent au réseau de capturer des motifs : bords dans une image, relations entre mots, corrélations dans des données tabulaires. Ils constituent l’essentiel de la “mémoire” du modèle.
Exemples
- En classification d’e-mails, certains poids augmentent l’importance de termes associés au spam.
- Dans un modèle de vision, des poids de convolution détectent des formes locales (textures, contours).
- En LLM, des milliards de poids encodent des régularités linguistiques et factuelles.