Définition
Fonction d'Activation
Équation mathématique qui détermine si un neurone artificiel doit s'activer ou non en fonction de ses entrées.
Publié le 4 mars 2026par ZoneIA
Une fonction d’activation transforme la somme pondérée des entrées d’un neurone (souvent notée (z = w \cdot x + b)) en une sortie (a = f(z)). Elle introduit surtout de la non‑linéarité : sans elle, même un réseau profond se comporterait comme une simple régression linéaire, incapable d’apprendre des relations complexes.
Comment ça fonctionne
Après le calcul (z), la fonction applique une règle qui peut :
- Seuiler (décision binaire) : le neurone “s’allume” au‑delà d’un certain niveau.
- Écraser la valeur dans un intervalle (ex. entre 0 et 1).
- Conserver certaines valeurs et en annuler d’autres (comportement “gating”).
Pendant l’entraînement, les gradients traversent ces fonctions lors de la rétropropagation. Le choix d’une activation influence donc la stabilité et la vitesse d’apprentissage (ex. saturation, gradients qui disparaissent).
Usages et exemples courants
- ReLU ((\max(0, z))) : très utilisée dans les réseaux profonds, simple et efficace.
- Sigmoid : souvent pour une sortie de probabilité en classification binaire.
- Tanh : proche de sigmoid mais centrée autour de 0.
- Softmax : convertit un vecteur en distribution de probabilités pour la classification multi-classes.