Biais Algorithmique
Erreurs systématiques et reproductibles dans un système informatique générant des résultats injustes ou discriminatoires.
Un biais algorithmique apparaît quand un système de décision automatisé produit des résultats défavorables de façon régulière pour certains groupes (genre, âge, origine, quartier, etc.). Il ne s’agit pas forcément d’une “intention” du modèle, mais d’un effet mesurable issu des données, des choix de conception ou du contexte d’usage.
D’où viennent ces biais ?
- Données d’entraînement : historiques incomplets, déséquilibrés ou déjà discriminatoires (ex. sous-représentation d’un groupe).
- Variables proxy : des attributs “neutres” corrélés à des caractéristiques sensibles (code postal ↔ origine sociale).
- Objectif mal défini : optimiser une métrique (précision, clics) peut dégrader l’équité.
- Boucles de rétroaction : les décisions du modèle influencent les futures données (ex. surveillance accrue → plus d’arrestations → renforcement du biais).
Comment les détecter et les réduire ?
On utilise des audits et des métriques d’équité (parité démographique, égalité des chances), des tests par sous-groupes, et de la documentation (datasheets, model cards). Les mitigations incluent le rééquilibrage des données, la contrainte d’équité, l’explicabilité, et surtout une revue humaine adaptée au risque.
Exemples concrets
- Tri de CV favorisant des profils historiquement recrutés.
- Scoring de crédit pénalisant certains quartiers.
- Reconnaissance faciale moins précise sur certaines carnations.