Boîte Noire

Une « boîte noire » désigne un système d’IA dont on observe surtout les entrées (données) et les sorties (prédictions), sans pouvoir expliquer clairement le cheminement interne qui mène au résultat. C’est fréquent avec les modèles complexes, comme les réseaux de neurones profonds, où des millions de paramètres interagissent.

Pourquoi c’est opaque ?

Le modèle apprend des représentations distribuées : aucune règle simple n’est explicitement codée. Les décisions émergent d’un grand nombre de calculs intermédiaires, difficiles à relier à des concepts humains. Même si l’architecture est connue, interpréter les poids et activations n’est pas trivial.

Enjeux et risques

L’opacité pose des problèmes de confiance, de débogage et de conformité (audit, traçabilité, explication d’un refus de crédit, etc.). Elle peut masquer des biais issus des données d’entraînement ou des comportements inattendus en production.

Comment on l’atténue

On utilise des techniques d’IA explicable (XAI) : importance des variables (SHAP, LIME), cartes de saillance pour la vision, exemples contre-factuels, ou modèles plus interprétables (arbres de décision, régressions) quand c’est possible. On complète souvent par des tests, de la surveillance et une documentation des données et du modèle.

Exemples

Scoring de crédit, diagnostic médical assisté, détection de fraude, classification d’images par deep learning.