Fine-tuning (Affinage)
Poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données ciblé, pour spécialiser son style, son format de sortie ou son domaine.
Le fine-tuning (affinage) consiste à poursuivre l’entraînement d’un modèle déjà pré-entraîné sur un jeu de données plus petit et ciblé, afin de le spécialiser : ton de marque, format de sortie strict, vocabulaire métier, tâche précise. C’est la forme la plus courante de transfer learning appliquée aux LLM.
Comment ça fonctionne
- Préparer les exemples : des paires consigne et réponse attendue, nettoyées et représentatives de l’usage visé.
- Ajuster le modèle sur ces exemples, avec un taux d’apprentissage faible pour ne pas effacer ce qu’il sait déjà.
- Évaluer sur un jeu de test distinct, puis déployer.
Plusieurs variantes existent :
- Fine-tuning complet : tous les paramètres sont mis à jour. C’est coûteux en calcul et en mémoire.
- Fine-tuning efficace en paramètres (PEFT), comme LoRA ou QLoRA : seule une petite couche additionnelle est entraînée. C’est bien moins cher et très utilisé sur les modèles ouverts.
- Instruction tuning et alignement par préférences (RLHF, DPO) : on apprend au modèle à suivre des consignes et à privilégier les réponses jugées meilleures.
Fine-tuning, prompting ou RAG ?
Commencez par le prompt engineering, puis passez au RAG si le besoin porte sur des connaissances à jour ou privées. Le fine-tuning est pertinent pour changer le comportement du modèle (style, format, tâche) plutôt que pour lui faire apprendre des faits : les faits injectés par fine-tuning sont mal maîtrisés et deviennent vite obsolètes.
Points d’attention
- Qualité des données : quelques centaines à quelques milliers d’exemples soignés suffisent souvent, et des exemples médiocres dégradent le modèle.
- Surapprentissage et oubli des capacités d’origine si l’entraînement est trop poussé.
- Confidentialité des données d’entraînement, et coût de maintenance à chaque nouvelle version du modèle de base.