La distillation de modèle est une technique d’entraînement où un petit modèle IA, l’élève, apprend à reproduire les sorties d’un modèle plus grand, le maître, plutôt que d’apprendre seul sur les données brutes.
Le résultat : un modèle bien moins coûteux à exécuter, qui conserve une large part des capacités de l’original. Les déclinaisons « mini », « flash » ou « haiku » des grands laboratoires en procèdent.
La méthode est formalisée le 9 mars 2015 par Geoffrey Hinton, Oriol Vinyals et Jeff Dean (Google) dans « Distilling the Knowledge in a Neural Network ». L’idée clé : la distribution complète de probabilités produite par le maître (les « soft targets ») contient plus d’information que la seule bonne réponse, car elle révèle quelles erreurs le maître juge plausibles.
Avec les LLM, la distillation a changé de nature. Plus besoin des probabilités internes : il suffit de collecter des réponses via une API et d’affiner un modèle ouvert dessus. DeepSeek l’a démontré le 22 janvier 2025 en publiant six modèles Qwen et Llama, de 1,5 à 70 milliards de paramètres, distillés à partir de son R1.
C’est aussi ce qui en fait un enjeu juridique. Le 23 février 2026, Anthropic a accusé DeepSeek, Moonshot AI et MiniMax d’« attaques par distillation » : plus de 16 millions d’échanges avec Claude via quelque 24 000 comptes frauduleux, en violation de ses conditions d’utilisation. OpenAI avait formulé des reproches comparables contre DeepSeek dès janvier 2025. Des laboratoires entraînés sur le web ouvert défendent désormais leurs sorties comme une propriété : l’ironie n’a échappé à personne.
Importance de cette notion dans le monde de l’IA
On a donc :
- des cas de distillation légitimes : notamment quand l’éditeur d’un LLM génère des modèles compacts/légers par distillation
- et des cas beaucoup plus problématiques, ou un acteur s’appuie sur l’un des modèles de la frontière IA pour construire à bas coût un modèle correct par distillation. Sans l’accord du propriétaire du modèle frontière, c’est une nouvelle forme de parasitisme !
Sources
- Hinton, Vinyals, Dean, « Distilling the Knowledge in a Neural Network » (arXiv, 9 mars 2015)
- DeepSeek-AI, « DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning » (arXiv, 22 janvier 2025)
- Anthropic, « Detecting and preventing distillation attacks » (23 février 2026)
Ce contenu vous a plu ?
Inscrivez-vous gratuitement à notre newsletter et recevez chaque semaine l’actualité du SEO directement dans votre boîte email. Vous pouvez vous désabonner à tout moment !