Définition de distillation de modèle (model distillation)
La distillation de modèle est une technique d’entraînement où un petit modèle IA, l’élève, apprend à reproduire les sorties d’un modèle plus grand, le maître, plutôt que d’apprendre seul sur les données brutes. Le résultat : un modèle bien moins coûteux à exécuter, qui conserve une large part des capacités de l’original. Les déclinaisons « … Lire plus