Le mot « distillation » est partout depuis que Washington accuse la start-up chinoise Moonshot d’avoir pillé un modèle américain grâce à cette technique. On vous explique les nuances qui se cachent derrière ce terme.
Nous sommes le 22 juillet 2026 et Michael Kratsios, directeur du Bureau de la politique scientifique et technologique de la Maison Blanche, publie sur X une accusation directe : Moonshot AI aurait distillé le modèle Fable 5 d’Anthropic pour produire son propre modèle Kimi K3.
Selon lui, l’entreprise chinoise aurait développé une plateforme interne sophistiquée pour mener une distillation à grande échelle contre des modèles américains, en changeant rapidement de méthode d’accès pour échapper à la détection.
Reste que le responsable américain ne condamne pas la pratique en bloc. Il distingue explicitement la distillation légitime, qu’il juge essentielle à l’écosystème de l’innovation ouverte, de la distillation industrielle massive et clandestine visant à voler de la technologie américaine.
Mais alors, où se situe exactement la ligne entre distillation acceptée et distillation volée ?
We have information that Moonshot AI distilled Anthropic’s Fable for the development of its K3 model.
To do this they developed a sophisticated internal platform to conduct large scale distillation against U.S. models, allowing them to quickly switch between multiple methods of…
— Director Michael Kratsios (@mkratsios47) July 22, 2026
Ce contenu est bloqué car vous n’avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Twitter.
Pour pouvoir le visualiser, vous devez accepter l’usage étant opéré par Twitter avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l’amélioration des produits d’Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l’audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et ses partenaires.
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.
J’accepte tout
La distillation classique : une technique d’entraînement banale
Le concept de la distillation trouve son origine dans un article de 2006, sobrement intitulé «Model Compression » (« Compression de modèles »). Sans jamais employer le mot « distillation », trois chercheurs de l’université de Cornell y expliquent s’être appuyés sur un modèle d’ensemble ultra performant, rassemblant des centaines, voire des milliers de classificateurs de base, pour étiqueter un vaste jeu de données. Ils ont ensuite entraîné un unique réseau de neurones sur ces données fraîchement étiquetées, avec des techniques d’apprentissage supervisé classiques. Résultat : un modèle compact « 1 000 fois plus petit et 1 000 fois plus rapide » que l’ensemble d’origine.
Le terme « distillation » à proprement parler, ou knowledge distillation, n’apparaît qu’en 2015, popularisé par une équipe de chercheurs de Google. Le principe de fond reste toutefois le même qu’en 2006 : transférer les compétences d’un grand modèle déjà entraîné (le « professeur ») vers un modèle plus petit (l’« élève »), pour que ce dernier reproduise ses performances sans en avoir la taille ni le coût de calcul.
C’est ainsi qu’a été construit GPT-4o mini, par exemple. Le modèle professeur est GPT-4o, son propre grand frère chez OpenAI, le tout réalisé dans le cadre de leurs propres conditions d’utilisation, sans qu’aucun accès non autorisé à un modèle tiers ne soit nécessaire.
Le logo d’OpenAI. // Source : Numerama / OpenAI
La distillation attack : la même mécanique, sans autorisation
Car c’est bien là que se fait la distinction. La distillation attack, aussi appelée model extraction attack ou model stealing, repose sur le même principe technique, mais dans un tout autre contexte : l’attaquant n’a ni l’autorisation ni un accès légitime au modèle visé.
Il se contente d’interroger son API publique, massivement, parfois plusieurs millions de fois, en collectant systématiquement les paires question/réponse pour entraîner son propre modèle dessus. L’objectif étant de créer une réplique quasi identique du modèle ciblé en se basant uniquement sur ses réponses, sans jamais accéder à ses paramètres internes.
L’efficacité de l’attaque tient souvent à l’exploitation des probabilités fines que renvoient certains modèles. Des scores qui contiennent bien plus d’informations sur la distribution interne du modèle qu’une simple réponse finale, ce qui accélère et affine l’apprentissage de l’élève.
Ce qui sépare donc l’attaque de la distillation classique, c’est avant tout le contexte d’accès. Une distillation attack contourne les limites d’usage d’un service commercial fermé, souvent en multipliant les comptes ou en changeant de clé API pour échapper à la détection : exactement ce que Kratsios reproche à Moonshot.
Cette affaire n’est d’ailleurs pas isolée. En février 2026, Anthropic, annonçait également avoir détecté des campagnes de distillation à l’échelle industrielle contre ses modèles, menées par plusieurs laboratoires chinois, impliquant au total plus de 24 000 comptes frauduleux et 16 millions d’échanges.
Toute l’actu tech en un clin d’œil
Ajoutez Numerama à votre écran d’accueil et restez connectés au futur !
Installer Numerama