Dario Amodei, cofondateur et PDG d’Anthropic, l’entreprise derrière le chatbot Claude.
© Getty Images North America/Getty Images via AFP
Depuis sa création en 2021 par d’anciens cadres d’OpenAI, Anthropic cultivait une identité singulière dans l’industrie de l’IA : celle du laboratoire qui refuse de sacrifier la prudence à la vitesse. Le pilier de cette promesse tenait en une phrase, inscrite dans sa Responsible Scaling Policy (RSP) de 2023 : jamais l’entreprise n’entraînerait un modèle sans pouvoir garantir au préalable que ses mesures de sécurité étaient suffisantes.
Publicité, votre contenu continue ci-dessous
Publicité
Le 24 février, Anthropic a publié la version 3.0 de cette politique. La garantie préalable a disparu. À sa place : un engagement à ralentir le développement uniquement si l’entreprise se considère en tête de la course à l’IA et si elle juge les risques catastrophiques significatifs. En pratique, tant qu’un concurrent avance au même rythme, Anthropic ne freinera plus.
De l’auto-contrainte à la transparence sans frein
On ne sentait pas, vu la vitesse de progression de l’IA, que ça avait du sens de s’imposer des engagements unilatéraux… alors que les concurrents foncent.
Jared Kaplan, directeur scientifique d’Anthropic, à TIME
Le directeur scientifique Jared Kaplan a justifié ce virage dans un entretien avec TIME : l’entreprise ne jugeait plus tenable de s’imposer des contraintes unilatérales pendant que ses rivaux accélèrent sans entrave. Trois facteurs ont pesé : l’incapacité à prouver de façon tranchée que les modèles actuels facilitent ou non des attaques biologiques (ce que Kaplan appelle une « zone d’ambiguïté »), un climat politique américain hostile à toute régulation de l’IA, et une pression concurrentielle devenue existentielle face à OpenAI, Google et xAI.
Dario Amodei, cofondateur et PDG d’Anthropic, l’entreprise derrière Claude. Il a quitté OpenAI en 2020 par désaccord sur la sécurité de l’IA.
© NYT / Montage Les Numériques
Publicité, votre contenu continue ci-dessous
Publicité
En compensation, la nouvelle RSP prévoit la publication régulière de « Risk Reports » et de « Frontier Safety Roadmaps », ouverts à des évaluateurs externes. Mais Anthropic reconnaît elle-même que ces objectifs ne sont plus des engagements fermes. Chris Painter, directeur de la politique chez l’ONG d’évaluation METR, y voit le signe qu’Anthropic passe en « mode triage » : les méthodes d’évaluation des risques ne suivent plus le rythme d’avancement des capacités.
Anthropic estime qu’il lui faut passer en mode triage sur ses plans de sécurité, parce que les méthodes d’évaluation et d’atténuation des risques ne suivent plus le rythme des capacités.
Chris Painter, directeur de la politique chez METR, à TIME
Un signal qui fait écho au départ récent de Mrinank Sharma, ancien responsable de l’équipe Safeguards Research d’Anthropic, qui écrivait dans sa lettre de démission que « le monde est en péril ».
L’ultimatum du Pentagone : un précédent qui dépasse Anthropic
Le timing de cette annonce est rendu explosif par un conflit parallèle. Le secrétaire à la Défense Pete Hegseth a convoqué le PDG Dario Amodei mardi et lui a donné jusqu’à vendredi 17 h 01 pour lever les restrictions qu’Anthropic impose à l’usage militaire de Claude, son modèle phare. Claude est aujourd’hui le seul système d’IA autorisé sur les réseaux classifiés du Pentagone, via un partenariat avec Palantir.
Anthropic a jusqu’à vendredi 17 h 01 pour se mettre en ordre de marche avec le Département de la Guerre.
Un haut responsable du Pentagone, à NBC News
Si Anthropic refuse, Hegseth menace d’invoquer le Defense Production Act, une loi datant de la guerre de Corée conçue pour réquisitionner la production industrielle en cas d’urgence nationale, et de désigner Anthropic comme « risque pour la chaîne d’approvisionnement », un statut habituellement réservé aux entreprises liées à des adversaires étrangers.
Le site officiel du Département de la Guerre américain, nouveau nom du Pentagone depuis l’arrivée de Pete Hegseth.
© Shuttershock
Anthropic maintient deux lignes rouges : pas d’armes autonomes contrôlées par l’IA et pas de surveillance de masse des citoyens américains. Amodei avait détaillé ces positions dans un essai publié en janvier, où il écrivait que sa crainte principale était de concentrer trop peu de « doigts sur le bouton », permettant à une poignée de personnes de commander une armée de drones sans coopération humaine.
Ma principale crainte, c’est qu’un nombre trop restreint de personnes aient les doigts sur le bouton, au point qu’une poignée d’individus puisse commander une armée de drones sans avoir besoin de la coopération de qui que ce soit.
Dario Amodei, PDG d’Anthropic, The Adolescence of Technology
L’analyse juridique est loin d’être limpide. Le professeur Alan Rozenshtein détaille sur Lawfare pourquoi le DPA, conçu pour les aciéries et les usines de chars, s’adapte mal à un litige sur des garde-fous logiciels. Mais la crédibilité de la menace suffit peut-être à modifier le comportement d’Anthropic, sans qu’un tribunal ait besoin de trancher.
Pour l’Europe, la leçon est directe. L’AI Act entre en application progressive, et le spectacle d’engagements volontaires qui s’effondrent sous la pression du marché et de l’État renforce l’argument de ceux qui défendent une régulation contraignante. Reste la question inverse : si même l’entreprise qui a inventé le concept de « scaling responsable » ne parvient pas à tenir ses propres promesses, que vaut une régulation extérieure face à une technologie qui évolue plus vite que les institutions capables de l’encadrer ?
Publicité, votre contenu continue ci-dessous
Publicité
Envie de faire encore plus d’économies ? Découvrez nos codes promo sélectionnés pour vous.