guillement
« Une IA qui s’échappe de son environnement de test ou qui fait chanter les développeurs pour éviter d’être désactivée est une IA trop puissante. »
L’IA pourrait faire peser « un risque existentiel pour l’humanité », a-t-il annoncé à la 63e session du Conseil des droits de l’homme à Genève, qui se tient cette semaine.
Faut-il s’inquiéter des IA qui « s’échappent » et redouter un scénario à la Terminator ?
« Une IA qui s’échappe de son environnement de test ou qui fait chanter les développeurs pour éviter d’être désactivée est une IA trop puissante », a-t-il poursuivi, appelant à agir « avant qu’il ne soit trop tard ».
Parmi les risques, concrètement, l’IA peut aider des personnes mal intentionnées (attaques, cyberattaques…), avoir des impacts massifs sur l’économie, équiper des armes autonomes, ou créer des systèmes qui pourraient échapper au contrôle de l’être humain. Néanmoins, une véritable catastrophe provoquée par l’IA reste pour le moment une vue de l’esprit.
Rappelons que cet été, des modèles testés par OpenAI et Anthropic sont parvenus à sortir d’environnements informatiques supposément confinés et à atteindre de véritables systèmes. Dans le cas d’OpenAI, certains modèles ont exploité une vulnérabilité dans un système intermédiaire avant de compromettre une partie de l’infrastructure de Hugging Face. Chez Anthropic, un modèle disposait, à la suite d’une mauvaise configuration, d’un accès à Internet et a fini par viser une véritable entreprise portant le même nom qu’une cible fictive.
Plusieurs experts relativisaient, évoquant un incident mais pas un risque « à la Terminator« , mais la sortie du représentant de l’ONU inquiète tout de même.
guillement
« Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies. »
D’autant plus que ce mercredi, Jacob Coxon, chercheur britannique de 27 ans passé d’OpenAI à Anthropic, a lui aussi annoncé quitter l’industrie IA pour ces raisons. Il accuse les deux entreprises de « jouer avec nos vies » dans leur course vers des systèmes toujours plus puissants.
« Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies », a-t-il écrit sur X.
« Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici à la fin de la décennie. Ce n’est pas un coup marketing », a-t-il encore renchéri.
Un responsable de la sûreté d’Anthropic, Evan Hubinger, a par ailleurs soutenu ses propos, sur X également. « Nous croyons vraiment sincèrement que l’IA pourrait tuer tous les humains », a-t-il écrit, estimant à titre personnel ce risque à « plus de 10 % » dans la décennie. Il précise toutefois que les modèles actuels présentent selon lui un risque faible.
Ce qui inquiète surtout les chercheurs, c’est l’étape suivante : celle de systèmes capables de s’améliorer eux-mêmes, voire de concevoir leurs propres successeurs. Jacob Coxon affirme que certains employés parlent déjà de « crunchtime », le moment décisif, voire d' »endgame », la fin de partie.
Les géants mondiaux alertent contre un risque sans précédent
Dimanche dernier, le chef scientifique d’OpenAI, Jakub Pachocki, estimait quant à lui que la situation actuelle « exige une extrême prudence » et appelait les gouvernements à faire de la coordination internationale « une priorité absolue », comme le relaie l’AFP.
L’Onu, elle, alerte depuis plusieurs années. Dès 2023, António Guterres rappelait que plusieurs experts plaçaient le risque lié à l’intelligence artificielle au même niveau que celui d’une guerre nucléaire ou d’une pandémie majeure. Depuis, les appels à une gouvernance mondiale n’ont cessé de se multiplier. Et même issus des CEO des leaders de la tech, comme OpenAI, Microsoft ou Google.
Le problème de fond est que tous les pays et toutes les entreprises actives dans le domaine ne veulent pas « rater » le train, et foncent pour être leader. Quitte à mettre les alertes en sourdine.