KI-Agenten: Mr. Bot, wir haben ein Problem

Inhalt

Auf einer Seite lesen

Inhalt

1. Seite 1Mr. Bot, wir haben ein Problem

2. 
   Seite 2Hinter Agenten steckt oft weniger, als es scheint
   

Das muss die Firma der Zukunft sein: Bei The Agent Company übernimmt künstliche Intelligenz (KI) alle nervigen Routine-Aufgaben. Dort ist eine ganze Reihe von KI-Agenten beschäftigt, das sind Computerprogramme, die Aufgaben selbstständig in einzelne Schritte unterteilen und diese dann abarbeiten. Diese Agenten buchen Meetingräume für Besprechungen, analysieren Exceltabellen, schreiben Stellenausschreibungen, verhandeln Budgets. Die menschlichen Mitarbeiter können sich derweil auf das Herz ihrer Arbeit konzentrieren: Die Technikchefin koordiniert die Technikstrategie, die Programmierer entwickeln kreative Lösungen – es wird geforscht, programmiert und getestet, so wie es wohl bei vielen Unternehmen ganz normaler Tech-Alltag ist. 

The Agent Company ist allerdings keine echte Firma, sondern eine Simulation. Wissenschaftlerinnen
und Wissenschaftler der Carnegie Mellon University und der Duke University haben das Szenario als Testumgebung entworfen. Dafür entwickelten sie eine komplette fiktive Firma samt Hierarchie, Produkten, Abteilungen und insgesamt
18 teils detailreich ausgearbeiteten Personas: von der Technikchefin über die Qualitätsmanagerin bis zum Frontend-Entwickler. 

In diesem künstlichen Kosmos übernehmen KI-Agenten konkrete Aufgaben in Absprache mit jenen Personas. Jeder Dialog, jede Chatnachricht, jede Entscheidung der KI wird ausgewertet. Dabei geht es darum, zu messen, was künstliche Intelligenz heute schon kann – und wie nah die Zukunft ist, die laut mancher Prognosen längst hätte Realität sein sollen.

Im Oktober 2024 hatte das Marktforschungsunternehmen Gartner KI-Agenten zum „Top-Trend“ für das Jahr 2025 erklärt. „Eine virtuelle Agenten-Belegschaft unterstützt, entlastet und ergänzt die Arbeit von Menschen oder herkömmlichen Anwendungen“, schrieben die Analysten damals. 

Der beste Agent scheiterte an zwei Dritteln der Aufgaben

Gemessen daran schneiden die KI-Agenten in dem Test der Wissenschaftler erstaunlich schlecht ab. Das beste der zwölf getesteten KI-Modelle – Gemini von Google – schaffte gerade einmal 30 Prozent der gestellten Aufgaben vollständig. Zählt man halb fertige Lösungen mit, liegt die Quote bei knapp 40 Prozent. Umgekehrt bedeutet das: Rund zwei Drittel der gestellten Aufgaben konnte die KI nicht lösen. 

© ZEIT ONLINE

Newsletter
ZEIT Geldkurs

Tschüss, Finanzchaos: In acht Wochen erklären wir Schritt für Schritt, wie Sie bessere Geldroutinen aufbauen und das mit den ETFs endlich angehen. Anschließend erhalten Sie unseren Geld-Newsletter mit den besten Artikeln rund um Finanzen.

Mit Ihrer Registrierung nehmen Sie die Datenschutzerklärung zur Kenntnis.

Vielen Dank! Wir haben Ihnen eine E-Mail geschickt.

Prüfen Sie Ihr Postfach und bestätigen Sie das Newsletter-Abonnement.

Die anderen Agenten schlugen sich noch
schlechter: Das Modell GPT-4o der ChatGPT-Firma OpenAI beispielsweise hatte eine Fehlerrate von mehr als 90 Prozent. Metas Llama-3.1-405b sogar von 92 Prozent und Amazons Nova-Pro-v1
scheiterte quasi bei allen Aufgaben (98,3 Prozent). 

Dabei seien die Aufgaben typisch für eben jenen Arbeitsalltag, den KI-Agenten revolutionieren sollen, betonen die Forscher: Die 28 Projektmanagement- und 14
Data-Science-Aufgaben seien in Kooperation mit Branchenexperten entwickelt worden. 

Dass die Prognosen zur Rolle von KI-Agenten als Toptrend des Jahres 2025 wohl – mindestens – etwas voreilig waren, haben offenbar auch die Analysten von Gartner erkannt. Denn nun schreibt das Unternehmen, dass es einen neuen Trend gebe: KI-Agenten wieder abzuwickeln. Aufgrund steigender Kosten, unklaren Geschäftswerts und unzureichender Risikokontrolle würden bis Ende 2027 mehr als 40 Prozent der Projekte im Bereich agentenbasierter KI abgebrochen.