„Budoucnost patří agentické AI,“ hlásají pokrokoví lidé. Možná – ale není trochu brzy na to, abychom halucinujícím modelům svěřovali do rukou ovládání reálných věcí?

Nedávno se objevila zpráva o tom, že tvůrce platformy PocketOS přišel za devět sekund o produkční databázi a všechny její zálohy, protože programovací AI agent založený na Claude Opus 4.6 seznal, že nejlépe opraví chybu tím, že vymaže celý kompletní datový svazek. Škody byly veliké – a také pošklebování, že takhle dopadnete, když „si to neumíte zařídit“.

Problém s agentickou AI je v tom, že to je stále AI, jenom má navíc agentické vlastnosti, tedy dostává cíl, který si rozplánuje na kroky a potom je sama provede, nezřídka s napojením na realitu, tedy s možností ovládat počítač nebo nějaký jiný fyzický systém. Jako klasický příklad se uvádí úkol typu „naplánuj mi víkendovou dovolenou v Římě“, kdy agentická AI sama vyhledá spoje, ubytování, sestaví plán atrakcí, a když už tak je v tom, tak objedná lístky a jízdenky a celé to ronou zaplatí. Je to svého druhu osobní asistent, ale protože je to AI, tak je to i pro chudé (a ano, tím myslím techno boys, kteří nemají osobního butlera). S agentickou AI může mít své vlastní služebnictvo každý!

Tato věc má, pochopitelně, celou řadu problémů. Tím prvním je fakt, že moderní profesionální AI používá pro tarifikaci tokeny – a agentická AI si často rozloží úkol způsobem, že věci řeší rychle, ale draze. U klasické AI vkládáte dotazy vy – a vzhledem k tomu, že úkol dekomponujete na dotazy, tak vyřešení podobného úkolu bude v tokenech pětkrát levnější, ale ve zvlášť špatných případech klidně i třicetkrát. U jednoduchého dotazu pak vychází cena za dotaz asi na jeden cent, u agentické AI to může být kolem pěti dolarů za vyřešený problém, u komplexních problémů to ale může překročit i třicet dolarů, protože agentická AI si problém rozloží, vyhledá si nástroje, zadá jim problém, zpracuje výsledky – a pak to klidně opakuje, takže lidi, kteří se v záchvatu optimismu odevzdali zcela do rukou agentické AI, občas jenom zírají na ten fičák v peněžence.

To platí za předpokladu, že to funguje správně. Pak je tu ještě ta možnost, že to nebude fungovat správně – a čím více se na agentickou AI spoléháte a necháte jí volnou ruku, tím dramatičtější následky to může mít. Agentická AI není navíc žádná magie, stojí nad velkými modely, které se mění – a nemusí se nutně měnit k lepšímu. Když jsem se díval na zkušenosti, které si sdílí uživatelé agentických AI, tak jsem často narazil na to, že AI firma změnila model na novější – a ten se začal chovat hloupěji, dodával horší výsledky, a navíc to bylo v tokenech dražší než u starší verze.

Pro mě je asi nejproblematičtější ta masivní víra v to, že se nemůže nic stát – a že autorizujete AI přístup k lokálním systémům, ke vzdáleným systémům a klidně i k vašemu účtu. Já v zásadě chápu to, že lidi experimentují s tím, že dají AI přístup k reálným prostředkům, ale celá ta věc má z mého hlediska stále experimentální rysy a tím pádem by měla být buď sandboxovaná nebo by měla mít jasně limitovaná práva pro případ, že by to neočekávaně bouchlo ve vzduchu á la Hindenburg a smazalo vám to, co já vím, třeba celou produkční databázi včetně backupů.

Pravidelný přehled novinek

Věděl(a) jsi, že pravidelně odesíláme přehled nejzajímavějších článků a novinek? Přihlas se k odběru mailového newsletteru ve svém profilu.
Více informací najdeš
zde.

Podívej se na
ukázku.