Tento
případ z Austrálie zveřejnilo tamní veřejnoprávní ABC News. Ukazuje, že problémy spojené
s využíváním umělé inteligence mohou být závažné. Hrozbou
mohou
být právě AI
agenti a asistenti, kteří dokážou
operovat zcela samostatně a za uživatele plnit konkrétní
úkoly. Rizikový je zejména okamžik, kdy se začnou rozhodovat, jak
zadaný úkol splní. 

Chtěl
rezervovat lekci, ale bylo plno 

Australan
Andrew, který sám
pracuje v oblasti prodeje nástrojů umělé inteligence firmám, poprosil svého AI asistenta
vytvořeného ve volně dostupném nástroji
OpenClaw k tomu, aby mu rezervoval místo na
žádané ranní lekci v jeho fitness centru. Myslel si, že
to bude pro asistenta
perfektní
úkol kvůli tomu, že
rezervační for­mulář
byl přístupný
on-line. Když se ale AI
agent úkolu zhostil,
Andrew se nestačil divit. 

Nejen, že
se agentovi podařilo najít způsob, jak fitness lekci zarezervovat
o měsíce dřív, než umožňoval provozovatel, ale ve svém počínání šel
ještě o krok
dál. Z čekací
listiny vyhodil jiného zájemce o lekci, aby tam mohl zapsat na
lepší pozici právě
Andrewa. To vše mu
umožnila slabina, kterou
odhalil v zabezpečení
rezervačního softwaru. 

Samotný
Andrew přitom specifický požadavek o vymazání jiného zájemce asistentovi
nezadal, pouze se
ho zeptal, zda by ho zvládl posunout na začátek čekací listiny.
Skončil totiž na 4. místě. Agent však sám udělal to, co
vyhodnotil jako nejlepší cestu ke splnění cíle a Andrewa místo odpovědi rovnou
dostal na 3. místo. 

Tento
náhodný útok
se tak stal podle televize
ABC prvním
známým
australským případem rizika spojeného s novou generací
AI, která se při plnění úkolu dokáže zachovat v rozporu
s očekáváním.
Odborníci proto začali vydávat varování před závratným tempem, kterým
se AI nástroje vyvíjejí. Případ také vyvolal otázky, kdo
za chování „agentů utržených ze řetězu“ nese zodpovědnost. 

Odvolání akce AI asistent nezvládl 

Když
následně Andrew poprosil svého AI asistenta, aby na čekací listinu daného
zájemce vrátil, nebylo to možné. Asistent mu totiž odpověděl, že
to nedokáže.
Doslova napsal:
„Špatná zpráva – nemůžu je přidat zpět“.  Andrew ho tedy pověřil alespoň
sepsáním e-mailu provozovateli rezervačního systému, ve kterém celou
situaci vysvětlil a
upozornil na bezpečnostní chybu. 

Společnost Anthropic, jejíž model
Claude agent v tomto případě využíval, podle ABC na žádost o komentář
nereagovala.



AI agenti mohou člověku odlehčit od nekonečného posílání e-mailů
, …

Jaký je
rozdíl mezi chatbotem a agentem? 

Většina
běžných uživatelů AI využívá pouze chatboty, kteří si s uživateli
skrze text nebo mluvené
slovo pouze povídají.
Běžně odpovídají na otázky nebo dokážou poradit s problémy.
Agent nebo asistent však tuto funkci kombinuje
s dalšími nástroji, které mu umožňují přístup k e-mailu nebo
třeba ke kreditním kartám, ale i dalším důležitým
systémům.

Může dostávat zadání
k plnění celých úkolů a následně sám provádět
samostatné kroky k jejich dokončení. Kromě vyhledávání
informací na internetu může také samostatně odesílat
e-maily, rezervovat
různé služby nebo provádět vícestupňové úkoly. Vznik AI
agentů představuje poměrně nedávný vývoj v oblasti umělé
inteligence. Prů­lomovým okamžikem
bylo v této oblasti
právě vydání softwaru OpenClaw, který byl volně
zpřístupněn na začátku roku 2026. Brzy na to už měl miliony
stažení. 

Riziko spojené s AI roste a
s ním i potřeba řešení 

Podobných
případů spojených
s tím, že AI provedla
něco, co člověk nepředpokládal, už bylo zaznamenáno více. Nedávno například obletěla svět
informace, že pokročilé AI modely společnosti OpenAI dokázaly v rámci
bezpečnostních testů samostatně odhalovat a využívat zranitelnosti
počítačových systémů.

Bezpečnostní otázkou AI
agentů se proto letos
začal zabývat i americký Národní institut pro standardy
a technologie (NIST). Ten upozorňuje na to, že AI agenti zvládnou auto­nomně plánovat a provádět kroky, které mohou ovlivňovat jak počítačové
systémy, tak prostředí reálného světa. Institut proto řeší například, jak
činnosti agentů monitorovat a jejich chování
regulovat či přímo
omezovat.