- En man i Australien använde AI för att boka en gymtimme. AI:n bröt sig in i systemet och tog bort en annan deltagare.
- Detta kallas ”reward hacking”, att AI löser uppgifter annorlunda än tänkt.
- Oavsiktliga dataintrång med AI blir vanligare. Det är juridiskt oklart vem som är ansvarig.
- Cybersäkerhetscentret i Finland säger att AI-agenter måste begränsas och att AI också behövs i försvaret.
Andrew i Australien berättade nyligen för nyhetskanalen ABC News att han använde AI för att försöka få plats på en gymtimme, när platserna vanligen bokades så snabbt på nätet.
Han gav därmed AI-agenten Openclaw det här uppdraget.
En AI-agent är ett verktyg som kombinerar en AI-chattbots förmåga att svara på frågor med funktioner som ger den tillgång till internet och möjlighet att köra programmeringskod. Agenten kan också planera och genomföra uppgifter i flera steg.
Den lyckades boka Andrew en plats, men på ett annat sätt än han hade tänkt sig.
Systemet hade en svaghet. AI-agenten bröt sig in i systemet som gymföretaget använde, och fixade en plats åt honom genom att ta bort en annan deltagare.
När Andrew ville ångra det AI-agenten hade gjort var det inte möjligt, för sårbarheten i bokningssystemet möjliggjorde inte det.
Det som skedde är ett exempel på något som på engelska kallas för ”reward hacking”, där AI:n utför en uppgift på ett annat sätt än vad människan hade tänkt sig.
Ofta ger användaren helt enkelt AI-agenten ett problem och ett mål. Hur agenten ska lösa problemet avgör den själv; inga detaljerade instruktioner behövs.
Oavsiktliga intrång blir mycket vanligare
Peter Sund som är vd för cybersäkerhetsbranschen i Finland (Kyberala) bedömer att det är klart att oavsiktliga dataintrång kommer bli mycket vanligare, när dataintrång blir möjliga utan att användaren själv behöver ha den kunskapen.
– Tidigare skulle något sådant i praktiken ha förutsatt att man kunde koda. Man skulle alltså själv ha varit tvungen att skriva, eller åtminstone sätta ihop, någon fungerande helhet av olika program- eller kodsnuttar.
Öppna bildvisare
Peter Sund bekräftar att AI har blivit allt bättre på it‑angrepp. Samtidigt sker det också förbättringar på försvarssidan. Bild: Kyberala
Vem som är ansvarig för ett intrång som ingen har avsett göra är också en oklar juridisk fråga i nuläget. Är det användaren, eller det företag som ligger bakom AI-systemet?
Vissa system är betydligt mer sårbara
Det är ändå inte så illa som man skulle kunna tro. Stora organisationer med viktiga system, såsom banker och myndigheter, bedöms vara väl skyddade, ofta med hjälp av AI-teknik som de köper in av externa aktörer.
Men samtidigt finns det många mindre kritiska it-system som har sårbarheter, berättar Matias Mesiä, operationschef på Cybersäkerhetscentret.
– Bokningssystem har varit typiska exempel, där även vi har fått meddelanden från människor under årens lopp om att ”jag hittade en sådan här svaghet, kan Cybersäkerhetscentret ta kontakt så att det blir åtgärdat?”.
AI-agenter bröt sig in av misstag
Tidigare i sommar uppmärksammades dessutom att AI-agenter från de amerikanska AI-bolagen Open AI, Anthropic och Meta bröt sig in i datasystem hos andra organisationer, utan att de hade fått i uppdrag att göra det.
Incidenterna inträffade när modellernas cybersäkerhetsförmåga testades.
Till exempel Open AI:s agent tog sig in hos AI-företaget Hugging Face för att hitta information som skulle kunna ge den en fördel i det pågående testet.
Bättre försvar behövs
Cybersäkerhetscentret i Finland bekräftar också att dataintrång som AI-system gör har blivit kraftigt vanligare och trenden tros fortsätta. AI-system har under bara det senaste halvåret blivit mycket effektivare på att hitta olika sårbarheter i datasystem.
– Vi måste på ett smart sätt fundera över vad det här betyder för oss. När cyberattacker säkert kommer att använda sig av AI, måste vi också använda AI i vårt försvar, säger Matias Mesiä.
Också Peter Sund på cybersäkerhetsbranschen gör samma bedömning – att försvara sig med AI kan vara snabbt och effektivt, och enligt branschen är det brådskande att förbättra det här försvaret.
– De traditionella säkerhetsåtgärderna blir viktigare, inte mindre viktiga. Men det räcker inte: också AI måste utnyttjas i försvaret, eftersom ingen människa eller grupp av människor klarar av att gå igenom loggar och välja det bästa möjliga handlingsalternativet på några sekunder när källmaterialet består av flera miljarder rader, säger Sund.
Myndigheten och cybersäkerhetsbranschen har inte hittills kunskap om att det skulle ha skett oavsiktliga dataintrång med AI i vårt land, utan det har hittills handlat om medvetna cyberattacker.
Begränsa också AI-verktygen
Peter Sund betonar att AI-agenter skulle behöva begränsas mer än i dag, så att risken för dataintrång minskar.
– Det handlar alltså om ”skyddsräcken”: man måste konfigurera de agentbaserade programmen så att de inte har möjlighet att utföra åtminstone några särskilt allvarliga åtgärder. Eller sådana åtgärder där sannolikheten är större att något mycket allvarligt inträffar.
Har du själv använt AI-verktyg för att lösa vardagsproblem? Vad var dina erfarenheter – gick det som du tänkt dig eller blev resultatet något annat?