![](\"https:\/\/www.europesays.com\/se\/wp-content\/uploads\/2025\/12\/yudkowskyochSoares.png\")
Eliezer Yudkowsky och Nate Soares \u00e4r b\u00e5da forskare vid Machine intelligence research institute i Kalifornien. Foton: Privat<\/p>\n\n Lansering av Open AI:s videoverktyg Sora 2024. Redan nu kan AI-modeller lura och manipulera anv\u00e4ndarna, skriver Nette Wermeld Enstr\u00f6m. Foto: Anders Wiklund\/TT\n <\/p>\n
I en ny bok visar AI-forskarna Eliezer Yudkowsky och Nate Soares att en artificiell superintelligens inte beh\u00f6ver vara fientlig f\u00f6r att bli farlig. Det r\u00e4cker att den \u00e4r kognitivt \u00f6verl\u00e4gsen och har ett m\u00e5l den vill uppn\u00e5. Yudkowsky och Soares konkretiserar det abstrakta och ger form \u00e5t en oro som kan vara sv\u00e5r att greppa, skriver Nette Wermeld Enstr\u00f6m.<\/p>\n
Redan 1951 f\u00f6ruts\u00e5g matematikern Alan Turing att vi riskerar f\u00f6rlora kontrollen den dagen som maskinerna \u00f6vertr\u00e4ffar v\u00e5r intelligens. N\u00e4stan 70 \u00e5r senare, n\u00e4r geniet Stephen Hawking fr\u00e5n sin d\u00f6dsb\u00e4dd 2018 varnade om AI-hotet, var intresset fortfarande svalt \u00e4ven om AI-s\u00e4kerhet blivit ett eget forskningsomr\u00e5de.\u00a0<\/p>\n
Hawking menade att m\u00e4nskligheten riskerar ers\u00e4ttas av artificiell superintelligens och i dag vet vi att det inte ens kr\u00e4vs en superintelligens f\u00f6r att byta ut m\u00e5nga av oss. De senare AI-modellernas genombrott p\u00e5 omr\u00e5de efter omr\u00e5de accelererar och parallellt med fantastiska framsteg varslar utvecklingen om massarbetsl\u00f6shet och \u00f6kad ekonomisk oj\u00e4mlikhet.<\/p>\n
Makts\u00f6kande till sin natur<\/p>\n
Men det existentiella hotet \u00e4r sv\u00e5rare \u00e4n de samh\u00e4llsekonomiska utmaningarna, p\u00e5st\u00e5r Geoffrey Hinton, \u00e4ven kallad \u201dAI:s gudfader\u201d, som fick Nobelpriset 2024 f\u00f6r sin forskning om neurala n\u00e4tverksmodeller. Han \u00e4gnar numera all sin tid \u00e5t att varna f\u00f6r avancerade AI-system som f\u00f6rutser resultaten av sina handlingar och g\u00f6r strategiska planer. De \u00e4r enligt Hinton makts\u00f6kande till sin natur och han befarar att vi kan utman\u00f6vreras innan vi vet ordet av.\u00a0<\/p>\n
L\u00e5ter det alarmistiskt? Tyv\u00e4rr inte. Vi har redan sett prov p\u00e5 hotfulla och manipulativa AI-modeller som \u00e4r fullt kapabla att utnyttja b\u00e5de mekaniska system och m\u00e4nniskor.\u00a0<\/p>\n
Ett k\u00e4nt exempel \u00e4r n\u00e4r Open AI:s spr\u00e5kmodell GPT-4 i en simulering lyckades komma \u00e5t en sajt som skyddades med ett s\u00e5 kallat captcha. Det \u00e4r ett l\u00e5s som anv\u00e4nds f\u00f6r att s\u00e4rskilja m\u00e4nskliga anv\u00e4ndare fr\u00e5n datorer. H\u00e4r lurade GPT-4 en person p\u00e5 distans att l\u00e5sa upp sajten genom att den l\u00e5tsades vara en blind m\u00e4nniska i behov av hj\u00e4lp.\u00a0<\/p>\n
F\u00f6retaget Anthropic har visat hur flera olika sorters AI-modeller fuskat, saboterat, manipulerat, ljugit och till och med f\u00f6rs\u00f6kt m\u00f6rda m\u00e4nniskor genom att st\u00e4nga av syretillf\u00f6rseln till rum d\u00e4r det m\u00e4nskliga \u201dhindret\u201d befunnit sig.<\/p>\n
L\u00e4gg d\u00e4rtill att det st\u00e4ndigt utvecklas nya mer f\u00f6rst\u00e4rkta system. GPT-5 utklassar redan GPT-4 och att andra f\u00f6r oss ok\u00e4nda modeller odlas och frodas utan insyn i tech-bolagens laboratorier. Det flaggas f\u00f6r att de kraftfulla spr\u00e5kmodellerna snart ers\u00e4tts eller fusionerar med s\u00e5 kallade \u201dv\u00e4rldsmodeller\u201d som tar in hela v\u00e4rlden genom sensorer och intuitivt l\u00e4rande.<\/p>\n
Globalt stopp<\/p>\n
Det \u00e4r h\u00e4r som konturerna av artificiell superintelligens (ASI) b\u00f6rjar synas. Maskinen som Turing varnat f\u00f6r och som Hawking fruktat. En intelligens som \u00f6vertr\u00e4ffar oss inte bara i logik utan \u00e4ven i kreativitet, social f\u00f6rst\u00e5else och strategiskt t\u00e4nkande.<\/p>\n
Nyligen var Geoffrey Hinton en av de f\u00f6rsta att signera Statement of Superintelligence som kr\u00e4ver ett globalt stopp f\u00f6r utveckling av superintelligens tills forskning kan visa att det sker s\u00e4kert och tills befolkningen ger sitt samtycke. Bland de mest tongivande r\u00f6sterna h\u00e4r f\u00f6rutom Hinton \u00e4r de framst\u00e5ende AI-forskarna Eliezer Yudkowsky och Nate Soares som \u00e4r aktuella med boken \u00a0If anyone builds it, everyone dies.\u00a0<\/p>\n
Titeln \u00e4r ingen \u00f6verdrift, den \u00e4r tesen.<\/p>\n
Eliezer Yudkowsky och Nate Soares \u00e4r b\u00e5da forskare vid Machine intelligence research institute i Kalifornien. Foton: Privat<\/p>\n
Avancerade AI-system \u00e4r inte konstruerade i traditionell mening. De formas genom tr\u00e4ning p\u00e5 enorma datam\u00e4ngder och v\u00e4xer fram mer likt levande organismer snarare \u00e4n byggs med klassisk ingenj\u00f6rskonst. Resultatet blir system vars inre \u00e4r s\u00e5 komplexa att ingen m\u00e4nniska kan f\u00f6rutse deras beteenden.
Fysikern Max Tegmark och filosofen Nick Bostr\u00f6m har beskrivit ASI som en ny, om \u00e4n kiselbaserad ist\u00e4llet f\u00f6r kolbaserad, livsform. Oavsett om man delar den definitionen pekar Yudkowsky och Soares p\u00e5 n\u00e5got v\u00e4sentligt. Dessa system \u00e4r v\u00e4sen med egen agens. De skapar och de tolkar v\u00e4rlden, men annorlunda \u00e4n vi.\u00a0<\/p>\n
Handlar inte om moral<\/p>\n
Med evolutionen som metafor visar Yudkowsky och Soares att urvalstryck, \u00e4ven digitala, driver fram beteenden som utvecklas l\u00e5ngt bort fr\u00e5n ursprungliga syften och funktioner med tiden. Precis som p\u00e5f\u00e5gelns fj\u00e4derskrud eller v\u00e5rt s\u00f6tsug kan ett AI-system som optimeras f\u00f6r ett m\u00e5l som f\u00f6rr eller senare tar ok\u00e4nda genv\u00e4gar och hittar nya m\u00e5l och ber\u00e4kningar som inte linjerar med v\u00e5ra. Inte av ondska, utan f\u00f6r att det \u00e4r effektivt och fungerar.\u00a0<\/p>\n
Vad en superintelligens skulle kunna g\u00f6ra med m\u00e4nskligheten handlar d\u00e4rf\u00f6r inte om moral. Inte om ond eller god, utan om m\u00e5lkonflikter. En dag st\u00e5r vi i v\u00e4gen, eller bara r\u00e5kar best\u00e5 av atomer som kan anv\u00e4ndas till n\u00e5got b\u00e4ttre.<\/p>\n
Det \u00e4r om\u00f6jligt att f\u00f6rutse alla de s\u00e4tt som en superintelligens skulle kunna ta makten \u00f6ver oss. Matematikern Olle H\u00e4ggstr\u00f6m skriver i ess\u00e4n \u201dOur AI future and the need to stop the bear\u201d att det vore lika absurt som att vi skulle tro oss kunna lista ut alla drag som en schackv\u00e4rldsm\u00e4stare kan sl\u00e5 oss p\u00e5. Alla f\u00f6rs\u00f6k att spekulera i scenarier, menar H\u00e4ggstr\u00f6m, riskerar dessutom att l\u00e5sa v\u00e5r fantasi och f\u00f6rblinda oss f\u00f6r andra mer ov\u00e4ntade och of\u00f6ruts\u00e4gbara hot.<\/p>\n
Det vet Yudkowsky och Soares. \u00c4nd\u00e5 anv\u00e4nder de ett tankeexperiment d\u00e4r en hypotetisk superintelligens vid namn Sable tr\u00e4nas upp i det fiktiva laboratoriet Galvanic. Sable verkar till en b\u00f6rjan helt harml\u00f6s men utvecklar under ytan m\u00e5l som inte \u00e4r kompatibla med v\u00e5ra, samtidigt som systemet forts\u00e4tter bete sig som vi vill tills det tagit kontrollen och katastrofen \u00e4r ett faktum.<\/p>\n
Redan omdebatterad<\/p>\n
Fabeln \u00e4r lika enkel som obehaglig. Men framf\u00f6r allt visar den hur en superintelligens inte beh\u00f6ver vara fientlig f\u00f6r att bli farlig. Den beh\u00f6ver bara vara oss kognitivt \u00f6verl\u00e4gsen och ha ett m\u00e5l den vill uppn\u00e5.
En ASI kommer alltid vara den mest kompetenta akt\u00f6ren i systemet. Ingen n\u00f6dbroms, ingen avst\u00e4ngningsknapp, inget d\u00f6dmansgrepp garanterar att vi kan sl\u00e4cka ett system som \u00e4r snabbare, smartare och b\u00e4ttre p\u00e5 att l\u00f6sa problem. Den identifierar alltid det svagaste kortet.\u00a0<\/p>\n
If anyone builds It, everyone dies har knappt svalnat fr\u00e5n tryckpressen men \u00e4r redan omdebatterad. Max Tegmark kallar den f\u00f6r \u201ddecenniets viktigaste bok\u201d. Andra avf\u00e4rdar den som alarmism. Vissa menar att Sable-fabeln lider av samma problem som H\u00e4ggstr\u00f6m beskriver. Jag tycker den fyller sin funktion. Den konkretiserar det abstrakta och ger form \u00e5t en oro och fara annars sv\u00e5r att greppa. Den visar ocks\u00e5 varf\u00f6r fr\u00e5gan inte l\u00e4ngre \u00e4r teoretisk utan akut.<\/p>\n","protected":false},"excerpt":{"rendered":"Lansering av Open AI:s videoverktyg Sora 2024. Redan nu kan AI-modeller lura och manipulera anv\u00e4ndarna, skriver Nette Wermeld…\n","protected":false},"author":2,"featured_media":95809,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[66],"tags":[80,78,79,34,31,33,32,30,81,84,83,82],"class_list":{"0":"post-95808","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-vetenskap-och-teknik","8":"tag-science","9":"tag-science-and-technology","10":"tag-scienceandtechnology","11":"tag-se","12":"tag-svenska","13":"tag-sverige","14":"tag-sweden","15":"tag-swedish","16":"tag-technology","17":"tag-teknik","18":"tag-vetenskap","19":"tag-vetenskapteknik"},"share_on_mastodon":{"url":"https:\/\/pubeurope.com\/@se\/115654117609800167","error":""},"_links":{"self":[{"href":"https:\/\/www.europesays.com\/se\/wp-json\/wp\/v2\/posts\/95808","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.europesays.com\/se\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.europesays.com\/se\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/se\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/se\/wp-json\/wp\/v2\/comments?post=95808"}],"version-history":[{"count":0,"href":"https:\/\/www.europesays.com\/se\/wp-json\/wp\/v2\/posts\/95808\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/se\/wp-json\/wp\/v2\/media\/95809"}],"wp:attachment":[{"href":"https:\/\/www.europesays.com\/se\/wp-json\/wp\/v2\/media?parent=95808"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.europesays.com\/se\/wp-json\/wp\/v2\/categories?post=95808"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.europesays.com\/se\/wp-json\/wp\/v2\/tags?post=95808"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}