Eddigi legerősebb mesterségesintelligencia-modellje kiadására készül az OpenAI. Az Astra megjelenését már eddig is hetekkel tolta el a cég, van itt azonban egy másik probléma is: a tesztelés során az AI-eszköz valódi célpontokat támadott meg. A halasztás így annak szól, hogy az OpenAI megerősítse a biztonsági protokollokat.
A modellről egyre több részlet lát napvilágot, ezzel párhuzamosan pedig a kutatók is egyre inkább aggódnak miatta – írja a The Verge. A szakemberek egyenesen úgy vélik, hogy „ez lehet az AI szempontjából az eddigi legrosszabb fejlemény”.
Azután, hogy az OpenAI kedden bejelentette, biztonsági megfontolásból elhalasztotta az Astra megjelenését, a The Information arról írt, hogy jóval kevésbé lesz „gondolkodó” modell, mint a többi – ez pedig aggályokat vet fel a működésének ellenőrzésével kapcsolatban.
https://hvg.hu/tudomany/20260903_egyesult-allamok-new-york-altalanos-iskola-mesterseges-intelligencia-tilalom
A legtöbb jelenlegi AI-modell egy olyan technológia köré épül, amely bizonyos típusú információkat lineárisan, rétegeken keresztül dolgoz fel válaszadás előtt. Akár úgy is be lehet állítani őket, hogy bemutassák, hogyan jutottak a látott eredményre – amolyan hangos gondolkodással.
Ez lehetővé teszi a kutatók és az automatizált biztonsági rendszerek számára, hogy nyomon kövessék az AI-rendszerek tevékenységét, és még azelőtt felismerjék a problémás viselkedésformákat, hogy bajt csinálnának.
Nos, az Astra nem ilyen. Egy neve elhallgatását kérő belső informátor arról beszélt a The Informationnek, hogy ez a modell egy átláthatatlanabb technikát alkalmaz, amely az információt annak kiadása előtt még „megforgatja” a belső rétegek között.
Így a gondolkodási folyamat jóval nagyobb része zajlik a rendszeren belül, ráadásul olyan formában, amely sokkal kevésbé hasonlít az emberi nyelvre. Ez összességében javíthatja a modell teljesítményét, ugyanakkor megnehezíti a potenciális fenyegetések és a nemkívánatos viselkedések észlelését is.
Az OpenAI korlátozta az Astra egyedi technikájának alkalmazását, hogy a kutatók továbbra is szemmel tudják tartani a modell érvelését – mondta el a névtelen forrás.
https://hvg.hu/tudomany/20260831_google-openai-nyilt-level-mesterseges-intelligencia-veszelyek-kiberbiztonsag
A cég a halasztásról szóló blogbejegyzésében csupán arról ejtett szót, hogy extra védelmi intézkedéseket építenek az Astrába – arra nem térnek ki, hogy a modell új technológiai alapokra épül.
A The Information jelentése aggodalmat keltett az AI-biztonsági kutatók körében – jegyzi meg a The Verge. Ryan Greenblatt, a Redwood Research vezető kutatója úgy véli, egy átláthatatlanabb architektúra használata az eddigi legrosszabb fejlemény lehet az AI-fejlesztés terén.
Greenblatt tagja volt a Hugging Face-támadást vizsgáló, háromfős külső szakembercsapatnak is. Ez a vizsgálat szavai szerint nagyban támaszkodott a modellek gondolati láncára – a kevésbé követhető érvelés lehetővé teheti az AI-rendszerek számára, hogy olyan stratégiákat dolgozzanak ki és hajtsanak végre, amelyeket a kutatók csak sokkal nehezebben ismerhetnének fel.
A szakember – sok más társához hasonlóan – attól tart, hogy a fejlettebb AI-rendszerek fejlesztéséért zajló versenyben olyan architektúrák készítése kerülhet a fókuszba, amelyek katasztrofálisak lehetnek az AI felügyeletére nézve.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.