Humaine’i hiljutine uuring, mis koostati kasutajate tagasiside põhjal ja mille eesmärk oli selgitada välja parimad vestlusrobotid, andis üllatava tulemuse: ChatGPT sai alles 8. koha. Edetabeli tippu tõusis hoopis Google’i Gemini 2.5 Pro, mida kiideti selle loomuliku ja paindliku suhtlusstiili eest. Teisele ja kolmandale kohale jõudsid vastavalt Hiina DeepSeek v3 ja Prantsusmaa Magistral Medium, mille puhul toodi esile selget keelekasutust ja head kohanemisvõimet.
Veidi ka hindamisest: Humaine on tehisintellekti edetabeliplatvorm, mis mõõdab ja hindab tipptasemel tehisintellektimudeleid inimeste tagasiside põhjal, mitte ainult tehniliste testide kaudu. Tegemist ei ole klassikalise akadeemilise uuringuga ega ainult laborikatsete põhiseadmega, vaid reaalsetes vestlustes ja kasutusstsenaariumides põhineva hinnangusüsteemiga. Uuringus osales ligi 25 000 inimest USA-st ja Suurbritanniast, esindades erinevaid vanuse-, rassi- ja maailmavaategruppe. Iga juturobotit hinnati nelja kriteeriumi alusel: ülesande täitmise loogika, võime pidada sujuvat dialoogi, suhtlusstiil ning usaldusväärsus ja eetika. Eripäraks oli „head-to-head“ meetod, kus inimesed suhtlesid korraga kahe anonüümse mudeliga ja valisid neist parema.
Uuring näitas, et kasutajate jaoks ei ole oluline ainult see, kui hästi juturobot suudab probleemi lahendada, vaid ka see, kui loomulik, arusaadav ja meeldiv on temaga suhelda. Kuigi ChatGPT on ülekaalukalt populaarseim, jäi ta selle uuringu põhjal kasutajakogemuses mitmele konkurendile alla.
Kuidas see lugu Sind end tundma pani?
Saada
Kommenteeri
Loe kommentaare