Eksameid korraldav haridus- ja noorteamet (harno) kohtus Tallinna Ülikooli teadlastega, et uurida, kas eesti keele e-eksamite või tasemetööde hindamisel saaks kasutada ka tehisaru. Lõplik otsus tehakse peale testimisi ja pilootkatseid, ütles harno keelevaldkonna juht Nele Toime.
Põhikooli eksameid ootavad ees sisulised ja vormilised muudatused: plaanide järgi peaks põhikooli e-eksam eesti keeles kui emakeeles minema käiku 2027. aastal. Ühes nende muudatustega oleks võimalik mõnes hindamise etapis kasutada tehisaru abi.
Eelmisel nädalal Tallinna Ülikooli teadlastega toimunud kohtumisel tutvustas ülikooli töörühm harno esindajatele projekti seniseid tulemusi ning selgitas, milliseid võimalusi pakuvad arendatud lahendused eesti keele hindamisel edaspidi.
“Arutati nii tehnilisi lahendusi kui ka võimalikke kasutusstsenaariume, sealhulgas seda, milliste ülesannete hindamisel võiks tehisintellektil põhinevat masinhindamist tulevikus rakendada. Kohtumine andis hea ülevaate sellest, milliseid samme oleks vaja teha enne masinhindamise võimalikku laiemat kasutuselevõttu,” lausus Toime.
Kuigi harnol pole veel kindlat seisukohta, kas ja kuidas AI-põhise hindamisega edasi minna, võiks Toime sõnul masinhindamine põhimõtteliselt sobida mitmete eri ülesandetüüpide hindamiseks.
“Näiteks võiks seda kasutada pikemate avatud vastuste puhul, mida hinnatakse selge ja eelnevalt kokkulepitud hindamismudeli alusel. Sellisel juhul saab tehisintellekt analüüsida vastuste sisu ja võrrelda seda hindamiskriteeriumitega,” lausus Toime.
Samas ei saa Toime hinnangul masinhindamise rakendamise kohta lõplikke otsuseid teha enne, kui vastavaid lahendusi on nii tehniliselt kui ka sisuliselt põhjalikult katsetatud: oluline on veenduda, et süsteemid oleksid usaldusväärsed, läbipaistvad ning toetaksid õiglast hindamist.
Masinhindamine aitaks hinded kiiremini välja saada
Harno hinnangul on masinhindamise üks peamisi eeliseid võimalus säästa hindajate aega, mis võimaldaks eksamitulemusi kiiremini avaldada ja samuti aitaks automatiseeritud hindamine vähendada inimlikest eksimustest tulenevaid vigu ning muuta hindamisprotsessi ühtlasemaks.
“Samas ei saa masinhindamine kunagi muutuda ainsaks hindamisviisiks. Inimhindaja roll jääb alati keskseks. Tehisintellekt saab pigem toimida abivahendina, mis aitab hindajat toetada, tuvastada võimalikke kõrvalekaldeid ja muuta protsessi tõhusamaks,” rõhutas Toime.
Harno ametnikud ei saa praegu veel välja tuua konkreetset aastat, millal masinhindamine e-testidel kasutusele võiks tulla, sest selliste lahenduste rakendamine eeldab lisaks testimisele ka laiemat arutelu haridusvaldkonna osapoolte, eelkõige õpetajatega.
“Järgmise sammuna alustame projekti käigus loodud lahenduste põhjalikumat analüüsi ning võimalusel ka pilootkatseid. Nende tulemuste põhjal saab hinnata, kas ja millises ulatuses oleks tehisintellektil põhinevat hindamist võimalik kasutada nii eksamite kui ka muude hindamisvormide, näiteks tasemetööde puhul, ning milline võiks olla selle roll hindamisprotsessi toetamisel,” lausus Toime.
Tallinna ülikooli teadlaste omal algatusel tehtud uurimus näitas, et keelemudelid pakuvad eksamile üsna sarnaseid hindeid kui inimesed. Uuringu juhi, TLÜ emakeeleõpetuse ja rakenduslingvistika lektor Merilin Aruvee sõnul sobib keelemudel eriti hästi hindama eksamiülesannet, kus hinnatakse alusteksti kasutamise oskust.