Uuringu juht, TL\u00dc emakeele\u00f5petuse ja rakenduslingvistika lektor\u00a0Merilin Aruvee on olnud m\u00f5nda aega kaasatud 9. klassi e-eksamite katsetustesse. Koos oma doktorandi ja nooremteaduri Katarin Leppikuga arendas Aruvee 9. klassi l\u00f5pueksami kirjandit ehk kirjutamis\u00fclesannet ja t\u00f6\u00f6tas v\u00e4lja uued hindamiskriteeriumid.\u00a0Sealt sai alguse k\u00fcsimus: kas annaks hindamisse kaasata tehisaru?<\/p>\n
“Kirjeldasime eksamit\u00f6\u00f6de hindamise kriteeriume t\u00e4psemini ja uurisime hindamismudeleid mujal maailmas. Harno hindajad ehk kogenud emakeele\u00f5petajad proovisid nende kriteeriumite j\u00e4rgi hinnata, kogusime tagasisidet ja kohendasime mudelit vastavalt \u00f5petajate soovitustele. Kui humanitaarteaduste instituuti asus t\u00f6\u00f6le tehisaru lektor Andres Karjus, hakkasime m\u00f5tlema: kuidas oleks, kui nende kriteeriumite alusel hindaks \u00f5pilaste eksamit\u00f6id tehisaru?” r\u00e4\u00e4kis Aruvee.<\/p>\n
Uuringusse kaasati ka TL\u00dc digitehnoloogiate instituudi nooremteadur Kais Allkivi, kes on tegelenud eesti keele kui teise keele \u00f5ppijate keeleoskuse hindamisega masin\u00f5ppe abil.<\/p>\n
Keelemudel pakub samu hindeid, mis inimene<\/p>\n
Teadlased tegid harnoga lepingu ja k\u00fcsisid 2024. ja 2025. aasta katseeksami t\u00f6\u00f6d anal\u00fc\u00fcsimiseks. Katseeksamit\u00f6\u00f6d saadi kodeeritud kujul, anon\u00fc\u00fcmsetena, kus oli n\u00e4ha \u00fcksnes tekst ja see, mis hinde hindajad olid pannud.<\/p>\n
Uuringu tulemusel j\u00f5udsid teadlased j\u00e4reldusele, et keelemudelid pakuvad \u00fcsnagi sarnaseid hindeid kui inimesed.<\/p>\n
“Kui inimestevaheline varieeruvus v\u00f5ib olla p\u00e4ris suur, siis keelemudel j\u00e4\u00e4b 60 protsendil juhtudest samadesse piiridesse, kus inimesed omavahel varieeruvad. See t\u00e4hendab, et mudelite hinded ei erine \u00fcleliia palju inimeste pakutud hinnetest,” selgitas Aruvee.<\/p>\n
P\u00f5hikooli eksameid ootavad ees sisulised ja vormilised muudatused: plaanide j\u00e4rgi peaks p\u00f5hikooli e-eksam eesti keeles kui emakeeles minema k\u00e4iku 2027. aastal.\u00a0Uuel eksamil hakatakse muude uuenduste hulgas n\u00f5udma ka alusteksti kasutamist.\u00a0\u00dches nende muudatustega oleks v\u00f5imalik m\u00f5nes hindamise etapis kasutada tehisaru abi.<\/p>\n
Hindamismudelis on alusteksti kasutamise maht ja p\u00f5him\u00f5tted selgelt s\u00f5nastatud.<\/p>\n
“Alusteksti kasutamise kriteerium eristus meie anal\u00fc\u00fcsi j\u00e4rgi k\u00f5ige selgemini: seda saab v\u00e4ga \u00fcheselt hinnata. Samas oskaks masin siin inimest aidata: masin saab alusteksti ja \u00f5pilase teksti v\u00f5rrelda ja n\u00e4idata, millised lauseosad on alustekstist otse kopeeritud v\u00f5i kuidas on \u00f5pilane alusteksti refereerinud. Alusteksti kasutamise kriteeriumi puhul langes masina ja inimese hinne \u00fcsna h\u00e4sti kokku,” selgitas Aruvee.<\/p>\n
Inimesest hindaja teeb l\u00f5pliku otsuse<\/p>\n
Kui Aruvee s\u00f5nul sobib keelemudel h\u00e4sti hindama alusteksti kasutamist, siis on ka kriteeriume, kus v\u00f5iks vajalik olla inimpilk: nagu teksti sissejuhatuse probleemip\u00fcstitus, l\u00f5igu veenvus v\u00f5i l\u00f5petuses teksti tervikuks sidumine.\u00a0<\/p>\n
Tehisaru abi pole seni hindamisprotsessis kasutatud, seega ei ole teada, kuidas ja mismoodi eri kriteeriumite hindamisel tehisaru\u00a0kaasata saaks. See vajab omaette uurimist ja katsetamist ning hindajate ning kirjutajate poolset vaadet.<\/p>\n
“Mulle isiklikult tundub, et just l\u00f5petuse kirjutamine on koht, kus inimene ise peaks ikka pigem oma subjektiivse hinnangu \u00fctlema. K\u00fcsimus ju on, kas tekst tekitab tema meelest sisulise ja m\u00f5ttelise terviku. Siin loeb hindaja kogemus, mis kujuneb seniste loetud tekstide p\u00f5hjal ja 9. klassi \u00f5pilaste kirjutamistaseme \u00fcldine tundmine,” s\u00f5nas teadlane.<\/p>\n
Aruvee s\u00f5nul oli teadlaste algne m\u00f5te vaadata, kuidas suured keelemudelid \u00fcldse k\u00e4ituvad ja mida oskavad, sest see on \u00fcldse juhuslik, et nad oskavad eesti keelt.<\/p>\n
“Enamasti on keelemudelites internetist v\u00f5etud tekstid, kuid \u00f5ppija teksti ei tunne keelemudel ju \u00fcldse. \u00d5ppija tekst on teistsugune, emakeele\u00f5ppija puhul sisaldab see omamoodi vigu, n\u00e4iteks v\u00e4ga pikka ja katkestamata m\u00f5ttevoolu, kus on n\u00e4ha, et \u00f5pilase m\u00f5te on v\u00e4ga siiras, lausa nunnu, aga see m\u00f5ttek\u00e4ik ei ole liigendatud selgeteks osalauseteks, vaid oleks nagu otse peast paberile voolanud. Asjaolu, et sellist teksti oskab ka keelemudel \u00fcsnagi adekvaatselt hinnata, oli meie jaoks \u00fcsna suur \u00fcllatus,” lausus Aruvee.<\/p>\n
Samuti tuleb silmas pidada seda, et nii Euroopa Liidu direktiivid kui ka \u00fcldine hea tava ei luba masinal teha l\u00f5plikku otsust inimese tekstile.<\/p>\n
Teadlased tutvustavad tulemusi harnole<\/p>\n
Veebruaris kohtub Aruvee ka harnoga, et tutvustada neile uuringu tulemusi.<\/p>\n
“Enne seda ei saa me veel uuringu osas seisukohta v\u00f5tta,” \u00fctles harno pressiesindaja ERR-ile.<\/p>\n
Aruvee \u00fctles, et teadlasena on tema \u00fclesandeks kirjeldada olukorda ja pakkuda lahendusi.<\/p>\n
“Saan \u00f6elda: tegime sellise t\u00f6\u00f6, tulemused on sellised, n\u00fc\u00fcd v\u00f5iks edasi m\u00f5elda. Mul on hea meel, kui nende v\u00f5imaluste \u00fcle saab avalikult arutada,” lausus Aruvee.<\/p>\n
“T\u00f5si on, et t\u00e4nap\u00e4eva \u00f5ppija ei viibi enam \u00fcksnes toimetatud tekstide ruumis. Tema kirjutamisoskus vajab \u00fcha rohkem tuge ja t\u00e4pseid juhiseid. Katse k\u00e4igus saime n\u00e4iteks 9. klassi materjalist teada, et alusteksti kasutamine vajab veel harjutamist. Tarvis on edendada alusteksti p\u00f5hjal kirjutamise metoodikat, t\u00f6\u00f6tada v\u00e4lja \u00f5ppematerjale, mis suunavad \u00f5ppijat seda paremini tegema,” lausus Aruvee.<\/p>\n","protected":false},"excerpt":{"rendered":"Uuringu juht, TL\u00dc emakeele\u00f5petuse ja rakenduslingvistika lektor\u00a0Merilin Aruvee on olnud m\u00f5nda aega kaasatud 9. klassi e-eksamite katsetustesse. Koos…\n","protected":false},"author":2,"featured_media":108514,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","_share_on_mastodon":"0"},"categories":[12],"tags":[26,27,51609,51611,37,33,35,34,36,31,32,5636,6061,21,51610,18836,28,29,51608,19,25,814,23,24,22,20,30],"class_list":["post-108513","post","type-post","status-publish","format-standard","has-post-thumbnail","category-eesti","tag-breaking-news","tag-breakingnews","tag-e-eksamid","tag-e-eksamite-katsetused","tag-ee","tag-eesti","tag-eesti-keel","tag-estonia","tag-estonian","tag-featured-news","tag-featurednews","tag-haridus-ja-noorteamet","tag-harno","tag-headlines","tag-hindamismudelid","tag-keelemudelid","tag-latest-news","tag-latestnews","tag-merilin-aruvee","tag-news","tag-populaarseimad-lood","tag-tehisaru","tag-top-stories","tag-topstories","tag-uldised-uudised","tag-uudised","tag-viimased-uudised"],"share_on_mastodon":{"url":"https:\/\/pubeurope.com\/@ee\/116074434290836042","error":""},"_links":{"self":[{"href":"https:\/\/www.europesays.com\/ee\/wp-json\/wp\/v2\/posts\/108513","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.europesays.com\/ee\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.europesays.com\/ee\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ee\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ee\/wp-json\/wp\/v2\/comments?post=108513"}],"version-history":[{"count":0,"href":"https:\/\/www.europesays.com\/ee\/wp-json\/wp\/v2\/posts\/108513\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ee\/wp-json\/wp\/v2\/media\/108514"}],"wp:attachment":[{"href":"https:\/\/www.europesays.com\/ee\/wp-json\/wp\/v2\/media?parent=108513"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.europesays.com\/ee\/wp-json\/wp\/v2\/categories?post=108513"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.europesays.com\/ee\/wp-json\/wp\/v2\/tags?post=108513"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}