Eine Studie in einem Psychologie-Studiengang zeigt: 94 Prozent der mit KI geschriebenen Prüfungsantworten bleiben unentdeckt – und erzielen sogar bessere Noten, als die echter Studenten. Experten fordern nun einen Paradigmenwechsel an den Unis.
by PoroBraum
22 comments
Im Gegensatz zu den meisten Prüflingen hat die KI ja auch vor den Prüfungen genug Zeit mit Lernen verbracht…
> Das Forscherteam um Peter Scarfe führte hierbei eine “blinde Studie” durch: Die Wissenschaftler schleusten KI-geschriebene Antworten in das Prüfungssystem von fünf verschiedenen Undergraduate-Modulen eines Psychologie-Studiengangs ein. Die Prüfer wussten nichts von dem Experiment – und vergaben an die künstlich erzeugten Texte Noten, die durchschnittlich eine halbe Note besser waren als die der echten Studierenden.
> Bei den Aufgaben handelte es sich sowohl um “Kurzantwortfragen”, auf die die Studenten mit maximal 200 Wörtern antworten mussten, als auch um “aufsatzbasierte Fragen”, bei denen ein Essay mit 1.500-Wörtern gefragt war.
> “Wir müssen akzeptieren, dass wir uns auf dem Weg in eine ‘neue Normalität’ befinden, in der die Nutzung von KI unvermeidlich ist”
Das ist an den Unis schon angekommen, keine Sorge, es wird sich die nächsten 10 Jahre nichts ändern. Wir sind immerhin Behörden!
Ich finde das ziemlich beängstigend. Besonders, wenn es um Jobs wie Ärzte oder so geht, bei denen wirklich Menschenleben auf dem Spiel stehen. Wenn sich Studenten da mit der KI irgendwie “durchmogeln” und nie wirklich etwas selbst gemacht haben und am Ende dann im medizinischen Bereich tätig sein können… ist sicher schwer aber nicht unmöglich. Es gibt ja einige solcher Stories, wo ein “Arzt” jahrelang ohne jegliche Qualifikation operiert hat. Aber in diesem Fall werden die Qualifikationen ja “erbracht” und vom System abgesegnet – und dazu kann das so ja viel häufiger passieren.
In meiner Bubble ist das so kein Thema, dass ich immer so naiv bin, anzunehmen, in meinem Fach gäbe es das nicht. Weil ja niemand Geschichte studiert, der keine historischen Recherchen betreiben will? Aber auch bei uns scheint es sich leider durchzusetzen
Könnte man ja fast meinen, jetzt ein Studium zu beginnen/abzuschließen wäre eine recht günstige Zeit. Leichter wird man wohl nie mehr an einen Abschluss kommen.
Wir sind hier wirklich auf Neuland. ChatGPT ist ein Durchbruch auf Ebene der Zugänglichkeit von Wissen auf dem Level von den ersten online Suchmaschinen, gepaart mit der Zuverlässigkeit und Exzellenz eines Taschenrechnerns, bloß nicht nur in der Arithmetik sondern in sämtlichen Fächern.
Es ist unglaublich wichtig, dass man den Schülern den verantwortungsvollen Umgang mit diesen Tools beibringt und die Wichtigkeit, auch selbst zu lernen, wie man auch selbstständig auf Antworten schließen kann, vermittelt. Der “ihr werdet nicht immer einen Taschenrechner bei euch haben” Zug ist längst abgefahren. Entweder man arbeitet zusammen mit den Schülern daran, wie sie die tools verwenden, oder die Schüler machen es einfach trotzdem und man tut vergeblichst so, als könne man irgendwas kontrollieren.
Naja, KIs sind halt LLMs, die all das “wissen”, was man textbasiert zu einem Thema wissen kann. Natürlich sollten die standardisierte Fragen beantworten können.
Die Frage ist: Kann KI auch das bestehende Wissen kritisieren, Paradigmen abwägen, Wissensbestände erweitern, zwischen Ontologien und Epistomologien unterscheiden oder Ideologie erkennen?
Was uns das vor allem sagt: Die Art, wie wir Wissen bewerten, durch “prüfen” ist eigentlich nicht für das Ziel angemessen, das die meisten Studiengänge haben (sollten).
KIs haben jedenfalls ziemliche Probleme mit der Struktur von “Wissen”. Wenn die Struktur des abgefragten Wissens nicht mehr mit der von ihnen gelernten übereinstimmt, kommen sie an ihr Ende – oder – versuchen einfach ihre Struktur aufzuzwingen: [https://www.youtube.com/watch?v=rSCNW1OCk_M](https://www.youtube.com/watch?v=rSCNW1OCk_M)
Interessant. Ich als Lehrkraft kann die von der KI geschriebenen Texte ziemlich einfach erkennen.
# “und erzielen sogar bessere Noten, als die echter Studenten”
Alter echt??? Das ist ja der Sinn von mit KI generierten Prüfungsantworten meine Fresse
Wir müssen halt lernen generative KI als Tool zu nutzen, anstatt dagegen zu kämpfen. Macht KI Fehler? Ja. Genauso kommst du auch durch googlen an falsche Infos. Googled aber jemand mit Ahnung, dann erleichtert Google einfach die Arbeit
Aus Assistentensicht ist ein großes Problem zudem, dass es von den Unis keinerlei Leitfäden gibt, wie man mit Täuschungsversuchen umzugehen hat. Das führt dazu, dass es deutlich einfacher ist Leute bestehen zu lassen, als sich mit dem Ganzen näher zu beschäftigen und das scheint politisch auch so gewollt.
Überhaupt nicht überraschend, schon ein Abiturient mit Zugang zu alten Musterlösungen und einer Suchfunktion würde in vielen Examen gut abschneiden. Ich weiß auch nicht, warum man sich so sehr darauf fokussiert, wie man hier den Betrug enttarnen könnte. Viel interessanter ist doch, dass das nur zeigt, dass die Klausur eigentlich nur Auswendiglernen erfordert.
Ich würde gerne wissen, was das für eine Vorlesung war? Eine Wissens- oder Verständnisvorlesung?
Manche Vorlesungen sind ja nur dazu da, den Studierenden Fakten einzuflößen. Da ist es okay, wenn die KI besser abschneidet. Wenn es aber eine Verständnisvorlesung war, sollten die Klausuren für eine KI schwer bis unmöglich sein.
Deswegen auch weiterhin mündliche Prüfungen ohne Hilfsmittel.
Hä? Welche Prüfungen schreibt man denn im Psychologie Studium von zu Hause aus?
langjähriger MINT Dozent hier.
Studenten machen Studentensachen. In erster Linie wollen viele Studis an der Uni einen Abschluss machen um einen gutbezahlten Job zu bekommen. Und solange man den mit guten Noten leichter kriegt, wird das Lern- und Prüfverhalten daraufhin optimiert. Das Pferd springt nur so hoch, wie es eben muss.
Studenten schreiben seit Jahrhunderten ab, kopieren seit Jahrzehnten aus dem Internet und nutzen jetzt halt KI. Der Unterschied zu vergangenen Zeiten ist, dass früher von gut benoteten (häufig also von guter Qualität) Arbeiten/Protokollen abgeschrieben wurde. Was ich stattdessen in den letzten zwei Jahren an KI-generierten Quatsch gelesen habe, geht auf keine Kuhhaut. Auf Nachfrage wie die Studis von den Experimentaldaten auf die (vermeintlich von einer KI) niedergeschriebenen Ergbenisse und Deutungen kommen, nur Stammeln und Drucksen.
Ich werde ab jetzt auf Protokolle und Abschlussarbeiten verzichten und stattdessen nur noch mündliche Prüfungen und Präsentationen abnehmen.
Erst wenn ein Mensch ein Thema erklären und präsentieren kann, hat er es verstanden und damit das Lernziel erreicht.
Was heißt das dann für deren Patienten?
> und erzielen sogar bessere Noten, als die echter Studenten
Eine KI hätte diesen Kommafehler nicht gemacht 😀
Einfach neu studierte nicht respektiert. Sind sowieso alles KI schummler die nix können.
Wie gut für die Unis dass die meisten Menschen absolut keine Ahnung haben, wie man prompted und viele KI-Texte sehr einfach erkennbar sind, es wird sich nämlich in den nächsten 10 Jahren nichts am System ändern
Das schüler und studentrn bedrügen heißt eig immer ein fehler im systme. Da Prüfungen wichtiger sind als das lernen.
Für Dozenten heißt das vor allem, dass man als Prüfungsleistungen eben nichts mehr machen kann, wo Studenten einen Computer zur Texterzeugung nutzen können.
Klausuren also nur noch in Person mit Papier und Stift. Mündliche oder Präsentationsprüfungen gehen auch.
Was ich in der Informatik gerne mache ist, dass die Studenten zum Projekt auch ihren git-Versionsverlauf abgeben müssen. Wenn der zeigt, dass sich der Code mysteriös in einem Aufwasch im Repo manifestiert hat, dann ist das sehr suspekt. Das könnte man im Prinzip auch bei geschriebenen Hausarbeiten machen, allerdings verstehen die anderen Fächer nicht viel von Versionsverwaltung und Microsoft Word unterstützt das auch nicht besonders gut.
Comments are closed.