Ich habe an einem Webinar des Wissenschaftlichen Netzwerks für „GUTE WISSENSCHAFTLICHE PRAXIS FÜR ÖSTERREICH“ teil. teilgenommen, bei dem die Herausforderungen im Umgang mit KI-generierten Texten und deren Erkennung im Fokus standen. Es wurde ein Lösungsansatz des führenden Anbieters in diesem Bereich, Turnitin, vorgestellt.
Der Vortrag von Melvin Spinnler von Turnitin und die Moderation von Stefan Weber haben interessante Einblicke in die Themen Studierenden-Portfolio und KI-generierte Texte gegeben. und für mich folgende Frage aufgeworfen: Ist es als Lektorin oder Lektor an einer Hochschule wichtig, die KI-Detektion im Blick zu behalten und auf entsprechende Tools zurückzugreifen, um eine gute wissenschaftliche Praxis zu gewährleisten?
Mit KI-Detektion zur wissenschaftlichen Integrität?
Turnitin ist ein führender Anbieter in der Welt der akademischen Schreibpraxis und Plagiatserkennung, der Ihnen als Lektor an Hochschulen wertvolle Dienste bieten kann. Mit dem Produkt „Turnitin Feedback Studio“ Stellt Turnitin ein KI-Detektion Tool vor, welches Ihnen schriftliches Feedback und KI-basierte Schreiberkennung bietet. Ist es also hilfreich um die Qualität der wissenschaftlichen Arbeiten besser überprüfen und sicherstellen?
Sie fragen sich, wie das möglich ist?
Genau, Large Language Models (LLMs) wie ChatGPT und andere Sprachmodelle verwenden Algorithmen des maschinellen Lernens, um Text zu generieren, der eine charakteristische statistische Signatur erkennen kann.
Dies wird auch durch “Sprachforensik” ermöglicht. Was ist das: Können Sie einen Sprachstil erkennen, wenn Sie fünf von Studierenden geschriebene Referenzmodelle lesen? Genau das macht sich die KI-Erkennung zunutze, denn auch das Ghostwriting soll von der KI erkannt werden.
Wie können Sie falsch-positive Ergebnisse vermeiden?
Leider kann die KI-Detektion von Turnitin eine vergleichsweise hohe Anzahl an falsch-positiven Ergebnissen erzeugen. Dies bedeutet, dass das Tool Ähnlichkeiten oder Übereinstimmungen zwischen Texten anzeigt, die tatsächlich keine Plagiate sind.
Die Quote von 4% ist hoch, und ein KI-Detektor-Score von unter 20% wird sogar als unzuverlässig markiert. Es ist wichtig zu verstehen, dass diese falsch-positiven Ergebnisse frustrierend für Studierende als auch für die Lektor*innen sein können. Sie können zu ungerechtfertigten Vorwürfen führen und den Lehrprozess behindern, daher ist es wichtig, die Grenzen von KI-basierten Tools zur Plagiaterkennung zu verstehen
Sind Ihre Arbeiten auf Englisch?
Dann könnte die KI-Detektion mit den oben genannten Nachteilen für Sie funktionieren. Für uns als überwiegend deutschsprachige Fachhochschule ist die KI-Erkennung jedoch kaum anwendbar, da sie derzeit nur für englischsprachige Texte anwendbar ist.
An dieser englischen Version wird noch gearbeitet, um die Genauigkeit und Effektivität der Ergebnisse zu verbessern. Erst wenn das aktuelle Problem mit den falsch-positiven Ergebnissen gelöst ist, will Turnitin die Software auch für andere Sprachen als Englisch anbieten.
Was ist meine Meinung?
Wenn der KI-„Score“ auf der Basis von Referenzdokumenten ohne KI erstellt wird, befürchte ich, dass bis zum Einsatz der Software im deutschsprachigen Raum ein hoher Anteil an Verfälschungen der Referenzdokumente vorliegt.
Es ist unwahrscheinlich, dass viele der von Studierenden eingereichten Arbeiten keine KI-Optimierung enthalten, da diese Technologie jetzt schon weit verbreitet ist. Daher sehe ich Bedenken hinsichtlich der Genauigkeit und Fairness des KI-„Scores“.
Wie gehen wir damit um?
So denke ich, dass wir den Worten des japanischen Forscher Grant Jun Otsuki von 2020 in seinen Artikel: “OK computer: to prevent students cheating with AI text-generators, we should bring them into the classroom.” (herausgegeben von The Conversation) große Bedeutung beimessen sollten: Er bewirbt den proaktiven und kooperativen Weg zur Nutzung von KI, und empfiehlt gemeinsam mit den Studierenden Textgeneratoren für erste Entwürfe zu nutzen, welche in der zweiten Phase eigenständig erweitert und überarbeitet werden.
Nutzen wir gemeinsam das Potenzial der KI und ebnen den Weg zum qualitativ hochwertigeren wissenschaftlichen Arbeiten, indem wir die KI-Technologien als Unterstützung und Optimierung unserer Arbeitsprozesse verstehen und mit den Anwendungen adäquat umgehen lernen.
Verfasst von:
