Das Sprachmodell ChatGPT macht wissenschaftlichen Untersuchungen zufolge enorme Fortschritte. Das teilte die Pressestelle der Universität Passau am Mittwoch mit. Forschende der Hochschule experimentierten mit den Versionen 3 und 4 und stellten fest, dass die Maschine bessere englischsprachige Aufsätze verfasst habe als Schülerinnen und Schüler. Für die Studie hätten sie Lehrkräfte maschinengenerierte Texte und Aufsätze von Schülern in der Oberstufe nach Richtlinien des niedersächsischen Kultusministeriums bewerten lassen.
“Mich hat überrascht, wie klar das Ergebnis ausgefallen ist”, sagte der Inhaber des Lehrstuhls für AI Engineering, Professor Steffen Herbold. Denn beide Versionen des Chatbots des Unternehmens OpenAI hätten in allen Bereichen besser abgeschnitten als die Schüler. GPT-3 habe jedoch eher im Mittelfeld gelegen, GPT-4 die beste Leistung aufgewiesen. Der Informatiker führte die interdisziplinäre Studie mit der Computerlinguistin Annette Hautli-Janisz und der Informatik-Didaktikerin Ute Heuer durch. Letzterer ist es nach eigenen Worten ein Anliegen, Lehrkräfte auf die Herausforderungen und Chancen von künstlichen Intelligenzen vorzubereiten.
Bei einer Veranstaltung im März 2023 mit 139 Lehrerinen und Lehrern, die mehrheitlich an Gymnasien unterrichteten, mussten die Pädagogen ihnen vorgelegte englische Aufsätze bewerten. Auf einer Skala von 0 (für das schlechteste Ergebnis) bis 6 (für das beste Ergebnis) sollten sie Kriterien wie Thema, Vollständigkeit und Logik des Aufbaus sowie sprachliche Aspekte wie Wortschatz, Komplexität und Sprachbeherrschung beurteilen.
Die größte Abweichung stellte das Forschungsteam beim Wortschatz fest, wie es heißt. Hier habe die Maschine 5,25 (GPT-4) und 5,03 (GPT-3) erreicht. Die Schüler seien durchschnittlich auf 3,9 Punkte gekommen. Das bedeute aber nicht, dass sie schlecht in der englischen Sprache seien. “Vielmehr sind die Werte der Maschine überdurchschnittlich hoch”, erläuterte Hautli-Janisz. Weitere Erkenntnisse habe es im Hinblick auf die Sprachentwicklung der Maschine gegeben: “Wir sehen, dass sich die Modelle über die Zeit verändern und können mit unserer Studie belegen, dass sie bei unserem Task besser geworden sind.”
Darüber hinaus stellten die Forscherinnen laut Mitteilung Unterschiede zwischen der menschlichen und der maschinengenerierten Sprache fest. “Wenn wir in Zukunft mehr KI-generierte Texte lesen, dann stellt sich die Frage, ob und wie sich dies auf unsere menschliche Spache auswirken wird”, sagte Hautli-Janisz.