Mensch oder ChatGPT?

Ein Team aus Tiermedizinerinnen und Tiermedizinern aus der Klinik für Kleintiere der Stiftung Tierärztliche Hochschule Hannover (TiHo) testete gemeinsam mit Forschenden verschiedener europäischer Institutionen, wie gut Gutachterinnen und Gutachter erkennen können, ob die Zusammenfassung eines wissenschaftlichen Artikels mit ChatGPT oder von einem Menschen verfasst wurde. Sie konzentrierten sich dabei auf das Fach Neurologie.

Unter dem Titel „ChatGPT and Scientific Papers in Veterinary Neurology; Is the Genie Out of the Bottle?" veröffentlichte das Team seine Ergebnisse in dem Fachmagazin Frontiers in Veterinary Science. Das Team bewertete dafür die Fähigkeit von ChatGPT, wissenschaftliche Arbeiten für das Fach veterinärmedizinische Neurologie zu generieren. Sie ließen Abstracts und Einleitungen mit Referenzen erstellen und analysierten sie anschließend. Für die Arbeit wählten sie die drei Forschungsbereiche Entzündungen des Gehirns, Epilepsie und kanine Geruchserkennung aus. Des Weiteren überprüften sie die Texte mit gängigen KI- und Plagiatserkennungssoftwares.

Dr. Samira Abani, Klinik für Kleintiere und Erstautorin der Arbeit, sagte: „Unsere Studie beleuchtet die Vorzüge und die Einschränkungen von ChatGPT beim wissenschaftlichen Schreiben im Bereich Tiermedizin. Ein negatives Beispiel ist, wenn ChatGPT zum alleinigen Schreiben der wissenschaftlichen Dokumente benutzt wird, da es zu ‚Halluzinationen‘ neigt und Sachen erfindet. Es gibt aber auch positive Beispiele: So kann die Anwendung Dokumente für die englische Sprache für nicht Muttersprachler überarbeiten und die Nachteile nicht englischsprachiger Forschender überwinden."

Dr. Jasmin Nessler, wissenschaftliche Mitarbeiterin in der Klinik für Kleintiere, fügt hinzu: „Die Ergebnisse waren sehr aufschlussreich für uns. Erfahrene Neurologinnen und Neurologen, die mit den Feinheiten des wissenschaftlichen Schreibens vertraut sind, hatten zunehmend Schwierigkeiten, zwischen von ChatGPT generierten und von Menschenhand verfassten Abstracts zu unterscheiden, insbesondere bei abnehmender Fachkenntnis. Diese Erkenntnis unterstreicht die Fähigkeit von ChatGPT, menschliche Schreibstile nachzuahmen und kohärent klingende, plausible Texte zu erzeugen.“

Professor Holger Volk, PhD, Leiter der Klinik für Kleintiere, sagt: „Die Studie zeigt, dass selbst erfahrene Gutachterinnen und Gutachter getäuscht werden können, da Sprachmodelle wie ChatGPT darauf trainiert sind, menschliche Schreibstile nahtlos zu imitieren. Die Auswirkungen für die wissenschaftliche Gemeinschaft sind tiefgreifend und erfordern eine Neubewertung herkömmlicher Bewertungskriterien."

Die Originalpublikation

Samira Abani, Holger Andreas Volk, Steven De Decker, Joe Fenn, Clare Rusbridge, Marios Charalambous, Rita Goncalves, Rodrigo Gutierrez-Quintana, Shenja Loderstedt, Thomas Flegel, Carlos Ros, Thilo von Klopmann, Henning C. Schenk, Marion Kornberg, Nina Meyerhoff, Andrea Tipold, Jasmin Nicole Nessler

ChatGPT and Scientific Papers in Veterinary Neurology; Is the Genie Out of the Bottle?

Frontiers in Veterinary Science

https://www.frontiersin.org/articles/10.3389/fvets.2023.1272755/full