Mensch oder Maschine? GPTZero deckt KI-Texte auf

In Sekundenschnelle einen Essay texten, ein Gedicht verfassen oder einen Aufsatz aus dem Nichts hervorzaubern? Seit Ende November ist das mit dem durch Künstliche Intelligenz (KI) betriebenen Chatbot «ChatGPT» möglich.

Während sich Schülerinnen, Studenten oder Büroangestellte über das nützliche Tool freuen, sieht ein Informatikstudent der amerikanischen Universität Princeton, Edward Tian, darin Gefahrenpotenzial. Über Neujahr schuf er deshalb ein Programm, das erkennt, ob ein Text von ChatGPT oder von einem Menschen stammt. Es heisst GPTZero.

«Es gibt so viel Hype um ChatGPT. Wird dies und jenes von KI geschrieben? Wir Menschen verdienen, es zu wissen!», schreibt der 22-jährige auf Twitter. Besonders im Kontext der Schule sei das wichtig. «Wollen Gymnasiallehrer, dass Schülerinnen und Schüler ChatGPT nutzen, um ihre Geschichtsaufsätze zu schreiben? Wahrscheinlich nicht», erklärt Tian weiter.

Seit Anfang Januar können Interessierte die Beta-Version der App nutzen. Entweder direkt über Tians eigene Webseite oder über die Open-Source-Plattform Streamlit.

So funktioniert GPTZero

Für die Analyse füttern Nutzerinnen und Nutzer das Textfeld von GPTZero mit Text. Nach wenigen Sekunden antwortet die App mit einer Einschätzung anhand einer Punktzahl. Ist die Zahl vergleichsweise hoch, ist es wahrscheinlich, dass der Text von einem Menschen stammt.

GPTZero verwendet zwei Kriterien, um zu beurteilen, ob ein Text von einer KI verfasst wurde oder nicht: «Perplexity» und «Burstiness». Perplexity misst die Zufälligkeit in einem Satz. GPTZero analysiert, wie der Satz konstruiert ist und ob seine Struktur ungewöhnlich oder überraschend ist. Ist das der Fall, deutet das darauf hin, dass der Satz von einem Menschen stammt.

Burstiness untersucht die Zufälligkeit innerhalb des ganzen Textes. KI-Tools tendieren dazu, Texte mit konstant geringer Komplexität zu verfassen. Menschen hingegen schreiben eher mal einen komplexeren und dann wieder einen einfacheren Satz.

Tian «völlig überwältigt» vom grossen Interesse

Seit der Veröffentlichung ist der Ansturm auf GPTZero sehr gross. «Ich bin völlig überwältigt von der Unterstützung, die diese App erfahren hat», sagt Tian auf Substack. Das, nachdem er sich in einer vorherigen Nachricht noch für den Crash der Webseite entschuldigt hatte. Sie stürzte wegen der hohen Nachfrage zwischenzeitlich ab.

Trotz des grossen Ansturms gibt es auch kritischere Stimmen wie diese hier gegenüber GPTZero. Auf Twitter weisen sie Tian darauf hin, dass seine App nicht lange nützlich sein wird. Das, weil sie denken, dass ChatGPT in Zukunft solche Programme überlisten wird.

Könnte GPTZero schnell ausgetrickst werden?

Das denkt auch Sandro Luck, Machine Learning Engineer bei Digitec Galaxus. Trotzdem schreibt er die neue KI-App nicht gleich ab. «Ich vermute, dass GPTZero wohl lange Texte von ChatGPT aufdecken wird», sagt er. «Das, weil OpenAI – die Firma hinter ChatGPT – schlicht kein Interesse daran hat, zu verstecken, dass ChatGPT eine KI ist». Doch sobald Entwicklerinnen und Entwickler sich zum Ziel setzen würden, Tools wie GPTZero auszutricksen, gehe das «ganz schnell».

Tian will sich in den kommenden Monaten auf jeden Fall voll und ganz auf den Ausbau von GPTZero konzentrieren, schreibt der Student weiter auf Substack. Er will die Modellfähigkeiten verbessern und sich auf die vollständige Skalierung der App konzentrieren. Zudem hofft er, seine Erkenntnisse mit dem Programm bald in einem wissenschaftlichen Paper zu veröffentlichen.