Manche Nutzer:innen lassen sich Wikipedia-Artikel von Sprachmodellen generieren, inklusive erfundener Referenzen. Ein Wikipedia-Urgestein stolperte zufällig über die halluzinierten Artikel – ausgerechnet mit der Hilfe von einem Sprachmodell.

Eigentlich wollte Mathias Schindler nur eine kleine Sache in der Wikipedia korrigieren. Doch dann baute der Wikipedianer versehentlich einen Detektor für bestimmte KI-generierte Inhalte in der Enzyklopädie. Auf dem 39C3 berichtet er, warum die halluzinierten Texte auch ein Problem für die Anbieter großer Sprachmodelle werden könnte und warum er den Autor:innen keine guten Absichten unterstellt.

Die kleine Sache, die Schindler korrigieren wollte, waren fehlerhafte ISBNs. Mit diesen 10 oder 13-stelligen Nummern werden Bücher identifiziert und finden sich oft in Quellenangaben von Wikipedia-Einträgen. Dabei sind die Zahlenkombinationen nicht vollkommen zufällig, erklärt Schindler im Talk. Die letzte Ziffer ist eine Prüfziffer, sie lässt sich aus den neun beziehungsweise zwölf vorherigen Ziffern berechnen. Ursprünglich wollte Schindler falsche ISBNs in der Wikipedia aufspüren und ausbessern, auch damit Nutzer:innen die richtigen Bücher finden, die als Referenzen in den Artikeln angegeben wurden.

Zufallsfund dank falscher ISBNs

„Referenzen auf Wikipedia sind nicht nur wichtig, sondern ein integraler Teil der Wikipedia“, sagt Schindler und verweist in seinem Vortrag auf den alten Spruch: „Wikimedia mag ein guter Ort sein, um eine Recherche zu starten, aber es ist ein schlechter Ort, um dort die Recherche zu beenden.“ (Alle Zitate aus dem Talk haben wir ins Deutsche übersetzt.) Schindler muss es wissen. Er ist Mitbegründer von Wikimedia Deutschland und Wikipedia-Autor seit 2003.

Um die inkorrekten ISBNs zu finden, schrieb Schindler ein Skript, lud die gesamte deutschsprachige Wikipedia herunter und durchsuchte sie nach ISBNs mit einer faulen Prüfziffer, erzählt er in seinem Vortrag. Doch er stieß nicht nur auf falsch eingegebene ISBNs oder von den Verlagen falsch ausgegebene ISBNs, sondern fand auch Artikel, bei denen zwei oder mehr Bücher fehlerhafte ISBNs hatten. Diese Bücher schienen zwar plausible Titel und Autor:innen zu haben, aber Schindler konnte sie nirgendwo sonst finden. Sie waren halluziniert.

Offenbar hatten sich Menschen ganze Artikel von einem Large Language Model (LLM) wie ChatGPT schreiben lassen, welches sich dann auch einen Abschnitt mit Einzelnachweisen ausdachte.

Noch ist es ein Nischenphänomen

Im Gespräch mit netzpolitik.org erzählt Schindler, dass er mit seiner Methode etwa 150 Artikel gefunden habe, bei denen man Sorge haben müsse, dass sie zumindest teilweise KI-generiert und frei erfunden seien. Allerdings seien die fehlerhaften Einträge nicht ausschließlich auf KI-Chatbots zurückzuführen, manchmal gebe es andere Gründe für mehrfach falsche ISBNs, sagt Schindler. Außerdem gibt es über drei Millionen deutschsprachige Wikipedia-Artikel, die 150 Auffälligen machen also nur ein äußerst geringen Anteil von 0,005 Prozent aus.

Andererseits erfasst Schindlers Methode auch nicht alle Halluzinationen, dafür war es schließlich nicht gedacht. „Dieses Werkzeug ist nicht das Universaltool zum Erkennen von ChatGPT-generierten Artikeln.“ Andere Möglichkeiten, solche Inhalte zu enttarnen, seien etwa systematische Abweichungen von der Syntax von „Media Wiki“ (der Software hinter Wikipedia). Oder wenn Autor:innen viele Adjektive verwenden: „Kein Wikipedianer, der was auf sich hält, wird den Fernsehturm als ‚großartig‘ oder ‚herausragend‘ bezeichnen.“

LLM generierter Text „Anti-These zu Wikipedia“

Doch auch wenn das Erstellen von Wikipedia-Artikeln mit LLMs noch nicht so verbreitet sein sollte, geht es für Wikipedia um Grundsätzliches: Die Kontamination mit Inhalten, die auf den ersten Blick wahr erscheinen könnten und sich als Fakten tarnen. Schindler sagt: „Man könnte es auch als Anti-These zu einem Enzyklopädie-Projekt wie Wikipedia beschreiben.“

Die Gefahren? Zum einen können sich falsche Infos verselbstständigen, wenn eine andere Veröffentlichung den vermeintlichen Fakt von Wikipedia abschreibt und die Wikipedia diese Veröffentlichungen hinterher als Beleg für genau diesen Fakt aufführen. Schindler weist in seinem Vortrag auf diesen Teufelskreis hin, der bereits vor LLMs ein Problem darstellte.

Glaubwürdigkeit in Gefahr – und die Qualität von LLMs

Zum anderen verschlingen LLM-generierte Quellen zunehmend die Ressourcen unterschiedlichster Einrichtungen. Nicht nur die der Online-Enzyklopädie: Irregeleitete Nutzer:innen fragen etwa Bibliothekar:innen nach ausgedachten Büchern, berichtete 404 Media im Herbst. Beim Internationalen Komitee des Roten Kreuzes (ICRC) wurde die Situation offenbar so schlimm, dass es sich mit einer „wichtigen Mitteilung“ an die Öffentlichkeit wandte.

„Wenn eine Referenz nicht gefunden werden kann, heißt das nicht, dass das ICRC Informationen zurückhält. Verschiedene Situationen können das erklären, wie etwa unvollständige Zitationen, Dokumente, die in andere Institutionen lagern, oder – zunehmend – KI-generierte Halluzinationen“, warnte das ICRC Anfang Dezember.

Auch für die Entwickler von Large Language Models hätten halluzinierte Wikipedia-Artikel Nachteile, argumentiert Schindler. Denn ihre Modelle werden oft mit Wikipedia-Artikeln trainiert. „Die KI-Firmen profitieren von hochwertigen Daten und leiden unter dem Verlust von Quellen, die frei von synthetischen Texten sind“, sagt im Schindler im Gespräch mit netzpolitik.org. Oder wie er es im Vortrag formuliert: „LLM-Provider vergiften damit auf eine Art den Fluss, aus dem sie selber trinken“, sagt Schindler.

Wer macht sowas?

Doch wer stellt eigentlich LLM-generierte Inhalte in die Wikipedia? „Bunt gemischt“, erzählt Mathias Schindler im Gespräch mit netzpolitik.org. Von Wikipedia-Neulingen über langjährige Autor:innen bis zu einer Werbeagentur sei alles dabei gewesen. Er habe versucht, möglichst viele Autor:innen von verdächtigen Artikeln zu kontaktieren. Manche hätten ihn ignoriert, andere alles geleugnet oder den Einsatz einer LLM heruntergespielt.

„Eine Erklärung ist, dass Menschen LLMs tatsächlich als Recherchewerkzeug ansehen, das magischen Zugang zu wissenschaftlichen Datenbanken und Literatur hat und belastbare Belege liefert“, sagt Schindler zu netzpolitik.org. Bisher habe er aber noch keine solche Person unter den verdächtigen Autor:innen getroffen. Stattdessen vermutet Schindler eher persönlichen Geltungsdrang oder dass Personen eine Agenda verfolgen, die Enzyklopädie in ihrem Sinne umzuschreiben.

In seinem Vortrag erzählt Schindler, er habe alle verdächtigen Autor:innen, um den Prompt gebeten, mit dem diese den Artikel generiert hätten. „Das ist mein persönlicher ‚Litmus‘-Test, ob die Menschen ehrliche Absichten haben“, sagt Schindler. Nur eine einzige Person habe den Prompt nach vielen Nachfragen privat geteilt.

Die Herausforderung bleibt

Laut Schindler wurden alle gemeldeten Artikel gelöscht, bei denen die Autor:innen die Zweifel nicht ausräumen konnten, dass sie KI-generiert waren. In vielen Fällen wurden auch die Autor:innen gesperrt. In einem Richtlinien-Artikel der deutschsprachigen Wikipedia heißt es dazu: „Sprach-KI sind derzeit nicht in der Lage, korrekt belegte Beiträge zu erstellen. Beiträge, die damit erstellt werden, verstoßen daher unter anderem gegen WP:Keine Theoriefindung, WP:Belege, WP:Urheberrechtsverletzung, WP:Neutraler Standpunkt; ihre Verwendung ist daher derzeit generell unerwünscht.“

Für Schindler bleibt es eine Herausforderung für die Wikipedia-Community, halluzinierte Texte aufzudecken, zumal Chatbots künftig ISBNs mit einer korrekt berechneten letzten Stelle erfinden könnten. Er hofft auf einen konstruktiven Dialog mit den KI-Firmen. „Mein persönlicher Wunsch wäre, dass man durch Austausch und vielleicht Kompetenztransfer mit den KI-Firmen erreicht, dass man KI-generierte Texte leichter erkennt, wenn jemand versucht, sie in die Wikipedia zu stellen.“

Am Ende ist die Geschichte der KI-generierten ISBNs auch eine über falschen und vielleicht besseren KI-Einsatz. Denn den Code für seinen ISBN-Checker hat Schindler auch mithilfe von Large Language Models geschrieben.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Während generative KI immer mehr in unseren Alltag einsickert, drohen wir den Kern dessen zu verlieren, was uns sein lässt. Große Sprachmodelle zu nutzen, mag praktisch sein, doch sollten wir darüber nicht vergessen, dass wir Menschen sind.

„Hey ChatGPT, schreib mir was Nettes für meine Freundin.“ „Mach ich“, sagt die Maschine und wir sagen „Danke“. Danke, dass du uns das Denken abnimmst, das Fühlen gleich mit. Bald schreiben wir nicht mehr nur mit generativer KI, sondern sind ihre Anhängsel: halb Mensch, halb Prompt.

Überall, wo früher Gedanken waren, sind jetzt Textvorschläge. Die Schule? Automatisch. Hausarbeiten, Gedichte, Bewerbungsschreiben? Alles generiert, alles glatt, alles gleich. Selbst Liebesnachrichten klingen wie Werbeslogans mit Gefühlsgarantie.

Natürlich ist nichts dagegen einzuwenden, ChatGPT zu nutzen, um sich Arbeit zu sparen. Auch ich tue das gelegentlich, viele von euch wahrscheinlich ebenso. Wer seine E-Mails oder Anschreiben optimiert, spart Zeit. Nur: Wenn wir irgendwann auch unsere Emotionen outsourcen, was bleibt dann noch von uns?

Kommunikation per Knopfdruck

Jede Kommunikation kann mittlerweile per Knopfdruck von einem Large Language Model (LLM) optimiert werden. Seit Kurzem bietet etwa Instagram an, die eigenen Direktnachrichten und Kommentare von einer KI überarbeiten zu lassen. Es gibt LLMs, die Beziehungstipps geben oder kurzerhand selbst vorgeben, ein Partner zu sein.

Doch das alles tut ChatGPT nicht aus Altruismus. Ganz abgesehen davon, dass KIs nicht selbst denken oder handeln und nichts selbst „tun“, ist auch ihr Zweck nicht gemeinwohlorientiert. Stattdessen sind sie kommerzielle Angebote, die für ihre Hersteller Profite erwirtschaften sollen; etwa durch Datensammeln und Abos.

Egal ob es der KI-Partner ist, die Nachrichtenformulierung auf Instagram oder die Generierung von Social-Media-Posts: All das ist nicht dafür gemacht zu helfen, sondern um wirtschaftliche Erträge zu erwirtschaften. Deswegen ist es auch nicht verwunderlich, dass immer mehr Hersteller ein Stück dieses scheinbar unendlich profitablen Kuchens abhaben wollen.

Es scheint, als gäbe es mittlerweile eine KI für alles – von der wissenschaftlichen Recherche bis zu Formulierungsvorschlägen zum Flirten. Sogar Auswirkungen auf unsere Wortwahl lassen sich inzwischen nachweisen. Wörter, die wir früher kaum genutzt haben – die LLMs aber gerne verwenden – tauchen nun überall auf. Wer nicht denken will, scheint auch nicht mehr mehr dazu gezwungen zu sein.

ChatGPT Mensch sein

Irgendwer soll mal gesagt haben: „Ich denke, also bin ich.“ Wenn wir etwas „ChatGPTen“, dann ist ChatGPT – aber nicht wir. ChatGPT ist kein Partner, kein Ratgeber und erst recht kein Ersatz für den eigenen Verstand.

Wenn wir aufhören, selbst zu denken, zu formulieren, zu fühlen – wenn wir das Menschliche an Maschinen delegieren, dann verlieren wir das, was wir der KI voraushaben: unser Bewusstsein.

Dieser Prozess mag beginnen, indem wir LLMs nervige Aufgaben für uns übernehmen lassen, sei es eine Hausaufgabe oder eine Arbeitsmail. Es gibt einige Stimmen, die gerne erzählen, dass ChatGPT das Abitur bestehen könnte und fragen, weshalb Schüler:innen überhaupt noch ihre Hausarbeiten selbst schreiben sollten, wenn ChatGPT das doch viel effizienter erledigen könnte. Und natürlich könnte ChatGPT unser Abitur schreiben.

Es ist keine Nachricht, dass ein Rechner, der mit nahezu allen Informationen dieser Erde gefüttert ist, Antworten auf Fragen aus Schulprüfungen generieren kann. Aber in der Schule sollten eigentlich Schüler mit Informationen gefüttert werden. Und zwar nicht mit dem Ziel, Prüfungen zu bestehen, sondern damit Menschen etwas lernen. Und ja, es ist zumindest kurzfristig nützlich, dass ChatGPT unsere E-Mails oder Hausarbeiten schreibt, uns Arbeit abnimmt. Die Frage ist aber: Wo hört das auf?

Immer mehr Menschen neigen dazu, KI einfachste Denkaufgaben oder gar ihre eigene künstlerische Expression übernehmen zu lassen; von den Hausaufgaben bis hin zum Liebesgedicht. Das ist weder verwunderlich noch verwerflich. Fast jedes soziale Netzwerk und immer mehr Betriebssysteme implementieren LLMs und platzieren sie so, dass wir kaum daran vorbeikommen. Wenn ich WhatsApp öffne, dann ist dort an oberster Stelle nicht der Chat mit meiner besten Freundin oder meiner Mutter, sondern ein Suchfenster, in dem ich doch bitte MetaAI eine Frage stellen darf.

Ich will in einer Welt leben, die von Menschen für Menschen gemacht ist. Und nicht in einer, in der deine KI mit meiner hin und her chattet, bis sie ein Bewerbungsgespräch oder ein Date für uns vereinbart hat.

Was macht uns aus?

Die britische “Sun” hat 2016 geschrieben, 2025 (also heute) würden Frauen mehr Sex mit Robotern als mit Männern haben. Dass das nicht stimmt, liegt auf der Hand. Aber weit davon entfernt sind wir nicht mehr, wenn ein LLM für uns die heißen Nachrichten an unser Date schreibt oder Vorschläge für die besten Sexstellungen generiert.

Vielen Menschen scheint das zu gefallen. Sexting ist schließlich mindestens genauso denkintensiv wie eine E-Mail an den Chef. Da tut es gut, wenn eine KI einem diese Bürde abnehmen kann. Es ist effizient, spart Zeit und Gedankenkraft. Wäre doch schön, wenn ein LLM uns noch mehr unseres anstrengenden Alltags abnehmen könnte. Wo wir schon dabei sind: Lasst ChatGPT doch einfach eure Frau bumsen.

Schreibt meinetwegen eure E-Mails mit KI, die Nachrichten an eure Freunde, eure Liebesbriefe oder die Trauerrede für die Beerdigung eurer eigenen Mutter. Lasst euch nehmen, was euch sein lässt. Aber was bleibt dann noch von uns?

Wenn wir einfache Denkaufgaben nicht mehr Kraft unseres eigenen Verstandes absolvieren, unsere Gefühle nicht mehr selbst ausdrücken oder Kunst schaffen, dann überlassen wir der KI und ihren Produzenten das Großartigste, was diese Welt zu bieten hat: Mensch zu sein.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Shell Genie is a new command line tool that can be used to ask in plain English how to perform various tasks, and it gives you the shell command you need. To generate the commands, it uses OpenAI's GPT-3 or Free Genie, a free to use backend provided by the Shell Genie developer.