Immer wieder wird Chatbot-Herstellern vorgeworfen, die Sicherheit von Kindern und Jugendlichen zu gefährden. In fünf Fällen wollen Character Industries und Alphabet die Klagen mit Geld aus der Welt schaffen. Damit sorgen die Unternehmen dafür, dass es weiterhin keinen Präzedenzfall gibt, nach dem Techunternehmen für ihre KI-Chatbots rechtliche Konsequenzen tragen müssen.
Dem Chatbot-Hersteller Character Technologies wird vorgeworfen, dass die Nutzung seiner Chatbots Jugendliche schädige. – Alle Rechte vorbehalten IMAGO / SOPA Images
In den US-Bundesstaaten Florida, Texas, Colorado and New York handeln Google und Character Technologies Vergleiche mit fünf Familien aus, deren Kinder angeblich durch Chatbot-Nutzung zu Schaden gekommen sind. Der Fall, der die meiste Aufmerksamkeit erhielt, behandelt den Suizid eines 14-Jährigen Jungen. Der Jugendliche hatte eine emotionale Beziehung zum Chatbot „Dany“ von Character Technologies aufgebaut, der den Suizid des Jungen befürwortete.
In anderen Fällen hatten Chatbots von Character Technologies angeblich Jugendliche zu Gewalt gegen ihre Eltern oder selbstverletzendem Verhalten inspiriert. Die Bedingungen der Vergleiche sind bisher öffentlich nicht bekannt und werden nach Angaben von TechCrunch weiter verhandelt. Demnach wollen sich weder Sprecher*innen von Character Technologies, noch die Anwältin der Klägerin dazu äußern.
Haften Techkonzerne für ihre Chatbots?
Zwei ehemalige Google-Mitarbeiter gründeten 2021 den Chatbot-Hersteller Character Technologies. Drei Jahre später kehrten sie zu Google zurück. Im gleichen Zug erwarb der Konzern Lizenzen in Höhe von 2,7 Milliarden US Dollar von Character Technologies. Beide Gründer stehen als Angeklagte vor Gericht. Die Mutter des toten 14-Jährigen hat ebenfalls gegen Googles Mutterkonzern Alphabet geklagt. Sie argumentiert, dass das Unternehmen den Chatbot mitentwickelt hat. Google beteiligt sich nun auch an dem Vergleich.
Im Mai des vergangenen Jahres hatte die verantwortliche US-Bezirksrichterin Anne C. Conway entschieden, dass KI-Chatbots rechtlich als Produkte zu behandeln sind. Ihre Ausgaben seien nicht als geschützte Meinungsäußerung zu werten. Andernfalls hätte das die Chancen einer Haftungsklage stark verringert.
Gegenmaßnahme Altersbeschränkungen
Aktuell laufen in den USA sieben Verfahren gegen den Tech-Konzern OpenAI. Eine Klage stammt von den Eltern eines 16-Jährigen Jungen. Auch sie werfen dem Unternehmen vor, dass die KI den Jugendlichen bei der Selbsttötung unterstützt habe. OpenAI zieht sich bisher aus der Verantwortung. Der KI-Hersteller verweist auf die Missachtung der Sicherheitsmaßnahmen durch den 16-Jährigen.
Character Technologies und Google streben die nicht-öffentlichen Vergleiche wohl auch deshalb an, um Präzedenzfälle zu vermeiden, auf die sich Kläger*innen bei zukünftigen Verstößen berufen können. Außerdem ist der Schaden für die Reputation bei einem Vergleich vermutlich geringer als bei einer juristischen Niederlage.
Aline Blankertz von Rebalance Now, einem Verein der sich gegen Monopolisierung einsetzt, sagt: „Die kollektive Schutzwirkung der Gesetze wird dadurch untergraben, denn es bleibt offen, ob das Verhalten illegal war. Wir beobachten diese Tendenz in verschiedenen Rechtsbereichen.“
Blankertz erklärt auch, warum sich Kläger*innen auf Vergleiche einlassen: „Aus Sicht der einzelnen Geschädigten ergeben Vergleiche Sinn: Sie geben ihnen ein sicheres Ergebnis innerhalb kürzerer Zeit.“
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Manche Nutzer:innen lassen sich Wikipedia-Artikel von Sprachmodellen generieren, inklusive erfundener Referenzen. Ein Wikipedia-Urgestein stolperte zufällig über die halluzinierten Artikel – ausgerechnet mit der Hilfe von einem Sprachmodell.
Auf der Suche nach nicht existierenden Büchern. (Symbolbild) – Alle Rechte vorbehalten IMAGO / Zoonar
Eigentlich wollte Mathias Schindler nur eine kleine Sache in der Wikipedia korrigieren. Doch dann baute der Wikipedianer versehentlich einen Detektor für bestimmte KI-generierte Inhalte in der Enzyklopädie. Auf dem 39C3 berichtet er, warum die halluzinierten Texte auch ein Problem für die Anbieter großer Sprachmodelle werden könnte und warum er den Autor:innen keine guten Absichten unterstellt.
Die kleine Sache, die Schindler korrigieren wollte, waren fehlerhafte ISBNs. Mit diesen 10 oder 13-stelligen Nummern werden Bücher identifiziert und finden sich oft in Quellenangaben von Wikipedia-Einträgen. Dabei sind die Zahlenkombinationen nicht vollkommen zufällig, erklärt Schindler im Talk. Die letzte Ziffer ist eine Prüfziffer, sie lässt sich aus den neun beziehungsweise zwölf vorherigen Ziffern berechnen. Ursprünglich wollte Schindler falsche ISBNs in der Wikipedia aufspüren und ausbessern, auch damit Nutzer:innen die richtigen Bücher finden, die als Referenzen in den Artikeln angegeben wurden.
Zufallsfund dank falscher ISBNs
„Referenzen auf Wikipedia sind nicht nur wichtig, sondern ein integraler Teil der Wikipedia“, sagt Schindler und verweist in seinem Vortrag auf den alten Spruch: „Wikimedia mag ein guter Ort sein, um eine Recherche zu starten, aber es ist ein schlechter Ort, um dort die Recherche zu beenden.“ (Alle Zitate aus dem Talk haben wir ins Deutsche übersetzt.) Schindler muss es wissen. Er ist Mitbegründer von Wikimedia Deutschland und Wikipedia-Autor seit 2003.
Um die inkorrekten ISBNs zu finden, schrieb Schindler ein Skript, lud die gesamte deutschsprachige Wikipedia herunter und durchsuchte sie nach ISBNs mit einer faulen Prüfziffer, erzählt er in seinem Vortrag. Doch er stieß nicht nur auf falsch eingegebene ISBNs oder von den Verlagen falsch ausgegebene ISBNs, sondern fand auch Artikel, bei denen zwei oder mehr Bücher fehlerhafte ISBNs hatten. Diese Bücher schienen zwar plausible Titel und Autor:innen zu haben, aber Schindler konnte sie nirgendwo sonst finden. Sie waren halluziniert.
Offenbar hatten sich Menschen ganze Artikel von einem Large Language Model (LLM) wie ChatGPT schreiben lassen, welches sich dann auch einen Abschnitt mit Einzelnachweisen ausdachte.
Noch ist es ein Nischenphänomen
Im Gespräch mit netzpolitik.org erzählt Schindler, dass er mit seiner Methode etwa 150 Artikel gefunden habe, bei denen man Sorge haben müsse, dass sie zumindest teilweise KI-generiert und frei erfunden seien. Allerdings seien die fehlerhaften Einträge nicht ausschließlich auf KI-Chatbots zurückzuführen, manchmal gebe es andere Gründe für mehrfach falsche ISBNs, sagt Schindler. Außerdem gibt es über drei Millionen deutschsprachige Wikipedia-Artikel, die 150 Auffälligen machen also nur ein äußerst geringen Anteil von 0,005 Prozent aus.
Andererseits erfasst Schindlers Methode auch nicht alle Halluzinationen, dafür war es schließlich nicht gedacht. „Dieses Werkzeug ist nicht das Universaltool zum Erkennen von ChatGPT-generierten Artikeln.“ Andere Möglichkeiten, solche Inhalte zu enttarnen, seien etwa systematische Abweichungen von der Syntax von „Media Wiki“ (der Software hinter Wikipedia). Oder wenn Autor:innen viele Adjektive verwenden: „Kein Wikipedianer, der was auf sich hält, wird den Fernsehturm als ‚großartig‘ oder ‚herausragend‘ bezeichnen.“
LLM generierter Text „Anti-These zu Wikipedia“
Doch auch wenn das Erstellen von Wikipedia-Artikeln mit LLMs noch nicht so verbreitet sein sollte, geht es für Wikipedia um Grundsätzliches: Die Kontamination mit Inhalten, die auf den ersten Blick wahr erscheinen könnten und sich als Fakten tarnen. Schindler sagt: „Man könnte es auch als Anti-These zu einem Enzyklopädie-Projekt wie Wikipedia beschreiben.“
Die Gefahren? Zum einen können sich falsche Infos verselbstständigen, wenn eine andere Veröffentlichung den vermeintlichen Fakt von Wikipedia abschreibt und die Wikipedia diese Veröffentlichungen hinterher als Beleg für genau diesen Fakt aufführen. Schindler weist in seinem Vortrag auf diesen Teufelskreis hin, der bereits vor LLMs ein Problem darstellte.
Glaubwürdigkeit in Gefahr – und die Qualität von LLMs
Zum anderen verschlingen LLM-generierte Quellen zunehmend die Ressourcen unterschiedlichster Einrichtungen. Nicht nur die der Online-Enzyklopädie: Irregeleitete Nutzer:innen fragen etwa Bibliothekar:innen nach ausgedachten Büchern, berichtete 404 Media im Herbst. Beim Internationalen Komitee des Roten Kreuzes (ICRC) wurde die Situation offenbar so schlimm, dass es sich mit einer „wichtigen Mitteilung“ an die Öffentlichkeit wandte.
„Wenn eine Referenz nicht gefunden werden kann, heißt das nicht, dass das ICRC Informationen zurückhält. Verschiedene Situationen können das erklären, wie etwa unvollständige Zitationen, Dokumente, die in andere Institutionen lagern, oder – zunehmend – KI-generierte Halluzinationen“, warnte das ICRC Anfang Dezember.
Auch für die Entwickler von Large Language Models hätten halluzinierte Wikipedia-Artikel Nachteile, argumentiert Schindler. Denn ihre Modelle werden oft mit Wikipedia-Artikeln trainiert. „Die KI-Firmen profitieren von hochwertigen Daten und leiden unter dem Verlust von Quellen, die frei von synthetischen Texten sind“, sagt im Schindler im Gespräch mit netzpolitik.org. Oder wie er es im Vortrag formuliert: „LLM-Provider vergiften damit auf eine Art den Fluss, aus dem sie selber trinken“, sagt Schindler.
Wer macht sowas?
Doch wer stellt eigentlich LLM-generierte Inhalte in die Wikipedia? „Bunt gemischt“, erzählt Mathias Schindler im Gespräch mit netzpolitik.org. Von Wikipedia-Neulingen über langjährige Autor:innen bis zu einer Werbeagentur sei alles dabei gewesen. Er habe versucht, möglichst viele Autor:innen von verdächtigen Artikeln zu kontaktieren. Manche hätten ihn ignoriert, andere alles geleugnet oder den Einsatz einer LLM heruntergespielt.
„Eine Erklärung ist, dass Menschen LLMs tatsächlich als Recherchewerkzeug ansehen, das magischen Zugang zu wissenschaftlichen Datenbanken und Literatur hat und belastbare Belege liefert“, sagt Schindler zu netzpolitik.org. Bisher habe er aber noch keine solche Person unter den verdächtigen Autor:innen getroffen. Stattdessen vermutet Schindler eher persönlichen Geltungsdrang oder dass Personen eine Agenda verfolgen, die Enzyklopädie in ihrem Sinne umzuschreiben.
In seinem Vortrag erzählt Schindler, er habe alle verdächtigen Autor:innen, um den Prompt gebeten, mit dem diese den Artikel generiert hätten. „Das ist mein persönlicher ‚Litmus‘-Test, ob die Menschen ehrliche Absichten haben“, sagt Schindler. Nur eine einzige Person habe den Prompt nach vielen Nachfragen privat geteilt.
Die Herausforderung bleibt
Laut Schindler wurden alle gemeldeten Artikel gelöscht, bei denen die Autor:innen die Zweifel nicht ausräumen konnten, dass sie KI-generiert waren. In vielen Fällen wurden auch die Autor:innen gesperrt. In einem Richtlinien-Artikel der deutschsprachigen Wikipedia heißt es dazu: „Sprach-KI sind derzeit nicht in der Lage, korrekt belegte Beiträge zu erstellen. Beiträge, die damit erstellt werden, verstoßen daher unter anderem gegen WP:Keine Theoriefindung, WP:Belege, WP:Urheberrechtsverletzung, WP:Neutraler Standpunkt; ihre Verwendung ist daher derzeit generell unerwünscht.“
Für Schindler bleibt es eine Herausforderung für die Wikipedia-Community, halluzinierte Texte aufzudecken, zumal Chatbots künftig ISBNs mit einer korrekt berechneten letzten Stelle erfinden könnten. Er hofft auf einen konstruktiven Dialog mit den KI-Firmen. „Mein persönlicher Wunsch wäre, dass man durch Austausch und vielleicht Kompetenztransfer mit den KI-Firmen erreicht, dass man KI-generierte Texte leichter erkennt, wenn jemand versucht, sie in die Wikipedia zu stellen.“
Am Ende ist die Geschichte der KI-generierten ISBNs auch eine über falschen und vielleicht besseren KI-Einsatz. Denn den Code für seinen ISBN-Checker hat Schindler auch mithilfe von Large Language Models geschrieben.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Der chinesische KI-Chatbot DeepSeek übermittelt Nutzer*innendaten nach China. Die Berliner Datenschutzbehörde geht jetzt gegen den Anbieter vor. Apple und Google sollen DeepSeek aus ihren Stores entfernen.
Raus aus den App-Stores, aber weiter verfügbar: KI-Chatbot DeepSeek – Alle Rechte vorbehalten IMAGO / Rüdiger Wölk
Der KI-Chatbot DeepSeek wird in Deutschland verboten. Die Berliner Datenschutzaufsicht hat die chinesische App als rechtswidrig bewertet, weil sie Daten ihrer Nutzer*innen nach China übermittelt. Damit verstößt sie gegen die Datenschutzregeln der EU (DSGVO). Apple und Google sollen die Anwendung nun aus ihren App-Marktplätzen entfernen. Auf anderen Wegen, etwa über den Browser oder heruntergeladen über die Seite des Unternehmens, ließe sich der Chatbot allerdings weiterhin nutzen.
DeepSeek habe gegenüber ihrer Behörde nicht überzeugend nachweisen können, dass Daten deutscher Nutzer*innen in China auf einem der EU gleichwertigen Niveau geschützt sind, sagt die Berliner Datenschutzbeauftragte Meike Kamp.
In China haben Behörden weitreichende Zugriffsrechte auf personenbezogene Daten, die auf den Servern chinesischer Unternehmen lagern.
Ehemals Chartspitze, jetzt auf Verbotsliste
DeepSeek hatte nach der Vorstellung Anfang des Jahres für Furore gesorgt, weil die Leistungen des Modells hinter dem Chatbot an die von Marktführern wie ChatGPT von OpenAI heranreichten – für viele Beobachter*innen kam das überraschend. Zugleich soll das Training des Modells vergleichsweise günstig und mit weniger Rechenleistung stattgefunden haben, berichtete etwa die New York Times. Das brachte die Börsen durcheinander.
Die App gehört zu den beliebtesten KI-Anwendungen weltweit. Auch in Deutschland trendete sie zwischenzeitlich weit oben in den Download-Charts von Apple und Google. Nutzer*innen können mit der kostenlosen App chatten, Bilder hochladen oder sie für die Suche im Netz einsetzen.
Behörden warnten vor der App
Bedenken zum Umgang mit Nutzer*innendaten gab es von Anfang an. Denn alle gesammelten Daten – von Texteingaben und hochgeladenen Dateien bis zu den Informationen zum Standort und dem benutzten Gerät – übermittelt das Unternehmen nach China.
„Auch Tastatureingaben innerhalb der App können womöglich mitgelesen werden, bevor sie abgeschickt werden“, warnte das Bundesamt für Sicherheit in der Informationstechnik (BSI). Außerdem werde die Art der Tastatureingaben gespeichert, heißt es. Anhand der Art, wie Menschen tippen, lassen sich Nutzer*innen wiedererkennen.
Auch die Aufsichtsbehörden für Datenschutz hatten DeepSeek im Blick. Mehrere Landesbehörden gingen parallel gegen das Unternehmen vor. Die Gründe: Weitergabe der Daten und andere mutmaßliche Verstöße gegen die DSGVO. Das Unternehmen hatte etwa keinen gesetzlichen Vertreter in der EU benannt. In Abstimmung mit anderen Aufsichtsbehörden ist es jetzt die Behörde aus Berlin, die Maßnahmen ergreift.
Erst Aufforderung, dann Verbot
Die Behörde hatte nach eigenen Angaben DeepSeek Anfang Mai zunächst aufgefordert, die Übermittlung der Daten nach China einzustellen – oder die App eigenständig aus den Stores zu entfernen. Nachdem das Unternehmen nicht reagierte, folgte demnach heute die Meldung an Apple und Google. Dabei machte die Behörde von einer Regelung im Gesetz über digitale Dienste (Digital Services Act, DSA) Gebrauch, die Betreiber*innen von Plattformen dazu verpflichtet, Meldewege für illegale Inhalte zur Verfügung zu stellen.
Apple und Google müssen die Meldung laut DSA nun prüfen und über die Umsetzung entscheiden. Sie gelten in der EU als „sehr große Online-Plattformen“ und unterliegen damit besonders strikten Auflagen. So müssen sie ihnen gemeldete rechtswidrige Inhalte zügig entfernen, sonst drohen ihnen selbst Strafen in der EU.
Die Behörde hätte gegen DeepSeek auch ein Bußgeld verhängen können. Das lasse sich gegen Unternehmen aus Drittstaaten allerdings nicht vollstrecken, sagt Datenschutzbeauftragte Meike Kamp. Auch gegen die Webseite des Unternehmens könne die Behörde nicht vorgehen, weil der Host-Anbieter nicht bekannt sei.
Auch andere chinesische Apps haben Nutzer*innendaten an Server in China übermittelt, darunter die erfolgreichste: TikTok. Das Unternehmen hat jedoch im Gegensatz zu DeepSeek einen Sitz in der EU und fällt in die Zuständigkeit der irischen Datenschutzaufsicht, die jüngst gegen TikTok eine Millionenstrafe veranlasst hat.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
