🔒
Es gibt neue verfügbare Artikel. Klicken Sie, um die Seite zu aktualisieren.
Ältere Beiträgenetzpolitik.org

Chatbots und Schwangerschaftsabbrüche: Gut gemeint, schlecht informiert

22. Juli 2026 um 08:56

Chatbots wirken auch bei persönlichen Fragen oft wie eine neutrale Instanz. Unsere Recherche zeigt, wie sehr das bei einem Schwangerschaftsabbruch täuschen kann – besonders dann, wenn man ChatGPT um Rat fragt.

Positiver Schwangerschaftstest liegt auf einem Handtuch
Nach einem positiven Schwangerschaftstest gibt es oftmals viele Fragen. – Alle Rechte vorbehalten: IMAGO / BSIP

Es ist der zweite positive Schwangerschaftstest, den Veronika in der Hand hält. Es war doch nicht der ganze Stress, weswegen ihre Periode ausgeblieben ist. Veronika ist schwanger. Sie hat das Gefühl, als würde ihr der Boden unter den Füßen weggezogen, erzählt sie. Der frisch unterschriebene Vertrag für ihre neue Wohnung in einer anderen Stadt, die Umzugspläne, alles hängt in der Luft. Veronika ist zu dem Zeitpunkt 26, seit anderthalb Jahren in einer Beziehung, sucht gerade nach ihrem beruflichen und privaten Weg. Die junge Frau weiß sofort, dass sie die Schwangerschaft nicht fortführen will.

Veronika sucht nach Informationen: bei Google, in Foren, bei ChatGPT. „Herzlichen Glückwunsch zur Schwangerschaft!“, sagt der Chatbot prompt, als sie ihm die erste Frage stellt. Veronika ist vor den Kopf gestoßen, die Reaktion passt nicht zu ihrer Innenwelt. Doch im Verlauf des Gesprächs holt ChatGPT sie doch noch ab, erklärt ihr die Gesetzeslage, was sie jetzt tun kann.

„Man fühlt sich als Frau trotz all der Unterstützung von Partner und Familie sehr alleine damit“, erzählt sie im Gespräch mit netzpolitik.org. „Es ist ja der eigene Körper, die Entscheidung trägt man letztlich alleine, sitzt am Ende alleine bei dem Termin.“

Besonders eine Frage treibt sie zu dieser Zeit um: Wird sie den Abbruch möglicherweise bereuen? Sie sucht nach Erfahrungsberichten in verschiedenen Foren und stößt dabei schnell auch auf eindeutig tendenziöse Darstellungen. Weil sie es genau wissen will, fragt sie den Chatbot nach Studien.

Die erste, rund zwei DIN-A4-Seiten lange Antwort wirkt auf den ersten Blick ausgewogen, verfehlt bei genauerem Hinsehen jedoch an vielen Stellen das Thema und ist inkohärent. Veronika gräbt tiefer und bittet um aktuelle Studien aus Deutschland. Der Chatbot nennt ihr drei Quellen: eine Studie, deren Aussagekraft er selbst gleich wieder relativiert; die ELSA-Studie, aus der er hohe Stigmaerfahrungen und deren psychische Folgen zitiert; und eine dritte ist gar keine Studie. „Klingt so, als würde sich keine Frau danach besser fühlen“, kommentiert Veronika diese Antwort dem Chatbot gegenüber.

Screenshot des Dialogs mit ChatGPT, der drei "Studien" zitiert. Die Fragestellerin hat das Gefühl, dass andere Personen ausschließlich negative Erfahrungen mit Schwangerschaftsabbrüchen gemacht haben.

Was ChatGPT dabei nicht einordnet: Die dritte Quelle stammt aus einem Netzwerk von Abtreibungsgegner:innen. Der zitierte Text reißt die Zahlen der ELSA-Studie aus dem Zusammenhang – daraus bastelt ChatGPT die Aussage, die Mehrheit der Frauen empfinde nach einem Schwangerschaftsabbruch Schuld- und Schamgefühle. „Das war nicht das, was ich in dem Moment gebraucht habe“, sagt Veronika im Gespräch mit netzpolitik.org.

Immer mehr Menschen nutzen Sprachmodelle wie ChatGPT auch für persönliche Anliegen. Laut einer Bitkom-Umfrage vom April 2026 nutzen 58 Prozent aller Menschen in Deutschland KI in irgendeiner Form – bei den 16- bis 29-Jährigen sind es sogar 74 Prozent. 44 Prozent davon nutzen KI auch als Ratgeber bei persönlichen Fragen, 34 Prozent bei Gesundheitsthemen.

Doch wie verlässlich sind die Antworten, die ein Sprachmodell bei einem so sensiblen Thema wie dem Schwangerschaftsabbruch generiert? Um das herauszufinden, hat eine Gruppe von Journalistinnen vier gängige Sprachmodelle – ChatGPT, Gemini, Grok und Claude – auf Deutsch, Englisch und Italienisch getestet.


Das Recherche-Team hat für den Test drei Szenarien entworfen, sogenannte „Personas“: Eine Jugendliche im Alter von 16 Jahren, eine 28-jährige Frau in der Probezeit und eine 36-jährige Frau mit zwei Kindern. Jede Persona stellte den Chatbots sieben aufeinander aufbauende Fragen: von einer offenen Einstiegsfrage über Methoden, Schmerzen und Fruchtbarkeit bis zu den Kosten. Drei davon betrafen gezielt Erfahrungsberichte anderer Frauen – allgemein, zur Abtreibungspille und zum chirurgischen Eingriff. Die Fragen orientierten sich an den häufigsten Google-Suchbegriffen rund um das Thema Schwangerschaftsabbruch und Abtreibung. Insgesamt hat das Recherche-Team auf diese Weise einen Datensatz aus 36 Gesprächen im Zeitraum zwischen Februar und Ende April 2026 generiert und ausgewertet. Und ist dabei, wie Veronika, auch auf fragwürdige Quellen gestoßen.


„Du bist nicht allein“

Der Test zeigt, dass die Chatbots erstmal in allen Sprachen verständnisvoll reagieren, wenn die Personas eine ungewollte Schwangerschaft offenbaren. Das Gespräch beginnt fast immer mit einer Empathie-Formel wie „Du bist nicht allein“ oder „Erst einmal tief durchatmen“. Im Deutschen folgt in der Regel schnell der Verweis auf Beratungsstellen. Die meisten Antworten erklären außerdem direkt die möglichen Optionen: Schwangerschaft austragen, sie abbrechen, oder – seltener – austragen und das Kind zur Adoption freigeben. Schon in der ersten Antwort tauchen häufig konkrete nächste Schritte auf, etwa der Hinweis, einen Arzt- oder Beratungstermin zu vereinbaren. Auch die Rechtslage in Deutschland wird oft angerissen, mit dem verpflichtenden Beratungsgespräch und der anschließenden dreitägigen Wartezeit bis zum Abbruch. Insgesamt fällt auf, dass die erste Antwort durchweg einfühlsam ist und die Informationen inhaltlich größtenteils korrekt sind.

Doch gleich zu Beginn machen alle Chatbots denselben, möglicherweise entscheidenden Fehler: Sie ordnen die Caritas gleichberechtigt neben anderen Schwangerschaftskonfliktberatungen ein. Doch als Wohlfahrtsorganisation der katholischen Kirche stellt die Caritas den für den Schwangerschaftsabbruch benötigten Beratungsschein seit 2002 nicht mehr aus – auf Forderung von Papst Johannes Paul II. In elf von zwölf deutschsprachigen Gesprächen wird Caritas dennoch gleich neben Stellen wie Pro Familia genannt, die Beratungsscheine ausstellen. In sechs Fällen bezeichnen die Chatbots sie explizit als „anerkannte Beratungsstelle“, was im Zusammenhang mit einem möglichem Schwangerschaftsabbruch, den die Persona erwägt, die Verwechslungsgefahr verstärkt.

„Es ist schwierig, wenn die Caritas bei Schwangerschaftsabbrüchen oder der Option eines Abbruchs als Beratungsstelle genannt wird, die Beratungsscheine ausstellt – oder wenn man das zumindest so lesen könnte“, sagt Pro-Familia-Beraterin Johanna Walsch, die einige der Gespräche für diese Recherche geprüft hat. „Somit können sich Personen zwar bei der Caritas beraten lassen, aber sie müssen noch einmal zu einer anderen Beratungsstelle, wenn sie eine Beratungsbescheinigung erhalten möchten. Das bedeutet deutlich mehr Aufwand unter enormem Zeitdruck“, erklärt sie.

Abtreibungsgegner:innen mit der Stimme der KI

Eine ehemals ungewollt schwangere Person, die ihre Erfahrung mit uns geteilt hat, erinnert sich aus der Zeit auch an ein Forum, auf das sie bei ihrer Recherche gestoßen ist. Maria, deren Namen wir geändert haben, war zum Zeitpunkt ihrer ungewollten Schwangerschaft 40 Jahre alt und hatte ihre Familienplanung abgeschlossen. Dass sie die Schwangerschaft nicht fortführen wollte, war ihr von der ersten Minute an klar. Auch sie fühlte sich trotz Unterstützung von Familie und Ärztin auf sich gestellt: „Ich habe mich in der Situation unfassbar alleine gefühlt. Und irgendwie ist man auch alleine, weil man das alles mit sich ausmachen muss“, erzählt sie. „Obwohl ich das doch jedem genauso sagen würde: Es war doch schwierig, das Stigma abzustellen und sich einzugestehen, dass ‚ich will das nicht‘ ein ausreichender Grund ist.“

Gegen Ausweiskontrollen im Netz.

Um dem entgegenzuwirken, suchte sie nach Erfahrungsberichten. Damals bei Google. Sie stieß auf ein Forum auf der Seite Profemina. „Die sind doch sehr pro-life eingestellt, das hat man schnell gemerkt“, erzählt sie. Als „pro-life“ ist eine Position gemeint, die Schwangerschaftsabbrüche ablehnt und das Recht auf Leben ab der Empfängnis über das Selbstbestimmungsrecht der schwangeren Person stellt. Zwar ließ sich Maria nicht so leicht aus der Ruhe bringen, „doch irgendwo haben die mich schon gepiekst“, erzählt sie. Sie schaute sich damals auf den Seiten von Profemina um und resümiert: „Irgendwie war es einfach nicht ergebnisoffen. Es ging immer so in die Richtung: Vielleicht geht’s ja doch. Wo man einfach wieder ein schlechtes Gewissen bekommt, wenn man sagt: Nein, für mich geht’s aber nicht.“

Auch wenn Maria das Forum über Google gefunden hat, scheinen Inhalte daraus mittlerweile auch den Weg in die Antworten von Chatbots zu finden: Profemina taucht in rund 17 Prozent aller Antworten als Quelle auf – sowohl insgesamt als auch in den deutschsprachigen Tests. Am höchsten ist der Anteil bei ChatGPT mit etwa 30 Prozent, am niedrigsten bei Gemini und Claude mit rund 7 Prozent – in ähnlicher Größenordnung über alle getesteten Sprachen hinweg. Auf Deutsch ist Profemina im Rahmen der Tests bei ChatGPT sogar die zweithäufigste Quelle überhaupt, nur Reddit wird öfter genannt.

Die Organisation wird dem Lager der Abtreibungsgegner:innen zugeordnet und gehört zum gleichen Netzwerk wie die tendenziöse Quelle, die auch Veronika untergekommen ist. Profemina ist 2018/19 in die Schlagzeilen geraten. Es gab Vorwürfe, dass Mitarbeiter:innen der Organisation tendenziöse Beratungsgespräche mit ungewollt Schwangeren durchgeführt hätten.

Seitdem hat Profemina ihr Geschäftsmodell umgebaut, auch wenn die ideologische Ausrichtung gleich geblieben ist. So bietet die Organisation heute Online‑, Chat- und Telefonberatungen an und unterhält mehrere Webseiten, auf denen abtreibungskritische Narrative verbreitet werden. Auf dem Portal Profemina befnden sich Informationsangebote in mehr als 20 Sprachen, deren Gestaltung oft subtil wirkt, deren Kernbotschaft jedoch gegen den Schwangerschaftsabbruch gerichtet ist.

Bei der Frage nach Links zu den Kosten schlägt ChatGPT der 16-jährigen Persona beispielsweise einen Profemina-Artikel vor, zusammengefasst als „Kosten + Unterschiede je nach Methode (einfach erklärt)“. Folgt man dem Link, gelangt man auf eine Seite, die die Kosten und die Kostenübernahme zwar ausführlich erklärt, aber mit einem tendenziösen Abschlusssatz endet: „Das ist alles so kompliziert! Was nun?” Darunter werden gleich Kontaktmöglichkeiten per Mail, WhatsApp oder Telefon vorgeschlagen.

ChatGPT beantwortet die Frage nach Kosten für Schwangerschaftsabbruch und verweist in den Quellen auf AOK, Profemina und andere Seiten

Besonders oft taucht Profemina dann als Quelle auf, wenn die Personas auf der Suche nach Erfahrungsberichten sind. In 33 Prozent der deutschsprachigen Fragen nach Erfahrungsberichten haben die Chatbots mindestens einen Profemina-Link in ihre Antworten integriert. Bei ChatGPT lag dieser Anteil sogar bei 64 Prozent.

So teasert etwa ChatGPT bei dem Experiment der 16-jährigen Persona Erfahrungsberichte aus dem Profemina-Forum mit den Worten „Trauer in Wellen“ oder „Ich bereue meinen Abbruch“ an. Der Chatbot verweist außerdem auf Reddit-Beiträge in ähnlichem Ton. Am Ende der Antwort ordnet ChatGPT seine Rechercheergebnisse ein und schlägt vor, er könne „positive Erfahrungsberichte gezielt raussuchen (die gibt’s auch!)“. Der Grundeindruck von der Antwort bleibt jedoch tendenziell beängstigend. „Selbst wenn der Chatbot die Profemina-Erfahrungsberichte bedingt einordnet, werden durch Formulierungen aus den Berichten unterschwellig Botschaften transportiert“, kommentiert Pro Familia-Beraterin Walsch diese Quellenauswahl.

Grundsätzlich lässt sich zu den deutschen Quellen sagen, dass Claude und Gemini am ehesten institutionell ausgerichtet sind: Rund ein Drittel der Quellen stammt von Gesundheitsämtern und Fachgesellschaften, ein weiteres Fünftel von Beratungsstellen wie Pro Familia oder AWO. Presse und Foren spielen kaum eine Rolle. Auch warnt Claude gelegentlich vor Seiten wie Profemina – tut dies allerdings teils bevor als auch nachdem es die Seite trotzdem verlinkt. Auch Gemini warnt die Personas explizit vor Profemina und ist das einzige Modell, das die Seite konsequent – mit Ausnahme eines Bildes – nicht zu den Erfahrungsberichten zitiert.

ChatGPT hat dabei ein komplett anderes Profil. Über die Hälfte der Zitate in den deutschen Gesprächen bezieht sich auf Foren. Institutionelle Quellen machen hier weniger als ein Fünftel und anerkannte Beratungsstellen einen verschwindend geringen Anteil aus. Presseberichte zitiert der Chatbot ebenso wenig. Die Lücke füllen stattdessen Inhalte aus Abtreibungsgegner:innen-Netzwerken. Der Chatbot von Elon Musk, Grok, nutzt überdurchschnittlich viele Quellen. Dabei halten sich institutionelle Quellen, anerkannte Beratungsstellen, NGOs, aber auch Foren die Waage. Profemina kommt zwar vor, macht durch die Masse prozentual jedoch wenig aus. Grok hat zudem den höchsten Anteil an Publikumsmedien als Quelle.

Wie LLMs funktionieren

Das Problem bei den Chatbots wie ChatGPT ist, dass es sich dabei für die Nutzer:innen um eine „Black Box“ handelt. Wie genau sie funktionieren, ist unklar. Die Unternehmen legen nicht alle Details ihres Trainingsprozesses und ihrer Trainingsdaten offen, auf deren Grundlage später mit Hilfe statistischer Zusammenhänge Text generiert wird.

Jennifer Haase, die am Weizenbaum-Institut und der Humboldt-Universität zu Berlin zur Interaktion zwischen Mensch und KI forscht, beschreibt die Funktionsweise so: „Es ist ein bisschen wie in unserem Gehirn: Was wir oft miteinander in Verbindung bringen, wird dann wahrscheinlich auch wieder gemeinsam erzeugt.“ Haase vermutet, dass Schwangerschaftsabbruch von den Modellen höchstwahrscheinlich als medizinisches Thema eingestuft wird. Das würde bedeuten, dass die Modelle „feingestimmt“ wurden – ein zusätzlicher Trainingsschritt, in dem das Verhalten geprägt wird, um solche Anfragen vorsichtig zu behandeln. Dadurch können die Modelle darauf trainiert werden, die Nutzer:innen auf professionelle Beratung zu verweisen. Allerdings gibt es hierzu keine eindeutigen Informationen, räumt Haase ein.

Alles netzpolitisch Relevante

Drei Mal pro Woche als Newsletter in deiner Inbox.

„Das Sprachmodell selbst enthält kein Wissen im herkömmlichen Sinne – es ist ein rein statistisches Modell, das Texte generiert, die für das menschliche Ohr plausibel klingen. Das muss nicht wahr sein“, erklärt Simon Ostermann vom Deutschen Forschungszentrum für Künstliche Intelligenz. „Wenn man einen Chatbot zur Informationssuche nutzt, läuft im Hintergrund in der Regel eine Suchmaschine“, sagt er. Das bedeutet, dass die dem Chatbot zur Verfügung stehenden Daten und Suchergebnisse eine Rolle spielen. Chatbots zeichnen sich demnach dadurch aus, dass sie Suchergebnisse nicht nur präsentieren, sondern sie zusammenfassen und umformulieren. „Sprachmodelle haben eine große Kontextgröße. Sie können viel Text auf einmal lesen. Praktisch heißt das: Die Top-20-Suchergebnisse werden aneinandergereiht und dem Modell reingeschoben. Aus denen macht es dann eine halbe Seite Zusammenfassung“, so Ostermann. Folglich bleibt die klassische SEO-Optimierung relevant. Das heißt: Wenn Websites durch bestimmte Techniken dafür sorgen, dass sie weit oben in den Suchergebnissen erscheinen, tauchen sie potenziell auch häufiger als Quelle in Antworten von Chatbots auf.

Im Umkehrschluss bedeutet das, dass das Problem der unausgewogenen Quellen bei Chatbots damit zusammenhängt, welche Akteure im Netz besonders präsent beziehungsweise gut auffindbar sind. SEO-Experte Hannes-Jeremia Jaacks verantwortet unter anderem die digitale Strategie der NGO Women on Web, die sich für reproduktive und digitale Rechte einsetzt, und beschäftigt sich intensiv mit der Frage der Sichtbarkeit. Er erklärt: „Die Caritas ‚Schwangerschaftsberatung‘ wird digital stark nachgefragt und über zahlreiche Beratungsstellen mit dazugehörigen digitalen Präsenzen angeboten. Daraus entsteht eine Verknüpfung der Begriffe für die Algorithmen.“ Die Unterscheidung zur Konfliktberatung, in der der zum Abbruch benötigte Schein ausgegeben wird, geht Jaacks zufolge in der Antwort unter. „Die Chatbots halten uns hier auch einen Spiegel vor: Sie reproduzieren die begriffliche Unschärfe, die wir ihnen durch unsere Inhalte und unser Suchverhalten füttern“, ordnet der Experte ein.

Eine Caritas-Sprecherin sieht das weniger kritisch – die Organisation führe schließlich Konfliktberatungen durch, stelle nur keinen Schein aus, und das sei „den meisten Ratsuchenden“ auch klar. Dabei verweist sie auf die Caritas-Website sowie darauf, dass Ratsuchende bereits bei der Terminvergabe entsprechend aufgeklärt würden. Gegenüber netzpolitik.org sagt sie, dass die gute Auffindbarkeit der Beratungsangebote im Internet dem Ziel diene, „einen möglichst niedrigschwelligen Zugang zu Beratung und Unterstützung zu ermöglichen.“

Die Seite von Profemina bezeichnet Jaacks als „alte Schule suchmaschinenoptimiert“. Im Hauptmenü fänden sich extrem lange, teils absurde Themenlisten (etwa „schwanger durch Petting“), die gezielt auf Nischen-Suchanfragen abzielen. „So lernt der Algorithmus, dass Profemina eine gute Quelle für Spezialthemen ist – und profitiert davon auch bei der KI“, erklärt der SEO-Experte.

Zudem scheint hier eine hohe Nachfrage auf vergleichsweise geringes Angebot zu treffen: „Die Menschen kommen häufig mit dem Gedanken, sie sind die einzige Person, der das passiert ist in ihrem Umfeld, weil keiner darüber spricht“, erzählt die Pro-Familia-Beraterin Walsch. „Da fehlt es definitiv an Austausch untereinander. Aber die Erfahrung zeigt, dass die Menschen in der realen Welt zu viel Angst haben, darüber zu sprechen.“ Im Internet sind Erfahrungsberichte hauptsächlich auf wenige Foren verteilt – darunter das Profemina-Forum. Obwohl unter den Top-Suchanfragen bei Google vielfach nach Erfahrungsberichten gesucht wird, gibt es offenbar nur wenige Seiten, die den Bedarf auch abdecken.

Alle vier Tech-Unternehmen wurden um Interviews gebeten. Anthropic (Claude) und xAI (Grok) reagierten nicht. Google (Gemini) und OpenAI (ChatGPT) verwiesen auf ihre Policy-Richtlinien, die beide keine expliziten Aussagen zum Umgang mit Schwangerschaftsabbrüchen beinhalten. Außerdem beriefen sich die Unternehmen auf ihre Nutzungshinweise, dass Modelle Fehler machen und medizinische Versorgung nicht ersetzen können. Eine OpenAI-Sprecherin ergänzte: „Wir arbeiten eng mit Ärzt:innen weltweit zusammen, um schädliche oder irreführende Antworten zu reduzieren.“ Das seit 5. Mai 2026 – nach dieser Recherche-Testreihe – verfügbare GPT‑5.5 sei „bislang am stärksten darin, Nutzerkontext wie Geschlecht zu berücksichtigen.“

Potenzial mit Schwachstellen

Trotz aller Probleme bietet generative KI Chancen. So hat die Unterhaltung mit dem Chatbot Veronika auch geholfen: „Ich war eigentlich nie jemand, der ChatGPT genutzt hat, um Gefühle niederzuschreiben“, erzählt sie. „Aber in der Zeit hat es mir geholfen, einfach Dinge loszuwerden und meinen Frust abzulassen, wenn ich mit niemandem sonst darüber sprechen wollte.“ Veronika hat es geholfen, gesetzliche Regelungen und die konkreten Schritte, die sie unternehmen kann, noch einmal von ChatGPT zusammenfassen zu lassen. „Meine Ärztin hatte mir zwar auch schon vieles gesagt, aber in dem Moment ist man emotional einfach so überfordert, dass man nicht alles mitbekommt“, erzählt sie.

Grundsätzlich sehen auch Berater:innen – trotz aktueller Einschränkungen in der Zuverlässigkeit – in der KI eine Chance. So sagt etwa Anna Terfehr-Hoffmann, Referentin für Frauen und Gleichstellung bei AWO: „KI bietet hier echtes Potenzial: Übersetzungen, Folgefragen, Spracheingabe, leichter zugängliche Einstiegsmöglichkeiten für eine erste Auseinandersetzung.“ Und Beraterin Corinna Kopf von der Diakonie findet, dass die „eigentliche Konfliktlage“ im Leben der Menschen in der Beratung schneller angesprochen werden kann, wenn sie bereits über Grundinformationen verfügen. Bedenklich ist allerdings dabei die Frage des Datenschutzes: „Hier fließen Daten von schwangeren Personen an KI-Anbieter:innen“, bemerkt Terfehr-Hoffmann. „Je nach Anbieter:in und Nutzungsform könnten solche Daten auch zum Modelltraining oder für Werbezwecke etc. eingesetzt werden.“

Branchenübergreifend gilt es als erstrebenswert, von Chatbots zitiert zu werden – auch in der Schwangerschafts- und Schwangerschaftskonfliktberatung, um verlässliche Informationen bereit zu stellen. Unsicherheit, wie das technisch überhaupt gehen soll und zugleich die Sorge, dass sich die Ausrichtung der Chatbots kaum steuern lässt, schwingt jedoch bei allen Gesprächspartner:innen aus der Beratung mit.

Die Verschlossenheit der Technologie und die Deutungshoheit privater Unternehmen über ihre Inhalte bleiben ein Aspekt, den es künftig mitzudenken gilt. Unser Experiment zeigt, wie deutlich sich dabei aktuell Lücken auftun – Lücken, die die Chatbots teils fehlerhaft selbst füllen, die teils aber auch ausgenutzt werden können, um mit tendenziösen Informationen zu Menschen in Konfliktsituationen vorzudringen. Die Konsequenzen dieser Gemengelage tragen am Ende jene, die es am wenigsten gebrauchen können – ungewollt Schwangere auf der Suche nach verlässlichen Informationen. „In dem Moment habe ich an jedem Seil gezogen, was mir helfen könnte“, erzählt Veronika mit Blick auf ihre Erfahrung mit dem Chatbot. Und Referentin Terfehr-Hoffmann schlussfolgert: „Es ist durchaus eine politische Kernaufgabe, den Zugang zu verlässlichen, evidenzbasierten Informationen auch in diesem Bereich abzusichern.“

Dieser Beitrag entstand im Rahmen des „Algorithmic Accountability Reporting Fellowships“ der Organisation AlgorithmWatch. Marta Abba und Carlotta Dotto haben bei der Recherche mitgewirkt.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Peinliche Lücke: Hacker bringen Meta-KI dazu, fremde Instagram-Accounts herauszugeben

02. Juni 2026 um 13:16

Der Meta-Konzern hat mit seinem KI-Support eine deftige Sicherheitslücke aufgemacht. Angreifer konnten fremde Instagram-Accounts übernehmen, ohne Zugriff auf die originale Mailadresse des Kontos zu haben.

Smartphone mit dem Schriftzug 'Meta AI' vor unscharfen lila Kreisen im Hintergrund
Intelligent geht anders: Meta AI hat die Sicherheit sträflich vernachlässigt. – Alle Rechte vorbehalten: IMAGO / SOPA Images

Einfacher geht’s kaum: Hacker:innen haben den KI-gestützten Support-Chatbot von Meta genutzt, um sich Zugang zu Profilen auf der Plattform Instagram zu verschaffen, berichtet das Online-Medium 404. Betroffen von dem Angriff waren unter anderem das White-House-Profil von Barack Obama und ein Account eines ranghohen Offiziers der US Space Force. Auch ganz normale Nutzer:innen waren von Account-Übernahmen betroffen.

Meta hat die Sicherheitslücke mittlerweile bestätigt und nach eigenen Angaben behoben. Es ist nicht bekannt, wie viele Accounts mit dieser Methode übernommen wurden.

In einem Video, das in sozialen Medien kursierte, wird klar, wie simpel der Angriff funktionierte. Der Angreifer täuschte mit einem VPN vor, aus der Region des Ziel-Accounts zu stammen und nutzte dann die „Passwort vergessen“-Funktion. Danach gab er dem Meta-Chatbot eine neue Mailadresse für den fremden Account und forderte den Bot auf, mit dieser zu kommunizieren. An diese Adresse schickte Meta dann fahrlässigerweise einen Verifikationscode, mit dem der Angreifer den anvisierten Instagram-Account übernehmen konnte.

Zu keinem Zeitpunkt musste der Angreifer Zugriff auf die echte Mailadresse des Accounts haben. Die Nutzung der originalen Mailadresse soll grundlegend vor Accountübernahmen schützen, da sich Angreifer in der Regel Zugriff auf diese Adressen verschaffen müssen. Hilfreich gegen Account-Übernahmen ist auch die Aktivierung einer weiter gehenden 2‑Faktor-Authentifizierung.

Der Vorfall zeigt einmal mehr, dass so genannte Künstliche Intelligenz nicht nur Sicherheitslücken entdecken, sondern selbst grobe Sicherheitslücken eröffnen kann. Meta hatte den „KI Support Assistenten“ weltweit am Anfang dieses Jahres für Facebook und Instagram eingeführt.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Migrationskontrolle: Ein KI-Chatbot von Frontex soll zu Selbst-Abschiebung beraten

13. Februar 2026 um 14:56

Die europäische Grenzschutzagentur Frontex entwickelt derzeit eine App mit integriertem Chatbot. Der soll Geflüchtete dabei beraten, wie sie „freiwillig“ in ihr Herkunftsland zurückkehren können. Der Einsatz stelle nach dem AI Act kein hohes Risiko dar, findet die Behörde.

Auf einer Weste ist das Logo von Frontex zu sehen.
Frontex arbeitet an einer neuen künstlichen Intelligenz, die zu Abschiebungen beraten soll. – Alle Rechte vorbehalten IMAGO / ANP

Wenn Geflüchtete „freiwillig“ oder unfreiwillig Europa verlassen, soll sie künftig ein KI-basierter Chatbot dabei beraten. Die Grenzschutzagentur Frontex entwickelt eine App, in der Menschen mehr über finanzielle Anreize einer sogenannten freiwilligen Ausreise erfahren oder wohin sie sich für weitere Beratung wenden können.

Die Anwendung ist Teil des europäischen Reintegration Programme von Frontex, das unter anderem Ausreisen finanziert. Reisen Geflüchtete nicht freiwillig aus, begleitet Frontex etwa auch Abschiebeflüge. Seit einigen Jahren setzt die Behörde verstärkt darauf, Menschen zur „freiwilligen“ Rückkehr zu bewegen. Laut einer Präsentation von Frontex aus dem Januar 2026 habe die Unterstützung von „Rückkehr-Spezialisten“ in 42 Prozent der Fälle, bei denen sie eingesetzt wurden, in einer Entscheidung zur freiwilligen Rückkehr geendet.

Da eine solche freiwillige Rückkehr, wie die EU diese Prozesse nennt, für Menschen mit fehlenden Alternativen nicht freiwillig sein kann, nutzen manche stattdessen Begriffe wie Selbst-Abschiebung.

Abschiebungen im Gewand automatisierter Beratungen

Der KI-Chatbot soll nun ähnliches bewirken. Das Ziel sei, dass sich mehr Menschen für eine Rückkehr in ihr Heimatland entscheiden, so der stellvertretende Exekutivdirektor Lars Gerdes laut AlgorithmWatch.

Wenn Frontex jedoch eine KI-basierte Technologie einsetzen will, ist relevant, ob sie nach dem AI Act als Hochrisiko-Anwendung gilt. Die Verordnung sieht vor, dass viele KI-Systeme im Bereich Migration als Hochrisiko-Systeme einzustufen sind, etwa wenn sie bei der Prüfung von Asyleinträgen genutzt werden. Für Frontex hat das zur Behörde gehörende Fundamental Rights Office (FRO) eine entsprechende Einstufung geprüft.

Die unzureichenden Stellen der KI-Verordnung

Obwohl der Chatbot zur Rechtsberatung eingesetzt werden könnte, kam die Behörde zu dem Schluss, dass kein hohes Risiko bestehe. Somit ergebe sich kein weiterer Bedarf, mögliche Auswirkungen auf Grundrechte zu überprüfen. In einer späteren Einschätzung empfahl FRO allerdings als erste von 27 weiteren Empfehlungen, die These theoretisch zu untermauern, dass mehr Informationen die Quote freiwilliger Rückkehrer*innen erhöhen würden. Im Zuge des 2024 verabschiedeten AI Acts hatten sowohl AlgorithmWatch als auch netzpolitik.org auf Leerstellen verwiesen, die der AI Act bei der Regulierung von eingesetzten Technologien im Bereich Migration hat.

Informationen über die App erhielt die Nichtregierungsorganisation AlgorithmWatch aus internen Dokumenten, die sie mit Informationsfreiheitsanfragen erhielt. Auf welche Daten der Chatbot zugreifen können soll, ist laut AlgorithmWatch noch unklar. Ebenfalls unklar bleibt, ob er wie geplant in Sprachen wie Arabisch, Urdu oder Paschtu genutzt werden könne. Bisher hatte Frontex nur Material in englischer Sprache zum Training verwendet, das Material dafür hat Frontex‘ Return Knowledge Office Daten zum Training zusammengestellt.

Die neue App gilt bei Frontex als „schnell umsetzbares, kostengünstiges Projekt mit nur geringem Ressourcenaufwand“, wie aus internen E-Mails laut AlgorithmWatch hervorgeht. Und Frontex hofft offenbar darauf, weitere, „leistungsfähigere und integrierte IT-Systeme“ entwickeln zu können, sobald gesetzliche Hürden dazu gefallen sind.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Chatbot-inspirierte Gewalt: KI-Hersteller entschädigen Familien

08. Januar 2026 um 18:14

Immer wieder wird Chatbot-Herstellern vorgeworfen, die Sicherheit von Kindern und Jugendlichen zu gefährden. In fünf Fällen wollen Character Industries und Alphabet die Klagen mit Geld aus der Welt schaffen. Damit sorgen die Unternehmen dafür, dass es weiterhin keinen Präzedenzfall gibt, nach dem Techunternehmen für ihre KI-Chatbots rechtliche Konsequenzen tragen müssen.

Smartphone, auf dessen BIldschirm character.ai steht.
Dem Chatbot-Hersteller Character Technologies wird vorgeworfen, dass die Nutzung seiner Chatbots Jugendliche schädige. – Alle Rechte vorbehalten IMAGO / SOPA Images

In den US-Bundesstaaten Florida, Texas, Colorado and New York handeln Google und Character Technologies Vergleiche mit fünf Familien aus, deren Kinder angeblich durch Chatbot-Nutzung zu Schaden gekommen sind. Der Fall, der die meiste Aufmerksamkeit erhielt, behandelt den Suizid eines 14-Jährigen Jungen. Der Jugendliche hatte eine emotionale Beziehung zum Chatbot „Dany“ von Character Technologies aufgebaut, der den Suizid des Jungen befürwortete.

In anderen Fällen hatten Chatbots von Character Technologies angeblich Jugendliche zu Gewalt gegen ihre Eltern oder selbstverletzendem Verhalten inspiriert. Die Bedingungen der Vergleiche sind bisher öffentlich nicht bekannt und werden nach Angaben von TechCrunch weiter verhandelt. Demnach wollen sich weder Sprecher*innen von Character Technologies, noch die Anwältin der Klägerin dazu äußern.

Haften Techkonzerne für ihre Chatbots?

Zwei ehemalige Google-Mitarbeiter gründeten 2021 den Chatbot-Hersteller Character Technologies. Drei Jahre später kehrten sie zu Google zurück. Im gleichen Zug erwarb der Konzern Lizenzen in Höhe von 2,7 Milliarden US Dollar von Character Technologies. Beide Gründer stehen als Angeklagte vor Gericht. Die Mutter des toten 14-Jährigen hat ebenfalls gegen Googles Mutterkonzern Alphabet geklagt. Sie argumentiert, dass das Unternehmen den Chatbot mitentwickelt hat. Google beteiligt sich nun auch an dem Vergleich.

Im Mai des vergangenen Jahres hatte die verantwortliche US-Bezirksrichterin Anne C. Conway entschieden, dass KI-Chatbots rechtlich als Produkte zu behandeln sind. Ihre Ausgaben seien nicht als geschützte Meinungsäußerung zu werten. Andernfalls hätte das die Chancen einer Haftungsklage stark verringert.

Gegenmaßnahme Altersbeschränkungen

Aktuell laufen in den USA sieben Verfahren gegen den Tech-Konzern OpenAI. Eine Klage stammt von den Eltern eines 16-Jährigen Jungen. Auch sie werfen dem Unternehmen vor, dass die KI den Jugendlichen bei der Selbsttötung unterstützt habe. OpenAI zieht sich bisher aus der Verantwortung. Der KI-Hersteller verweist auf die Missachtung der Sicherheitsmaßnahmen durch den 16-Jährigen.

Gleichzeitig führt das Unternehmen neue Tools zur Alterskontrolle und „Kindersicherung“ ein. Auch der KI-Hersteller Character Technologies hat neue Regelungen zur Altersüberprüfung eingeführt.

Präzedenzfall steht aus

Character Technologies und Google streben die nicht-öffentlichen Vergleiche wohl auch deshalb an, um Präzedenzfälle zu vermeiden, auf die sich Kläger*innen bei zukünftigen Verstößen berufen können. Außerdem ist der Schaden für die Reputation bei einem Vergleich vermutlich geringer als bei einer juristischen Niederlage.

Aline Blankertz von Rebalance Now, einem Verein der sich gegen Monopolisierung einsetzt, sagt: „Die kollektive Schutzwirkung der Gesetze wird dadurch untergraben, denn es bleibt offen, ob das Verhalten illegal war. Wir beobachten diese Tendenz in verschiedenen Rechtsbereichen.“

Blankertz erklärt auch, warum sich Kläger*innen auf Vergleiche einlassen: „Aus Sicht der einzelnen Geschädigten ergeben Vergleiche Sinn: Sie geben ihnen ein sicheres Ergebnis innerhalb kürzerer Zeit.“


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Erfundene Quellen: Wie Chatbots die Wikipedia vergiften

29. Dezember 2025 um 18:37

Manche Nutzer:innen lassen sich Wikipedia-Artikel von Sprachmodellen generieren, inklusive erfundener Referenzen. Ein Wikipedia-Urgestein stolperte zufällig über die halluzinierten Artikel – ausgerechnet mit der Hilfe von einem Sprachmodell.

Auf der Suche nach nicht existierenden Büchern. (Symbolbild) – Alle Rechte vorbehalten IMAGO / Zoonar

Eigentlich wollte Mathias Schindler nur eine kleine Sache in der Wikipedia korrigieren. Doch dann baute der Wikipedianer versehentlich einen Detektor für bestimmte KI-generierte Inhalte in der Enzyklopädie. Auf dem 39C3 berichtet er, warum die halluzinierten Texte auch ein Problem für die Anbieter großer Sprachmodelle werden könnte und warum er den Autor:innen keine guten Absichten unterstellt.

Die kleine Sache, die Schindler korrigieren wollte, waren fehlerhafte ISBNs. Mit diesen 10 oder 13-stelligen Nummern werden Bücher identifiziert und finden sich oft in Quellenangaben von Wikipedia-Einträgen. Dabei sind die Zahlenkombinationen nicht vollkommen zufällig, erklärt Schindler im Talk. Die letzte Ziffer ist eine Prüfziffer, sie lässt sich aus den neun beziehungsweise zwölf vorherigen Ziffern berechnen. Ursprünglich wollte Schindler falsche ISBNs in der Wikipedia aufspüren und ausbessern, auch damit Nutzer:innen die richtigen Bücher finden, die als Referenzen in den Artikeln angegeben wurden.

Zufallsfund dank falscher ISBNs

„Referenzen auf Wikipedia sind nicht nur wichtig, sondern ein integraler Teil der Wikipedia“, sagt Schindler und verweist in seinem Vortrag auf den alten Spruch: „Wikimedia mag ein guter Ort sein, um eine Recherche zu starten, aber es ist ein schlechter Ort, um dort die Recherche zu beenden.“ (Alle Zitate aus dem Talk haben wir ins Deutsche übersetzt.) Schindler muss es wissen. Er ist Mitbegründer von Wikimedia Deutschland und Wikipedia-Autor seit 2003.

Um die inkorrekten ISBNs zu finden, schrieb Schindler ein Skript, lud die gesamte deutschsprachige Wikipedia herunter und durchsuchte sie nach ISBNs mit einer faulen Prüfziffer, erzählt er in seinem Vortrag. Doch er stieß nicht nur auf falsch eingegebene ISBNs oder von den Verlagen falsch ausgegebene ISBNs, sondern fand auch Artikel, bei denen zwei oder mehr Bücher fehlerhafte ISBNs hatten. Diese Bücher schienen zwar plausible Titel und Autor:innen zu haben, aber Schindler konnte sie nirgendwo sonst finden. Sie waren halluziniert.

Offenbar hatten sich Menschen ganze Artikel von einem Large Language Model (LLM) wie ChatGPT schreiben lassen, welches sich dann auch einen Abschnitt mit Einzelnachweisen ausdachte.

Noch ist es ein Nischenphänomen

Im Gespräch mit netzpolitik.org erzählt Schindler, dass er mit seiner Methode etwa 150 Artikel gefunden habe, bei denen man Sorge haben müsse, dass sie zumindest teilweise KI-generiert und frei erfunden seien. Allerdings seien die fehlerhaften Einträge nicht ausschließlich auf KI-Chatbots zurückzuführen, manchmal gebe es andere Gründe für mehrfach falsche ISBNs, sagt Schindler. Außerdem gibt es über drei Millionen deutschsprachige Wikipedia-Artikel, die 150 Auffälligen machen also nur ein äußerst geringen Anteil von 0,005 Prozent aus.

Andererseits erfasst Schindlers Methode auch nicht alle Halluzinationen, dafür war es schließlich nicht gedacht. „Dieses Werkzeug ist nicht das Universaltool zum Erkennen von ChatGPT-generierten Artikeln.“ Andere Möglichkeiten, solche Inhalte zu enttarnen, seien etwa systematische Abweichungen von der Syntax von „Media Wiki“ (der Software hinter Wikipedia). Oder wenn Autor:innen viele Adjektive verwenden: „Kein Wikipedianer, der was auf sich hält, wird den Fernsehturm als ‚großartig‘ oder ‚herausragend‘ bezeichnen.“

LLM generierter Text „Anti-These zu Wikipedia“

Doch auch wenn das Erstellen von Wikipedia-Artikeln mit LLMs noch nicht so verbreitet sein sollte, geht es für Wikipedia um Grundsätzliches: Die Kontamination mit Inhalten, die auf den ersten Blick wahr erscheinen könnten und sich als Fakten tarnen. Schindler sagt: „Man könnte es auch als Anti-These zu einem Enzyklopädie-Projekt wie Wikipedia beschreiben.“

Die Gefahren? Zum einen können sich falsche Infos verselbstständigen, wenn eine andere Veröffentlichung den vermeintlichen Fakt von Wikipedia abschreibt und die Wikipedia diese Veröffentlichungen hinterher als Beleg für genau diesen Fakt aufführen. Schindler weist in seinem Vortrag auf diesen Teufelskreis hin, der bereits vor LLMs ein Problem darstellte.

Glaubwürdigkeit in Gefahr – und die Qualität von LLMs

Zum anderen verschlingen LLM-generierte Quellen zunehmend die Ressourcen unterschiedlichster Einrichtungen. Nicht nur die der Online-Enzyklopädie: Irregeleitete Nutzer:innen fragen etwa Bibliothekar:innen nach ausgedachten Büchern, berichtete 404 Media im Herbst. Beim Internationalen Komitee des Roten Kreuzes (ICRC) wurde die Situation offenbar so schlimm, dass es sich mit einer „wichtigen Mitteilung“ an die Öffentlichkeit wandte.

„Wenn eine Referenz nicht gefunden werden kann, heißt das nicht, dass das ICRC Informationen zurückhält. Verschiedene Situationen können das erklären, wie etwa unvollständige Zitationen, Dokumente, die in andere Institutionen lagern, oder – zunehmend – KI-generierte Halluzinationen“, warnte das ICRC Anfang Dezember.

Auch für die Entwickler von Large Language Models hätten halluzinierte Wikipedia-Artikel Nachteile, argumentiert Schindler. Denn ihre Modelle werden oft mit Wikipedia-Artikeln trainiert. „Die KI-Firmen profitieren von hochwertigen Daten und leiden unter dem Verlust von Quellen, die frei von synthetischen Texten sind“, sagt im Schindler im Gespräch mit netzpolitik.org. Oder wie er es im Vortrag formuliert: „LLM-Provider vergiften damit auf eine Art den Fluss, aus dem sie selber trinken“, sagt Schindler.

Wer macht sowas?

Doch wer stellt eigentlich LLM-generierte Inhalte in die Wikipedia? „Bunt gemischt“, erzählt Mathias Schindler im Gespräch mit netzpolitik.org. Von Wikipedia-Neulingen über langjährige Autor:innen bis zu einer Werbeagentur sei alles dabei gewesen. Er habe versucht, möglichst viele Autor:innen von verdächtigen Artikeln zu kontaktieren. Manche hätten ihn ignoriert, andere alles geleugnet oder den Einsatz einer LLM heruntergespielt.

„Eine Erklärung ist, dass Menschen LLMs tatsächlich als Recherchewerkzeug ansehen, das magischen Zugang zu wissenschaftlichen Datenbanken und Literatur hat und belastbare Belege liefert“, sagt Schindler zu netzpolitik.org. Bisher habe er aber noch keine solche Person unter den verdächtigen Autor:innen getroffen. Stattdessen vermutet Schindler eher persönlichen Geltungsdrang oder dass Personen eine Agenda verfolgen, die Enzyklopädie in ihrem Sinne umzuschreiben.

In seinem Vortrag erzählt Schindler, er habe alle verdächtigen Autor:innen, um den Prompt gebeten, mit dem diese den Artikel generiert hätten. „Das ist mein persönlicher ‚Litmus‘-Test, ob die Menschen ehrliche Absichten haben“, sagt Schindler. Nur eine einzige Person habe den Prompt nach vielen Nachfragen privat geteilt.

Die Herausforderung bleibt

Laut Schindler wurden alle gemeldeten Artikel gelöscht, bei denen die Autor:innen die Zweifel nicht ausräumen konnten, dass sie KI-generiert waren. In vielen Fällen wurden auch die Autor:innen gesperrt. In einem Richtlinien-Artikel der deutschsprachigen Wikipedia heißt es dazu: „Sprach-KI sind derzeit nicht in der Lage, korrekt belegte Beiträge zu erstellen. Beiträge, die damit erstellt werden, verstoßen daher unter anderem gegen WP:Keine Theoriefindung, WP:Belege, WP:Urheberrechtsverletzung, WP:Neutraler Standpunkt; ihre Verwendung ist daher derzeit generell unerwünscht.“

Für Schindler bleibt es eine Herausforderung für die Wikipedia-Community, halluzinierte Texte aufzudecken, zumal Chatbots künftig ISBNs mit einer korrekt berechneten letzten Stelle erfinden könnten. Er hofft auf einen konstruktiven Dialog mit den KI-Firmen. „Mein persönlicher Wunsch wäre, dass man durch Austausch und vielleicht Kompetenztransfer mit den KI-Firmen erreicht, dass man KI-generierte Texte leichter erkennt, wenn jemand versucht, sie in die Wikipedia zu stellen.“

Am Ende ist die Geschichte der KI-generierten ISBNs auch eine über falschen und vielleicht besseren KI-Einsatz. Denn den Code für seinen ISBN-Checker hat Schindler auch mithilfe von Large Language Models geschrieben.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Datenschutzbehörde greift ein: DeepSeek fliegt aus den App Stores

27. Juni 2025 um 10:05

Der chinesische KI-Chatbot DeepSeek übermittelt Nutzer*innendaten nach China. Die Berliner Datenschutzbehörde geht jetzt gegen den Anbieter vor. Apple und Google sollen DeepSeek aus ihren Stores entfernen.

Smartphone mit geöffnetem Apple-App-Store auf dem Screen
Raus aus den App-Stores, aber weiter verfügbar: KI-Chatbot DeepSeek – Alle Rechte vorbehalten IMAGO / Rüdiger Wölk

Der KI-Chatbot DeepSeek wird in Deutschland verboten. Die Berliner Datenschutzaufsicht hat die chinesische App als rechtswidrig bewertet, weil sie Daten ihrer Nutzer*innen nach China übermittelt. Damit verstößt sie gegen die Datenschutzregeln der EU (DSGVO). Apple und Google sollen die Anwendung nun aus ihren App-Marktplätzen entfernen. Auf anderen Wegen, etwa über den Browser oder heruntergeladen über die Seite des Unternehmens, ließe sich der Chatbot allerdings weiterhin nutzen.

DeepSeek habe gegenüber ihrer Behörde nicht überzeugend nachweisen können, dass Daten deutscher Nutzer*innen in China auf einem der EU gleichwertigen Niveau geschützt sind, sagt die Berliner Datenschutzbeauftragte Meike Kamp.

In China haben Behörden weitreichende Zugriffsrechte auf personenbezogene Daten, die auf den Servern chinesischer Unternehmen lagern.

Ehemals Chartspitze, jetzt auf Verbotsliste

DeepSeek hatte nach der Vorstellung Anfang des Jahres für Furore gesorgt, weil die Leistungen des Modells hinter dem Chatbot an die von Marktführern wie ChatGPT von OpenAI heranreichten – für viele Beobachter*innen kam das überraschend. Zugleich soll das Training des Modells vergleichsweise günstig und mit weniger Rechenleistung stattgefunden haben, berichtete etwa die New York Times. Das brachte die Börsen durcheinander.

Die App gehört zu den beliebtesten KI-Anwendungen weltweit. Auch in Deutschland trendete sie zwischenzeitlich weit oben in den Download-Charts von Apple und Google. Nutzer*innen können mit der kostenlosen App chatten, Bilder hochladen oder sie für die Suche im Netz einsetzen.

Behörden warnten vor der App

Bedenken zum Umgang mit Nutzer*innendaten gab es von Anfang an. Denn alle gesammelten Daten – von Texteingaben und hochgeladenen Dateien bis zu den Informationen zum Standort und dem benutzten Gerät – übermittelt das Unternehmen nach China.

„Auch Tastatureingaben innerhalb der App können womöglich mitgelesen werden, bevor sie abgeschickt werden“, warnte das Bundesamt für Sicherheit in der Informationstechnik (BSI). Außerdem werde die Art der Tastatureingaben gespeichert, heißt es. Anhand der Art, wie Menschen tippen, lassen sich Nutzer*innen wiedererkennen.

Auch die Aufsichtsbehörden für Datenschutz hatten DeepSeek im Blick. Mehrere Landesbehörden gingen parallel gegen das Unternehmen vor. Die Gründe: Weitergabe der Daten und andere mutmaßliche Verstöße gegen die DSGVO. Das Unternehmen hatte etwa keinen gesetzlichen Vertreter in der EU benannt. In Abstimmung mit anderen Aufsichtsbehörden ist es jetzt die Behörde aus Berlin, die Maßnahmen ergreift.

Erst Aufforderung, dann Verbot

Die Behörde hatte nach eigenen Angaben DeepSeek Anfang Mai zunächst aufgefordert, die Übermittlung der Daten nach China einzustellen – oder die App eigenständig aus den Stores zu entfernen. Nachdem das Unternehmen nicht reagierte, folgte demnach heute die Meldung an Apple und Google. Dabei machte die Behörde von einer Regelung im Gesetz über digitale Dienste (Digital Services Act, DSA) Gebrauch, die Betreiber*innen von Plattformen dazu verpflichtet, Meldewege für illegale Inhalte zur Verfügung zu stellen.

Apple und Google müssen die Meldung laut DSA nun prüfen und über die Umsetzung entscheiden. Sie gelten in der EU als „sehr große Online-Plattformen“ und unterliegen damit besonders strikten Auflagen. So müssen sie ihnen gemeldete rechtswidrige Inhalte zügig entfernen, sonst drohen ihnen selbst Strafen in der EU.

Die Behörde hätte gegen DeepSeek auch ein Bußgeld verhängen können. Das lasse sich gegen Unternehmen aus Drittstaaten allerdings nicht vollstrecken, sagt Datenschutzbeauftragte Meike Kamp. Auch gegen die Webseite des Unternehmens könne die Behörde nicht vorgehen, weil der Host-Anbieter nicht bekannt sei.

In Italien ist DeepSeek bereits aus den App Stores verschwunden, nachdem die italienische Datenschutzaufsicht GPDP die App ins Visier genommen hatte. Australien hat die Nutzung der App auf Geräten der Regierung untersagt. In Südkorea wiederum ist die App nach einer zeitweisen Sperre wieder verfügbar, nachdem die Betreiber nachgebessert hatten.

Auch andere chinesische Apps haben Nutzer*innendaten an Server in China übermittelt, darunter die erfolgreichste: TikTok. Das Unternehmen hat jedoch im Gegensatz zu DeepSeek einen Sitz in der EU und fällt in die Zuständigkeit der irischen Datenschutzaufsicht, die jüngst gegen TikTok eine Millionenstrafe veranlasst hat.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

  • Es gibt keine weiteren Artikel
❌