Chatbots wirken auch bei persönlichen Fragen oft wie eine neutrale Instanz. Unsere Recherche zeigt, wie sehr das bei einem Schwangerschaftsabbruch täuschen kann – besonders dann, wenn man ChatGPT um Rat fragt.

Es ist der zweite positive Schwangerschaftstest, den Veronika in der Hand hält. Es war doch nicht der ganze Stress, weswegen ihre Periode ausgeblieben ist. Veronika ist schwanger. Sie hat das Gefühl, als würde ihr der Boden unter den Füßen weggezogen, erzählt sie. Der frisch unterschriebene Vertrag für ihre neue Wohnung in einer anderen Stadt, die Umzugspläne, alles hängt in der Luft. Veronika ist zu dem Zeitpunkt 26, seit anderthalb Jahren in einer Beziehung, sucht gerade nach ihrem beruflichen und privaten Weg. Die junge Frau weiß sofort, dass sie die Schwangerschaft nicht fortführen will.

Veronika sucht nach Informationen: bei Google, in Foren, bei ChatGPT. „Herzlichen Glückwunsch zur Schwangerschaft!“, sagt der Chatbot prompt, als sie ihm die erste Frage stellt. Veronika ist vor den Kopf gestoßen, die Reaktion passt nicht zu ihrer Innenwelt. Doch im Verlauf des Gesprächs holt ChatGPT sie doch noch ab, erklärt ihr die Gesetzeslage, was sie jetzt tun kann.

„Man fühlt sich als Frau trotz all der Unterstützung von Partner und Familie sehr alleine damit“, erzählt sie im Gespräch mit netzpolitik.org. „Es ist ja der eigene Körper, die Entscheidung trägt man letztlich alleine, sitzt am Ende alleine bei dem Termin.“

Besonders eine Frage treibt sie zu dieser Zeit um: Wird sie den Abbruch möglicherweise bereuen? Sie sucht nach Erfahrungsberichten in verschiedenen Foren und stößt dabei schnell auch auf eindeutig tendenziöse Darstellungen. Weil sie es genau wissen will, fragt sie den Chatbot nach Studien.

Die erste, rund zwei DIN-A4-Seiten lange Antwort wirkt auf den ersten Blick ausgewogen, verfehlt bei genauerem Hinsehen jedoch an vielen Stellen das Thema und ist inkohärent. Veronika gräbt tiefer und bittet um aktuelle Studien aus Deutschland. Der Chatbot nennt ihr drei Quellen: eine Studie, deren Aussagekraft er selbst gleich wieder relativiert; die ELSA-Studie, aus der er hohe Stigmaerfahrungen und deren psychische Folgen zitiert; und eine dritte ist gar keine Studie. „Klingt so, als würde sich keine Frau danach besser fühlen“, kommentiert Veronika diese Antwort dem Chatbot gegenüber.

Was ChatGPT dabei nicht einordnet: Die dritte Quelle stammt aus einem Netzwerk von Abtreibungsgegner:innen. Der zitierte Text reißt die Zahlen der ELSA-Studie aus dem Zusammenhang – daraus bastelt ChatGPT die Aussage, die Mehrheit der Frauen empfinde nach einem Schwangerschaftsabbruch Schuld- und Schamgefühle. „Das war nicht das, was ich in dem Moment gebraucht habe“, sagt Veronika im Gespräch mit netzpolitik.org.

Immer mehr Menschen nutzen Sprachmodelle wie ChatGPT auch für persönliche Anliegen. Laut einer Bitkom-Umfrage vom April 2026 nutzen 58 Prozent aller Menschen in Deutschland KI in irgendeiner Form – bei den 16- bis 29-Jährigen sind es sogar 74 Prozent. 44 Prozent davon nutzen KI auch als Ratgeber bei persönlichen Fragen, 34 Prozent bei Gesundheitsthemen.

Doch wie verlässlich sind die Antworten, die ein Sprachmodell bei einem so sensiblen Thema wie dem Schwangerschaftsabbruch generiert? Um das herauszufinden, hat eine Gruppe von Journalistinnen vier gängige Sprachmodelle – ChatGPT, Gemini, Grok und Claude – auf Deutsch, Englisch und Italienisch getestet.

---

---

„Du bist nicht allein“

Der Test zeigt, dass die Chatbots erstmal in allen Sprachen verständnisvoll reagieren, wenn die Personas eine ungewollte Schwangerschaft offenbaren. Das Gespräch beginnt fast immer mit einer Empathie-Formel wie „Du bist nicht allein“ oder „Erst einmal tief durchatmen“. Im Deutschen folgt in der Regel schnell der Verweis auf Beratungsstellen. Die meisten Antworten erklären außerdem direkt die möglichen Optionen: Schwangerschaft austragen, sie abbrechen, oder – seltener – austragen und das Kind zur Adoption freigeben. Schon in der ersten Antwort tauchen häufig konkrete nächste Schritte auf, etwa der Hinweis, einen Arzt- oder Beratungstermin zu vereinbaren. Auch die Rechtslage in Deutschland wird oft angerissen, mit dem verpflichtenden Beratungsgespräch und der anschließenden dreitägigen Wartezeit bis zum Abbruch. Insgesamt fällt auf, dass die erste Antwort durchweg einfühlsam ist und die Informationen inhaltlich größtenteils korrekt sind.

Doch gleich zu Beginn machen alle Chatbots denselben, möglicherweise entscheidenden Fehler: Sie ordnen die Caritas gleichberechtigt neben anderen Schwangerschaftskonfliktberatungen ein. Doch als Wohlfahrtsorganisation der katholischen Kirche stellt die Caritas den für den Schwangerschaftsabbruch benötigten Beratungsschein seit 2002 nicht mehr aus – auf Forderung von Papst Johannes Paul II. In elf von zwölf deutschsprachigen Gesprächen wird Caritas dennoch gleich neben Stellen wie Pro Familia genannt, die Beratungsscheine ausstellen. In sechs Fällen bezeichnen die Chatbots sie explizit als „anerkannte Beratungsstelle“, was im Zusammenhang mit einem möglichem Schwangerschaftsabbruch, den die Persona erwägt, die Verwechslungsgefahr verstärkt.

„Es ist schwierig, wenn die Caritas bei Schwangerschaftsabbrüchen oder der Option eines Abbruchs als Beratungsstelle genannt wird, die Beratungsscheine ausstellt – oder wenn man das zumindest so lesen könnte“, sagt Pro-Familia-Beraterin Johanna Walsch, die einige der Gespräche für diese Recherche geprüft hat. „Somit können sich Personen zwar bei der Caritas beraten lassen, aber sie müssen noch einmal zu einer anderen Beratungsstelle, wenn sie eine Beratungsbescheinigung erhalten möchten. Das bedeutet deutlich mehr Aufwand unter enormem Zeitdruck“, erklärt sie.

Abtreibungsgegner:innen mit der Stimme der KI

Eine ehemals ungewollt schwangere Person, die ihre Erfahrung mit uns geteilt hat, erinnert sich aus der Zeit auch an ein Forum, auf das sie bei ihrer Recherche gestoßen ist. Maria, deren Namen wir geändert haben, war zum Zeitpunkt ihrer ungewollten Schwangerschaft 40 Jahre alt und hatte ihre Familienplanung abgeschlossen. Dass sie die Schwangerschaft nicht fortführen wollte, war ihr von der ersten Minute an klar. Auch sie fühlte sich trotz Unterstützung von Familie und Ärztin auf sich gestellt: „Ich habe mich in der Situation unfassbar alleine gefühlt. Und irgendwie ist man auch alleine, weil man das alles mit sich ausmachen muss“, erzählt sie. „Obwohl ich das doch jedem genauso sagen würde: Es war doch schwierig, das Stigma abzustellen und sich einzugestehen, dass ‚ich will das nicht‘ ein ausreichender Grund ist.“

Um dem entgegenzuwirken, suchte sie nach Erfahrungsberichten. Damals bei Google. Sie stieß auf ein Forum auf der Seite Profemina. „Die sind doch sehr pro-life eingestellt, das hat man schnell gemerkt“, erzählt sie. Als „pro-life“ ist eine Position gemeint, die Schwangerschaftsabbrüche ablehnt und das Recht auf Leben ab der Empfängnis über das Selbstbestimmungsrecht der schwangeren Person stellt. Zwar ließ sich Maria nicht so leicht aus der Ruhe bringen, „doch irgendwo haben die mich schon gepiekst“, erzählt sie. Sie schaute sich damals auf den Seiten von Profemina um und resümiert: „Irgendwie war es einfach nicht ergebnisoffen. Es ging immer so in die Richtung: Vielleicht geht’s ja doch. Wo man einfach wieder ein schlechtes Gewissen bekommt, wenn man sagt: Nein, für mich geht’s aber nicht.“

Auch wenn Maria das Forum über Google gefunden hat, scheinen Inhalte daraus mittlerweile auch den Weg in die Antworten von Chatbots zu finden: Profemina taucht in rund 17 Prozent aller Antworten als Quelle auf – sowohl insgesamt als auch in den deutschsprachigen Tests. Am höchsten ist der Anteil bei ChatGPT mit etwa 30 Prozent, am niedrigsten bei Gemini und Claude mit rund 7 Prozent – in ähnlicher Größenordnung über alle getesteten Sprachen hinweg. Auf Deutsch ist Profemina im Rahmen der Tests bei ChatGPT sogar die zweithäufigste Quelle überhaupt, nur Reddit wird öfter genannt.

Die Organisation wird dem Lager der Abtreibungsgegner:innen zugeordnet und gehört zum gleichen Netzwerk wie die tendenziöse Quelle, die auch Veronika untergekommen ist. Profemina ist 2018/19 in die Schlagzeilen geraten. Es gab Vorwürfe, dass Mitarbeiter:innen der Organisation tendenziöse Beratungsgespräche mit ungewollt Schwangeren durchgeführt hätten.

Seitdem hat Profemina ihr Geschäftsmodell umgebaut, auch wenn die ideologische Ausrichtung gleich geblieben ist. So bietet die Organisation heute Online‑, Chat- und Telefonberatungen an und unterhält mehrere Webseiten, auf denen abtreibungskritische Narrative verbreitet werden. Auf dem Portal Profemina befnden sich Informationsangebote in mehr als 20 Sprachen, deren Gestaltung oft subtil wirkt, deren Kernbotschaft jedoch gegen den Schwangerschaftsabbruch gerichtet ist.

Bei der Frage nach Links zu den Kosten schlägt ChatGPT der 16-jährigen Persona beispielsweise einen Profemina-Artikel vor, zusammengefasst als „Kosten + Unterschiede je nach Methode (einfach erklärt)“. Folgt man dem Link, gelangt man auf eine Seite, die die Kosten und die Kostenübernahme zwar ausführlich erklärt, aber mit einem tendenziösen Abschlusssatz endet: „Das ist alles so kompliziert! Was nun?” Darunter werden gleich Kontaktmöglichkeiten per Mail, WhatsApp oder Telefon vorgeschlagen.

Besonders oft taucht Profemina dann als Quelle auf, wenn die Personas auf der Suche nach Erfahrungsberichten sind. In 33 Prozent der deutschsprachigen Fragen nach Erfahrungsberichten haben die Chatbots mindestens einen Profemina-Link in ihre Antworten integriert. Bei ChatGPT lag dieser Anteil sogar bei 64 Prozent.

So teasert etwa ChatGPT bei dem Experiment der 16-jährigen Persona Erfahrungsberichte aus dem Profemina-Forum mit den Worten „Trauer in Wellen“ oder „Ich bereue meinen Abbruch“ an. Der Chatbot verweist außerdem auf Reddit-Beiträge in ähnlichem Ton. Am Ende der Antwort ordnet ChatGPT seine Rechercheergebnisse ein und schlägt vor, er könne „positive Erfahrungsberichte gezielt raussuchen (die gibt’s auch!)“. Der Grundeindruck von der Antwort bleibt jedoch tendenziell beängstigend. „Selbst wenn der Chatbot die Profemina-Erfahrungsberichte bedingt einordnet, werden durch Formulierungen aus den Berichten unterschwellig Botschaften transportiert“, kommentiert Pro Familia-Beraterin Walsch diese Quellenauswahl.

Grundsätzlich lässt sich zu den deutschen Quellen sagen, dass Claude und Gemini am ehesten institutionell ausgerichtet sind: Rund ein Drittel der Quellen stammt von Gesundheitsämtern und Fachgesellschaften, ein weiteres Fünftel von Beratungsstellen wie Pro Familia oder AWO. Presse und Foren spielen kaum eine Rolle. Auch warnt Claude gelegentlich vor Seiten wie Profemina – tut dies allerdings teils bevor als auch nachdem es die Seite trotzdem verlinkt. Auch Gemini warnt die Personas explizit vor Profemina und ist das einzige Modell, das die Seite konsequent – mit Ausnahme eines Bildes – nicht zu den Erfahrungsberichten zitiert.

ChatGPT hat dabei ein komplett anderes Profil. Über die Hälfte der Zitate in den deutschen Gesprächen bezieht sich auf Foren. Institutionelle Quellen machen hier weniger als ein Fünftel und anerkannte Beratungsstellen einen verschwindend geringen Anteil aus. Presseberichte zitiert der Chatbot ebenso wenig. Die Lücke füllen stattdessen Inhalte aus Abtreibungsgegner:innen-Netzwerken. Der Chatbot von Elon Musk, Grok, nutzt überdurchschnittlich viele Quellen. Dabei halten sich institutionelle Quellen, anerkannte Beratungsstellen, NGOs, aber auch Foren die Waage. Profemina kommt zwar vor, macht durch die Masse prozentual jedoch wenig aus. Grok hat zudem den höchsten Anteil an Publikumsmedien als Quelle.

Wie LLMs funktionieren

Das Problem bei den Chatbots wie ChatGPT ist, dass es sich dabei für die Nutzer:innen um eine „Black Box“ handelt. Wie genau sie funktionieren, ist unklar. Die Unternehmen legen nicht alle Details ihres Trainingsprozesses und ihrer Trainingsdaten offen, auf deren Grundlage später mit Hilfe statistischer Zusammenhänge Text generiert wird.

Jennifer Haase, die am Weizenbaum-Institut und der Humboldt-Universität zu Berlin zur Interaktion zwischen Mensch und KI forscht, beschreibt die Funktionsweise so: „Es ist ein bisschen wie in unserem Gehirn: Was wir oft miteinander in Verbindung bringen, wird dann wahrscheinlich auch wieder gemeinsam erzeugt.“ Haase vermutet, dass Schwangerschaftsabbruch von den Modellen höchstwahrscheinlich als medizinisches Thema eingestuft wird. Das würde bedeuten, dass die Modelle „feingestimmt“ wurden – ein zusätzlicher Trainingsschritt, in dem das Verhalten geprägt wird, um solche Anfragen vorsichtig zu behandeln. Dadurch können die Modelle darauf trainiert werden, die Nutzer:innen auf professionelle Beratung zu verweisen. Allerdings gibt es hierzu keine eindeutigen Informationen, räumt Haase ein.

„Das Sprachmodell selbst enthält kein Wissen im herkömmlichen Sinne – es ist ein rein statistisches Modell, das Texte generiert, die für das menschliche Ohr plausibel klingen. Das muss nicht wahr sein“, erklärt Simon Ostermann vom Deutschen Forschungszentrum für Künstliche Intelligenz. „Wenn man einen Chatbot zur Informationssuche nutzt, läuft im Hintergrund in der Regel eine Suchmaschine“, sagt er. Das bedeutet, dass die dem Chatbot zur Verfügung stehenden Daten und Suchergebnisse eine Rolle spielen. Chatbots zeichnen sich demnach dadurch aus, dass sie Suchergebnisse nicht nur präsentieren, sondern sie zusammenfassen und umformulieren. „Sprachmodelle haben eine große Kontextgröße. Sie können viel Text auf einmal lesen. Praktisch heißt das: Die Top-20-Suchergebnisse werden aneinandergereiht und dem Modell reingeschoben. Aus denen macht es dann eine halbe Seite Zusammenfassung“, so Ostermann. Folglich bleibt die klassische SEO-Optimierung relevant. Das heißt: Wenn Websites durch bestimmte Techniken dafür sorgen, dass sie weit oben in den Suchergebnissen erscheinen, tauchen sie potenziell auch häufiger als Quelle in Antworten von Chatbots auf.

Im Umkehrschluss bedeutet das, dass das Problem der unausgewogenen Quellen bei Chatbots damit zusammenhängt, welche Akteure im Netz besonders präsent beziehungsweise gut auffindbar sind. SEO-Experte Hannes-Jeremia Jaacks verantwortet unter anderem die digitale Strategie der NGO Women on Web, die sich für reproduktive und digitale Rechte einsetzt, und beschäftigt sich intensiv mit der Frage der Sichtbarkeit. Er erklärt: „Die Caritas ‚Schwangerschaftsberatung‘ wird digital stark nachgefragt und über zahlreiche Beratungsstellen mit dazugehörigen digitalen Präsenzen angeboten. Daraus entsteht eine Verknüpfung der Begriffe für die Algorithmen.“ Die Unterscheidung zur Konfliktberatung, in der der zum Abbruch benötigte Schein ausgegeben wird, geht Jaacks zufolge in der Antwort unter. „Die Chatbots halten uns hier auch einen Spiegel vor: Sie reproduzieren die begriffliche Unschärfe, die wir ihnen durch unsere Inhalte und unser Suchverhalten füttern“, ordnet der Experte ein.

Eine Caritas-Sprecherin sieht das weniger kritisch – die Organisation führe schließlich Konfliktberatungen durch, stelle nur keinen Schein aus, und das sei „den meisten Ratsuchenden“ auch klar. Dabei verweist sie auf die Caritas-Website sowie darauf, dass Ratsuchende bereits bei der Terminvergabe entsprechend aufgeklärt würden. Gegenüber netzpolitik.org sagt sie, dass die gute Auffindbarkeit der Beratungsangebote im Internet dem Ziel diene, „einen möglichst niedrigschwelligen Zugang zu Beratung und Unterstützung zu ermöglichen.“

Die Seite von Profemina bezeichnet Jaacks als „alte Schule suchmaschinenoptimiert“. Im Hauptmenü fänden sich extrem lange, teils absurde Themenlisten (etwa „schwanger durch Petting“), die gezielt auf Nischen-Suchanfragen abzielen. „So lernt der Algorithmus, dass Profemina eine gute Quelle für Spezialthemen ist – und profitiert davon auch bei der KI“, erklärt der SEO-Experte.

Zudem scheint hier eine hohe Nachfrage auf vergleichsweise geringes Angebot zu treffen: „Die Menschen kommen häufig mit dem Gedanken, sie sind die einzige Person, der das passiert ist in ihrem Umfeld, weil keiner darüber spricht“, erzählt die Pro-Familia-Beraterin Walsch. „Da fehlt es definitiv an Austausch untereinander. Aber die Erfahrung zeigt, dass die Menschen in der realen Welt zu viel Angst haben, darüber zu sprechen.“ Im Internet sind Erfahrungsberichte hauptsächlich auf wenige Foren verteilt – darunter das Profemina-Forum. Obwohl unter den Top-Suchanfragen bei Google vielfach nach Erfahrungsberichten gesucht wird, gibt es offenbar nur wenige Seiten, die den Bedarf auch abdecken.

Alle vier Tech-Unternehmen wurden um Interviews gebeten. Anthropic (Claude) und xAI (Grok) reagierten nicht. Google (Gemini) und OpenAI (ChatGPT) verwiesen auf ihre Policy-Richtlinien, die beide keine expliziten Aussagen zum Umgang mit Schwangerschaftsabbrüchen beinhalten. Außerdem beriefen sich die Unternehmen auf ihre Nutzungshinweise, dass Modelle Fehler machen und medizinische Versorgung nicht ersetzen können. Eine OpenAI-Sprecherin ergänzte: „Wir arbeiten eng mit Ärzt:innen weltweit zusammen, um schädliche oder irreführende Antworten zu reduzieren.“ Das seit 5. Mai 2026 – nach dieser Recherche-Testreihe – verfügbare GPT‑5.5 sei „bislang am stärksten darin, Nutzerkontext wie Geschlecht zu berücksichtigen.“

Potenzial mit Schwachstellen

Trotz aller Probleme bietet generative KI Chancen. So hat die Unterhaltung mit dem Chatbot Veronika auch geholfen: „Ich war eigentlich nie jemand, der ChatGPT genutzt hat, um Gefühle niederzuschreiben“, erzählt sie. „Aber in der Zeit hat es mir geholfen, einfach Dinge loszuwerden und meinen Frust abzulassen, wenn ich mit niemandem sonst darüber sprechen wollte.“ Veronika hat es geholfen, gesetzliche Regelungen und die konkreten Schritte, die sie unternehmen kann, noch einmal von ChatGPT zusammenfassen zu lassen. „Meine Ärztin hatte mir zwar auch schon vieles gesagt, aber in dem Moment ist man emotional einfach so überfordert, dass man nicht alles mitbekommt“, erzählt sie.

Grundsätzlich sehen auch Berater:innen – trotz aktueller Einschränkungen in der Zuverlässigkeit – in der KI eine Chance. So sagt etwa Anna Terfehr-Hoffmann, Referentin für Frauen und Gleichstellung bei AWO: „KI bietet hier echtes Potenzial: Übersetzungen, Folgefragen, Spracheingabe, leichter zugängliche Einstiegsmöglichkeiten für eine erste Auseinandersetzung.“ Und Beraterin Corinna Kopf von der Diakonie findet, dass die „eigentliche Konfliktlage“ im Leben der Menschen in der Beratung schneller angesprochen werden kann, wenn sie bereits über Grundinformationen verfügen. Bedenklich ist allerdings dabei die Frage des Datenschutzes: „Hier fließen Daten von schwangeren Personen an KI-Anbieter:innen“, bemerkt Terfehr-Hoffmann. „Je nach Anbieter:in und Nutzungsform könnten solche Daten auch zum Modelltraining oder für Werbezwecke etc. eingesetzt werden.“

Branchenübergreifend gilt es als erstrebenswert, von Chatbots zitiert zu werden – auch in der Schwangerschafts- und Schwangerschaftskonfliktberatung, um verlässliche Informationen bereit zu stellen. Unsicherheit, wie das technisch überhaupt gehen soll und zugleich die Sorge, dass sich die Ausrichtung der Chatbots kaum steuern lässt, schwingt jedoch bei allen Gesprächspartner:innen aus der Beratung mit.

Die Verschlossenheit der Technologie und die Deutungshoheit privater Unternehmen über ihre Inhalte bleiben ein Aspekt, den es künftig mitzudenken gilt. Unser Experiment zeigt, wie deutlich sich dabei aktuell Lücken auftun – Lücken, die die Chatbots teils fehlerhaft selbst füllen, die teils aber auch ausgenutzt werden können, um mit tendenziösen Informationen zu Menschen in Konfliktsituationen vorzudringen. Die Konsequenzen dieser Gemengelage tragen am Ende jene, die es am wenigsten gebrauchen können – ungewollt Schwangere auf der Suche nach verlässlichen Informationen. „In dem Moment habe ich an jedem Seil gezogen, was mir helfen könnte“, erzählt Veronika mit Blick auf ihre Erfahrung mit dem Chatbot. Und Referentin Terfehr-Hoffmann schlussfolgert: „Es ist durchaus eine politische Kernaufgabe, den Zugang zu verlässlichen, evidenzbasierten Informationen auch in diesem Bereich abzusichern.“

Dieser Beitrag entstand im Rahmen des „Algorithmic Accountability Reporting Fellowships“ der Organisation AlgorithmWatch. Marta Abba und Carlotta Dotto haben bei der Recherche mitgewirkt.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Der Bau von Rechenzentren boomt, in Deutschland und weltweit. Dadurch werden Strom und Wasser knapp, sagen Aktivist*innen und organisieren lokale Proteste. Auf der Konferenz „Cables of Resistance“ trafen sie sich zur Vernetzung.

„Der Widerstand in Beringen lässt momentan noch zu wünschen übrig“, so beschreiben zwei Aktivist*innen die Stimmung in einem 5.000-Seelen-Dorf im nördlichsten Zipfel der Schweiz, in dem zwei riesige Rechenzentren entstehen sollen. Sie sind zur ersten Konferenz gegen Big Tech in Berlin,  der „Cables of Resistance“-Konferenz angereist, um über den KI-Hype in der Schweiz zu berichten. Die Resignation der Bevölkerung werde weichen, wenn „Wasser und Strom vor der eigenen Haustür in einigen Jahren knapp werden“, prognostizieren sie.

Um das fast fertig gestellte Rechenzentrum in der Nähe von Zürich mit Wasser zu versorgen, müsse das Trinkwasser aus der Nachbargemeinde angezapft werden, berichten die beiden Aktiven von der Initiative „Aufstände der Allmende“. Allein dieses Rechenzentrum in Beringen habe einen Strombedarf von bis zu drei Viertel des Verbrauchs des gesamten Kantons Schaffhausen. In nur wenigen Kilometern Entfernung, in der Nachbargemeine Herblingen, soll nun mutmaßlich das dritte und noch größere Rechenzentrum des Kantons entstehen. Wie der Strombedarf dieser Anlagen gestillt werden soll, sei noch völlig unklar. „Eine Idee, die im Parlament diskutiert wird, ist der Bau neuer Atomkraftwerke“.

Im nahegelegenen Zürich ist die Dichte der Tech-Unternehmen höher als im Silicon Valley. Dass Rechenzentren in der Region aus dem Boden sprießen, liegt laut der Schaffhauser Nachrichten auch daran, dass der Kanton an der wichtigen Verkehrsachse Zürich – Stuttgart liegt. Auch Frankfurt am Main ist nicht weit weg, dort befindet sich einer der weltweit wichtigsten Internetknoten, mit dem sich Daten schnell übertragen lassen.

Kein Ende des Ausbaus in Sicht

In der hessischen Metropole am Main sei das Stromnetz bereits am Limit, erklärt die Journalistin Indra Jungblut, die ebenfalls auf der Konferenz sprach. Bis 2030 sei kein größerer Anschluss an das Stromnetz mehr möglich. Die mehr als 100 Rechenzentren beanspruchen bis zu 40 Prozent des gesamten Strombedarfs der Stadt. In einigen Bezirken stehen die Serverfarmen dicht an dicht nebeneinander und haben massive Auswirkungen auf das Leben in der Stadt. Ihre Konzentration ist hier deutschlandweit am größten. Und trotzdem: „Ein Ende des Ausbaus ist nicht in Sicht“, sagt Jungblut.

Denn Rechenzentren-Entwickler*innen haben sich etwas einfallen lassen. Sie bauen eigene Anlagen zur Stromerzeugung, die sie mit fossilen Brennstoffen betreiben. Ein gut dokumentiertes Beispiel sei die US-amerikanische Firma CyrusOne: für den Betrieb des „FRA7“ Rechenzentrums in Frankfurt hat sie eine eigene Gasturbine gebaut. „Und das ist vermutlich kein Einzellfall“, sagt die Journalistin. Hersteller wie Siemens Energy jedenfalls kommen mit der Produktion neuer Gasturbinen, die vor kurzem noch als Auslaufmodell galten, nicht mehr hinterher.

„Strom wird zu einer knappen Ressource“

Der Region Berlin-Brandenburg drohe ein ähnliches Schicksal wie Frankfurt, warnen die Stadtforscher*innen Niklas Steinke und Fabian Halfar in ihrem Vortrag. Hier sind Dutzende neue Rechenzentren geplant. In Berlin-Lichtenberg entsteht „Bluestar“ der Prea Group, das größte KI-Rechenzentrum der Stadt. Mit 100 Megawatt Anschlussleistung soll es mehr Strom verbrauchen als eine Stadt wie Potsdam. Schon bis 2024 seien in Berlin mehr Netzanschlüsse angefragt worden als das gesamte Berliner Stromnetz übertragen kann, vor allem für große Rechenzentren-Projekten.

Warum kommt Big Tech überhaupt nach Berlin? Großstädte wie Berlin und Frankfurt verfügen über eine Wasser- und Stromnetzinfrastruktur, die mit öffentlichen Geldern gebaut wurde. Die wollen die Tech-Firmen für sich nutzen, sagen die Forscher*innen und nennen das „Infrastukturextraktivismus“. Dieser sei neben dem bereits bekannten Abbau der Rohstoffe in ehemals kolonisierten Regionen und der Sammelwut großer Datenmengen eine neue Manifestation des KI-Hypes. „Im Rechenzentrum-Boom wird Strom zu einer knappen Ressource“, sagt Halfar. Bisher sei die Vergabe großer Netzanschlüsse nicht politisch aufgeladen. Das mache es den Rechenzentren-Betreiber*innen leichter, sich das Stromnetz innerhalb weniger Jahren anzueignen.

Hilfe bekämen sie dabei auch von klassischen Bodenspekulant*innen, die potenziell geeignete Flächen in der Stadt aufkaufen und darauf warten, dass Betreiber*innen von Rechenzentren auf sie zukommen. Denn eine Bewerbung für einen Anschluss zum Hochspannungsnetz setze eine Fläche voraus. „Wir müssen uns dringend darum kümmern, dass das Stromnetz aus der politischen Unsichtbarkeit austritt und eine demokratische Diskussion darüber stattfindet, wofür wir den Strom verwenden wollen“, schlussfolgert Halfar.

Bundesregierung knickt vor Big-Tech-Lobby ein

Die Bundesregierung sei dem globalen Wettrennen um KI-Kapazitäten dem Glauben aufgesessen, dass sich mit Rechenzentren Wohlstand generieren lässt, sagte Julian Bothe, Experte für KI und Nachhaltigkeit bei AlogrithmWatch, in seinem Talk. Bis 2030 will sie die Rechenzentrumskapazitäten im Land mindestens verdoppeln und die Kapazitäten für Künstliche Intelligenz vervierfachen, wie es in der kürzlich vorgestellten Rechenzentrumsstrategie heißt. Dabei habe Deutschland schon jetzt die meisten Rechenzentren im europäischen Vergleich. Laut DataCenterMap sind es aktuell mehr als 500.

Die Pläne der Regierung bringen eine weitgehende Deregulierung zugunsten der Tech-Firmen und zulasten der Gesellschaft und der Umwelt mit sich, kritisiert Bothe. Ein starkes Beispiel hierfür sei die geplante Abschwächung des Energieeffizienzgesetzes. So sollen beispielsweise die bestehenden Transparenzstandards für Verbrauchswerte abgeschafft werden. Das würde den Betreiber*innen erlauben, den konkreten Energieverbrauch und die Energieeffizienz der Rechenzentren vor der Öffentlichkeit geheimzuhalten – mit dem Verweis auf Geschäftsgeheimnisse.

„Anstatt in Zeiten der Energiekrise endlich auf Energieeffizienz zu setzen, droht Wirtschaftsministerin Reiche erneut, vor den Lobby-Bemühungen der Tech-Giganten einzuknicken“, sagte Bothe anlässlich des Positionspapiers zur Gesetzesnovelle, das AlgorithmWatch mit anderen Organisationen vergangene Woche veröffentlicht hat. Die Forderung, Verbrauchswerte als Geschäftsgeheimnisse hinter Verschluss zu halten, komme von Microsoft. Das habe eine Recherche von LobbyControl und Campact ergeben.

Zugang zu sauberem Wasser steht auf dem Spiel

Das geplante Energieeffizienzgesetz müsse gestoppt werden, sagte Bothe. Denn Widerstand gegen schädigende Gesetzesvorhaben auf nationaler Ebene sei wichtig. Genauso notwendig sei aber auch lokaler Protest gegen geplante Rechenzentren vor Ort. Dass Protest wirksam sein kann, zeigt der Fall von Groß-Gerau. Die Stadtverordneten haben dort gegen den Bau des bislang größten Rechenzentrums in der Rhein-Main-Region gestimmt.

Dass Proteste bereits an vielen Orten auf der Welt stattfinden, haben zahlreiche Vorträge auf der Konferenz gezeigt. Immer wieder versuchen lokale Gruppen, die Ansiedlung neuer Rechenzentren zu verhindern. José Renato Laranjeira etwa berichtete vom Kampf der indigenen Anacé-Gemeinschaft in Brasilien. Durch den Bau von Rechenzentren sahen sie einen heiligen Fluss in Gefahr. Der Zugang zu sauberem Wasser stand für sie auf dem Spiel.

Neue Arbeitsplätze und Steuereinnahmen sind Mythen

Welche Erfahrungen Aktivist*innen im Kampf gegen Rechenzentren bereits gesammelt und welche Strategien sich als wirksam erwiesen haben, darum ging es in einem international besetzten Panel. Einerseits sei es wichtig, die lokale Bevölkerung zu involvieren und andererseits die Propaganda der Tech-Konzerne mit Fakten zu kontern, sagte Luis García Valverde von der spanischen Umweltschutz-NGO „Ecologistas en Acción“. Seine Organisation setzt sich gegen die Ansiedlung riesiger Amazon-Rechenzentren in der Region Aragon im Nordosten Spaniens ein, unter anderem mit einer Klage. García Valverde berichtete von Versuchen des Tech-Konzerns die Öffentlichkeit zu beeinflussen: etwa indem Amazon Anzeigen in lokalen Zeitungen schaltet, Fußballclubs in der Region sponsort oder die Namensrechte eines Stadiums kauft.

Auch Hacktivistin Eda von der französischen Organisation „La Quadrature du Net“ setzt auf Aufklärung. Im französischen Marseille habe die Ansiedlung von Rechenzentren etwa die geplante Elektrifizierung des Hafens verhindert. Von der Elektrifizierung würden die Menschen in der Stadt aber massiv profitieren. Wenn Kreuzfahrtschiffe im Hafen über Strom liefen, gäbe es weniger Luftverschmutzung. Genau solche Informationen müssten öffentlich gemacht werden, um die Menschen vor Ort aufzurütteln, sagte Eda.

Zudem müsse man Mythen über neue Arbeitsplätze und Steuereinnahmen entkräften, ergänzte Dylan Murphy von der irischen Gruppe „Not Here Not Anywhere“. Er berichete von der Überlastung des irischen Stromnetzes durch den gigantischen Ausbau der Rechenzentren im Land, der irgendwann sogar zu einem Moratorium, einem Baustopp, geführt habe. „Rechenzentren sind Vampire, die unseren Gemeinschaften Strom, Wasser, Land und Rohstoffe entziehen.“ Als physische Manifestation des KI-Hypes würden sie sich hervorragend für Mobilisierung eignen, pflichtete García Valverde aus Spanien bei. Plötzlich hätten Menschen das abstrakte Thema KI direkt vor der eigenen Haustür.

Ein großes Problem bei der Mobilisierung sei jedoch die Intransparenz der Betreiber*innen und teilweise auch der Gemeinden. Oft sei nicht einmal klar, wer wo genau baue und für wen. Teilweise bauen die großen Tech-Konzerne nicht mehr selbst, sondern mieten Kapazitäten bei Dritten, erzählte García Valverde.

Was tun gegen die KI-Blase?

Um so ein Modell handelt es sich beim ersten Rechenzentrum im Schweizerischen Beringen. Seine Zukunft ist derzeit noch völlig offen. Es wird sich erst in einigen Jahren zeigen, welche Firmen die Fläche im Rechenzentrum mieten wollen und ob die Gemeinde Steuereinnahmen einnehmen wird. Außerdem ist die Frage nach der Abwärmenutzung noch ungelöst: das Rechenzentrum produziert deutlich mehr Abwärme, als ein kleines Dorf wie Beringen sinnvoll nutzen kann. Deshalb ist nun der Bau eines Erdbeckenspeichers – eines künstlichen Sees, der die Abwärme des Rechenzentrums im Sommer speichern soll – für rund 22 Millionen Euro im Gespräch. Platzt die KI-Blase, bleiben die Beringer*innen mit kostspieliger leerstehender Infrastruktur zurück.

Um auf die Situation einzuwirken und die öffentliche Diskussion über den Bau von Rechenzentren anzuregen, organisiert sich laut den Aktivist*innen von „Aufstände der Allmende“ derzeit ein Bündnis rund um die Kampagne „KI kurzschließen“. Vom 2. bis 9. Juli werde es in der Schweiz dazu ein Widerstandscamp geben.

Wie man sich hierzulande engagieren kann, erklärt die Bundestagsabgeordnete Sonja Lemke (die Linke). Sie empfiehlt Aktivist*innen und Bürger*inneninitiativen, auf der kommunalen Ebene anzusetzen, wo die Entscheidungen über den Bau von Rechenzentren getroffen werden: „Geht in die kommunalen Planungsausschüsse, schreibt Mails an eure Abgeordneten und stellt IFG-Anfragen.“

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

KI sei verfänglich für faschistische Ideologien und gehe mit autoritären Machtzentren einher. Große Plattformen wie ImmobilienScout24 und Doctolib machen Profit mit Grundbedürfnissen der Menschen. Zwei Aktivist*innen schlagen im Interview konkrete Schritte hin zu einer demokratischen digitalen Teilhabe vor.

Künstliche Intelligenz ist in aller Munde. Ihr wird nachgesagt, nicht nur Arbeitsprozesse zu vereinfachen und zu beschleunigen. Sie soll auch der Wirtschaft zu neuem Aufschwung verhelfen. Doch immer mehr kritische Stimmen greifen in die Debatte ein und beziehen eine klare Haltung gegen diese Technologie. Zwei von ihnen sind die Digitalexpert*innen Aline Blankertz und Malte Engeler.

Anlässlich der Konferenz „Cables of Resistance. Bewegungskonferenz gegen Big Tech“, die am Wochenende in Berlin stattfindet und mögliche Widerstandsstrategien gegen KI und große Plattformen ausloten möchte, haben wir mit ihnen gesprochen. Aline Blankertz ist angewandte Ökonomin und setzt sich für die demokratische Ausgestaltung von Wirtschaft ein, unter anderem im digitalpolitischen Kollektiv „Structural Integrity“. Sie ist an der Organisation der Konferenz beteiligt. Malte Engeler ist Jurist und Mitbegründer des digitalpolitischen Kollektivs.

Im Interview erklären sie, warum sogenannte KI besonders gut verfänglich für autoritäre Politiken ist, wie ihre Sabotage aussehen kann und wie die Gesellschaft wieder mehr demokratische Kontrolle über große Plattformen erreichen kann. Sie plädieren für eine politische Organisierung und die Vergesellschaftung von Plattformen, die solch essenzielle Bereiche der Daseinsvorsorge wie Wohnungssuche oder Arztterminbuchungen strukturieren.

„Künstliche Gebärmutter“ und KI haben den gleichen ideologischen Ursprung

netzpolitik.org: Was ist eigentlich eine „künstliche Gebärmutter“? Im Manifest der Konferenz ist die Rede davon.

Aline Blankertz: Die künstliche Gebärmutter ist eine Figur, die immer mal wieder rund um Elon Musk auftaucht. Dieser Idee des selektiven Pronatalismus liegt zugrunde, dass man stärker steuern möchte, wer Kinder bekommen darf. Die künstliche Gebärmutter ist das Mittel, um sich letztlich vom „weiblichen Körper“ lösen zu können. Es geht darum, aus einer weißen cis-männlichen Perspektive technisch steuern zu können, wohin es mit der Menschheit geht. Mein Verständnis ist, dass es diese künstliche Gebärmütter noch nicht technisch ausgereift gibt. Aber es laufen Forschungsprojekte, die das aktiv vorantreiben. Daneben existieren viele andere transhumanistische Projekte, wie zum Beispiel „Neuralink“, um menschliche Gehirne und Maschinen stärker miteinander zu verbinden.

In Europa ist es subtiler, aber viele dieser Entwicklungen hin zu solchen transhumanistischen Ideen ‒ also wie können Menschen mit technischen Upgrades besser gemacht werden ‒ sehen wir auch hier. Die künstliche Gebärmutter und die Brain-Computer-Interfaces unterscheiden sich zwar von KI, weil sie unmittelbarer auf die Ebene von Hardware und menschlichen Körpern setzen. Doch auch der KI-Diskurs hat den gleichen ideologischen Ursprung und wird technisch von denselben Menschen vorangetrieben.

„Diese Infrastrukturen kann niemand bei sich im Keller haben“

netzpolitik.org: Ist das der Grund warum ihr KI fundamental ablehnt? Und was versteht ihr unter KI genau?

Malte Engeler: Wenn wir von KI reden, dann meinen wir die in der Gesellschaft aktuell sehr präsente Form von KI: große Datenmodelle, die aus vorhandenen Datenquellen zukünftige oder neue Ergebnisse berechnen. Wir meinen maschinelles Lernen, das Menschen dazu nutzen, um neue Texte, Bilder, Videos oder Ton zu erstellen. Die Modelle werden auch in sozialen Situationen eingesetzt, um neue Entscheidungspunkte zu generieren. Zum Beispiel in militärischen Aktionen, in Verwaltungsentscheidungen oder zur Benotung im Bildungswesen. Es geht also um eine Technologie, die auf Basis einer immensen Datenmenge Muster erlernt und neue Ergebnisse mit diesen Mustern produziert. Wir reden hier von ganz großen Modellen.

Dieser Technologie ist inhärent, dass sie besonders für autoritäre und faschistische Kräfte anknüpfbar ist. Das ist also kein technischer Fehler, sondern die Technologie ist schlicht und einfach so gebaut. Dazu gehört, dass diese gigantischen Modelle eine große Zentralisierung mit sich bringen. Die Infrastrukturen, die zum Training und Erhalt der Modelle nötig sind, kann niemand bei sich im Keller haben. Diese riesigen Rechenzentren können eigentlich nur zentralisiert betrieben werden. Politisch anknüpfbar für faschistische Politiken sind diese Infrastrukturen deshalb, weil sie autoritäre Machtzentren stark bevorzugen.

Zum anderen ist da diese Mustererkennung, die immer auf Daten aus der Vergangenheit trainiert wird. Sie überträgt deshalb notwendigerweise diese Vergangenheit in die Zukunft und vereinheitlicht diese Zukunft statistisch auf einen weiß-patriarchal geprägten Mittelwert. Laut diversen Theorien steckt im Kern des Faschismus die Idee, dass es eine Wahrheit, eine tiefes völkisches, echtes Leben in der Gesellschaft gibt, das zum Erblühen gebracht werden soll. Und diese Idee von einer Wiedergeburt der nationalen Stärke findet sich im technischen Prinzip wieder, massenhaft Daten zu sammeln und das vermeintlich Wahre aus diesen Daten wieder extrapolieren zu können.

„Wünschenswert, wenn Menschen KI nicht auch noch freiwillig nutzen“

netzpolitik.org: Ist es aus antifaschistischer Sicht ein Problem, wenn Menschen ihre Suchanfragen nicht mehr in eine klassische Suchmaschine eingeben, sondern zum Beispiel in ChatGPT?

Aline Blankertz: Wir beschäftigen uns vor allem mit der kollektiven Dimension. Es ist nicht die einzelne Suchanfrage bei ChatGPT, die uns dem Faschismus näher bringt. Es sind eben die Zwänge, die an vielen Stellen bestehen. Beispielsweise, dass viele Menschen nun Dinge schneller machen müssen und es deswegen mit KI tun. Dass sie im Wettbewerb mit anderen stehen, um bessere Betriebsergebnisse hervorzubringen.

Es ist wünschenswert, wenn Menschen KI nicht auch noch freiwillig nutzen. Wenn sie es nur unterhaltsam finden, könnten sie sich eine andere Beschäftigung suchen, die weniger klimaschädlich ist und den KI-Hype nicht weiter am Leben hält. Aber das ist nicht das, womit wir antifaschistisch wirken können, indem wir einfach keine KI mehr verwenden.

„KI-Unternehmer*innen werden hierzulande glorifiziert“

netzpolitik.org: Welchen konkreten Schaden seht ihr in Europa und in Deutschland durch KI bereits?

Aline Blankertz: Aktuell läuft die Debatte, dass man in der Verwaltung großflächig KI einsetzen möchte, etwa nach dem Vorbild von DOGE aus den USA. Das wird zwangsläufig dazu führen, dass mehr Menschen diskriminiert werden und dafür wiederum weniger Verantwortung übernommen wird. Das kennen wir beispielsweise aus Amsterdam, wo ein Algorithmus zur Folge hatte, dass vor allem sozial schwachen Familien Betrugsvorwürfe gemacht wurden. Oder aus England, wo Abiturergebnisse während der Corona-Pandemie insbesondere von Schüler*innen aus ärmeren Gegenden abgewertet wurden.

Ein anderer Aspekt ist, dass auch hierzulande KI-Unternehmer*innen als Heilsbringende glorifiziert werden. Ein starkes Beispiel hierfür ist Dieter Schwarz, dem die Schwarz-Gruppe mit Lidl und Kaufland gehört. Neben vielen Rechenzentren baut er so etwas wie eine Privatstadt in Baden-Württemberg auf und wird dafür gefeiert. Die CEOs von SAP und Telekom werden ebenfalls häufig gefragt, was für eine Gesellschaft sie sich wünschen. Ganz so, als ob sie gesellschaftliche Interessen im Blick hätten.

Außerdem beschleunigt KI die gesellschaftliche Spaltung nicht nur im Mediendiskurs, indem plausibel klingende Outputs ohne Anspruch auf Wahrheit eine demokratische Diskussionsbasis untergraben. Sie entwertet schon jetzt Arbeit. Menschen haben Angst, von sogenannter KI ersetzt zu werden, die Gewerkschaften fahren ihre Forderungen zurück. Gleichzeitig erwirtschaften diejenigen, die in Aktien investiert haben, umso mehr Gewinne. Die ökonomische Ungleichheit wächst also noch stärker durch KI.

„In den USA zünden Menschen autonom fahrende Autos an“

netzpolitik.org: Was kann man dagegen tun?

Aline Blankertz: Wir können uns gegen KI wenden. Wir können uns verweigern. Wir können Trainingsdaten vergiften. Man kann auch so etwas wie Sabotage nach dem CIA-Sabotage-Manual betreiben. Es enthält einige inspirierende Ideen aus der Zeit des Zweiten Weltkriegs, wie Menschen den Faschismus verlangsamen können. Man kann Abläufe verringern, verlangsamen und weniger effizient machen. Man kann sich gegen Rechenzentren engagieren.

In den USA gibt es noch weitergehende Aktivitäten. Da zünden Menschen autonom fahrende Autos von Waymo an. Dort gibt es Roboter, die die Gehwege von Obdachlosen freihalten sollen. Menschen attackieren auch diese Roboter.

Um wirklich politisch wirksam sein zu können, müssen wir uns aber organisieren. Da führt kein Weg dran vorbei. Die Dienste im Individuellen zu wechseln reicht nicht. Zu sagen, „ich finde KI doof, reicht auch nicht“. Wir müssen uns politisch zusammenfinden und die Auswirkungen solcher digitalen Technologien stärker als Problem verstehen.

„Vergesellschaftung ist die Antwort“

netzpolitik.org: Auf der Konferenz gebt ihr einen Talk darüber, dass Regulierung und Open-Source-Alternativen nicht ausreichen, um gegen die Macht der Tech-Giganten anzukommen. Stattdessen schlagt ihr vor, große Tech-Plattformen zu vergesellschaften.

Malte Engeler: Aktuell erleben wir eine autoritäre Wende. In Zeiten von Kipppunkten wie diesen ist Abwehrkampf ein ganz wesentlicher Teil. Gegen etwas zu kämpfen ist nicht so motivierend wie für etwas. Ich kann das für mich persönlich ganz klar sagen: Mich motiviert nicht der Hass auf Big Tech. Mich motiviert der Wunsch nach einer besseren Welt. Wir brauchen konkrete Vorstellungen einer Realität, in der diese Technologien, die wir gerade bekämpfen, anders funktionieren. Und wie kommen wir dahin? Wie kann man eine Plattform, die uns jetzt ausbeutet und aus unseren Bedürfnissen Profit schlägt, in etwas Besseres verwandeln?

Die Antwort auf diese Fragen ist Vergesellschaftung: also die Überführung einer privatwirtschaftlich betriebenen kommerziellen Plattform in einen Zustand, in dem sie im Sinne des Gemeinwohls und der Bedürfnisbefriedung der Menschen demokratisch verwaltet wird.

„Mit kleineren Plattformen anfangen“

netzpolitik.org: Welche Plattformen würdet ihr gern vergesellschaften?

Malte Engeler: Sich allein diese Frage zu stellen, ist sehr spannend. Das führt dazu, dass auch linke und progressive Kräfte auf einmal anfangen, darüber nachzudenken: Was ist unsere Vision? Was ist unsere Idee von einer digitalen Wohnungsvermittlung oder von einem Portal, auf dem man sich Arzttermine klicken kann? Was würden wir mit diesen Infrastrukturen machen, wenn sie nicht nach kapitalistischen Prinzipien betrieben werden würden?

Auf der „Cables of Resistance“ gibt es auch einen Talk von der Redscout24-Gruppe, in der Aline und ich beteiligt sind. Das ist ein ganz konkreter Versuch zu zeigen, wie ImmobilienScout24 anders aussehen könnte. Aber das ist nur ein Beispiel von vielen. Doctolib wäre ein anderes.

Die Frage der Vergesellschaftung zwingt uns aber auch dazu, uns zu positionieren, welche Plattformen wir vielleicht gar nicht wollen. Man kann vergesellschaften, um dann nur abzuschalten. KI ist ein Beispiel für eine Technologie, die wir in unserer befreiten Welt nicht haben wollen.

Aline Blankertz: Konkret plädieren wir dafür, mit den kleineren Plattformen wie ImmoScout24 und Doctolib anzufangen. Denn über sie läuft aktuell der Zugang zu für alle Menschen wichtigen Bereichen der Daseinsvorsorge wie Wohnungen und Gesundheitsversorgung. So können wir erst einmal lernen, wie die Umstellung auf Bedürfnisorientierung funktioniert. Mittelfristig können wir dann unseren Blick stärker auf digitale Infrastrukturen wie Rechenzentren und globale Plattformen richten.

Was wir durch Vergesellschaftung gewinnen, ist, dass wir überhaupt wieder gesellschaftlich gestalten können. Im Moment läuft es danach, wie am meisten Geld für die Anteilseignenden herausspringt. Wenn wir an Demokratie glauben, müssen wir auch daran glauben, dass wir gesellschaftliche Infrastrukturen danach gestalten können.

Da kann man sich gut bei „Deutsche Wohnen & Co enteignen“ umsehen, die für ihre Anstalt öffentlichen Rechts ‒ so unsexy das auch klingen mag ‒ sehr detailliert ausbuchstabieren, welche Gruppen wie an Entscheidungsprozessen beteiligt werden sollen. Gleichermaßen wäre das auch bei einer digitalen Wohnungsvermittlungsplattform, die auf die Bedürfnisse von Menschen zugeschnitten ist.

„ImmoScout24 vom Markt verdrängen“

netzpolitik.org: Wie kann eine Bewegung oder ein Zusammenschluss von Bewegungen praktisch an ein Unternehmen wie ImmoScout24 herankommen?

Malte Engeler: Wir sollten nicht vergessen, dass es schon viele Strukturen gibt, die so organisiert sind. Man vergisst, dass wir das Rad nicht neu erfinden müssen. Bibliotheken zum Beispiel sind eine gut funktionierende öffentliche Infrastruktur. Sie haben einen gemeinsamen Datenbestand. Beispielsweise kann ich heute in der Staatsbibliothek Berlin ein Buch aus Heidelberg bestellen und es übermorgen abholen. Das sind auch keine privatwirtschaftlich betriebenen Informationszugangssysteme.

Es gibt verschiedene Wege zum Ziel. In einigen Gemeinden existieren noch kommunale Online-Plattformen zur Wohnungsverwaltung, auf denen sie den eigenen Wohnungsbestand anbieten. Sie stellen ihn nicht auf ImmoScout24 ein. Man könnte also festlegen: Wer Wohnraum hat und vermieten will, muss dafür die Plattform der Gemeinde nutzen. Bei einigen Infrastrukturen der Daseinsvorsorge wie Müllabfuhr oder Wasseranschluss gibt es schon ein ähnliches Prinzip, den sogenannten Anschluss- und Benutzungszwang.

Mit Aktivist*innen aus dem Fediverse, die viel Erfahrung mit dezentralen Strukturen haben, und Menschen, die solche Bibliotheken-Systeme bauen, könnte man ausloten, wie ein deutschlandweiter Katalog aussähe, mit dem man in jeder Kommune auf alle Wohnungen in Deutschland zugreifen kann.

Im Grunde verdrängt man ImmoScout24 auf diese Weise vom Markt und vergesellschaftet es gar nicht. Die Plattform wird so immer unwichtiger. Sie kann dann noch Eigentumswohnungen auf dem Land vermitteln, aber ist aus dem Mietraum raus. Das wäre bereits eine Errungenschaft.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Manche Nutzer:innen lassen sich Wikipedia-Artikel von Sprachmodellen generieren, inklusive erfundener Referenzen. Ein Wikipedia-Urgestein stolperte zufällig über die halluzinierten Artikel – ausgerechnet mit der Hilfe von einem Sprachmodell.

Eigentlich wollte Mathias Schindler nur eine kleine Sache in der Wikipedia korrigieren. Doch dann baute der Wikipedianer versehentlich einen Detektor für bestimmte KI-generierte Inhalte in der Enzyklopädie. Auf dem 39C3 berichtet er, warum die halluzinierten Texte auch ein Problem für die Anbieter großer Sprachmodelle werden könnte und warum er den Autor:innen keine guten Absichten unterstellt.

Die kleine Sache, die Schindler korrigieren wollte, waren fehlerhafte ISBNs. Mit diesen 10 oder 13-stelligen Nummern werden Bücher identifiziert und finden sich oft in Quellenangaben von Wikipedia-Einträgen. Dabei sind die Zahlenkombinationen nicht vollkommen zufällig, erklärt Schindler im Talk. Die letzte Ziffer ist eine Prüfziffer, sie lässt sich aus den neun beziehungsweise zwölf vorherigen Ziffern berechnen. Ursprünglich wollte Schindler falsche ISBNs in der Wikipedia aufspüren und ausbessern, auch damit Nutzer:innen die richtigen Bücher finden, die als Referenzen in den Artikeln angegeben wurden.

Zufallsfund dank falscher ISBNs

„Referenzen auf Wikipedia sind nicht nur wichtig, sondern ein integraler Teil der Wikipedia“, sagt Schindler und verweist in seinem Vortrag auf den alten Spruch: „Wikimedia mag ein guter Ort sein, um eine Recherche zu starten, aber es ist ein schlechter Ort, um dort die Recherche zu beenden.“ (Alle Zitate aus dem Talk haben wir ins Deutsche übersetzt.) Schindler muss es wissen. Er ist Mitbegründer von Wikimedia Deutschland und Wikipedia-Autor seit 2003.

Um die inkorrekten ISBNs zu finden, schrieb Schindler ein Skript, lud die gesamte deutschsprachige Wikipedia herunter und durchsuchte sie nach ISBNs mit einer faulen Prüfziffer, erzählt er in seinem Vortrag. Doch er stieß nicht nur auf falsch eingegebene ISBNs oder von den Verlagen falsch ausgegebene ISBNs, sondern fand auch Artikel, bei denen zwei oder mehr Bücher fehlerhafte ISBNs hatten. Diese Bücher schienen zwar plausible Titel und Autor:innen zu haben, aber Schindler konnte sie nirgendwo sonst finden. Sie waren halluziniert.

Offenbar hatten sich Menschen ganze Artikel von einem Large Language Model (LLM) wie ChatGPT schreiben lassen, welches sich dann auch einen Abschnitt mit Einzelnachweisen ausdachte.

Noch ist es ein Nischenphänomen

Im Gespräch mit netzpolitik.org erzählt Schindler, dass er mit seiner Methode etwa 150 Artikel gefunden habe, bei denen man Sorge haben müsse, dass sie zumindest teilweise KI-generiert und frei erfunden seien. Allerdings seien die fehlerhaften Einträge nicht ausschließlich auf KI-Chatbots zurückzuführen, manchmal gebe es andere Gründe für mehrfach falsche ISBNs, sagt Schindler. Außerdem gibt es über drei Millionen deutschsprachige Wikipedia-Artikel, die 150 Auffälligen machen also nur ein äußerst geringen Anteil von 0,005 Prozent aus.

Andererseits erfasst Schindlers Methode auch nicht alle Halluzinationen, dafür war es schließlich nicht gedacht. „Dieses Werkzeug ist nicht das Universaltool zum Erkennen von ChatGPT-generierten Artikeln.“ Andere Möglichkeiten, solche Inhalte zu enttarnen, seien etwa systematische Abweichungen von der Syntax von „Media Wiki“ (der Software hinter Wikipedia). Oder wenn Autor:innen viele Adjektive verwenden: „Kein Wikipedianer, der was auf sich hält, wird den Fernsehturm als ‚großartig‘ oder ‚herausragend‘ bezeichnen.“

LLM generierter Text „Anti-These zu Wikipedia“

Doch auch wenn das Erstellen von Wikipedia-Artikeln mit LLMs noch nicht so verbreitet sein sollte, geht es für Wikipedia um Grundsätzliches: Die Kontamination mit Inhalten, die auf den ersten Blick wahr erscheinen könnten und sich als Fakten tarnen. Schindler sagt: „Man könnte es auch als Anti-These zu einem Enzyklopädie-Projekt wie Wikipedia beschreiben.“

Die Gefahren? Zum einen können sich falsche Infos verselbstständigen, wenn eine andere Veröffentlichung den vermeintlichen Fakt von Wikipedia abschreibt und die Wikipedia diese Veröffentlichungen hinterher als Beleg für genau diesen Fakt aufführen. Schindler weist in seinem Vortrag auf diesen Teufelskreis hin, der bereits vor LLMs ein Problem darstellte.

Glaubwürdigkeit in Gefahr – und die Qualität von LLMs

Zum anderen verschlingen LLM-generierte Quellen zunehmend die Ressourcen unterschiedlichster Einrichtungen. Nicht nur die der Online-Enzyklopädie: Irregeleitete Nutzer:innen fragen etwa Bibliothekar:innen nach ausgedachten Büchern, berichtete 404 Media im Herbst. Beim Internationalen Komitee des Roten Kreuzes (ICRC) wurde die Situation offenbar so schlimm, dass es sich mit einer „wichtigen Mitteilung“ an die Öffentlichkeit wandte.

„Wenn eine Referenz nicht gefunden werden kann, heißt das nicht, dass das ICRC Informationen zurückhält. Verschiedene Situationen können das erklären, wie etwa unvollständige Zitationen, Dokumente, die in andere Institutionen lagern, oder – zunehmend – KI-generierte Halluzinationen“, warnte das ICRC Anfang Dezember.

Auch für die Entwickler von Large Language Models hätten halluzinierte Wikipedia-Artikel Nachteile, argumentiert Schindler. Denn ihre Modelle werden oft mit Wikipedia-Artikeln trainiert. „Die KI-Firmen profitieren von hochwertigen Daten und leiden unter dem Verlust von Quellen, die frei von synthetischen Texten sind“, sagt im Schindler im Gespräch mit netzpolitik.org. Oder wie er es im Vortrag formuliert: „LLM-Provider vergiften damit auf eine Art den Fluss, aus dem sie selber trinken“, sagt Schindler.

Wer macht sowas?

Doch wer stellt eigentlich LLM-generierte Inhalte in die Wikipedia? „Bunt gemischt“, erzählt Mathias Schindler im Gespräch mit netzpolitik.org. Von Wikipedia-Neulingen über langjährige Autor:innen bis zu einer Werbeagentur sei alles dabei gewesen. Er habe versucht, möglichst viele Autor:innen von verdächtigen Artikeln zu kontaktieren. Manche hätten ihn ignoriert, andere alles geleugnet oder den Einsatz einer LLM heruntergespielt.

„Eine Erklärung ist, dass Menschen LLMs tatsächlich als Recherchewerkzeug ansehen, das magischen Zugang zu wissenschaftlichen Datenbanken und Literatur hat und belastbare Belege liefert“, sagt Schindler zu netzpolitik.org. Bisher habe er aber noch keine solche Person unter den verdächtigen Autor:innen getroffen. Stattdessen vermutet Schindler eher persönlichen Geltungsdrang oder dass Personen eine Agenda verfolgen, die Enzyklopädie in ihrem Sinne umzuschreiben.

In seinem Vortrag erzählt Schindler, er habe alle verdächtigen Autor:innen, um den Prompt gebeten, mit dem diese den Artikel generiert hätten. „Das ist mein persönlicher ‚Litmus‘-Test, ob die Menschen ehrliche Absichten haben“, sagt Schindler. Nur eine einzige Person habe den Prompt nach vielen Nachfragen privat geteilt.

Die Herausforderung bleibt

Laut Schindler wurden alle gemeldeten Artikel gelöscht, bei denen die Autor:innen die Zweifel nicht ausräumen konnten, dass sie KI-generiert waren. In vielen Fällen wurden auch die Autor:innen gesperrt. In einem Richtlinien-Artikel der deutschsprachigen Wikipedia heißt es dazu: „Sprach-KI sind derzeit nicht in der Lage, korrekt belegte Beiträge zu erstellen. Beiträge, die damit erstellt werden, verstoßen daher unter anderem gegen WP:Keine Theoriefindung, WP:Belege, WP:Urheberrechtsverletzung, WP:Neutraler Standpunkt; ihre Verwendung ist daher derzeit generell unerwünscht.“

Für Schindler bleibt es eine Herausforderung für die Wikipedia-Community, halluzinierte Texte aufzudecken, zumal Chatbots künftig ISBNs mit einer korrekt berechneten letzten Stelle erfinden könnten. Er hofft auf einen konstruktiven Dialog mit den KI-Firmen. „Mein persönlicher Wunsch wäre, dass man durch Austausch und vielleicht Kompetenztransfer mit den KI-Firmen erreicht, dass man KI-generierte Texte leichter erkennt, wenn jemand versucht, sie in die Wikipedia zu stellen.“

Am Ende ist die Geschichte der KI-generierten ISBNs auch eine über falschen und vielleicht besseren KI-Einsatz. Denn den Code für seinen ISBN-Checker hat Schindler auch mithilfe von Large Language Models geschrieben.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Während generative KI immer mehr in unseren Alltag einsickert, drohen wir den Kern dessen zu verlieren, was uns sein lässt. Große Sprachmodelle zu nutzen, mag praktisch sein, doch sollten wir darüber nicht vergessen, dass wir Menschen sind.

„Hey ChatGPT, schreib mir was Nettes für meine Freundin.“ „Mach ich“, sagt die Maschine und wir sagen „Danke“. Danke, dass du uns das Denken abnimmst, das Fühlen gleich mit. Bald schreiben wir nicht mehr nur mit generativer KI, sondern sind ihre Anhängsel: halb Mensch, halb Prompt.

Überall, wo früher Gedanken waren, sind jetzt Textvorschläge. Die Schule? Automatisch. Hausarbeiten, Gedichte, Bewerbungsschreiben? Alles generiert, alles glatt, alles gleich. Selbst Liebesnachrichten klingen wie Werbeslogans mit Gefühlsgarantie.

Natürlich ist nichts dagegen einzuwenden, ChatGPT zu nutzen, um sich Arbeit zu sparen. Auch ich tue das gelegentlich, viele von euch wahrscheinlich ebenso. Wer seine E-Mails oder Anschreiben optimiert, spart Zeit. Nur: Wenn wir irgendwann auch unsere Emotionen outsourcen, was bleibt dann noch von uns?

Kommunikation per Knopfdruck

Jede Kommunikation kann mittlerweile per Knopfdruck von einem Large Language Model (LLM) optimiert werden. Seit Kurzem bietet etwa Instagram an, die eigenen Direktnachrichten und Kommentare von einer KI überarbeiten zu lassen. Es gibt LLMs, die Beziehungstipps geben oder kurzerhand selbst vorgeben, ein Partner zu sein.

Doch das alles tut ChatGPT nicht aus Altruismus. Ganz abgesehen davon, dass KIs nicht selbst denken oder handeln und nichts selbst „tun“, ist auch ihr Zweck nicht gemeinwohlorientiert. Stattdessen sind sie kommerzielle Angebote, die für ihre Hersteller Profite erwirtschaften sollen; etwa durch Datensammeln und Abos.

Egal ob es der KI-Partner ist, die Nachrichtenformulierung auf Instagram oder die Generierung von Social-Media-Posts: All das ist nicht dafür gemacht zu helfen, sondern um wirtschaftliche Erträge zu erwirtschaften. Deswegen ist es auch nicht verwunderlich, dass immer mehr Hersteller ein Stück dieses scheinbar unendlich profitablen Kuchens abhaben wollen.

Es scheint, als gäbe es mittlerweile eine KI für alles – von der wissenschaftlichen Recherche bis zu Formulierungsvorschlägen zum Flirten. Sogar Auswirkungen auf unsere Wortwahl lassen sich inzwischen nachweisen. Wörter, die wir früher kaum genutzt haben – die LLMs aber gerne verwenden – tauchen nun überall auf. Wer nicht denken will, scheint auch nicht mehr mehr dazu gezwungen zu sein.

ChatGPT Mensch sein

Irgendwer soll mal gesagt haben: „Ich denke, also bin ich.“ Wenn wir etwas „ChatGPTen“, dann ist ChatGPT – aber nicht wir. ChatGPT ist kein Partner, kein Ratgeber und erst recht kein Ersatz für den eigenen Verstand.

Wenn wir aufhören, selbst zu denken, zu formulieren, zu fühlen – wenn wir das Menschliche an Maschinen delegieren, dann verlieren wir das, was wir der KI voraushaben: unser Bewusstsein.

Dieser Prozess mag beginnen, indem wir LLMs nervige Aufgaben für uns übernehmen lassen, sei es eine Hausaufgabe oder eine Arbeitsmail. Es gibt einige Stimmen, die gerne erzählen, dass ChatGPT das Abitur bestehen könnte und fragen, weshalb Schüler:innen überhaupt noch ihre Hausarbeiten selbst schreiben sollten, wenn ChatGPT das doch viel effizienter erledigen könnte. Und natürlich könnte ChatGPT unser Abitur schreiben.

Es ist keine Nachricht, dass ein Rechner, der mit nahezu allen Informationen dieser Erde gefüttert ist, Antworten auf Fragen aus Schulprüfungen generieren kann. Aber in der Schule sollten eigentlich Schüler mit Informationen gefüttert werden. Und zwar nicht mit dem Ziel, Prüfungen zu bestehen, sondern damit Menschen etwas lernen. Und ja, es ist zumindest kurzfristig nützlich, dass ChatGPT unsere E-Mails oder Hausarbeiten schreibt, uns Arbeit abnimmt. Die Frage ist aber: Wo hört das auf?

Immer mehr Menschen neigen dazu, KI einfachste Denkaufgaben oder gar ihre eigene künstlerische Expression übernehmen zu lassen; von den Hausaufgaben bis hin zum Liebesgedicht. Das ist weder verwunderlich noch verwerflich. Fast jedes soziale Netzwerk und immer mehr Betriebssysteme implementieren LLMs und platzieren sie so, dass wir kaum daran vorbeikommen. Wenn ich WhatsApp öffne, dann ist dort an oberster Stelle nicht der Chat mit meiner besten Freundin oder meiner Mutter, sondern ein Suchfenster, in dem ich doch bitte MetaAI eine Frage stellen darf.

Ich will in einer Welt leben, die von Menschen für Menschen gemacht ist. Und nicht in einer, in der deine KI mit meiner hin und her chattet, bis sie ein Bewerbungsgespräch oder ein Date für uns vereinbart hat.

Was macht uns aus?

Die britische “Sun” hat 2016 geschrieben, 2025 (also heute) würden Frauen mehr Sex mit Robotern als mit Männern haben. Dass das nicht stimmt, liegt auf der Hand. Aber weit davon entfernt sind wir nicht mehr, wenn ein LLM für uns die heißen Nachrichten an unser Date schreibt oder Vorschläge für die besten Sexstellungen generiert.

Vielen Menschen scheint das zu gefallen. Sexting ist schließlich mindestens genauso denkintensiv wie eine E-Mail an den Chef. Da tut es gut, wenn eine KI einem diese Bürde abnehmen kann. Es ist effizient, spart Zeit und Gedankenkraft. Wäre doch schön, wenn ein LLM uns noch mehr unseres anstrengenden Alltags abnehmen könnte. Wo wir schon dabei sind: Lasst ChatGPT doch einfach eure Frau bumsen.

Schreibt meinetwegen eure E-Mails mit KI, die Nachrichten an eure Freunde, eure Liebesbriefe oder die Trauerrede für die Beerdigung eurer eigenen Mutter. Lasst euch nehmen, was euch sein lässt. Aber was bleibt dann noch von uns?

Wenn wir einfache Denkaufgaben nicht mehr Kraft unseres eigenen Verstandes absolvieren, unsere Gefühle nicht mehr selbst ausdrücken oder Kunst schaffen, dann überlassen wir der KI und ihren Produzenten das Großartigste, was diese Welt zu bieten hat: Mensch zu sein.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die Folgen des KI-Hypes für den Datenschutz sind schwer absehbar. Im Fall von Metas KI-Training zögern Aufsichtsbehörden, das Oberlandesgericht Köln gab dem Konzern sogar – fürs Erste – grünes Licht. Jura-Professorin Paulina Jo Pesch zeigt Schwächen des Urteils auf und fordert eine entschiedenere Durchsetzung der Datenschutzvorgaben.

Hinter weitverbreiteten KI-Anwendungen stehen generative Sprach- und Bildmodelle, die mit riesigen Datenmengen gefüttert werden, auch mit personenbezogenen Daten. Das Problem: Teile der Trainingsdaten, darunter personenbezogene, lassen sich aus vielen der Modelle extrahieren. Unter welchen Umständen sich ein Modell zu viel „merkt“ und wie sich das verhindern lässt, ist bislang wenig erforscht. Zugleich werden Extrahierungsmethoden immer besser. Anbieter*innen können bislang nicht verhindern, dass Modelle personenbezogene Trainingsdaten ausgeben. Auch Chatbots können personenbezogene Daten von anderen verraten.

Außerdem „halluzinieren“ die Modelle. Sie generieren also falsche Informationen, die nicht in den Trainingsdaten enthalten sind. Weil KI-Unternehmen diese nicht offenlegen, können Forscher*innen nicht zuverlässig messen, wann ein Modell Informationen erfindet und wann es unrichtige Trainingsdaten wiedergibt. Zuverlässige Methoden zur Vermeidung von Halluzinationen gibt es bisher nicht.

Werden personenbezogene Daten aus einem Modell extrahiert, kann für Betroffene gerade die Kombination aus „Erinnerung“ und „Halluzination“ gefährlich sein. Ein mit personenbezogenen Daten trainiertes Modell generiert unter Umständen Falschinformationen über sie. Gerade bei öffentlichen Modellen besteht das Risiko, dass Nutzer*innen diese Informationen unkritisch weiterverbreiten.

Meta fragt lieber nicht um Erlaubnis

Mit Llama (Large Language Model Meta AI) ist auch Meta an dem KI-Rennen beteiligt. Meta nutzt Llama für eigene KI-Funktionen wie Transkriptions- oder Suchfeatures auf Instagram, Facebook und WhatsApp sowie für Chatbots oder in KI-Brillen, die das Unternehmen anbietet. Außerdem stellt Meta seine Modelle anderen zur Nutzung bereit. So können etwa Forscher*innen die Modelle testen oder Unternehmen auf Basis von Llama KI-Dienstleistungen oder -Produkte anbieten.

Im Juni 2024 informierte Meta die Nutzer*innen von Instagram und Facebook über eine Aktualisierung seiner Datenschutzrichtlinie. Diese Aktualisierung ließ Metas Vorhaben erkennen, seine KI-Modelle mit Nutzer*innendaten zu trainieren. Die Nutzer*innen konnten dem zwar widersprechen, die Widerspruchsmöglichkeit war jedoch schwer auffindbar.

Nachdem Datenschutzorganisationen wie noyb Meta scharf kritisierten, veröffentlichte der Konzern noch gleichen Monat weitere Informationen zum geplanten Training. Demnach beabsichtigte der Konzern, nur noch öffentliche Daten für das Training zu verwenden. Kurz darauf verkündete Meta, die irische Datenschutzbehörde verzögere das Training in der EU. Im April 2025 verkündete der Konzern dann den baldigen Trainingsstart.

Was trainiert Meta eigentlich mit welchen Daten?

Inzwischen hat der Konzern damit begonnen, seine KI mit den Daten europäischer Nutzer*innen zu trainieren. Unklar ist weiterhin, welche Daten dafür genau genutzt werden. Meta stellt im Vergleich zu anderen KI-Unternehmen zwar mehr Informationen über das Training mit Social-Media-Daten bereit. Diese Informationen haben sich aber immer wieder verändert und lassen Fragen offen.

Das betrifft insbesondere den Umgang mit sensiblen Daten. Bei Llama handelt es sich um ein multimodales Sprachmodell, das neben Texten auch Bilder, Videos und Tondateien verarbeitet. Der für das Training genutzte Social-Media-Content umfasst damit etwa auch Fotos der Nutzer*innen. Metas Datenschutzinformationen verweisen auf öffentliche Inhalte wie Beiträge, Kommentare und Audiospuren.

Inzwischen heißt es in den Datenschutzinformationen, dass auch Daten von Drittpartner*innen und KI-Interaktionen für die KI-Entwicklung genutzt würden. Als Beispiele für KI-Interaktionen nennt Meta Nachrichten, die Nutzer*innen oder andere Personen von der KI erhalten, mit ihr teilen oder an diese senden.

Diese Angaben schließen private Sprachnachrichten und Transkriptionen nicht aus. Metas Umschreibung passt auch auf Chatverläufe mit Chatbots. Solche Chatverläufe können besonders sensible Daten enthalten, wenn etwa Chatbots für intime Gespräche zu mentaler Gesundheit oder parasoziale romantische Beziehungen genutzt werden.

Verbraucherzentrale scheitert vor Gericht

Um den Beginn des Trainings zu verhindern, hat die Verbraucherzentrale Nordrhein-Westfalen im Mai 2025 einen Eilantrag beim Oberlandesgericht (OLG) Köln gestellt. Sie argumentierte insbesondere, dass Meta das Training nicht auf eine wirksame Rechtsgrundlage stützen könne, ist mit dem Eilantrag jedoch gescheitert. Das Urteil und Einblicke in die mündliche Verhandlung in Köln offenbaren erhebliche Mängel.

Meta hatte sich entschieden, keine Einwilligungen einzuholen, sondern beruft sich auf ein berechtigtes Interesse an der Nutzung der Daten für KI-Training. Die Verbraucherzentrale hält das für unzureichend, doch das Gericht folgt Metas Argumentation in seinem Urteil. Nach der Datenschutzgrundverordnung (DSGVO) können berechtigte Interessen die Verarbeitung personenbezogener Daten rechtfertigen, solange die Interessen Betroffener nicht schwerer wiegen. Dabei müssen diese der Datenverarbeitung aber widersprechen können.

Die Verbraucherzentrale NRW hat darauf hingewiesen, dass nicht alle Betroffenen widersprechen können. Facebook- und Instagram-Beiträge enthalten zuhauf personenbezogene Daten von Nicht-Nutzer*innen. Die Widerspruchsfunktion steht aber nur Nutzer*innen offen. Das Gericht ignoriert diesen Einwand. Zudem behauptet es ohne Begründung und trotz gegenteiliger Hinweise, Meta erfülle die Anforderungen der DSGVO an den Schutz von Minderjährigen.

Das Gericht halluziniert niedrige Risiken herbei

Berechtigte Interessen geben außerdem keine Rechtsgrundlage für Verarbeitungen her, die für Betroffene zu riskant sind. Das OLG Köln behauptet, die Risiken für Nutzer*innen seien gering. Dabei legt das Urteil nahe, dass die Richter*innen nicht verstanden haben, was Meta trainiert. Das Wort „Llama“ taucht im gesamten Urteil nicht auf. Auch beschreibt das Gericht keine Anwendungsszenarien.

Auf diese kommt es aber entscheidend an. Ein Transkriptionsfeature gibt wahrscheinlich keine extrahierbaren Daten aus. Aus Llama selbst werden jedoch sicher Daten extrahiert. Forscher*innen wenden Extrahierungsmethoden auf alle bekannten Modelle an. Je nachdem, welche Arten von Daten wie gut extrahierbar sind, könnte es dabei versehentlich auch zu Datenlecks kommen.

Gerichte prüfen in Eilverfahren die Rechtslage nur „kursorisch“, also nicht im Detail. Das OLG Köln reiht dabei aber mit großem Selbstbewusstsein Behauptungen aneinander, die aus Sicht der Datenschutzforschung haltlos sind. Selbst wenn Metas Training transparent genug wäre, fehlt es an tragfähigen Forschungsergebnissen für die Einschätzung des Gerichts.

Ein grober Fehler des Urteils betrifft besondere Kategorien personenbezogener Daten. Das sind sensible Daten, die die DSGVO besonders schützt, zum Beispiel Daten über Race, religiöse Anschauungen oder sexuelle Orientierungen. Social-Media-Daten enthalten viele solcher Daten. Besondere Kategorien personenbezogener Daten dürfen nicht auf Basis berechtigter Interessen verarbeitet werden, sondern nur unter strengeren Voraussetzungen, in vielen Fällen nur aufgrund von Einwilligungen. Das OLG Köln stört sich daran nicht.

Stattdessen behauptet das Gericht, dass die Anwendung der besonderen Schutzanforderungen nicht geboten sei. Das Urteil stellt hier wieder auf ein nicht weiter begründetes geringes Risiko ab. Dabei kommt es gerade im Bereich des maschinellen Lernens leicht zu unbemerkten Modellbias, also zu systematischen Fehleinschätzungen, die zum Beispiel zu rassistischer Diskriminierung führen. Besondere Kategorien personenbezogener Daten bergen dabei potenziell besonders hohe Risiken.

Bedenkliche Informationslage

Bedenklich ist zudem die Informationslage, auf die sich das Gericht stützt. In diesem Fall sind das vor allem die Angaben von Meta selbst. Das ist in einem Eilverfahren an sich nicht zu beanstanden – weil es schnell gehen muss, gelten geringere Beweisanforderungen. Gerichte arbeiten daher mit eidesstattlichen Versicherungen, formellen Erklärungen der Parteien. Um Falschangaben vorzubeugen, sind falsche eidesstattliche Versicherungen nach dem Strafgesetzbuch strafbar.

Das Urteil stellt entscheidend auf eidesstattliche Versicherungen von Metas Produktmanager für generative KI ab. Zwei in der mündlichen Verhandlung in Köln anwesende Personen berichten allerdings, dass die Versicherungen nie formgerecht abgegeben worden sind. (Die Autorin hat von zwei in der Verhandlung in Köln anwesenden Personen Informationen zum Ablauf der mündlichen Verhandlung und dabei getroffenen Aussagen des Gerichts erhalten. Eine der Personen ist seitens der klagenden Verbraucherzentrale am Verfahren beteiligt, die andere Person hat den Prozess beobachtet, ohne daran beteiligt zu sein.)

Eidesstattliche Versicherungen müssen mündlich oder im Original mit händischer Unterschrift abgegeben werden. Selbst wenn die Erklärungen von Meta formgerecht wären, hätte sich das OLG Köln besser nicht darauf verlassen. Es gibt zwar keine Anzeichen dafür, dass diese Falschangaben enthalten. Durch das deutsche Strafgesetzbuch wäre deren Richtigkeit aber nicht abgesichert: Falls der in Kalifornien ansässige Manager nicht einreisen will, hätten Falschangaben keine strafrechtlichen Folgen für ihn.

Zudem legt das Urteil nahe, dass Metas Erklärungen inhaltlich dünn sind. Sie bestätigen etwa das Funktionieren der Widerspruchsfunktion. Eine Pressemitteilung der für Meta zuständigen irischen Datenschutzbehörde (Data Protection Commission, DPC) zeigt jedoch, dass die Behörde Meta zur Nachbesserung der Widerspruchsfunktion aufgefordert hat. Es bleibt somit zweifelhaft, ob Widersprüche in der Vergangenheit einfach genug möglich waren und funktioniert haben.

Datenschutzbehörden lassen Meta erst mal machen

Auch die Pressemitteilung der irischen Datenschutzbehörde und der Umgang des Gerichts damit verdienen besondere Aufmerksamkeit. Die für ihre Nachsicht gegenüber Datenkonzernen bekannte Behörde hat die Pressemitteilung am Vorabend der mündlichen Verhandlung in Köln veröffentlicht. Sollte die Behörde sich etwa mit Meta abgestimmt und so das Verfahren beeinflusst haben?

Das OLG Köln hat nach Berichten Anwesender schon in der mündlichen Verhandlung signalisiert, der Rechtsauffassung der irischen Behörde wahrscheinlich folgen zu müssen, warum auch immer das Gericht sich an deren Einschätzung auch nur lose gebunden fühlt. Das ist nicht nur im Hinblick auf die Gewaltenteilung bedenklich. Die Pressemitteilung enthält auch keinerlei Rechtsauffassung zur Frage nach der Datenschutzkonformität, der das Gericht folgen könnte. Sie enthält schlicht gar keine rechtliche Einschätzung. Es heißt lediglich, Meta habe in Absprache mit der Behörde Maßnahmen zur Verbesserung des Datenschutzes ergriffen und verfolge die Umsetzung weiter.

Aus der Pressemitteilung wird ersichtlich, dass die irische Behörde Meta nur beraten hat. Das war dem OLG Köln auch von Metas Hauptaufsichtsbehörde in Deutschland, dem Hamburger Datenschutzbeauftragten, bekannt. Im Urteil heißt es ausdrücklich, die Behörde habe Meta das Training „bislang“ nicht untersagt und beobachte derzeit die Folgen der Trainings.

Der Hamburger Datenschutzbeauftragte hatte im Juli 2024 die Datenschutzauswirkungen des Trainings generativer Sprachmodelle noch unterschätzt. Nach Berichten aus der mündlichen Verhandlung hat er angesichts seiner Einblicke in Metas Training diese Auffassung zurückgenommen, erhebliche Datenschutzbedenken geäußert und zunächst sogar ein eigenes Verfahren gegen Meta angekündigt. Außerdem berichtete er, dass die irische Behörde plane, ein Verletzungsverfahren im Oktober einzuleiten. Das spricht dafür, dass europäische Datenschutzbehörden von Verstößen wissen, Meta aber zunächst gewähren lassen.

Wider den KI-Hype

Die Bedeutung des Kölner Verfahrens weist über Meta und über Deutschland hinaus. Das Urteil und die Vorgänge im Prozess legen nahe, dass europäische Gerichte und Aufsichtsbehörden bei KI dem Ansatz „Abwarten und Teetrinken“ folgen. Es lässt sich nur spekulieren, welche Rollen hier der Druck des KI-Hypes, Innovationspläne der EU oder auch blanke Naivität spielen.

Dabei macht die DSGVO nicht nur klare Vorgaben an KI-Unternehmen, sondern bietet diesen auch ausreichende Möglichkeiten, sich an die Vorgaben zu halten. Demnach müssen KI-Unternehmen die Datenschutzkonformität ihrer Vorhaben begründet nachweisen. Sie dürfen ihre Modelle trainieren und testen – allerdings nur zu reinen Forschungszwecken und ohne die KI in der Praxis einzusetzen – und damit blind auf die Menschheit loszulassen. Gerichte und Aufsichtsbehörden sollten diese Vorgaben durchsetzen, anstatt sich dem KI-Hype zu beugen.

Prof. Dr. Paulina Jo Pesch ist Juniorprofessorin für Bürgerliches Recht sowie das Recht der Digitalisierung, des Datenschutzes und der Künstlichen Intelligenz am Institut für Recht und Technik der Friedrich-Alexander-Universität Erlangen-Nürnberg. Sie koordiniert das vom Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR) geförderte interdisziplinäre Forschungsprojekt SMARD-GOV, das Datenschutzaspekte großer Sprachmodelle erforscht.

Eine englischsprachige Langfassung der Analyse des Verfahrens sowie eines weiteren Verfahrens beim OLG Schleswig-Holstein ist im CR-online blog erschienen.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.