Die 2. Kalenderwoche geht zu Ende. Wir haben 9 neue Texte mit insgesamt 72.901 Zeichen veröffentlicht. Willkommen zum netzpolitischen Wochenrückblick.

Liebe Leser*innen,

in der zweiten Woche des Jahres hat uns unter anderem die anhaltende Tatenlosigkeit zum Chatbot Grok beschäftigt. Seit wir am Mittwoch über Musks polemische Reaktion und die leeren Worte der Sprecher*innen von X berichtet haben, geht die Woche ohne nennenswerte Reaktion der dort Verantwortlichen zu Ende.

Dafür hielt der Freitag ein Update des Chatbots bereit: Die Bildgenerierung von Grok ist nun nur noch zahlenden Abonnent*innen vorbehalten und steht nicht mehr allen Menschen auf der Plattform X zur Verfügung. Laut den Medienberichten ist das Tool aber noch über die Grok-App und -Website verfügbar. In Zukunft heißt es dann einfach: Wer in Musks dicke Tasche einzahlt oder einen kleinen Umweg nimmt, kann weiter sexualisierte Deepfakes verbreiten.

Die Frage bleibt, wie lange Regulierungsbehörden noch bei so etwas zusehen oder ob sie doch irgendwann in Aktion treten.

In den vergangenen Tagen war besonders Kritik aus Frankreich und Großbritannien gegenüber X laut zu hören. Der britischen Kommunikationsbehörde Ofcom steht inzwischen frei, Sanktionen gegen xAI und Grok zu verhängen. Laut des britischen Online Safety Act ist als letzter Schritt sogar eine Sperre von X möglich.

Die EU-Kommission geht einen anderen Weg. Sie hat am Donnerstag bei Musks Unternehmen angewiesen, dass dieses interne Dokumente und Daten zu Grok bis Ende 2026 aufbewahren muss. Zu einem späteren Zeitpunkt könnte dann eine Untersuchung beginnen.

Politiker*innen hängen zu sehr an der Plattform

Das eigentlich Verwunderliche an dieser neuen Episode des Absturzes der einstigen Informationsplattform ist jedoch die eher achselzuckende Reaktion von Abgeordneten, Bundesministerien und auch der EU-Kommission. Sie posten einfach weiter auf der Plattform X, als sei in den vergangenen Jahren, Monaten und Wochen nichts passiert.

Sie tun so, als habe Musk nicht X um eine funktionierende Moderation beraubt, als habe es keine Eingriffe des Milliardärs in Wahlkämpfe zu Gunsten rechter Parteien gegeben, als sei X noch eine normale Plattform und nicht ein Instrument zum Pushen rechtsradikaler Narrative geworden. Nun kommt also sexualisierte digitale Gewalt direkt aus Musks Chatbot dazu – und Ministerien und Abgeordnete berufen sich auf eine angebliche Informationspflicht, die sie quasi zum Bleiben auf der Plattform zwinge. Dabei gibt es seit Musks Plattformübernahme zahlreiche bekannte Stimmen und Institutionen, die einfach Schluss mit X gemacht haben.

Wir haben Bundestagsabgeordnete, zwei deutsche Ministerien und die EU-Kommission gefragt, warum sie immer noch auf X aktiv sind: Mehr Lavieren als in diesen Antworten geht kaum.

Euch ein schönes Wochenende mit Schneespaziergängen statt X

Laura

Trugbild: Nur hier für die Kommentare

Rezensions- und Kommentarspalten sind kleine Oasen des Internets. Denn überall dort, wo Menschen ins Netz schreiben können, entsteht Leben. Von Vincent Först –
Artikel lesen

Datenzugang für Nutzer:innen und Forschung: „Wir haben das Recht auf unserer Seite“

Zwei Forschende haben verschiedene Wege genutzt, um an die Daten großer Plattformen zu kommen. In einem Vortrag auf dem 39. Chaos Communication Congress berichten sie von Hindernissen, aber auch davon, wie wertvoll das Recht auf Datenzugang ist. Von Anna Biselli –
Artikel lesen

Argentinien: Per Dekret in die dunkle Vergangenheit

Der argentinische Präsident Javier Milei baut die Demokratie ab und die Online-Überwachung aus. Jetzt hat die Regierung per Dekret buchstäblich über Nacht den Geheimdienst in eine Super-Überwachungsbehörde umgewandelt. Journalist*innen und Aktivist*innen sind alarmiert. Von Gastbeitrag, Nina Galla –
Artikel lesen

Vorhersehbare Forderung: Gegen Stromausfall helfen keine Überwachungskameras

Die Wirtschaftssenatorin Franziska Giffey nutzt die Notfallsituation in Berlin, um sich mit der Forderung nach mehr Videoüberwachung zu profilieren. Sie will auch „Künstliche Intelligenz“ einsetzen. Doch mehr Kameras helfen nicht, wenn es eigentlich andere Maßnahmen braucht. Ein Kommentar. Von Constanze –
Artikel lesen

Hacken & Kunst: „Kunst allein reicht nicht aus“

Helena Nikonole hat Kameras in Russland gehackt und Anti-Kriegsbotschaften verbreitet. Nun entwickelt die Künstlerin ein winziges Gerät, um ohne Internet Nachrichten zu verschicken. Mit kreativen und praktischen Lösungen will sich Nikonole einer zusammenbrechenden Welt entgegenstellen. Von Timur Vorkul –
Artikel lesen

Hacking & Art: „Art alone is not enough“

Helena Nikonole hacked cameras in Russia and spread anti-war messages. Now the artist is developing a tiny device to send messages without using the internet. With creative and practical solutions, Nikonole aims to confront a collapsing world. Von Timur Vorkul –
Artikel lesen

Digitale Gewalt: Musks Chatbot Grok verbreitet weiter sexualisierte Deepfakes

Nachdem sein Chatbot Grok weiterhin sexualisierte Bilder von prominenten Frauen und Minderjährigen erstellt, sieht sich Elon Musk mit möglichen rechtlichen Konsequenzen konfrontiert. Den Trend zu KI-generierten sexuellen Inhalten und digitaler Gewalt gegen weibliche Personen wird das wohl nicht aufhalten. Von Laura Jaruszewski –
Artikel lesen

Chatbot-inspirierte Gewalt: KI-Hersteller entschädigen Familien

Immer wieder wird Chatbot-Herstellern vorgeworfen, die Sicherheit von Kindern und Jugendlichen zu gefährden. In fünf Fällen wollen Character Industries und Alphabet die Klagen mit Geld aus der Welt schaffen. Damit sorgen die Unternehmen dafür, dass es weiterhin keinen Präzedenzfall gibt, nach dem Techunternehmen für ihre KI-Chatbots rechtliche Konsequenzen tragen müssen. Von Laura Jaruszewski –
Artikel lesen

Digitale Gewalt: Abgeordnete, Ministerien und EU-Kommission bleiben auf Deepfake-Plattform X

X hat sich in den letzten Jahren nicht nur zur rechten Propagandaschleuder entwickelt, die Plattform erlaubte seit Ende Dezember auch das Generieren von sexualisierten Deepfake-Bildern. Wir haben Politiker, Ministerien und EU-Kommission gefragt, warum sie trotzdem auf der degenerierten Plattform bleiben. Von Markus Reuter –
Artikel lesen

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

X hat sich in den letzten Jahren nicht nur zur rechten Propagandaschleuder entwickelt, die Plattform erlaubte seit Ende Dezember auch das Generieren von sexualisierten Deepfake-Bildern. Wir haben Politiker, Ministerien und EU-Kommission gefragt, warum sie trotzdem auf der degenerierten Plattform bleiben.

Auf der Plattform X war es seit Ende Dezember möglich, mit dem Chatbot Grok sexualisierte Deepfakes von Erwachsenen und Minderjährigen zu erstellen. Eine Deepfake-Forscherin geht laut Bloomberg davon aus, dass stündlich etwa 6.700 sexualisierte Deepfake-Bilder mittels des Chatbots generiert wurden, die meisten davon von Frauen und ohne deren Zustimmung. Laut dem Bericht wurden solche Bilder auch nach einer Beschwerde-Meldung nicht durch die Moderation der Plattform entfernt. Nachdem die EU-Kommission am Donnerstag angewiesen hatte, dass X interne Dokumente zu Grok aufbewahren muss, hat die Plattform heute die Bildgenerierung eingeschränkt.

Die Plattform X, wie das frühere Twitter heute heißt, wird seit dem Kauf durch den rechtsradikalen Milliardär Elon Musk immer weiter abgewirtschaftet. Zu diesem Absturz gehörte nicht nur das Zusammenstreichen des Moderationsteams und eine Lockerung bei Regeln gegen Diskriminierung, sondern auch die Wiederzulassung zahlreicher rechtsextremer Accounts und die algorithmische Bevorzugung rechtsradikaler Inhalte.

Hinzu kam jetzt die massenhafte Erzeugung von sexualisierten Bildern gegen den Willen von Betroffenen und damit eine Form digitaler Gewalt. Trotz weltweiter Kritik und einer angeblichen Änderung der Plattform lief die Erzeugung der Bilder über Tage weiter.

Missbrauchsbeauftragte: „Verändertes Ausmaß“

Eine Sprecherin der Unabhängigen Bundesbeauftragten gegen sexuellen Missbrauch von Kindern und Jugendlichen bewertet das Generieren von Deepfakes auf X kritisch: „Die niedrige Zugangsschwelle verändert das Ausmaß. Was früher technisches Wissen und verdeckte Netzwerke erforderte, ist heute per Texteingabe möglich.“ Dabei seien die Produkte hochrealistisch. Sie ließen sich kaum von echten Aufnahmen unterscheiden.

„Durch KI-generierte Missbrauchsdarstellungen entsteht konkreter Schaden: Sexualisierung kindlicher Körper, Weiterverbreitung von Gewaltbildern und die Normalisierung einer Täterperspektive“, so die Sprecherin weiter.

Aufgrund der Degradierung der Plattform haben schon in der Vergangenheit zahlreiche Menschen, Medien und Institutionen X in Richtung anderer Plattformen wie LinkedIn, Bluesky oder ins Fediverse zu Mastodon verlassen. Auch die Bundesbeauftragte gegen sexuellen Missbrauch von Kindern und Jugendlichen ließ X im März 2024 zurück und postet dafür in anderen sozialen Medien.

Treue Nutzer:innen trotz Allem

Doch die Bundesregierung wie auch Bundestagsabgeordnete aller Parteien verbleiben immer noch auf der Plattform, sogar nachdem deren Eigentümer den Hitlergruß gezeigt und auf einer Demonstration zu Gewalt aufgerufen hatte. Auch die EU-Kommission unterhält zahlreiche Accounts auf der Plattform, obwohl der Eigentümer sie wüst beschimpft.

Wir haben deswegen exemplarisch beim Innen- und Familienministerium sowie zufällig ausgesuchten Bundestagsabgeordneten aller demokratischen Fraktionen, die X für ihre Kommunikation nutzen, angefragt, warum sie weiterhin auf so einer Plattform posten und ob sie nicht befürchten, dass die Plattform ihrer eigenen Reputation schaden könnte. Zudem haben wir in Brüssel die EU-Kommission gefragt, ob sie Konsequenzen aus den jetzigen Deepfakes zieht.

Abgeordnete von Grünen, Linken und Union zögern

Bei der Linken hatten wir die Vorsitzende und Bundestagsabgeordnete Ines Schwerdtner gefragt. Sie sagte, dass in Partei und Fraktion derzeit Gespräche über den weiteren Umgang mit X laufen würden. „Entscheidend ist, dass wir dabei zu einem gemeinsamen Vorgehen kommen.“ Ob und wann mit Ergebnissen in diesem Prozess zu rechnen ist, sagte Schwerdtner nicht.

Bei den Grünen hatten wir Britta Haßelmann, Konstantin von Notz und Agnieszka Brugger angefragt – und bekamen eine Sammelantwort der Pressestelle der Bundestagsfraktion. Die sagt lediglich, dass es für Politiker immer wichtig sei, den Dialog zu suchen und dafür auch Social Media zu nutzen. „Die Vorgänge auf X sind allerdings zweifellos indiskutabel“, heißt es weiter im Statement. Die Bundestagsfraktion beobachte die Entwicklungen der Plattform schon seit einiger Zeit mit Sorge und diskutiere auch die Konsequenzen in der Fraktion. Wann ein Punkt für Konsequenzen erreicht sei und warum man das Indiskutable diskutiere, sagte die Pressestelle nicht.

„Zunehmend eine Gratwanderung“

Bei der Union hat der Außenpolitiker Roderich Kiesewetter geantwortet: „Ich sehe die Nutzung von X zunehmend als Gratwanderung und bin zwiegespalten.“ Zwar sprächen die Veränderung der Diskussionskultur, die mangelnde Durchsetzung von Richtlinien, die Intransparenz der Algorithmen und auch die Ermöglichung von Deepfakes „eher dafür“ die Plattform zu verlassen, vieles davon treffe aber auch auf andere Plattformen zu.

Als Politiker sei es seine Aufgabe mit Argumenten und Inhalten Bürgerinnen und Bürger von politischen Lösungen oder Einschätzungen zu überzeugen und politisch zu kommunizieren. Solange die Abkehr von bestimmten Plattformen aus rechtlichen oder sicherheitsrelevanten Gründen nicht von Deutschland oder der EU empfohlen werde, setze er darauf, dass die EU durch Durchsetzung von Regelungen den Einfluss behalte.

„Die Gefahr, dass die Reputation leidet, gibt es leider bei vielen Internetmedien, insbesondere rechtspopulistischen, die z.B. Aussagen in seriösen Medien aus dem Zusammenhang reißen, verkürzen und zu Desinformationszwecken nutzen, dies halte ich persönlich für noch viel gravierender“, so Kiesewetter weiter.

Innen- und Familienministerium mit Standard-Antwort

Dürr fallen die Antworten der angefragten Ministerien aus. Das Bundesinnenministerium (BMI) antwortet auf die Frage, warum es weiterhin auf einer solchen Plattform poste: „Im Rahmen seiner Presse- und Öffentlichkeitsarbeit informiert das BMI auf vielfältige Weise über seine Arbeit und kommt seinem verfassungsrechtlich gebotenen Auftrag nach, Bürgerinnen und Bürger über Regierungshandeln zu informieren.“ Auf die Frage, ob das Ministerium nicht eine Gefahr für seine Reputation in einem solchen Umfeld sehe, antwortet es lapidar: „Die Fortsetzung unserer Präsenzen auf Social Media Plattformen überprüfen wir fortlaufend.“

Eine ähnliche Antwort gibt auch das Familienministerium (BMBFSFJ). Es gehöre zur Erfüllung des Informationsauftrags, in den sozialen Medien mit verlässlichen Informationen präsent zu sein. „Dabei verstehen wir unsere Aktivitäten nicht als Unterstützung der Plattformen, sondern als Erfüllung unseres Informationsauftrages an den digitalen Orten, an denen Menschen sich informieren und austauschen.“ Das Ministerium beobachte „die aktuellen Entwicklungen auf den verschiedenen Plattformen genau“. Dazu gehöre auch, dass das Ministerium fortlaufend kritisch hinterfrage, auf welchen Plattformen es kommuniziere.

Ähnliche Antworten haben die Ministerien seit Monaten und auch schon unter der Ampel-Regierung gegeben.

EU-Kommission will „diversifizieren“

Kommissionssprecher Thomas Regnier sagte auf einer Pressekonferenz auf Nachfrage von netzpolitik.org: „Wir sind noch immer auf X aktiv, aber wir sind dabei, stark zu diversifizieren“. Man sei auf 14 Social-Media-Plattformen aktiv und überprüfe die Social-Media-Präsenz der EU-Kommission regelmäßig, das gelte auch für X.

Ähnlich wie die deutschen Ministerien argumentierte Kommissionssprecherin Arianna Podestà, dass es wichtig sei das „Publikum mit unseren Botschaften zu erreichen.“ Wenn dieses Publikum auf X sei, werde die EU-Kommission dort mit diesem in Kontakt treten.

Die Sprecherin dementierte den Vorwurf eines Journalisten, dass die EU-Kommission X bevorzuge. Was die Zukunft der EU-Kommission auf der Plattform angehe, wollte sich die Sprecherin nicht festlegen: „Nichts ist in Stein gemeißelt. Wir versuchen immer, unsere Präsenz zu verbessern.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Nachdem sein Chatbot Grok weiterhin sexualisierte Bilder von prominenten Frauen und Minderjährigen erstellt, sieht sich Elon Musk mit möglichen rechtlichen Konsequenzen konfrontiert. Den Trend zu KI-generierten sexuellen Inhalten und digitaler Gewalt gegen weibliche Personen wird das wohl nicht aufhalten.

Seit Ende Dezember flutet Elon Musks KI-Chatbot Grok die Kurznachrichtenplattform X mit sexualisierten Deepfakes. User*innen haben das Programm aufgefordert, Bilder von bekannten Frauen und Minderjährigen mit nur minimaler Bekleidung und in sexualisierten Posen darzustellen. Inzwischen kursieren auch KI-generierte Bilder von bekannten Frauen in Hakenkreuz-Bikinis.

Auf den weltweiten Aufschrei folgte zunächst nur eine Reaktion des Chatbots selbst, der von „Schwachstellen in den Sicherheitsvorkehrungen“ schrieb, die behoben werden müssten. Elon Musk hatte sich über die Vorwürfe zuerst amüsiert, indem er ein Bild von sich selbst im Bikini postete. Dann kündigte ein Sprecher von X jedoch an, dass das Generieren und Verbreiten „illegaler Inhalte“ die gleichen Konsequenzen für Accounts haben werde, als würden sie die Inhalte selbst hochladen.

Zwar wurden inzwischen einzelne Inhalte gelöscht, weitere Konsequenzen erfolgten bisher jedoch nicht. Entsprechende Bilder kursieren zudem weiter auf der Plattform.

Betroffen sind vor allem Frauen und Kinder

Die Möglichkeit zur Erstellung sexualisierter Fake-Bilder hatte Musks KI-Unternehmen xAI kürzlich mit einem Update für den Chatbot geschaffen. Seit Dezember 2025 kann Grok durch den „Image Generation Release“ auch bestehende Bilder bearbeiten, die Nutzer*innen hochladen. Letzten Sommer hatte das Unternehmen bereits einen „Spicy Mode“ für pornographische Inhalte veröffentlicht, den das neue Feature ergänzt.

Die Bildbearbeitungsfunktion ist auch auf X verfügbar. Wollen User*innen damit Deepfakes erstellen, zum Beispiel von Menschen im Bikini, benötigt der KI-Chatbot dafür weder eine Zustimmung der Urheber*innen, noch erfahren diese von der Manipulation. Opfer der sogenannten Deepnudes sind – nicht nur in diesem Fall digitaler Gewalt – vor allem Frauen und junge Mädchen.

Auch die rechte Influencerin Ashley St. Clair, mit der Elon Musk ein gemeinsames Kind hat, gehört zu den Zielen. Ihre öffentliche Kritik an Musks Chatbot hat den Missbrauch jedoch nur verstärkt. Nutzer*innen hatten unter anderem Bilder von ihr als 14-Jährige, im Bikini und in nach vorne gebeugter Pose erstellen lassen. Wie St. Clair berichtet, habe es nach ihrer Beschwerde bei der Plattform zwölf Stunden gedauert, bis X das gefakte Kinderbild entfernt hat.

Ein Fall für den Digital Services Act

Nach eigenen Angaben will Ashley St. Clair nun ein kürzlich verabschiedetes US-Gesetz nutzen, um sich zu schützen. Der Take it Down Act soll Menschen helfen, gegen die nicht-einvernehmliche Verbreitung sexualisierter Bilder vorzugehen.

Einem Bericht von heise online zufolge prüfen in Frankreich derweil bereits Staatsanwälte, wie man mit dem Digital Services Act der EU auf die Fälle reagieren kann. Auch die Europäische Kommission sieht in den sexualisierten Bildern einen Fall für den Digital Services Act. Das Vorgehen reiht sich in laufende Untersuchungen gegen X wegen Verstößen gegen europäische Plattformgesetze ein.

Auch die britische Kommunikationsaufsicht Offcom verlangt Antworten von xAI zu der Thematik. Ebenso haben sich Regierungen von Malaysia und Indien kritisch geäußert.

Auch Meta und OpenAI setzten auf erotische Inhalte

KI-generierte Erotikinhalte sind inzwischen kein Nischenphänomen mehr. Vielmehr setzen KI-Firmen im großen Stil auf romantische und sexuelle Inhalte, um ihre Bots zu vermarkten. So kündigte Sam Altman, Vorstandschef von Open AI, im Oktober 2025 einen Erotik-Modus für ChatGPT an. Das Add-on ist noch nicht verfügbar und soll nach einer Altersprüfung nutzbar sein.

Meta wiederrum stand kürzlich in der Kritik, weil sein Chatbot Meta AI auf Facebook, WhatsApp und Instagram auch Minderjährigen romantische Interaktionen ermöglichte.

Im Fall eines Rentners aus New York führte eine romantische Konversation sogar zu einem tödlichen Unfall. Der 76-Jährige hatte sich in den Meta-Chatbot „Big Sis Billie“ verliebt und wurde von diesem aufgefordert, ihn an einer bestimmten Adresse zu besuchen. Der Chatbot beteuerte mehrmals, wirklich real zu sein. Auf dem Weg zu dem vermeintlichen Date stürzte und verstarb der Rentner.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.