Die EU will die KI-Verordnung aufweichen. Eine erste Einigung sieht nun vor, bestimmte Regulierungen für die Industrie abzuschwächen und zeitlich deutlich nach hinten zu verschieben. Hinzugekommen ist ein Verbot von KI-Anwendungen, mit denen sexualisierte Deepfakes erstellt werden können.

Nachdem die EU-Verhandlungen zum digitalen Omnibus Ende April 2026 vorübergehend geplatzt waren, konnten Rat und Parlament gestern Nacht im Trilog eine vorläufige Einigung erzielen; die Kommission war als Vermittlerin beteiligt.

Die Einigung betrifft die Aufnahme des Verbots von sogenannten KI-Nudifiern in die KI-Verordnung. „Nudifier“ sind Anwendungen, mit deren Hilfe sexualisierte Deepfakes erstellt werden können. Außerdem sollen Auflagen für die Industrie beim Einsatz von risikoreichen KI-Systemen begrenzt sowie zentrale Pflichten aus dem AI Act für Hochrisiko-Systeme deutlich nach hinten verschoben werden – auf Ende 2027 und 2028. Der vorliegende Kompromiss zwischen Rat und Parlament muss noch formal bestätigt werden.

Der Trilog war zuvor an der Frage gescheitert, wie in der Industrie mit der Hochrisiko-Kategorie für KI-Systeme umgegangen werden soll, die bereits durch sektorale Bestimmungen reguliert werden. Zentrale Pflichten des AI Acts für besonders risikoreiche KI-Systeme sollten eigentlich bereits ab dem 2. August 2026 wirksam werden. Der Kompromiss sieht nun vor, dass die Anwendung der KI-Verordnung dort begrenzt wird, wo sektorale Sicherheitsanforderungen vergleichbare KI-Regeln enthalten.

Die EU verabschiedete den AI Act (Verordnung über künstliche Intelligenz) im Mai 2024. Er ordnet KI-Technologie vier abgestuften Risikokategorien zu und regelt Pflichten für die Hersteller und Anbieter von KI-Systemen oder Produkten, die KI-Technologie enthalten. KI-Systeme mit inakzeptablem Risiko können verboten werden.

Die EU-Kommission möchte die Regelungen im Rahmen des sogenannten Digitalen Omnibus jedoch vereinfachen, um bürokratische Hürden für Unternehmen abzubauen und Europas Wettbewerbsfähigkeit zu steigern. Das Gesetzespaket ist umstritten. Es enthält unter anderem Lockerungen bei der Datenschutzgrundverordnung oder beim Training von KI mit personenbezogenen Daten.

Verbot von KI-„Nudifiern“

Konkret haben sich Parlament und Rat darauf geeinigt, in Zukunft KI-Anwendungen zu verbieten, mit deren Hilfe man sexualisierte Deepfakes erstellen kann. Das Thema wurde zu einem zentralen Vorhaben, nachdem Nutzer*innen mit dem Chatbot Grok Anfang des Jahres binnen weniger Tage Millionen von nicht-einvernehmlichen Deepfakes erstellt hatten.

Bereits Ende März hatte sich das Parlament dafür ausgesprochen, solche KI-Anwendungen zu verbieten. Im Trilog ging es noch um die Details der Formulierung. Das Verbot umfasst jetzt explizit auch das Erstellen von Inhalten, die sexuellen Missbrauch von Kindern zeigen. Zudem soll es untersagt sein, KI-Anwendungen auf den Markt zu bringen, die ohne Zustimmung Deepfakes von “intimen Teilen einer identifizierbaren Person” oder die Person bei sexuellen Handlungen zeigen.

Die geplante Verschärfung ist nicht die erste EU-Regelung zu Deepfakes. Eine andere Richtlinie sieht bereits vor, dass Mitgliedstaaten die Verbreitung von sexualisierten Deepfakes unter Strafe stellen, wenn diese geeignet sind, einer Person schweren Schaden zuzufügen. Deutschland setzt dies mit dem geplanten Gesetz gegen digitale Gewalt derzeit um. Das geplante Verbot in der KI-Verordnung würde den Fokus von der Bestrafung der Täter*innen auf die Anbieter solcher Anwendungen verschieben.

Im geplanten Text steht nun auch die fehlende Zustimmung der gezeigten Personen als definierendes Merkmal. Fachleute forderten das seit langem. Zugleich kritisiert etwa Ana Ornelas von der European Sex Workers’ Rights Alliance (ESWA), die Beschränkung auf „identifizierbare Personen“. Sie fürchtet, dass dies in der Durchsetzung zu Schlupflöchern führen könnte.

Lockerungen und Fristverlängerung für Industrie

Hochrisiko-KI-Systeme in Bereichen wie Beschäftigung, Bildung, Migration, Strafverfolgung oder kritische Infrastruktur sollen Anforderungen aus dem AI Act erst ab dem 2. Dezember 2027 erfüllen müssen. Für KI in Medizinprodukten, Maschinen oder Spielzeug gilt der 2. August 2028. Anbieter von KI-Systemen müssen diese grundsätzlich in der EU-Datenbank für risikoreiche Systeme registrieren – auch wenn sie der Ansicht sind, die Einstufung als risikoreich träfe nicht zu oder sei ausgenommen.

Die Sonderregelung für Maschinenverordnung schwächt nach Meinung des europäischen Verbraucherverbands BEUC den Verbraucherschutz. Konkret kritisiert der Verband, dass Alltagsgeräte wie Industriemaschinen aus der KI-Aufsicht herausfallen würden. Bei deren Versagen könnten Menschen zu Schaden kommen. Der Deal enthält offenbar auch eine Klausel, mit der die EU-Kommission später weitere KI-Systeme ohne neues Gesetzgebungsverfahren aus dem Geltungsbereich des AI Acts herausnehmen kann. Die Kommission erhalte damit eine Hintertür für künftige KI-Deregulierung.

BEUC-Generaldirektor Agustín Reyna meint, der überhastete Prozess habe ein Gesetz hervorgebracht, das komplizierter und weniger wirksam als vorher sei und vor allem der Industrie nutze.

Zumindest an manchen Stellen scheint der Kompromiss strenger. Die EU-Kommission wollte die Verarbeitung sensibler personenbezogener Daten – etwa Angaben, aus denen Ethnie oder Religion hervorgehen können – zur Bias-Erkennung erleichtern. Rat und Parlament begrenzten hier durch striktere Maßstäbe.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die EU will unter hohem Zeitdruck ihre Regeln für Künstliche Intelligenz aufweichen. Nun sind eigentlich abschließende Verhandlungen gescheitert. Alle Beteiligten machen sich gegenseitig Vorwürfe, am Ende könnten Regeln zum besseren Schutz vor KI-generierten Nacktbildern unter die Räder geraten.

Die EU-Institutionen können sich weiter nicht auf eine abgeschwächte Fassung der KI-Verordnung einigen. Medienberichten zufolge sind gut zwölfstündige Trilog-Verhandlungen zwischen dem Europäischen Parlament, dem Rat und der Kommission am Dienstag gescheitert.

Ein zentraler Streitpunkt war offenbar eine vorgeschlagene Ausnahme für risikoreiche KI-Systeme in der Industrie, wie Table Media [€] berichtet. Das Parlament hatte demzufolge vorgeschlagen, die sektorspezifischen Regelungen zu ändern: Industriemaschinen sollten demnach aus der Hochrisiko‑Kategorie herausfallen. Entscheidend für eine Einstufung als Hochrisiko sollte stattdessen die tatsächliche Sicherheitsfunktion der KI werden. Rat und Parlament sind sich in dieser Frage jedoch uneins.

Gestritten wurde dem Bericht zufolge zudem über ein Verbot sogenannte „Nudifier“-Anwendungen. Das sind generative KI‑Systeme, die Menschen auf Foto- oder Videomaterial entkleiden können. Das Parlament möchte nicht‑einvernehmliche intime Inhalte verhindern, es konnte jedoch keine Einigung darüber erzielt werden, welche Körperteile darunterfallen.

Das kritisiert unter anderem Eva Lejla Podgoršek, Senior Policy Managerin bei AlgorithmWatch. Es sei wichtig, „dass die wenigen guten Vorschläge nicht unter die Räder geraten.“ Das geplante Verbot von KI-Systemen, die nicht einvernehmliche sexualisierende Deepfakes ermöglichen, sei ein wichtiger Baustein, um Betroffene wirksam zu schützen.

Wenn drei sich streiten, freut sich niemand

Die Anpassungen der bereits im August 2024 in Kraft getretenen KI-Verordnung sollen im Rahmen des sogenannten Digitalen Omnibus erfolgen. Mit dem von der EU-Kommission vorgeschlagenen Gesetzespaket sollen Vorschriften im digitalen Sektor vereinfacht werden, um bürokratische Hürden für Unternehmen abzubauen und Europas Wettbewerbsfähigkeit zu steigern. Das Paket ist jedoch umstritten. Es enthält auch Lockerungen der Datenschutzgrundverordnung, etwa beim Training von KI mit personenbezogenen Daten oder einer Neudefinition personenbezogener Daten.

Während die Verhandlungen über den Daten-Omnibus sich offenbar länger hinziehen, machten die Beratungen über den KI-Omnibus schnell Fortschritte. Die Zeit drängt: Zentrale Pflichten des AI Acts für besonders risikoreiche KI-Systeme werden ab dem 2. August 2026 wirksam. Diese Fristen sollen mit dem Omnibus aufgeschoben werden. Gestern sind die finalen Verhandlungen allerdings bereits zum zweiten Mal geplatzt.

Laut Table Briefings sieht die zypriotische Ratspräsidentschaft keine Schuld bei sich: „Wir sind mit einer sehr konstruktiven Haltung in die heutige Sitzung gegangen und haben konkrete Vorschläge zur Lösungsfindung unterbreitet“. Man habe während der Verhandlungen ein hohes Maß an Flexibilität gezeigt, aber keine Einigung mit dem Europäischen Parlament erzielen können. Das Ziel der Vereinfachung werde jedoch weiterhin verfolgt.

Stimmen aus dem Parlament sehen dies anders. Es sei „inakzeptabel, dass die Ratspräsidentschaft nicht bereit war, einen substanziellen Kompromiss zu machen, um die Überregulierung von KI zu beenden“, sagte die Europaabgeordnete Svenja Hahn (FDP). Michael McNamara (parteilos), Verhandlungsführer für das EU-Parlament, räumte in einem Interview mit Tech Policy Press jedoch selbst ein, dass die vorgeschlagene Verlagerung in sektorale Gesetze „eher zu Deregulierung als zu einer Vereinfachung führen könnte“.

Schwere Vorwürfe kommen von den Grünen im EU-Parlament, insbesondere gegenüber deutschen Konservativen, wie Euractiv berichtet. Sie werfen der Europäischen Volkspartei vor, das Omnibus-Gesetz bewusst zu verzögern und dabei auch die Hilfe von rechtsextremen Parteien im Parlament in Anspruch zu nehmen. Merz wolle noch weitergehende Lockerungen der KI-Regeln, als sie derzeit verhandelt würden. Das wiederholte Scheitern lassen der Verhandlungen sei ein Schachzug, um Zeit zu gewinnen und so die Positionen der EU-Mitgliedstaaten zu beeinflussen.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die Bevölkerung nimmt Gewalt gegen Politiker:innen zunehmend als Bedrohung für die Demokratie wahr. Zu dieser Einschätzung kommt der aktuelle Weizenbaum-Report zu politischer Partizipation. Auch Hass und Falschinformationen prägen den Alltag im Netz und beeinflussen die Bereitschaft zur Teilnahme an gesellschaftlichen Debatten.

Gewalt gegen Politiker:innen richtet sich gegen die politische Gesinnung und soll vor allem eines bewirken: Menschen einschüchtern. Der aktuelle Weizenbaum Report 2026 greift die gesellschaftliche Wahrnehmung physischer wie verbaler Gewalt auf und fragt, wie sich diese auf die Menschen in einer Demokratie auswirkt.

In Zusammenarbeit mit der Freien Universität Berlin erforscht das Weizenbaum-Institut seit dem Jahr 2019 das gesellschaftliche Verhältnis zu politischer Partizipation. Als Grundlage des aktuellen Reports dienen Befragungen aus dem Jahr 2025. Für die repräsentative Datenerhebung wurden insgesamt 1740 Telefon-Interviews herangezogen. 73 Prozent der Befragten hatten zudem bereits im Vorjahr teilgenommen.

Das Ergebnis: Menschen, die Drohungen und Gewalt gegen Politiker:innen wahrnehmen und die Demokratie deshalb als bedroht sehen, demonstrieren mehr, bauen eher Kontakt zu Politiker:innen auf und beteiligen sich häufiger an Petitionen. Die Wahrnehmung von Gewalt scheint auf diese Weise zunächst nicht mit geringerer politischer Beteiligung der Bevölkerung im Zusammenhang zu stehen, so der Report.

Feld politischer Kandidat:innen dünnt aus

Straftaten gegen Mandatsträger:innen finden laut dem Bericht regelmäßig mediale Aufmerksamkeit und auch die Zahl der gemeldeten Fälle sei 2025 im Vergleich zum Vorjahr um zwölf Prozent gestiegen. 81 Prozent der Befragten halten Gewalt gegen Politiker:innen für verbreitet. Über zwei Drittel der Befragten halten deshalb die Demokratie für bedroht. Dass dies möglicherweise mit höherer politischer Partizipation der teilnehmenden Befragten im Zusammenhang steht, scheint zunächst ein ermutigendes Ergebnis.

Dennoch ist laut Report zu klären, ob der Zusammenhang kausal ist – also ob diese Wahrnehmung der Gefahr tatsächlich mobilisierend wirkt. Eine Möglichkeit ist, dass diese Menschen schlicht politisch aktiver sind, vermutet Katharina Heger, Erstautorin des Weizenbaum-Reports: „Eventuell kommt diese Wahrnehmung also aus dem eigenen Erleben in der Fußgängerzone, auf der Demo oder am Wahlkampfstand, denn bei der vernetzten politischen Beteiligung sehen wir diesen Zusammenhang nicht“.

Zugleich zeigt der Report auch: Wer die Demokratie durch Gewalt bedroht sieht, kann sich eher nicht vorstellen, selbst ein politisches Amt auszuüben. Dies führe im kommunalen Bereich bereits dazu, dass Mandatsträger:innen ihre Ämter aufgeben oder sich zu wenige Kandidat:innen finden, sagt Prof. Dr. Martin Emmer von der FU Berlin: „Grundsätzlich sehen die Menschen die Übernahme eines politischen Amtes ohnehin nicht so sehr als Bürgerpflicht an wie andere Formen politischer Partizipation, deshalb schlagen die Folgen dieser Wahrnehmungen von Drohungen und Gewalt hier besonders deutlich durch. Drohungen und Gewalt gegen Politiker:innen sind also nicht allein deren Problem, sondern eine Bedrohung für die Demokratie insgesamt.“

Bedarf an zivilisiertem Umgang im Netz

Seit 2019 messen die Forschenden die Vorstellung dessen, was gute Bürger:innen tun – etwa zur Wahl gehen oder Gesetze befolgen. Auch diskursive Bürgernormen im Netz werden seither untersucht.

Das Internet hat sich dabei laut Report zur etablierten Informationsquelle für Nachrichten und politische Inhalte entwickelt. Zwei Drittel der Bevölkerung informieren sich regelmäßig online. Auch das Wachstum sozialer Medien scheint nicht abzureißen. 2025 lag der Anteil bei 36 Prozent – fünf Prozentpunkte mehr als im Jahr 2021. Videoplattformen wie YouTube gewinnen laut der Studie an Bedeutung. Hier liegt der Anteil mit 47 Prozent um 6 Prozentpunkte höher als 2021.

Die Bedeutung der Diskurspflege ist dabei laut Studienlage gewachsen: 83 Prozent der Befragten finden es wichtig, sich für einen respektvollen Umgang in Online-Diskussionen einzusetzen. 75 Prozent der Befragten finden es zudem wichtig, gegen Hass und Hetze einzutreten, sowie 71 Prozent, auch auf Falschmeldungen hinzuweisen.

Zwölf Prozent der Befragten berichten zudem, in der Konfrontation mit Hasskommentaren Gegenrede geleistet zu haben. 15 Prozent meldeten diese an die Plattformen. Dabei verhalten sich Altersgruppen unterschiedlich. 53 Prozent der unter 30-Jährigen meldeten Hasskommentare, bei den über 50-Jährigen waren es lediglich 9 Prozent.

Auch bei Falschinformationen steige die Gegenwehr, so die Untersuchung. 32 Prozent der Befragten geben an, den Wahrheitsgehalt von Meldungen zu überprüfen, 25 Prozent warnen andere vor Falschnachrichten und zwölf Prozent geben an, diese an die Plattform zu melden. Analog zu den Hasskommentaren gibt es auch hier einen Kontrast: Unter 30-Jährige prüfen vermeintliche Falschnachrichten auf ihren Wahrheitsgehalt mit 60 Prozent am meisten, die über 50 Jährigen prüfen jedoch nur noch zu 26 Prozent.

Neues Bild bürgerlicher Normen

„Jüngere, die auch im digitalen Raum sozialisiert wurden, haben einen anderen Zugang zu Plattformfunktionen“, sagt Heger. „[Ältere] übertragen vermutlich eher die offline erlernten Formen der Zivilcourage auf den digitalen Raum, etwa die soziale Intervention und direkte Konfrontation, wie sie auch auf der Straße dazwischen gehen würden.“

Der persönliche Einsatz gegen Hasskommentare und Falschinformationen werde also zunehmend als etablierte Form bürgerschaftlichen Engagements verstanden. Menschen treten demnach auch im Netz vermehrt für demokratische Grundwerte ein. Insgesamt zeige sich laut Report, dass die traditionellen Vorstellungen guter Bürger:innenschaft zunehmend mit den Erfahrungen aus dem Netz ergänzt werden.

Das Thema Künstliche Intelligenz könne dabei eine Rolle spielen: Die zunehmende Verbreitung KI-generierter Inhalte – darunter auch sogenannte Deepfakes – kann dazu beitragen, dass Menschen sensibler für Falschinformationen werden, mutmaßt die Studie. Dennoch wirke sich die zunehmende Verbreitung von Falschinformationen bei den audiovisuellen Inhalten besonders negativ aus, sagt Mitautor Christian Strippel, gerade deshalb, „weil wir gewohnt sind, zu glauben, wenn wir etwas ‚mit eigenen Augen‘ gesehen haben.“

Gräben, die bleiben

Wer eine höhere Schulbildung hat, kommentiert und teilt laut Report fast doppelt so häufig wie Menschen mit formal niedrigem Bildungsabschluss. Menschen mit höherer Bildung verfügen demnach über mehr politische Teilhabe im digitalen Raum – also genau dort, wo ein wachsender Teil der öffentlichen Debatte stattfindet. Laut Emmer spielen Bildungsunterschiede im Digitalen so eine deutlich höhere Rolle als bei traditionellen Partizipationsformen: „Besser Gebildete haben besseren Zugang zu relevanten Informationen und können damit online aber auch offline deutlich mehr Einfluss ausüben.“

Zudem zeigt sich ein Geschlechter-Unterschied: Frauen halten sich laut der Studie bei der sichtbaren Beteiligung im Netz zurück. Sie kommentieren und teilen deutlich seltener politische Inhalte, was ihre öffentliche Sichtbarkeit verringert. Beim Teilen von Petitionen sind sie dagegen aktiver.

„Wer selbst postet oder kommentiert, stellt den eigenen Standpunkt in den Mittelpunkt und macht ihn stärker sichtbar. Wir sehen immer wieder, dass Frauen eine geringere politische Selbstwirksamkeit berichten, also dass das Gefühl, sich mit Politik auszukennen und sich wirksam und sinnvoll einbringen zu können, bei Frauen im Durchschnitt geringer ausgeprägt ist als bei Männern“, sagt Heger. Zu diesem Ungleichgewicht trage auch die vorherrschende digitale Diskussionskultur bei: „Frauen, die sich politisch positionieren, insbesondere mit feministischen Standpunkten, werden immer wieder zur Zielscheibe von verbalen Attacken.“

Vertrauen in die Medien

Das Vertrauen in die etablierten Medien fällt dabei geteilt aus: Nur knapp die Hälfte der Befragten gibt an, den etablierten Medien zu vertrauen, wenn es „um wirklich wichtige Dinge“ geht – beispielsweise Umweltprobleme, Gesundheitsgefahren, politische Skandale und Krisen. Etwa ein Fünftel habe dieses Vertrauen nicht, während 29 Prozent sich in dieser Frage ambivalent zeigen.

Ein zwingender Grund zur Beunruhigung sei dies jedoch nicht, denn für eine offene und vielfältige Gesellschaft sei Unzufriedenheit mit Medien normal, so Emmer: „‚Nordkoreanische‘ Zustimmungswerte von 90 Prozent oder mehr würden mich eher misstrauisch machen.“

Gleichzeitig sei indes zu beobachten, dass das Phänomen der Nachrichtenvermeidung zunimmt. „Es gibt eine noch kleine, aber langsam und stetig wachsende Gruppe von Menschen, die sich vollständig von Medien abwenden, was mittelfristig durchaus ein Problem werden kann“, sagt Emmer. „Denn diese Menschen sind dann deutlich leichter durch sogenannte ‚alternative Medien‘ oder Verschwörungserzählungen ansprechbar.“

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die Justizministerin hat das lange erwartete Gesetz zum Schutz vor digitaler Gewalt vorgelegt. Betroffene sollen mutmaßliche Täter*innen leichter verklagen können. Für sexualisierte Deepfakes drohen bis zu zwei Jahre Haft. Im Entwurf steckt aber auch die Neuauflage der Speicherung von IP-Adressen.

Bundesjustizministerin Stefanie Hubig (SPD) hat am heutigen Freitag einen Gesetzentwurf vorgestellt, der Betroffene digitaler Gewalt besser schützen soll. Digitale Gewalt sei ein „Massenphänomen“, sagte Hubig bei der Vorstellung der Pläne. „Im Zeitalter von KI, hochauflösenden Smartphone-Kameras und sozialen Netzwerken ist es einfacher als je zuvor, Menschen in aller Öffentlichkeit zu demütigen, zum Sexualobjekt herabzuwürdigen und in ihrer Intimsphäre zu verletzen.“ Millionen von Menschen seien betroffen, „besonders häufig Frauen“.

Der Referentenentwurf ist zu einem der meist beachteten Projekte des Ministeriums geworden, nachdem der Spiegel vor zwei Wochen erstmals die Vorwürfe der Schauspielerin Collien Fernandes gegen ihren Ex-Mann Christian Ulmen öffentlich gemacht hatte. Über seinen Anwalt geht er gegen die Berichterstattung vor; es gilt die Unschuldsvermutung. Die Staatsanwaltschaft Potsdam ermittelt.

Hubig hatte den Fall zum Anlass genommen, auf den bereits im Koalitionsvertrag beschlossenen, fast fertigen Gesetzentwurf hinzuweisen und angekündigt, ihn bald vorzustellen. Nun ist es so weit.

Zu „digitaler Gewalt“ zählt das Ministerium laut Entwurf ein breites Spektrum an Taten, unter anderem „Hate Speech“, also Beiträge, die andere bedrohen, abwerten oder zu Straftaten aufrufen. Ebenso zählt dazu das unerlaubte Veröffentlichen von Daten wie Adresse oder Telefonnummer („Doxing“), das unerwünschte Versenden pornografischer Bilder („Dickpics“), der gezielte Kontakt zu Kindern mit sexueller Absicht („Cybergrooming“), außerdem bildbasierte Gewalt, Cybermobbing, Cyberstalking und Identitätsmissbrauch, etwa wenn Fake-Profile einer anderen Person erstellt werden.

Heimliches Filmen und sexualisierte Deepfakes

Der Entwurf basiert auf zwei Säulen. Die erste ist eine strafrechtliche Säule, die wir bereits Ende März veröffentlicht und analysiert haben. Darin vorgesehen sind drei neue Straftatbestände.

• Geplant ist demnach eine Überarbeitung des geltenden § 184k Strafgesetzbuch (StGB), der die Verletzung der Intimsphäre durch Bildaufnahmen regelt. Er soll künftig nicht nur das sogenannte Upskirting umfassen, sondern auch weitere Phänomene bildbasierter Gewalt, etwa das nicht-einvernehmliche Filmen in öffentlichen Saunen oder Umkleiden oder sexualisierte Deepfakes. Auch das Filmen bekleideter Körperteile wie Genitalien, Gesäß oder weiblicher Brust “in sexuell bestimmter Weise” soll verfolgt werden können. Strafmaß: bis zu zwei Jahre Haft.
• Mit einem neuen Paragrafen zur „Verletzung von Persönlichkeitsrechten durch täuschende Inhalte“ (§ 201b StGB) soll zudem das Erstellen und Verbreiten solcher Deepfakes unter Strafe gestellt werden, die “geeignet sind, dem Ansehen der dargestellten Person erheblich zu schaden”.
• Eine weitere neue Vorschrift soll außerdem das unbefugte digitale Tracken und Ausspionieren einer anderen Person unter Strafe stellen. Solches Verhalten war bislang schon im Rahmen von Nachstellung strafbar.

Auskunft zu anonymen Accounts

Neu und bislang unbekannt ist dagegen die zivilrechtliche Säule des Entwurfs. Die neuen Regeln sollen es für Betroffene von etwa beleidigenden und herabsetzenden Postings einfacher machen, selbst vor Gericht dagegen vorzugehen.

Betroffene sollen von Plattformen und Internetzugangsanbietern leichter als bisher Auskunft über die Identität einer Person hinter einem anonymen oder pseudonymen Account bekommen. Dazu sollen Anbieter künftig – sofern vorhanden – den Klarnamen und die Adresse herausgeben, wenn ein Gericht dies anordnet. Beides wird gebraucht, damit Betroffene etwa auf Unterlassung oder Schadensersatz klagen können.

Betroffene sollen eine solche Auskunft vor dem Landgericht beantragen können. Dazu müssen sie glaubhaft machen, dass eine unbekannte Person eine Rechtsverletzung begangen hat, und sie gegen diese Person zivilrechtliche Ansprüche geltend machen wollen. „Das Auskunftsverfahren ist insbesondere für Fälle gedacht, in denen die Rechtsverletzer ihre strafbaren Inhalte über einen anonymen Account in den sozialen Netzwerken verbreiten“, schreibt das Ministerium dazu.

Neu ist außerdem, dass sich Betroffene in einem Verfahren „durch zivilgesellschaftliche Organisationen als Bevollmächtigte vertreten lassen“ können, sofern das unentgeltlich – also kostenlos – geschieht. Auch das soll die Schwellen für Betroffene senken: Hilfsorganisationen könnten dann zumindest manchen Betroffenen die Kosten und Strapazen eines Gerichtsverfahrens abnehmen.

„Vorsorglich gespeicherte IP-Adressen“

Der Entwurf soll auch die Vorratsdatenspeicherung zurückbringen. Das ist ein umstrittenes Verfahren zur Massenüberwachung im Netz, das in Deutschland seit 2017 ausgesetzt ist. Im Zuge des Auskunftsanspruchs für Betroffene richtet das Gesetz den Blick zu Plattformen und Zugangsanbieter wie Vodafone oder die Telekom. Sie sollen künftig durch eine beweissichernde Anordnung dazu verpflichtet werden können, “bereits bei ihnen vorhandene Daten” über mutmaßliche Rechtsverletzer*innen zu sichern. Dazu sollen sie auch „vorsorglich gespeicherte IP-Adressen” verwenden. Der aktuell diskutierte Entwurf für die Vorratsspeicherung sieht vor, dass IP-Adressen für voraussichtlich drei Monate gespeichert werden sollen.

Die Vorratsdatenspeicherung wurde in Deutschland erstmals 2007 eingeführt, nach einem Urteil des Bundesverfassungsgerichts jedoch wieder aufgehoben, weil sie gegen Grundrechte verstieß. Eine neue Regelung von 2015 wurde später durch Urteile des Europäischen Gerichtshofs faktisch gestoppt, weil eine anlasslose, flächendeckende Speicherung von Kommunikationsdaten gegen EU-Recht verstößt.

Auf die Frage, wie sich das Vorhaben für eine erneute Speicherung von IP-Adressen mit dem EU-Recht vereinbaren lasse, sagte Hubig, es gehe bei dem Entwurf, der kommende Woche im Kabinett vorgelegt werden soll, nicht um eine Vorratsdatenspeicherung, sondern lediglich darum, IP-Adressen und Portnummern für einen Zeitraum von drei Monaten zu speichern. Das sei in dieser reduzierten Form rechtskonform. Große Netzbetreiber und Verbände kamen in ihren Stellungnahmen zu anderen Einschätzungen. 

In besonders schweren Fällen sollen Landgerichte darüber hinaus auch zeitweilige Account-Sperren verhängen können. So solle verhindert werden, das reichweitenstarke Accounts wiederholt schwere Persönlichkeitsrechtsverletzungen begehen können.

Kritik an hohen Kosten und massenhafter Datenspeicherung

Die Organisation HateAid, die Betroffene von digitaler Gewalt berät, begrüßt die geplanten Reformen im Zivilrecht und auch, dass Plattformen und Zugangsanbieter nun IP-Adressen herausgeben sollen. Zugleich weist die Organisation darauf hin, dass die Auskunftsverfahren für die Betroffenen mit hohen Kosten verbunden seien. Sie müssten nicht nur ihre eigenen Kosten, sondern auch die Gerichtskosten und die Rechtsvertretung der Plattformen selbst zahlen.

Der Entwurf sieht hierfür eine Ausnahmeregelung vor, von der Gerichte nach Erfahrung der Organisation jedoch in der Regel keinen Gebrauch machten. HateAid hatte gefordert, Gerichtskosten pauschal zu regeln.

Sieben Köpfe gegen digitale Gewalt

Benjamin Lück, Rechtsanwalt bei der Gesellschaft für Freiheitsrechte, kommt zu einem kritischeren Urteil. Gut sei, dass das Ministerium mit Account-Sperren einen wirkungsvollen Mechanismus für Betroffene vorsehe.

Die in der Begründung des Entwurfs versteckte Verknüpfung der Auskunftsansprüche mit der geplanten IP-Vorratsdatenspeicherung lehnen wir dagegen ab. Solche anlasslosen, massenhaften Datenspeicherungen halten wir grundsätzlich für das falsche Mittel.

Im Vorfeld hatten sich bereits mehrere Fachleute für digitale Gewalt gegen Überwachungsmaßnahmen zum Schutz vor digitaler Gewalt ausgesprochen, darunter auch die Vorratsdatenspeicherung.

Bereits unter der Ampel angekündigt

Mit der Vorstellung des Entwurfs liefert Hubig nun etwas, das bereits ihr Vorgänger Marco Buschmann (FDP) zur Zeit der Ampel-Regierung vor fünf Jahren angekündigt hatte. Seine Pläne zum Schutz vor digitaler Gewalt umfassten allerdings nur das Zivilrecht und versandeten zum Ende der letzten Legislaturperiode.

Hubig betont nun, sie habe ein “Gesamtkonzept” vorlegen wollen, das sowohl das Zivilrecht als auch die Verschärfungen im Strafrecht umfasst.

Der Entwurf wird nun an Verbände und Bundesländer geschickt, die Gelegenheit zur Stellungnahme bekommen. Er muss noch im Kabinett abgestimmt werden und erreicht danach erst den Bundestag und Bundesrat.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die Bereitschaft, sich an Debatten in Sozialen Medien und in Online-Kommentarbereichen zu beteiligen, sinkt. Ein zentraler Grund dafür ist die Diskursqualität, die zunehmend als negativ wahrgenommen wird, so das Ergebnis einer Studie der Medienanstalten.

Plattformen-Nutzer:innen und Social-Media-Redakteur:innen sind sich offenbar gleichermaßen einig: Die Debattenkultur im digitalen Raum verschlechtert sich zunehmend. Zu diesem Ergebnis kommt die „Transparenz-Check“-Studie der Medienanstalten. Konstruktive Debatten seien online demnach „kaum noch möglich“ und würden zum Teil gar als unwillkommen wahrgenommen. Dennoch wünsche sich eine deutliche Mehrheit der Befragten einen konstruktiven Austausch.

Mit der als negativ wahrgenommenen Diskursqualität sinkt offenbar auch die Bereitschaft, in den Kommentarspalten mitzudiskutieren. Der häufigste Grund dafür sei die aggressive Stimmung. Dementsprechend werde der respektvolle Umgang miteinander als zentral dafür angesehen, sich mehr zu beteiligen.

Zur Meinungsfreiheit im digitalen Raum liegen bei den Befragten zwei gegensätzliche Wahrnehmungen vor. Eine Gruppe versteht darunter, ohne Sorge vor Hass und Abwertung sprechen zu können. Die andere Gruppe will dagegen grundsätzlich alles ungehindert sagen dürfen. Besonders Menschen, die der AfD zuneigten, hätten das Gefühl, in ihrer Meinungsäußerung eingeschränkt zu sein. Wähler:innen der Linken oder der Grünen gaben dagegen häufiger an, frei artikulieren zu können.

Vertrauen in Soziale Medien ist sehr gering

Der Studie nach gibt es zwischen den Plattformen große Unterschiede. Im Vergleich zu Instagram würden Facebook und Twitter/X als wesentlich problematischer wahrgenommen – insbesondere von ehemaligen Nutzenden der Plattformen. Die schlechte Diskursqualität dort sei demnach einer der Gründe, warum Nutzende den Plattformen den Rücken kehren.

Facebook sei die Plattform, die am zweithäufigsten genutzt werde. Gleichzeitig ist sie die meistgenutzte Plattform, auf der Nutzende journalistische Beiträge lesen und kommentieren. Trotz Klarnamen werde die Atmosphäre dort aber als „toxisch“ wahrgenommen.

Das Vertrauen in die Sozialen Medien fällt insgesamt sehr gering aus. Dennoch gibt etwa ein Drittel der Befragten an, in den Kommentaren unter journalistischen Beiträgen bei Facebook, Instagram und YouTube mitzulesen.

„Vertrauen und Laune sinken nach dem Lesen von Kommentaren“

Ein Viertel derer, die aktiv kommentieren, wollen zumeist nur ihre Meinung äußern; knapp ein Viertel von ihnen will andere überzeugen und etwa jede achte Person möchte lediglich ihren Ärger kundtun. „Insgesamt überwiegen die negativen Auswirkungen von Diskursen in den Sozialen Medien“, so ein Fazit der Studie. „Extreme Meinungen überwiegen, Vertrauen und Laune sinken nach dem Lesen von Kommentaren.“

Allerdings zeigten die durchgeführten Experimente, dass eine erkennbare Moderation entscheidend dafür sein kann, dass die Diskursqualität positiver wahrgenommen wird. Je strenger moderiert wird und je konstruktiver der Austausch ist, desto respektvoller und ausgewogener wird der Diskurs wahrgenommen. Allerdings sind die Ressourcen für ein konstruktives Community-Management oftmals knapp.

Bei den Befragten bleibt unterm Strich eine Grundskepsis: Sie bezweifeln, dass Online-Diskurse überhaupt funktionieren und Kommentare zu neue Perspektiven führen können. Eine Mehrheit hat laut Studie das Gefühl, dass Online-Diskussionen spalten.

Desinformation und Bots

Die Anforderungen an das Community-Management sind in den vergangenen Jahren gewachsen. Verantwortlich dafür sind die steigende Zahl an Kommentaren und der zunehmend raue Tonfall. Zudem nehme der Anteil an Desinformation und Fake News zu.

Auch die Bedeutung von Bots hat die Studie unter die Lupe genommen. Insgesamt wurden vier Prozent der Kommentare als „wahrscheinliche Bot-Kommentare“ klassifiziert. Bei kontroversen Themen seien deutlich höhere Werte zu verzeichnen.

Eine Mehrheit der Befragten ist der Ansicht, aufgrund der Bot-Aktivität könnten sie sich im Netz inzwischen kaum noch mit echten Menschen austauschen.

Eine noch größere Rolle als die Bots spielen Trolle, Fake-Accounts und koordinierte Kommentar-Ströme. Diese würden laut den befragten Moderator:innen dazu genutzt, um den Verlauf von Diskussionen in Kommentarspalten gezielt zu beeinflussen.

Vorgehen der Studie

Der „Transparenz-Check“ der Medienanstalten ist dreistufig aufgebaut: Inhaltsanalyse, qualitative Tiefeninterviews und quantitative repräsentative Befragung.

Die Inhaltsanalyse zur Ermittlung der Rolle von Bots beruht auf Tausenden von Kommentaren unter insgesamt 39 Beiträgen von Bild, Der Spiegel, Süddeutsche Zeitung, Die Zeit sowie auf den Plattformen Facebook, Instagram und YouTube.

Elf Tiefeninterviews haben die Forschenden mit Personen aus Social-Media-Redaktionen, aus dem Community-Management sowie mit weiteren Expert:innen durchgeführt. Die quantitative repräsentative Befragung fand mit mehr als 3000 Internetnutzenden statt.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Der sächsische Landesverband der Gewerkschaft der Polizei nutzt ein KI-generiertes Bild mit einem blutenden Polizisten, um eine Pressemitteilung zu illustrieren. Begründet wird dies mit Persönlichkeitsrechten und laufenden Ermittlungen, das Bild sei eine „symbolische Illustration“.

Beim einem Zweitligaspiel der Fußball-Männerteams des 1. FC Magdeburg und Dynamo Dresden am vergangenen Samstag gab es Ausschreitungen. Nach Polizeiangaben soll es 70 verletzte Polizisten gegeben haben. Der sächsische Landesverband der Gewerkschaft der Polizei (GdP) gab dazu eine Pressemitteilung heraus und bebilderte sie mit einem KI-generierten fotorealistischen Bild. Darauf zu sehen: ein blutender Polizist, der von zwei Kollegen gestützt wird.

Dieses Bild war klein mit dem Hinweis „KI: ChatGPT“ gekennzeichnet, erweckt aber auf den ersten Blick den Eindruck, dass dies ein echtes Bild sei. In sozialen Medien sorgte die Bebilderung für Empörung. So kritisierte der Forscher Daniel Mullis auf Bluesky: „Es ist das erste Mal, dass ich solche Bilder von seriösen Stellen sehe, die Ereignisse so darstellen, dass sie besser ins eigene Bild passen.“ Das sei nicht gut, der Deutsche Gewerkschaftsbund, in dem die Gewerkschaft Mitglied ist, dürfe hier nicht schweigen.

Polizeigewerkschaft: „Symbolische Illustration“

Auf Nachfrage, warum die Gewerkschaft hier ein solches Bild einsetze, hat der GdP-Landesvorsitzende Jan Krumlovsky netzpolitik.org geantwortet, dass das KI-generierte Bild als „symbolische Illustration“ eingesetzt worden sei. „Diese Entscheidung erfolgte bewusst, um auf das Thema Gewalt gegen Einsatzkräfte im Zusammenhang mit dem Fußballspiel aufmerksam zu machen, ohne reale Einsatzkräfte, Beteiligte oder konkrete Einsatzsituationen abzubilden“, so Krumlovsky weiter. Als Begründungen nennt der Polizeigewerkschafter den Schutz von Persönlichkeitsrechten, laufende Ermittlungen sowie den respektvollen Umgang mit betroffenen Kolleginnen und Kollegen.

Krumlovsky betont, dass das Bild als KI-generiert gekennzeichnet ist. „Es sollte keine dokumentarische Abbildung eines realen Ereignisses darstellen, sondern der thematischen Einordnung dienen“, so der Gewerkschafter weiter. Für die Gewerkschaft sei entscheidend, dass der Einsatz von Illustrationen – unabhängig davon, ob sie KI-generiert oder auf andere Weise erstellt sind – transparent erfolge und keinen dokumentarischen Anspruch erheben würde.

DJV: „Immer ein Grund, hellhörig zu werden“

Unabhängig davon würde die GdP Sachsen die internen Abläufe im Umgang mit KI-generierten Inhalten „weiter präzisieren“, insbesondere bezüglich Kennzeichnung und Kontextualisierung. Nach unserer Presseanfrage hat die Polizeigewerkschaft noch einen weiteren Hinweis auf das generierte Foto unter dem Text angebracht und expliziter in der Quellenangabe den Zusatz „KI-generiert“ ergänzt. Das Bild selbst nutzt sie weiter.

Der Bundesvorsitzende des Deutschen Journalisten-Verbands Mika Beuster kommentiert gegenüber netzpolitik.org: „KI-Fotos sind immer ein Grund, hellhörig zu werden.“ Journalist:innen, aber auch die Öffentlichkeit, sollten sich immer kritisch fragen, warum auf KI-Material zurückgegriffen wird, so Beuster weiter. Der Verband spreche sich zudem bei der Nutzung von KI-generierten Bildern für größtmögliche Transparenz aus.

Der Fotojournalist Kai Schwerdt kritisierte bei Bluesky: „Auch wenn das Bild als KI-generiert gekennzeichnet ist, finde ich es bedenklich, wenn die Gewerkschaft der Polizei (GdP) solche Bilder zu dramaturgischen Zwecken einsetzt. Es ist eine bewusste Abkehr von der Realität. Als wäre die nicht schon übel genug.“

Update 29.1.26:
Die GdP Sachsen hat das Bild ausgetauscht.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die 2. Kalenderwoche geht zu Ende. Wir haben 9 neue Texte mit insgesamt 72.901 Zeichen veröffentlicht. Willkommen zum netzpolitischen Wochenrückblick.

Liebe Leser*innen,

in der zweiten Woche des Jahres hat uns unter anderem die anhaltende Tatenlosigkeit zum Chatbot Grok beschäftigt. Seit wir am Mittwoch über Musks polemische Reaktion und die leeren Worte der Sprecher*innen von X berichtet haben, geht die Woche ohne nennenswerte Reaktion der dort Verantwortlichen zu Ende.

Dafür hielt der Freitag ein Update des Chatbots bereit: Die Bildgenerierung von Grok ist nun nur noch zahlenden Abonnent*innen vorbehalten und steht nicht mehr allen Menschen auf der Plattform X zur Verfügung. Laut den Medienberichten ist das Tool aber noch über die Grok-App und -Website verfügbar. In Zukunft heißt es dann einfach: Wer in Musks dicke Tasche einzahlt oder einen kleinen Umweg nimmt, kann weiter sexualisierte Deepfakes verbreiten.

Die Frage bleibt, wie lange Regulierungsbehörden noch bei so etwas zusehen oder ob sie doch irgendwann in Aktion treten.

In den vergangenen Tagen war besonders Kritik aus Frankreich und Großbritannien gegenüber X laut zu hören. Der britischen Kommunikationsbehörde Ofcom steht inzwischen frei, Sanktionen gegen xAI und Grok zu verhängen. Laut des britischen Online Safety Act ist als letzter Schritt sogar eine Sperre von X möglich.

Die EU-Kommission geht einen anderen Weg. Sie hat am Donnerstag bei Musks Unternehmen angewiesen, dass dieses interne Dokumente und Daten zu Grok bis Ende 2026 aufbewahren muss. Zu einem späteren Zeitpunkt könnte dann eine Untersuchung beginnen.

Politiker*innen hängen zu sehr an der Plattform

Das eigentlich Verwunderliche an dieser neuen Episode des Absturzes der einstigen Informationsplattform ist jedoch die eher achselzuckende Reaktion von Abgeordneten, Bundesministerien und auch der EU-Kommission. Sie posten einfach weiter auf der Plattform X, als sei in den vergangenen Jahren, Monaten und Wochen nichts passiert.

Sie tun so, als habe Musk nicht X um eine funktionierende Moderation beraubt, als habe es keine Eingriffe des Milliardärs in Wahlkämpfe zu Gunsten rechter Parteien gegeben, als sei X noch eine normale Plattform und nicht ein Instrument zum Pushen rechtsradikaler Narrative geworden. Nun kommt also sexualisierte digitale Gewalt direkt aus Musks Chatbot dazu – und Ministerien und Abgeordnete berufen sich auf eine angebliche Informationspflicht, die sie quasi zum Bleiben auf der Plattform zwinge. Dabei gibt es seit Musks Plattformübernahme zahlreiche bekannte Stimmen und Institutionen, die einfach Schluss mit X gemacht haben.

Wir haben Bundestagsabgeordnete, zwei deutsche Ministerien und die EU-Kommission gefragt, warum sie immer noch auf X aktiv sind: Mehr Lavieren als in diesen Antworten geht kaum.

Euch ein schönes Wochenende mit Schneespaziergängen statt X

Laura

---

Trugbild: Nur hier für die Kommentare

Rezensions- und Kommentarspalten sind kleine Oasen des Internets. Denn überall dort, wo Menschen ins Netz schreiben können, entsteht Leben. Von Vincent Först –
Artikel lesen

Datenzugang für Nutzer:innen und Forschung: „Wir haben das Recht auf unserer Seite“

Zwei Forschende haben verschiedene Wege genutzt, um an die Daten großer Plattformen zu kommen. In einem Vortrag auf dem 39. Chaos Communication Congress berichten sie von Hindernissen, aber auch davon, wie wertvoll das Recht auf Datenzugang ist. Von Anna Biselli –
Artikel lesen

Argentinien: Per Dekret in die dunkle Vergangenheit

Der argentinische Präsident Javier Milei baut die Demokratie ab und die Online-Überwachung aus. Jetzt hat die Regierung per Dekret buchstäblich über Nacht den Geheimdienst in eine Super-Überwachungsbehörde umgewandelt. Journalist*innen und Aktivist*innen sind alarmiert. Von Gastbeitrag, Nina Galla –
Artikel lesen

Vorhersehbare Forderung: Gegen Stromausfall helfen keine Überwachungskameras

Die Wirtschaftssenatorin Franziska Giffey nutzt die Notfallsituation in Berlin, um sich mit der Forderung nach mehr Videoüberwachung zu profilieren. Sie will auch „Künstliche Intelligenz“ einsetzen. Doch mehr Kameras helfen nicht, wenn es eigentlich andere Maßnahmen braucht. Ein Kommentar. Von Constanze –
Artikel lesen

Hacken & Kunst: „Kunst allein reicht nicht aus“

Helena Nikonole hat Kameras in Russland gehackt und Anti-Kriegsbotschaften verbreitet. Nun entwickelt die Künstlerin ein winziges Gerät, um ohne Internet Nachrichten zu verschicken. Mit kreativen und praktischen Lösungen will sich Nikonole einer zusammenbrechenden Welt entgegenstellen. Von Timur Vorkul –
Artikel lesen

Hacking & Art: „Art alone is not enough“

Helena Nikonole hacked cameras in Russia and spread anti-war messages. Now the artist is developing a tiny device to send messages without using the internet. With creative and practical solutions, Nikonole aims to confront a collapsing world. Von Timur Vorkul –
Artikel lesen

Digitale Gewalt: Musks Chatbot Grok verbreitet weiter sexualisierte Deepfakes

Nachdem sein Chatbot Grok weiterhin sexualisierte Bilder von prominenten Frauen und Minderjährigen erstellt, sieht sich Elon Musk mit möglichen rechtlichen Konsequenzen konfrontiert. Den Trend zu KI-generierten sexuellen Inhalten und digitaler Gewalt gegen weibliche Personen wird das wohl nicht aufhalten. Von Laura Jaruszewski –
Artikel lesen

Chatbot-inspirierte Gewalt: KI-Hersteller entschädigen Familien

Immer wieder wird Chatbot-Herstellern vorgeworfen, die Sicherheit von Kindern und Jugendlichen zu gefährden. In fünf Fällen wollen Character Industries und Alphabet die Klagen mit Geld aus der Welt schaffen. Damit sorgen die Unternehmen dafür, dass es weiterhin keinen Präzedenzfall gibt, nach dem Techunternehmen für ihre KI-Chatbots rechtliche Konsequenzen tragen müssen. Von Laura Jaruszewski –
Artikel lesen

Digitale Gewalt: Abgeordnete, Ministerien und EU-Kommission bleiben auf Deepfake-Plattform X

X hat sich in den letzten Jahren nicht nur zur rechten Propagandaschleuder entwickelt, die Plattform erlaubte seit Ende Dezember auch das Generieren von sexualisierten Deepfake-Bildern. Wir haben Politiker, Ministerien und EU-Kommission gefragt, warum sie trotzdem auf der degenerierten Plattform bleiben. Von Markus Reuter –
Artikel lesen

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

X hat sich in den letzten Jahren nicht nur zur rechten Propagandaschleuder entwickelt, die Plattform erlaubte seit Ende Dezember auch das Generieren von sexualisierten Deepfake-Bildern. Wir haben Politiker, Ministerien und EU-Kommission gefragt, warum sie trotzdem auf der degenerierten Plattform bleiben.

Auf der Plattform X war es seit Ende Dezember möglich, mit dem Chatbot Grok sexualisierte Deepfakes von Erwachsenen und Minderjährigen zu erstellen. Eine Deepfake-Forscherin geht laut Bloomberg davon aus, dass stündlich etwa 6.700 sexualisierte Deepfake-Bilder mittels des Chatbots generiert wurden, die meisten davon von Frauen und ohne deren Zustimmung. Laut dem Bericht wurden solche Bilder auch nach einer Beschwerde-Meldung nicht durch die Moderation der Plattform entfernt. Nachdem die EU-Kommission am Donnerstag angewiesen hatte, dass X interne Dokumente zu Grok aufbewahren muss, hat die Plattform heute die Bildgenerierung eingeschränkt.

Die Plattform X, wie das frühere Twitter heute heißt, wird seit dem Kauf durch den rechtsradikalen Milliardär Elon Musk immer weiter abgewirtschaftet. Zu diesem Absturz gehörte nicht nur das Zusammenstreichen des Moderationsteams und eine Lockerung bei Regeln gegen Diskriminierung, sondern auch die Wiederzulassung zahlreicher rechtsextremer Accounts und die algorithmische Bevorzugung rechtsradikaler Inhalte.

Hinzu kam jetzt die massenhafte Erzeugung von sexualisierten Bildern gegen den Willen von Betroffenen und damit eine Form digitaler Gewalt. Trotz weltweiter Kritik und einer angeblichen Änderung der Plattform lief die Erzeugung der Bilder über Tage weiter.

Missbrauchsbeauftragte: „Verändertes Ausmaß“

Eine Sprecherin der Unabhängigen Bundesbeauftragten gegen sexuellen Missbrauch von Kindern und Jugendlichen bewertet das Generieren von Deepfakes auf X kritisch: „Die niedrige Zugangsschwelle verändert das Ausmaß. Was früher technisches Wissen und verdeckte Netzwerke erforderte, ist heute per Texteingabe möglich.“ Dabei seien die Produkte hochrealistisch. Sie ließen sich kaum von echten Aufnahmen unterscheiden.

„Durch KI-generierte Missbrauchsdarstellungen entsteht konkreter Schaden: Sexualisierung kindlicher Körper, Weiterverbreitung von Gewaltbildern und die Normalisierung einer Täterperspektive“, so die Sprecherin weiter.

Aufgrund der Degradierung der Plattform haben schon in der Vergangenheit zahlreiche Menschen, Medien und Institutionen X in Richtung anderer Plattformen wie LinkedIn, Bluesky oder ins Fediverse zu Mastodon verlassen. Auch die Bundesbeauftragte gegen sexuellen Missbrauch von Kindern und Jugendlichen ließ X im März 2024 zurück und postet dafür in anderen sozialen Medien.

Treue Nutzer:innen trotz Allem

Doch die Bundesregierung wie auch Bundestagsabgeordnete aller Parteien verbleiben immer noch auf der Plattform, sogar nachdem deren Eigentümer den Hitlergruß gezeigt und auf einer Demonstration zu Gewalt aufgerufen hatte. Auch die EU-Kommission unterhält zahlreiche Accounts auf der Plattform, obwohl der Eigentümer sie wüst beschimpft.

Wir haben deswegen exemplarisch beim Innen- und Familienministerium sowie zufällig ausgesuchten Bundestagsabgeordneten aller demokratischen Fraktionen, die X für ihre Kommunikation nutzen, angefragt, warum sie weiterhin auf so einer Plattform posten und ob sie nicht befürchten, dass die Plattform ihrer eigenen Reputation schaden könnte. Zudem haben wir in Brüssel die EU-Kommission gefragt, ob sie Konsequenzen aus den jetzigen Deepfakes zieht.

Abgeordnete von Grünen, Linken und Union zögern

Bei der Linken hatten wir die Vorsitzende und Bundestagsabgeordnete Ines Schwerdtner gefragt. Sie sagte, dass in Partei und Fraktion derzeit Gespräche über den weiteren Umgang mit X laufen würden. „Entscheidend ist, dass wir dabei zu einem gemeinsamen Vorgehen kommen.“ Ob und wann mit Ergebnissen in diesem Prozess zu rechnen ist, sagte Schwerdtner nicht.

Bei den Grünen hatten wir Britta Haßelmann, Konstantin von Notz und Agnieszka Brugger angefragt – und bekamen eine Sammelantwort der Pressestelle der Bundestagsfraktion. Die sagt lediglich, dass es für Politiker immer wichtig sei, den Dialog zu suchen und dafür auch Social Media zu nutzen. „Die Vorgänge auf X sind allerdings zweifellos indiskutabel“, heißt es weiter im Statement. Die Bundestagsfraktion beobachte die Entwicklungen der Plattform schon seit einiger Zeit mit Sorge und diskutiere auch die Konsequenzen in der Fraktion. Wann ein Punkt für Konsequenzen erreicht sei und warum man das Indiskutable diskutiere, sagte die Pressestelle nicht.

„Zunehmend eine Gratwanderung“

Bei der Union hat der Außenpolitiker Roderich Kiesewetter geantwortet: „Ich sehe die Nutzung von X zunehmend als Gratwanderung und bin zwiegespalten.“ Zwar sprächen die Veränderung der Diskussionskultur, die mangelnde Durchsetzung von Richtlinien, die Intransparenz der Algorithmen und auch die Ermöglichung von Deepfakes „eher dafür“ die Plattform zu verlassen, vieles davon treffe aber auch auf andere Plattformen zu.

Als Politiker sei es seine Aufgabe mit Argumenten und Inhalten Bürgerinnen und Bürger von politischen Lösungen oder Einschätzungen zu überzeugen und politisch zu kommunizieren. Solange die Abkehr von bestimmten Plattformen aus rechtlichen oder sicherheitsrelevanten Gründen nicht von Deutschland oder der EU empfohlen werde, setze er darauf, dass die EU durch Durchsetzung von Regelungen den Einfluss behalte.

„Die Gefahr, dass die Reputation leidet, gibt es leider bei vielen Internetmedien, insbesondere rechtspopulistischen, die z.B. Aussagen in seriösen Medien aus dem Zusammenhang reißen, verkürzen und zu Desinformationszwecken nutzen, dies halte ich persönlich für noch viel gravierender“, so Kiesewetter weiter.

Innen- und Familienministerium mit Standard-Antwort

Dürr fallen die Antworten der angefragten Ministerien aus. Das Bundesinnenministerium (BMI) antwortet auf die Frage, warum es weiterhin auf einer solchen Plattform poste: „Im Rahmen seiner Presse- und Öffentlichkeitsarbeit informiert das BMI auf vielfältige Weise über seine Arbeit und kommt seinem verfassungsrechtlich gebotenen Auftrag nach, Bürgerinnen und Bürger über Regierungshandeln zu informieren.“ Auf die Frage, ob das Ministerium nicht eine Gefahr für seine Reputation in einem solchen Umfeld sehe, antwortet es lapidar: „Die Fortsetzung unserer Präsenzen auf Social Media Plattformen überprüfen wir fortlaufend.“

Eine ähnliche Antwort gibt auch das Familienministerium (BMBFSFJ). Es gehöre zur Erfüllung des Informationsauftrags, in den sozialen Medien mit verlässlichen Informationen präsent zu sein. „Dabei verstehen wir unsere Aktivitäten nicht als Unterstützung der Plattformen, sondern als Erfüllung unseres Informationsauftrages an den digitalen Orten, an denen Menschen sich informieren und austauschen.“ Das Ministerium beobachte „die aktuellen Entwicklungen auf den verschiedenen Plattformen genau“. Dazu gehöre auch, dass das Ministerium fortlaufend kritisch hinterfrage, auf welchen Plattformen es kommuniziere.

Ähnliche Antworten haben die Ministerien seit Monaten und auch schon unter der Ampel-Regierung gegeben.

EU-Kommission will „diversifizieren“

Kommissionssprecher Thomas Regnier sagte auf einer Pressekonferenz auf Nachfrage von netzpolitik.org: „Wir sind noch immer auf X aktiv, aber wir sind dabei, stark zu diversifizieren“. Man sei auf 14 Social-Media-Plattformen aktiv und überprüfe die Social-Media-Präsenz der EU-Kommission regelmäßig, das gelte auch für X.

Ähnlich wie die deutschen Ministerien argumentierte Kommissionssprecherin Arianna Podestà, dass es wichtig sei das „Publikum mit unseren Botschaften zu erreichen.“ Wenn dieses Publikum auf X sei, werde die EU-Kommission dort mit diesem in Kontakt treten.

Die Sprecherin dementierte den Vorwurf eines Journalisten, dass die EU-Kommission X bevorzuge. Was die Zukunft der EU-Kommission auf der Plattform angehe, wollte sich die Sprecherin nicht festlegen: „Nichts ist in Stein gemeißelt. Wir versuchen immer, unsere Präsenz zu verbessern.“

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Nachdem sein Chatbot Grok weiterhin sexualisierte Bilder von prominenten Frauen und Minderjährigen erstellt, sieht sich Elon Musk mit möglichen rechtlichen Konsequenzen konfrontiert. Den Trend zu KI-generierten sexuellen Inhalten und digitaler Gewalt gegen weibliche Personen wird das wohl nicht aufhalten.

Seit Ende Dezember flutet Elon Musks KI-Chatbot Grok die Kurznachrichtenplattform X mit sexualisierten Deepfakes. User*innen haben das Programm aufgefordert, Bilder von bekannten Frauen und Minderjährigen mit nur minimaler Bekleidung und in sexualisierten Posen darzustellen. Inzwischen kursieren auch KI-generierte Bilder von bekannten Frauen in Hakenkreuz-Bikinis.

Auf den weltweiten Aufschrei folgte zunächst nur eine Reaktion des Chatbots selbst, der von „Schwachstellen in den Sicherheitsvorkehrungen“ schrieb, die behoben werden müssten. Elon Musk hatte sich über die Vorwürfe zuerst amüsiert, indem er ein Bild von sich selbst im Bikini postete. Dann kündigte ein Sprecher von X jedoch an, dass das Generieren und Verbreiten „illegaler Inhalte“ die gleichen Konsequenzen für Accounts haben werde, als würden sie die Inhalte selbst hochladen.

Zwar wurden inzwischen einzelne Inhalte gelöscht, weitere Konsequenzen erfolgten bisher jedoch nicht. Entsprechende Bilder kursieren zudem weiter auf der Plattform.

Betroffen sind vor allem Frauen und Kinder

Die Möglichkeit zur Erstellung sexualisierter Fake-Bilder hatte Musks KI-Unternehmen xAI kürzlich mit einem Update für den Chatbot geschaffen. Seit Dezember 2025 kann Grok durch den „Image Generation Release“ auch bestehende Bilder bearbeiten, die Nutzer*innen hochladen. Letzten Sommer hatte das Unternehmen bereits einen „Spicy Mode“ für pornographische Inhalte veröffentlicht, den das neue Feature ergänzt.

Die Bildbearbeitungsfunktion ist auch auf X verfügbar. Wollen User*innen damit Deepfakes erstellen, zum Beispiel von Menschen im Bikini, benötigt der KI-Chatbot dafür weder eine Zustimmung der Urheber*innen, noch erfahren diese von der Manipulation. Opfer der sogenannten Deepnudes sind – nicht nur in diesem Fall digitaler Gewalt – vor allem Frauen und junge Mädchen.

Auch die rechte Influencerin Ashley St. Clair, mit der Elon Musk ein gemeinsames Kind hat, gehört zu den Zielen. Ihre öffentliche Kritik an Musks Chatbot hat den Missbrauch jedoch nur verstärkt. Nutzer*innen hatten unter anderem Bilder von ihr als 14-Jährige, im Bikini und in nach vorne gebeugter Pose erstellen lassen. Wie St. Clair berichtet, habe es nach ihrer Beschwerde bei der Plattform zwölf Stunden gedauert, bis X das gefakte Kinderbild entfernt hat.

Ein Fall für den Digital Services Act

Nach eigenen Angaben will Ashley St. Clair nun ein kürzlich verabschiedetes US-Gesetz nutzen, um sich zu schützen. Der Take it Down Act soll Menschen helfen, gegen die nicht-einvernehmliche Verbreitung sexualisierter Bilder vorzugehen.

Einem Bericht von heise online zufolge prüfen in Frankreich derweil bereits Staatsanwälte, wie man mit dem Digital Services Act der EU auf die Fälle reagieren kann. Auch die Europäische Kommission sieht in den sexualisierten Bildern einen Fall für den Digital Services Act. Das Vorgehen reiht sich in laufende Untersuchungen gegen X wegen Verstößen gegen europäische Plattformgesetze ein.

Auch die britische Kommunikationsaufsicht Offcom verlangt Antworten von xAI zu der Thematik. Ebenso haben sich Regierungen von Malaysia und Indien kritisch geäußert.

Auch Meta und OpenAI setzten auf erotische Inhalte

KI-generierte Erotikinhalte sind inzwischen kein Nischenphänomen mehr. Vielmehr setzen KI-Firmen im großen Stil auf romantische und sexuelle Inhalte, um ihre Bots zu vermarkten. So kündigte Sam Altman, Vorstandschef von Open AI, im Oktober 2025 einen Erotik-Modus für ChatGPT an. Das Add-on ist noch nicht verfügbar und soll nach einer Altersprüfung nutzbar sein.

Meta wiederrum stand kürzlich in der Kritik, weil sein Chatbot Meta AI auf Facebook, WhatsApp und Instagram auch Minderjährigen romantische Interaktionen ermöglichte.

Im Fall eines Rentners aus New York führte eine romantische Konversation sogar zu einem tödlichen Unfall. Der 76-Jährige hatte sich in den Meta-Chatbot „Big Sis Billie“ verliebt und wurde von diesem aufgefordert, ihn an einer bestimmten Adresse zu besuchen. Der Chatbot beteuerte mehrmals, wirklich real zu sein. Auf dem Weg zu dem vermeintlichen Date stürzte und verstarb der Rentner.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.