🔒
Es gibt neue verfügbare Artikel. Klicken Sie, um die Seite zu aktualisieren.
✇netzpolitik.org

Interne Dokumente: Trilog zur Chatkontrolle geht in entscheidende Phase

Von: Andre Meister

Die EU-Institutionen verhandeln zentrale Aspekte der Chatkontrolle. Rat und Parlament streiten, ob Internet-Dienste alle Nutzer freiwillig scannen dürfen oder verdächtige Nutzer verpflichtend scannen müssen. Wir veröffentlichen eingestufte Verhandlungsdokumente.

Mann im Anzug mit Glocke
Zypern hat die EU-Ratspräsidentschaft. – Alle Rechte vorbehalten: Zyprische EU-Ratspräsidentschaft

Seit vier Jahren verhandeln die EU-Institutionen über die Chatkontrolle, seit einem halben Jahr im Trilog. Jetzt verhandeln sie die heikelsten Fragen.

Die Kommission will Hoster und Kommunikations-Dienste verpflichten, die Inhalte aller Nutzer auf Straftaten zu durchsuchen. Das Parlament will Internet-Dienste verpflichten, die Inhalte verdächtiger Nutzer auf Straftaten zu durchsuchen. Die EU-Staaten wollen keine Verpflichtung für Internet-Dienste, sie sollen Inhalte freiwillig scannen dürfen.

Der vierte Trilog fand am 11. Mai statt. Wir veröffentlichen einen Bericht aus Brüssel. Danach hat die Ratspräsidentschaft neue Kompromissvorschläge vorgelegt. Wir veröffentlichen die Entwürfe vom 26. Mai und vom 29. Mai. Im Rat diskutieren die Referent:innen für Justiz und Inneres diese Vorschläge. Wir veröffentlichen eingestufte Protokolle vom 21. Mai und von vorgestern 10. Juni.

Keine verschlüsselten Inhalte



Die EU-Institutionen haben sich „vorläufig darauf geeinigt“, verschlüsselte Inhalte aus dem Anwendungsbereich des Gesetzes auszunehmen. Damit dürfte das umstrittene Client-Side-Scanning raus sein. Wenn das so bleibt, ist das ein großer Erfolg.

Darüber hinaus haben die Gesetzgeber bisher vor allem weniger Kontroverse Punkte verhandelt, darunter Allgemeine Bestimmungen sowie Pflichten zum Entfernen und Sperren bekannter Straftaten.

Seit kurzem bearbeiten sie den größten Brocken: Die „Aufdeckung“ illegaler Inhalte. In dieser Frage liegen die Positionen der EU-Institutionen „besonders weit auseinander“. Eine zentrale Frage ist, ob Anbieter Inhalte ihrer Nutzer scannen dürfen oder müssen. Eine weitere Frage ist, wie viele Nutzer und Inhalte die Anbieter scannen.

Freiwillig oder verpflichtend



Die Ratspräsidentschaft schlägt mehrere Optionen vor: freiwillige Chatkontrolle für nicht-öffentliche Inhalte wie Cloud-Speicher und Kommunikation, verpflichtende Chatkontrolle für öffentliche Inhalte wie Web-Inhalte und verpflichtende Chatkontrolle für nicht-öffentliche Inhalte.

Die EU-Staaten haben sich geeinigt, eine verpflichtende Chatkontrolle abzulehnen. Aber zum Kompromissvorschlag der Ratspräsidentschaft haben sie noch keine einheitliche Meinung.

Seit Jahren scannen einige Big-Tech-Unternehmen die Inhalte ihrer Nutzer anlasslos. Das ist spätestens seit April illegal, sie machen trotzdem weiter.

Freiwillig, aber weitgehend



Einige Staaten wollen, dass solche Unternehmen weiterhin viele Inhalte möglichst vieler Nutzer scannen. Vor allem Frankreich und Ungarn fordern „einen möglichst breiten Anwendungsbereich insbesondere bei freiwilliger Aufdeckung“. Die Franzosen haben „hier keinen Spielraum für Verhandlungen“.

Aber auch Deutschland spricht sich für eine weitgehende Chatkontrolle aus, entgegen anderslautender Äußerungen der Bundesregierung.

Andere Staaten sehen weiterhin jede Chatkontrolle durch Internet-Anbieter kritisch, darunter Italien, Polen und Österreich.

Der juristische Dienst der EU-Staaten bezeichnet eine anlasslose Chatkontrolle von Kommunikation als rechtswidrig. Die Juristen lehnen auch den aktuellen Vorschlag ab, „da man es weiterhin mit genereller Suche in interpersoneller Kommunikation zu tun habe“. Freiwilliges Scannen öffentlicher Inhalte halten sie jedoch für „unproblematisch“.

Deutliche Zweifel an Verpflichtung



Kommission und Parlament wollen Anbieter auch gegen deren Willen verpflichten können, Inhalte ihrer Nutzer zu scannen. Das kann Hoster wie Hetzner oder Mail-Dienste wie Posteo betreffen. Die sollen aber nicht alle Nutzer scannen, sondern nur verdächtige Nutzer-Gruppen.

Die EU-Staaten haben „deutliche Zweifel“ an der „Praxistauglichkeit“ dieses Vorschlags. Gegen Verdächtige stehen Ermittlern schon jetzt „andere Instrumente zur Verfügung“. Die Polizei kann dann Nutzer-Daten von den Anbietern anfordern und selbst auswerten.

Österreich kritisiert die verpflichtende Chatkontrolle und fordert, „das Verhältnis zu strafrechtlichen Ermittlungen“ zu klären. Mehrere Staaten schließen sich an und fragen nach der „Trennlinie zu strafrechtlichen Ermittlungen“. Lettland fragt, „wo der Mehrwert sei“. Die Kommission fragt, wer die verdächtigen „Personen oder Gruppen identifiziere und auf welcher Basis“.

Verhandlungen gehen weiter



Ende Juni geht die Ratspräsidentschaft von Zypern an Irland. Wie jede Ratspräsidentschaft will auch Zypern die Verhandlungen unter seinem Vorsitz abschließen. Das bleibt das offizielle Ziel. Gegenüber netzpolitik.org hat ein Sprecher jedoch bereits eingeschränkt, nur noch „möglichst große Fortschritte erzielen“ zu wollen.

Der nächste Termin für den offiziellen Termin ist am 29. Juni. Bis dahin verhandeln die Fachpolitiker der Institutionen.

Wenn sich Parlament und Rat auf eine gemeinsame Version einigen, müssen beide das Gesetz noch formal annehmen.




Hier die Dokumente in Volltext:



  • Datum: 18. Mai 2026
  • Von: Deutscher Bundestag
  • Betreff: Bericht aus Brüssel


Keine Einigung zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern im Internet


Zusammenfassung


  • Vier Jahre nach Vorlage des Kommissionsvorschlags für eine Verordnung zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern im Internet fand am 11. Mai 2026 der vierte Trilog statt. Trotz Fortschritten konnte keine finale Einigung gefunden werden.
  • Besonders weit liegen die Positionen in der Frage nach Aufdeckung auseinander. Während der Rat rein freiwillige Maßnahmen fordert, befürwortet das Europäische Parlament (EP) als letztes Mittel verpflichtende Aufdeckungsanordnungen für Justizbehörden bei begründetem Verdacht.
  • Der politische und zeitliche Druck ist groß, denn momentan besteht eine Regelungslücke: Eine Ausnahmeregelung, die es Dienstanbietern ermöglichte, sexuellen Kindesmissbrauch im Internet freiwillig aufzudecken, lief am 3. April 2026 aus und kann nicht verlängert werden, da in der Abstimmung im Europäischen Parlament (EP) keine gemeinsame Position gefunden werden konnte. Die den Providern inzwischen untersagte freiwillige Meldung online gestellter Bilder und Videos sei dabei häufig die einzige Möglichkeit für die Aufdeckung von Fällen sexuellen Missbrauchs gewesen.
  • Das Ziel der Verhandlungspartner ist ein Abschluss des Dossiers vor Sommer 2026, doch noch gibt es keine konkreten Ideen für einen gangbaren Kompromisstext.



Nach nunmehr vier Jahren intensiver Beratung über den Verordnungsvorschlag zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern vom 11. Mai 2022 (CSAM-Verordnung) brachte auch der vierte Trilog am 11. Mai 2026 keine endgültige Einigung zutage. Von den Beteiligten wird erneut die konstruktive Arbeitsatmosphäre betont, die in den ersten drei Trilogen zur Klärung von weniger umstrittenen Fragen geführt habe, doch der kontroverseste Aspekt im Dossier, die Aufdeckungsanordnung, war erneut nicht auf der Tagesordnung: Diese führte schon bei Vorlage des Kommissionsvorschlags in einigen Mitgliedstaaten, allen voran Deutschlands, für z.T. heftige Reaktionen und Ablehnung. Stattdessen standen u. a. die Entfernungs- und Sperranordnungen im Fokus, um Darstellungen von sexuellem Kindes-missbrauch in allen Mitgliedstaaten entfernen oder sperren zu lassen.

Auch einigte man sich auf Details zu verlängerten Antwortfristen auf Löschanordnungen für Kleinst‑, kleine und mittlere Unternehmen. Einige der erreichten Kompromisse dienten dabei dem Ziel, den Verordnungstext mit dem Gesetz über digitale Dienste (Digital Services Act, DSA) in Einklang zu bringen.

Der zeitliche und politische Druck für eine finale Einigung ist groß. Eine Übergangsregelung, die es Internetanbietern rechtlich erlaubte, Darstellungen von sexuellem Kindesmissbrauch im Internet freiwillig aufzudecken, zu entfernen und den Strafverfolgungsbehörden zu melden, lief am 3. April 2026 aus und wurde vom EP abgelehnt, da keine gemeinsame Position mit dem Rat gefunden werden konnte. Damit besteht aktuell eine Regelungslücke, da kooperationswilligen Internetprovidern nun nicht mehr erlaubt ist, kinderpornografische Inhalte auf ihren Webseiten zu suchen, zu entfernen und den Strafverfolgungsbehörden zu melden.

Zur Erinnerung: Am 11. Mai 2022 legte die Kommission den Entwurf der CSAM-Verordnung zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern vor. Ziel war, Anbieter von Online-Diensten zur Verhinderung, Aufdeckung, Meldung und Entfernung von Missbrauchsdarstellungen sowie zur Unterbindung von Grooming (sexuelle Anbahnung) zu verpflichten. Um Opfern mehr Gehör zu verschaffen, soll zudem ein EU-Zentrum als dezentrale EU-Agentur eingerichtet werden, flankiert durch ein Netzwerk nationaler Koordinierungsstellen. Darüber hinaus sollten Anbieter bestimmter Online-Dienste den freiwilligen Einsatz von Technologien zur Bekämpfung des sexuellen Missbrauchs von Kindern ermöglichen. Die bisherige Verordnung, die dies ermöglichte, lief am 3. August 2024 aus und wurde durch die eingangs erwähnte Interimsverordnung ersetzt. Um eine Regelungslücke zu vermeiden, waren die Ko-Gesetzgeber unter dänischer Ratspräsidentschaft ursprünglich bestrebt, die CSAM-Verordnung bis zum Frühjahr 2026 abzuschließen. Nachdem unter zypriotischer Ratspräsidentschaft der erste Trilog am 26. Februar 2026 stattfand, wurde für den Abschluss der CSAM-Verordnung Juni 2026 avisiert. Damals ging man dem Vernehmen nach noch davon aus, dass die Interimsverordnung verlängert werde, da ein Kompromiss bei der Aufdeckungsanordnung durch weit voneinander divergierende Positionen in weiter Ferne schien.

Aufdeckungsanordnung: Freiwillig oder als letztes Mittel verpflichtend



Die Aufdeckungsanordnung, die im ursprünglichen Kommissionsvorschlag Anbieter von Hostingdiensten oder interpersoneller Kommunikationsdienste verpflichtete, mit verschiedenen Technologien sexuellen Kindesmissbrauch in ihren Diensten aufzudecken, wurde im Rat v.a. von Deutschland, aber auch anderen Mitgliedstaaten abgelehnt, da eine anlasslose Überprüfung als unverhältnismäßiger Eingriff in Grundrechte gewertet wurde. Wegen einer befürchteten „Massenüberwachung“ rückten sowohl Rat als auch EP in ihren Positionen weit vom Kommissionsvorschlag ab: Unter dänischer EU-Ratspräsidentschaft gelang die partielle Allgemeine Ausrichtung, die rein freiwillige Aufdeckungsmaßnahmen vorsieht, wie sie bereits in der o. g. Interimsverordnung galten. Im EP gelang dem Berichterstatter Javier Zarzalejos (EVP/ESP) im federführenden Ausschuss für bürgerliche Freiheiten, Justiz und Inneres (LIBE) bereits am 24. Oktober 2023 eine Einigung, die ebenfalls eine massenhafte Überprüfung ablehnte. Justizbehörden sollte aber als letztes Mittel die Aufdeckungsanordnungen ermöglicht werden, sofern begründete Verdachtsmomente auf eine, auch indirekte, Verbindung zu Missbrauchsmaterial hindeuten. Einigkeit besteht zwischen den Ko-Gesetzgebern, dass Ende-zu-Ende verschlüsselte Kommunikationsinhalte von Aufdeckungstechnologien ausgenommen bleiben sollen.

Obwohl EP und Rat über die Frage nach einer rein freiwilligen oder bei eindeutigem Verdacht verpflichtenden Aufdeckungsmaßnahme uneins waren, setzte man dem Vernehmen nach in allen drei Institutionen darauf, dass die o. g. Interimsverordnung nach Auslaufen am 3. April 2026 verlängert werde. Die Ablehnung im EP habe im Rat und in der Kommission für großen Unmut gesorgt und wird als Rückschlag für die Prävention von Kindesmissbrauch im Internet gewertet. Der Ablehnung im Parlament waren kurzfristige verschiedene Änderungen zur funktionalen Zusammenarbeit zwischen Internetprovidern und Polizei sowie zum Verbot nach bislang unbekannten Missbrauchsdarstellungen vorausgegangen. Für den abgeänderten Vorschlag fand sich im Ausschuss keine Mehrheit, sodass keine Position des EP beschlossen werden konnte.

Ausblick



Zwar betonen alle Seiten weiterhin eine konstruktive Arbeitsatmosphäre, doch die jahrelangen Verhandlungen zeigen, wie weit die Positionen im Spannungsfeld zwischen Daten- und Kinderschutz voneinander entfernt sind. Dass die Interimsverordnung, die den Verhandlungen mehr Zeit erkauft hätte, am 3. April 2026 ausgelaufen ist und nicht verlängert wurde, sollte den Druck auf die Trilogparteien erhöhen. Doch gehen Beteiligte nicht davon aus, dass ein Kompromiss im fünften Trilog am 29. Juni 2026 unter zypriotischer Ratspräsidentschaft noch gefunden werden kann. Vereinzelt wurde die Meinung vertreten, dass sowohl der Rat als auch das EP in ihren Positionen zur Aufdeckungsanordnung deutlich flexibler werden müssten und eine für beide Seiten tragbare Lösung außerhalb der Verhandlungsmandate des EP und des Rates gefunden werden müsste. Das bringe der Arbeitsebene im EP zufolge aber auch die zusätzliche Gefahr mit sich, dass das Parlament dem Ergebnis der Trilogverhandlungen auf Grundlage eines erweiterten Mandats am Ende doch nicht zustimmen könnte. Ebenfalls werde befürchtet, dass das Momentum verloren gehen könne und festgefahrene Positionen sich auf lange Zeit halten könnten. Die den Providern nun nicht mehr erlaubte freiwillige Meldung von online gestellten Bildern und Videos sei häufig die einzige Möglichkeit gewesen, um auf Fälle sexuellen Missbrauchs aufmerksam zu machen. Es werde aber der Arbeitsebene zufolge nun darauf gehofft, dass die aktuell entstandene Regelungslücke zusätzlichen Druck in den Migliedstaaten erzeugt und so Bewegung in die festgefahrenen Verhandlungen bringt. Der fünfte Trilog ist für den 29. Juni 2026 geplant.



  • Geheimhaltungsgrad: Verschlusssache – Nur für den Dienstgebrauch
  • Datum: 21. Mai 2026
  • Von: Ständige Vertretung der BRD bei der EU
  • An: Auswärtiges Amt
  • Kopie: BMI, BMJV, BKAmt, BMBFSFJ, BMF, BMG, BMWE, BMWK
  • Betreff: Sitzung der JI-Referent*innen zur CSA-VO am 21. Mai 2026
  • Zweck: Zur Unterrichtung
  • Geschäftszeichen: 350.80


Sitzung der JI-Referent*innen zur CSA-VO am 21. Mai 2026



Vorsitz verwies eingangs auf die Bezugsdokumente (9139/26, WK 6982/26). Hierzu könnten MS sich bis zum 29. Mai schriftlich äußern.

Anschließend skizzierte Vorsitz kurz die Ergebnisse des letzten Trilogs, wie auch in den Bezugsdokumenten aufgeführt. Es gäbe insbesondere noch Gesprächsbedarf zur Frage, welche Behörde welche Anordnungen erlassen dürfe. Delisting und grenzüberschreitende Anordnungen habe EP nicht in seinem Mandat, zeige hier aber Flexibilität. Bei den blocking orders könne man sich vermutlich nur auf bekanntes Material mit dem EP verständigen. Bei der Frage, ob Audiokommunikation im Anwendungsbereich sein solle, hätte EP jedoch eine rote Linie.

In der anschließenden Aussprache legte AUT Prüfvorbehalt gegen alle die Kompetenzen der jeweiligen Behörden betreffenden Passagen ein und bat um einen eigenen Abschnitt zu Handbüchern. Auch SWE äußerte hier Bedenken und plädierte für eine reinen Verweis auf die CSA-Richtlinie. Wir begrüßten ebenso wie SVN die getroffene Einigung. POL machte darauf aufmerksam, dass die Handbücher nur unter den Anwendungsbereich fallen dürften, wenn sie eindeutig strafbare Inhalte hätten.

FRA bat um Umformulierung von EG 9a), um Vorfestlegungen in der Diskussion zum Zugang zu Daten zu vermeiden. Bei den Anordnungen bitte FRA um Berücksichtigung des bewährten nationalen Systems und entsprechende Textarbeit. Auch LVA bat hierzu um Beibehaltung der Ratsposition bzw. Angleichung an die TCO-VO (ähnlich HUN).

Neben uns begrüßte auch ITA die Begrenzung auf nummernunabhängige Dienste und die vorgesehene review clause, wohingegen sich LVA, HUN und ESP gegen die Begrenzung aussprachen. POL zeigte sich ebenfalls skeptisch und plädierte für eine starke review clause.

ITA sah es als notwendig an, Entfernungsanordnungen nur durch eine justizielle oder unabhängige Behörde zu erstellen oder zumindest unter deren Aufsicht.

HUN, POL, BGR, ESP und SVN plädierten für die Beibehaltung von Audiokommunikation im Anwendungsbereich, da dies für den Aspekt des Grooming wichtig sei.

Im zweiten Teil der Sitzung stellte Vorsitz erste Überlegungen für einen Umgang mit den verschiedenen Positionen des Rates und des EP zur Aufdeckung von CSAM vor. Eine Lösung könne eine Mischung aus freiwilliger Aufdeckung und gezielten Aufdeckungsanordnungen sein. Man wolle in Teilen die bisherige Interims-VO in die CSAM-VO integrieren. Auch sei eine proactive Suche durch das Zentrum in öffentlich zugänglichem Material angedacht. KOM nannte die Ideen vielversprechend. Es sei klar, dass eine mögliche Lösung von beiden Seiten Kompromisse verlange. Eine Einigung würde aber auf jeden Fall die jetzige Situation verbessern.

Auf LUX Nachfrage stellte Vorsitz klar, dass das Ratsmandat sich nicht mit Ende-zu-Ende Verschlüsselung befasse, weil dort keine Aufdeckungsanordnungen enthalten seien. Angesichts der EP Position sei aber davon auszugehen, dass Ende-zu-Ende Verschlüsselung auch bei einer Kompromisslösung nicht unter den Anwendungsbereich fallen werde.

Vorsitz kündigte an, in Kürze einen Textvorschlag zu übermitteln. Es sei wünschenswert, bis zur nächsten Sitzung der JI-Referent*innen am 2. Juni eine erste Einschätzung bzw. Kommentare/Textvorschläge hierzu zu erhalten. Ein weiteres Treffen der JI-Referent*innen sei Mitte Juni geplant. Sollte man einen Kompromiss mit dem EP erzielen, dann werde man am 24. oder 26. Juni den AStV befassen. Am 29. Juni plane man den letzten Trilog unter CYP Vorsitz. Des Weiteren werde Vorsitz ein Dokument mit Kompromisstexten zu den Art. 22, 33–39 sowie allen Artikeln zum Risikomanagement übersenden.



  • Geheimhaltungsgrad: Verschlusssache – Nur für den Dienstgebrauch
  • Datum: 11. Juni 2026
  • Von: Ständige Vertretung der BRD bei der EU
  • An: Auswärtiges Amt
  • Kopie: BMI, BMJV, BKAmt, BMBFSFJ, BMF, BMG, BMWE
  • Betreff: Sitzung der JI-Referent*innen zur CSA-VO am 10. Juni 2026
  • Zweck: Zur Unterrichtung
  • Geschäftszeichen: 350.80


Sitzung der JI-Referent*innen zur CSA-VO am 10. Juni 2026


I. Zusammenfassung und Wertung



Bei der ersten substanziellen Aussprache zum Vorschlag des Vorsitz zu freiwilliger Aufdeckung und Aufdeckungsanordnung zeigte sich ein uneinheitliches Bild.

Während einige MS weiterhin einen möglichst breiten Anwendungsbereich insbesondere bei freiwilliger Aufdeckung bevorzugten (sehr deutlich dazu neben uns auch FRA), zeigten sich POL, AUT, LUX und ITA bekannt kritisch.

An der Praxistauglichkeit der auf einen bestimmten Personenkreis begrenzten Aufdeckungsanordnung gab es deutliche Zweifel und es wurde mehrfach die Frage gestellt, wo man die Trennlinie zu strafrechtlichen Ermittlungen und den entsprechenden Instrumenten ziehe.

KOM begrüßte den vom Vorsitz gewählten Ansatz, welcher zwischen Aufdeckung in öffentlich zugänglichen Inhalten und in nicht-öffentlich zugänglichen Inhalten (u.a. interpersonelle Kommunikation) unterscheide.

JD sah auch bei diesem Vorschlag nicht alle rechtlichen Bedenken ausgeräumt, wobei die freiwillige Aufdeckung in öffentlich zugänglichen Inhalten als unproblematisch erachtet wurde.

II. Im Einzelnen



Auf Bitten des Vorsitz gab es eine volle Tischumfrage zu Dok. 9659/26, wobei Vorsitz vorausschickte, dass man lediglich eine erste Einschätzung erwarte. Schriftliche Kommentare könnten in Vorbereitung der nächsten JI-Referent*innen Sitzung am 17. Juni übermittelt werden.

LTU, GRC, SVK, MLT, BGR, ROU, FIN (mit Hinweis auf kritische Haltung des nationalen Parlaments), SVN, CZE, SWE, DNK und BEL legten Prüfvorbehalt ein, wobei LTU, GRC, MLT, SVN, SWE und BEL diesen als positiv bezeichneten.

ESP macht deutlich, dass man auf Grooming nur verzichten werde, wenn das EP im Gegenzug von einigen seiner Positionen abrücke.

ITA zeigte sich erneut sehr kritisch und stellte folgende Forderungen auf: Definition auch von non-publicly accessible (auch LUX, PRT), own initiative search im öffentlichen und nicht öffentlichen Bereich nur für bekanntes CSAM (auch POL), Ausstellung von Aufdeckungsanordnungen durch Justiz (auch POL), Aufdeckungsanordnungen nur für bekanntes CSAM, ggf. auch neues CSAM, wenn auf Verdächtige begrenzt, keine proaktive Suche durch das Zentrum.

LVA sprach sich für einen weiten Anwendungsbereich (bekanntes Material, neues Material, Grooming) aus (auch HRV, SWE) und unterstützte im Übrigen den Ansatz des Vorsitz bei der freiwilligen Aufdeckung, wobei die Möglichkeit der Untersagung noch geprüft werde. Zu Punkt E stelle sich die Frage, wo der Mehrwert sei, da den Behörden dann andere Instrumente zur Verfügung stünden (auch SWE).

LUX verwies auf die bekannte Position, welche sich nicht geändert habe. Nach wie vor seien die rechtlichen Probleme nicht beseitigt.

NLD stellte die Frage, ob das ganze System funktionieren könne (auch SVN, HUN) und bat um eine systematische Darstellung. Aufdeckung im öffentlichen Bereich werde unterstützt. Es bestehe Klärungsbedarf, wie die Ausführungen zur Verschlüsselung zu verstehen seien. Die gezielte Aufdeckungsanordnung klinge zunächst gut, aber es sei fraglich, ob sie bei diesen engen Voraussetzungen überhaupt jemals zum Einsatz komme (ähnlich SVK).

EST sah es als notwendig an, den Anwendungsbereich anhand der verfügbaren Technologien einzugrenzen. Bekanntes und neues Material wäre weitgehend machbar, aber Technologien zur Detektion von Grooming seien noch zu unsicher. E2EE müsse weiterhin ausgeschlossen werden. Eine Anordnung von Aufdeckungsanordnungen durch die Justiz sei zu aufwändig (auch SWE). Die Rolle des Zentrums müsse noch geklärt werden. Dieses solle die MS unterstützen und nicht mit Bürokratie belasten.

AUT erneuerte die kritische Haltung ggü. Aufdeckungsanordnungen. Es sei auch nicht klar, wer tatsächlich von den nur unter engen Bedingungen auszustellenden Aufdeckungsanordnungen im nicht-öffentlichen Bereich betroffen sein würde. Hier müsse das Verhältnis zu strafrechtlichen Ermittlungen geklärt werden.

HRV stellte die Frage, wer bei der Aufdeckungsanordnung feststelle, ob die Kriterien erfüllt seien, z.B. dass ein Dienst „missbraucht“ werde, und auf welcher Basis dies erfolge. HRV sehe auch die Gefahr, dass Dienstanbieter nicht mehr freiwillig suchen würden, sondern auf Aufdeckungsanordnungen warten würden.

Ich kündigte unsere schriftliche Stellungnahme an und skizzierte die dortigen Kernaussagen.

PRT zeigte sich generell zufrieden mit dem Vorschlag, Grooming könne aber im Anwendungsbereich nicht unterstützt werden.

FRA sah die Notwendigkeit eines breiten Anwendungsbereichs bei der freiwilligen Aufdeckung (auch HUN). Man habe hier keinen Spielraum für Verhandlungen. Es sei ganz klar, dass man nach neuem Material suchen müsse, welche dann ja auch zu bekanntem Material werde. FRA wolle auch die Weiterleitung von Meta- und Verkehrsdaten (auch SWE). Bei Aufdeckungsanordnungen stelle sich die Frage, welche Informationen konkret vom Diensteanbieter verarbeitet würden.

HUN sah die Gefahr, dass man sich möglicherweise bei strafrechtlichen Ermittlungen selbst begrenze, wenn man bestimmte Technologien bei einem „Verdachtsfall“ festschreibe.

Vorsitz erklärte, dass man sich bei den Definitionen an der TCO-VO orientiert habe. Wenn man publicly accessible definiere, sei alles, was nicht darunter falle, non-publicly accessible. Wenn man beides definiere, dann bestehe die Gefahr einer Lücke oder einer Überlappung. Man habe bewusst die Regelungen der vorübergehenden Ausnahme übernommen und mit der Möglichkeit der Untersagung weitere Safeguards hinzugefügt. Zu den Bedingungen für die Aufdeckungsanordnungen sehe man die Anbieter in der Pflicht. Diese müssen die notwendigen Informationen für eine entsprechende Einschätzung haben.

KOM begrüßte den Ansatz des Vorsitz, nach öffentlichem und nicht-öffentlichen Bereichen zu trennen. Auch die Aufdeckungen im öffentlichen Bereich bringe einen Mehrwert. Hier sei es aber dann auch notwendig, dass der Anwendungsbereich breit bleibe. Zum Grooming gäbe es Beispiele, dass eindeutige Schlüsselbegriffe genutzt würden. Auch das Darknet sei als öffentlich zugänglich einzustufen. Die Indikatoren des Zentrums sollten auch für die freiwillige Aufdeckung in öffentlichen Bereich genutzt werden. Dann sei gewährleistet, dass gemeldetes Material auch tatsächlich illegal sei. Bei der auf bestimmte Nutzer oder Gruppen angewandten Aufdeckungsanordnung sei nicht klar, worin der Mehrwert zu strafrechtlichen Ermittlungsinstrumenten bestehe. Es sei auch nicht klar, wer diese Personen oder Gruppen identifiziere und auf welcher Basis.

JD wiederholte die bekannten Positionen. Die Bedenken seien nicht ausgeräumt, da man es weiterhin mit genereller Suche in interpersoneller Kommunikation zu tun habe. Nun wolle man hierfür den Diensteanbietern eine Rechtsgrundlage mit nur geringen Safeguards geben. Die Interims-VO sei immer als Übergangslösung gedacht gewesen und nach gängiger Meinung keine Rechtsgrundlage zum Scannen von interpersoneller Kommunikation. Selbst die Eingrenzung auf Nutzergruppen sei schwierig, weil nicht klar sei, welche Kriterien hier gelten sollten. Nach Sicht des JD brauche ein eine objektive, ausreichende Verbindung zu CSAM. Eine solche Festlegung sei aber eine staatliche Aufgabe und könne nicht den Diensteanbietern überlassen werden. Freiwillige Suche und Aufdeckung im öffentlichen Bereich sei unproblematisch, da es sich nicht um interpersonelle Kommunikation handele, und bedürfe keiner Rechtsgrundlage. Bei einer Aufdeckungsanordnung zum öffentlichen Bereich sei dies jedoch nur bei bekanntem Material rechtlich einwandfrei, da die Treffer keine Überprüfung des Anbieters vor einer Weiterleitung benötigten. Für „Risikoanbieter“ (z.B. Pornoplattformen) sei dies sogar generell möglich. Die Aufdeckung durch das Zentrum sehe JD aufgrund der gewählten Rechtsgrundlage als kritisch an, sofern kein Auftrag durch die MS oder die Anbieter bestehe. Zudem müsse geklärt werden, auf welcher Basis das Zentrum entscheide, welche Diensteanbieter für eine solche Maßnahme ausgewählt würden. Vorsitz ergänzte, dass man aufgrund der Problematik der Rechtsgrundlage das Verfahren der Treffermeldung durch das Zentrum an die Anbieter gewählt habe. Auf DNK Frage, warum man die vorübergehende Ausnahme nicht einfach 1:1 übernehmen könne, antwortete JD, dass es sich hier um eine Rechtsgrundlage und nicht um eine Ausnahme von einem Verbot handele. Die freiwillige Aufdeckung tauche ja z.B. auch bei der Risikominderung auf und der Anwendungsbereich sei breiter, da z.b. auch Hosting-Dienste umfasst seien.

KOM sah einen Ausweg darin, Treffer bei neuem Material und Grooming dahingehend „rechtsicher“ zu machen, dass eine direkte Weiterleitung an das Zentrum erfolge, ohne zusätzliche Verifizierung durch den Diensteanbieter.

Zu Dok. 9835/26 sah HRV eine rote Linie bei der Anzahl der Mitglieder des Technologieausschusses. HRV wolle hier Plätze für alle MS (auch ITA). KOM gab zu bedenken, dass man die Experten nicht auf EU Bürger begrenzen solle. FIN bat darum, ausreichend Zeit für die Umsetzung der VO zu geben und sprach sich gegen eine kurze Umsetzungsfrist aus.

Vorsitz informierte abschließend über die weiteren Schritte:

ITM am 11. Juni zur Fortsetzung vorheriger Diskussionen. Man werde Ende dieser Woche hierzu ein neues Dokument verteilen. Hierzu seien weitere Kommentare willkommen.

Zu den Art. 3 – 5 warte man derzeit auf Kommentare der KOM. Ein neuer Text solle bis Ende nächster Woche vorliegen. Hierzu erbitte Vorsitz dann Stellungnahmen im Hinblick auf die AStV Befassung am 24. Juni und den letzten Trilog unter CYP Vorsitz am 29. Juni.

Das Dokument für den AStV solle spätestens am 19. Juni vorliegen.

Vorsitz werde auch ein neues 4‑Spalten Dokument vorlegen.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

✇netzpolitik.org

KI-Verordnung: EU-Parlament und Rat einigen sich auf gelockerte Pflichten für die Industrie

Von: Denis Glismann · Chris Köver

Die EU will die KI-Verordnung aufweichen. Eine erste Einigung sieht nun vor, bestimmte Regulierungen für die Industrie abzuschwächen und zeitlich deutlich nach hinten zu verschieben. Hinzugekommen ist ein Verbot von KI-Anwendungen, mit denen sexualisierte Deepfakes erstellt werden können.

Zwei Personen stehen hinter einer Sicherheitsglasscheibe und blicken auf einen Industrieroboter.
Mehr "Künstliche Intelligenz" mit weniger Auflagen, das wünscht sich die Industrie. (Symbolbild) – Alle Rechte vorbehalten: Bild: IMAGO / Westend61, Bearbeitung: netzpolitik.org

Nachdem die EU-Verhandlungen zum digitalen Omnibus Ende April 2026 vorübergehend geplatzt waren, konnten Rat und Parlament gestern Nacht im Trilog eine vorläufige Einigung erzielen; die Kommission war als Vermittlerin beteiligt.

Die Einigung betrifft die Aufnahme des Verbots von sogenannten KI-Nudifiern in die KI-Verordnung. „Nudifier“ sind Anwendungen, mit deren Hilfe sexualisierte Deepfakes erstellt werden können. Außerdem sollen Auflagen für die Industrie beim Einsatz von risikoreichen KI-Systemen begrenzt sowie zentrale Pflichten aus dem AI Act für Hochrisiko-Systeme deutlich nach hinten verschoben werden – auf Ende 2027 und 2028. Der vorliegende Kompromiss zwischen Rat und Parlament muss noch formal bestätigt werden.

Der Trilog war zuvor an der Frage gescheitert, wie in der Industrie mit der Hochrisiko-Kategorie für KI-Systeme umgegangen werden soll, die bereits durch sektorale Bestimmungen reguliert werden. Zentrale Pflichten des AI Acts für besonders risikoreiche KI-Systeme sollten eigentlich bereits ab dem 2. August 2026 wirksam werden. Der Kompromiss sieht nun vor, dass die Anwendung der KI-Verordnung dort begrenzt wird, wo sektorale Sicherheitsanforderungen vergleichbare KI-Regeln enthalten.

Die EU verabschiedete den AI Act (Verordnung über künstliche Intelligenz) im Mai 2024. Er ordnet KI-Technologie vier abgestuften Risikokategorien zu und regelt Pflichten für die Hersteller und Anbieter von KI-Systemen oder Produkten, die KI-Technologie enthalten. KI-Systeme mit inakzeptablem Risiko können verboten werden.

Die EU-Kommission möchte die Regelungen im Rahmen des sogenannten Digitalen Omnibus jedoch vereinfachen, um bürokratische Hürden für Unternehmen abzubauen und Europas Wettbewerbsfähigkeit zu steigern. Das Gesetzespaket ist umstritten. Es enthält unter anderem Lockerungen bei der Datenschutzgrundverordnung oder beim Training von KI mit personenbezogenen Daten.

Verbot von KI-„Nudifiern“


Konkret haben sich Parlament und Rat darauf geeinigt, in Zukunft KI-Anwendungen zu verbieten, mit deren Hilfe man sexualisierte Deepfakes erstellen kann. Das Thema wurde zu einem zentralen Vorhaben, nachdem Nutzer*innen mit dem Chatbot Grok Anfang des Jahres binnen weniger Tage Millionen von nicht-einvernehmlichen Deepfakes erstellt hatten.

Bereits Ende März hatte sich das Parlament dafür ausgesprochen, solche KI-Anwendungen zu verbieten. Im Trilog ging es noch um die Details der Formulierung. Das Verbot umfasst jetzt explizit auch das Erstellen von Inhalten, die sexuellen Missbrauch von Kindern zeigen. Zudem soll es untersagt sein, KI-Anwendungen auf den Markt zu bringen, die ohne Zustimmung Deepfakes von “intimen Teilen einer identifizierbaren Person” oder die Person bei sexuellen Handlungen zeigen.

Die geplante Verschärfung ist nicht die erste EU-Regelung zu Deepfakes. Eine andere Richtlinie sieht bereits vor, dass Mitgliedstaaten die Verbreitung von sexualisierten Deepfakes unter Strafe stellen, wenn diese geeignet sind, einer Person schweren Schaden zuzufügen. Deutschland setzt dies mit dem geplanten Gesetz gegen digitale Gewalt derzeit um. Das geplante Verbot in der KI-Verordnung würde den Fokus von der Bestrafung der Täter*innen auf die Anbieter solcher Anwendungen verschieben.

Im geplanten Text steht nun auch die fehlende Zustimmung der gezeigten Personen als definierendes Merkmal. Fachleute forderten das seit langem. Zugleich kritisiert etwa Ana Ornelas von der European Sex Workers’ Rights Alliance (ESWA), die Beschränkung auf „identifizierbare Personen“. Sie fürchtet, dass dies in der Durchsetzung zu Schlupflöchern führen könnte.

Lockerungen und Fristverlängerung für Industrie


Hochrisiko-KI-Systeme in Bereichen wie Beschäftigung, Bildung, Migration, Strafverfolgung oder kritische Infrastruktur sollen Anforderungen aus dem AI Act erst ab dem 2. Dezember 2027 erfüllen müssen. Für KI in Medizinprodukten, Maschinen oder Spielzeug gilt der 2. August 2028. Anbieter von KI-Systemen müssen diese grundsätzlich in der EU-Datenbank für risikoreiche Systeme registrieren – auch wenn sie der Ansicht sind, die Einstufung als risikoreich träfe nicht zu oder sei ausgenommen.

Die Sonderregelung für Maschinenverordnung schwächt nach Meinung des europäischen Verbraucherverbands BEUC den Verbraucherschutz. Konkret kritisiert der Verband, dass Alltagsgeräte wie Industriemaschinen aus der KI-Aufsicht herausfallen würden. Bei deren Versagen könnten Menschen zu Schaden kommen. Der Deal enthält offenbar auch eine Klausel, mit der die EU-Kommission später weitere KI-Systeme ohne neues Gesetzgebungsverfahren aus dem Geltungsbereich des AI Acts herausnehmen kann. Die Kommission erhalte damit eine Hintertür für künftige KI-Deregulierung.

BEUC-Generaldirektor Agustín Reyna meint, der überhastete Prozess habe ein Gesetz hervorgebracht, das komplizierter und weniger wirksam als vorher sei und vor allem der Industrie nutze.

Zumindest an manchen Stellen scheint der Kompromiss strenger. Die EU-Kommission wollte die Verarbeitung sensibler personenbezogener Daten – etwa Angaben, aus denen Ethnie oder Religion hervorgehen können – zur Bias-Erkennung erleichtern. Rat und Parlament begrenzten hier durch striktere Maßstäbe.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

✇netzpolitik.org

AI Act: Trilog-Verhandlungen über gelockerte KI-Regeln gescheitert

Von: Denis Glismann

Die EU will unter hohem Zeitdruck ihre Regeln für Künstliche Intelligenz aufweichen. Nun sind eigentlich abschließende Verhandlungen gescheitert. Alle Beteiligten machen sich gegenseitig Vorwürfe, am Ende könnten Regeln zum besseren Schutz vor KI-generierten Nacktbildern unter die Räder geraten.

Abgestellter kaputter Bus im Wald.
Dem "Digitalen Omnibus" geht's nicht gut. – Gemeinfrei-ähnlich freigegeben durch unsplash.com: Arno Ryser

Die EU-Institutionen können sich weiter nicht auf eine abgeschwächte Fassung der KI-Verordnung einigen. Medienberichten zufolge sind gut zwölfstündige Trilog-Verhandlungen zwischen dem Europäischen Parlament, dem Rat und der Kommission am Dienstag gescheitert.

Ein zentraler Streitpunkt war offenbar eine vorgeschlagene Ausnahme für risikoreiche KI-Systeme in der Industrie, wie Table Media [€] berichtet. Das Parlament hatte demzufolge vorgeschlagen, die sektorspezifischen Regelungen zu ändern: Industriemaschinen sollten demnach aus der Hochrisiko‑Kategorie herausfallen. Entscheidend für eine Einstufung als Hochrisiko sollte stattdessen die tatsächliche Sicherheitsfunktion der KI werden. Rat und Parlament sind sich in dieser Frage jedoch uneins.

Gestritten wurde dem Bericht zufolge zudem über ein Verbot sogenannte „Nudifier“-Anwendungen. Das sind generative KI‑Systeme, die Menschen auf Foto- oder Videomaterial entkleiden können. Das Parlament möchte nicht‑einvernehmliche intime Inhalte verhindern, es konnte jedoch keine Einigung darüber erzielt werden, welche Körperteile darunterfallen.

Das kritisiert unter anderem Eva Lejla Podgoršek, Senior Policy Managerin bei AlgorithmWatch. Es sei wichtig, „dass die wenigen guten Vorschläge nicht unter die Räder geraten.“ Das geplante Verbot von KI-Systemen, die nicht einvernehmliche sexualisierende Deepfakes ermöglichen, sei ein wichtiger Baustein, um Betroffene wirksam zu schützen.

Wenn drei sich streiten, freut sich niemand


Die Anpassungen der bereits im August 2024 in Kraft getretenen KI-Verordnung sollen im Rahmen des sogenannten Digitalen Omnibus erfolgen. Mit dem von der EU-Kommission vorgeschlagenen Gesetzespaket sollen Vorschriften im digitalen Sektor vereinfacht werden, um bürokratische Hürden für Unternehmen abzubauen und Europas Wettbewerbsfähigkeit zu steigern. Das Paket ist jedoch umstritten. Es enthält auch Lockerungen der Datenschutzgrundverordnung, etwa beim Training von KI mit personenbezogenen Daten oder einer Neudefinition personenbezogener Daten.

Während die Verhandlungen über den Daten-Omnibus sich offenbar länger hinziehen, machten die Beratungen über den KI-Omnibus schnell Fortschritte. Die Zeit drängt: Zentrale Pflichten des AI Acts für besonders risikoreiche KI-Systeme werden ab dem 2. August 2026 wirksam. Diese Fristen sollen mit dem Omnibus aufgeschoben werden. Gestern sind die finalen Verhandlungen allerdings bereits zum zweiten Mal geplatzt.

Laut Table Briefings sieht die zypriotische Ratspräsidentschaft keine Schuld bei sich: „Wir sind mit einer sehr konstruktiven Haltung in die heutige Sitzung gegangen und haben konkrete Vorschläge zur Lösungsfindung unterbreitet“. Man habe während der Verhandlungen ein hohes Maß an Flexibilität gezeigt, aber keine Einigung mit dem Europäischen Parlament erzielen können. Das Ziel der Vereinfachung werde jedoch weiterhin verfolgt.

Stimmen aus dem Parlament sehen dies anders. Es sei „inakzeptabel, dass die Ratspräsidentschaft nicht bereit war, einen substanziellen Kompromiss zu machen, um die Überregulierung von KI zu beenden“, sagte die Europaabgeordnete Svenja Hahn (FDP). Michael McNamara (parteilos), Verhandlungsführer für das EU-Parlament, räumte in einem Interview mit Tech Policy Press jedoch selbst ein, dass die vorgeschlagene Verlagerung in sektorale Gesetze „eher zu Deregulierung als zu einer Vereinfachung führen könnte“.

Schwere Vorwürfe kommen von den Grünen im EU-Parlament, insbesondere gegenüber deutschen Konservativen, wie Euractiv berichtet. Sie werfen der Europäischen Volkspartei vor, das Omnibus-Gesetz bewusst zu verzögern und dabei auch die Hilfe von rechtsextremen Parteien im Parlament in Anspruch zu nehmen. Merz wolle noch weitergehende Lockerungen der KI-Regeln, als sie derzeit verhandelt würden. Das wiederholte Scheitern lassen der Verhandlungen sei ein Schachzug, um Zeit zu gewinnen und so die Positionen der EU-Mitgliedstaaten zu beeinflussen.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

✇netzpolitik.org

KI-Risiken: Breites Bündnis warnt vor verwässerten KI-Regeln

Von: Anna Ströbele Romero

Die geplante „Vereinfachung“ der europäischen KI-Verordnung könnte den Schutz von Verbraucher:innen vor der Technologie erheblich schwächen. Ein breites Bündnis von 32 Organisationen warnt insbesondere vor Lücken bei Medizingeräten und Spielzeug.

Sollten Transparenzregeln nicht mehr gelten, könnten Patient:innen den Einsatz von KI in Medizingeräten womöglich nicht mehr nachvollziehen. – Gemeinfrei-ähnlich freigegeben durch unsplash.com Mathew Schwartz

Die Sorge ist groß, dass die geplante „Vereinfachung“ der europäischen KI-Regeln zu deren Aushöhlung führen könnte. Davor warnt die europäische Verbraucherschutzorganisation BEUC gemeinsam mit 31 anderen Organisationen in einem gemeinsamen Brief an die Verhandler des sogenannten KI-Omnibusses: die EU-Kommission, die zypriotische Ratspräsidentschaft und die Berichterstatter:innen des Europaparlaments Arba Kokalari (EVP) und Michael McNamara (Renew).

Die unterzeichnenden Organisationen vertreten neben Verbraucher:innen und der Zivilgesellschaft auch Ärzt:innen, Krankenhäuser und Gesundheitsdienste, Prüfstellen wie den TÜV sowie die Wissenschaft. Sie befürchten, dass in den aktuellen Trilog-Verhandlungen zwischen EU-Parlament, den EU-Ländern und der Kommission zentrale Elemente der KI-Verordnung zur Diskussion gestellt werden könnten. Die angestrebte Vereinfachung dürfe nicht auf Kosten des Verbraucherschutzes und der Grundrechte gehen, bekräftigt der Brief.

Im Zentrum der Kritik steht eine mögliche Änderung, die das Europäische Parlament in die laufenden Trilog-Verhandlungen einbringt: Bestimmte Sektoren sollen aus dem unmittelbaren Anwendungsbereich der KI-Verordnung ausgenommen werden, darunter Medizintechnik, Funkgeräte, Spielzeug und Maschinen. Abgeordnete und Industrievertreter argumentierten, dass diese Produkte schon unter eigene Sicherheitsvorschriften fallen würden und die Hersteller ansonsten einem doppelten Aufwand ausgesetzt seien.

Zivilgesellschaft warnt vor Lücke

Die Autor:innen des Briefs sehen dies anders: Sie betonen, dass die KI-Verordnung spezifische KI-Risiken reguliere, die in den sektorspezifischen Regeln nicht behandelt würden. Dazu zählen etwa Diskriminierung, Intransparenz und die kontinuierliche Veränderung der Systeme. Durch die Ausnahmen würde eine Regulierungslücke entstehen.

Als Beispiel für die möglichen Nachteile dieser Änderung für Verbraucher:innen nennen sie Medizingeräte. Diese würden zunehmend über KI-Funktionen verfügen, die bei der Diagnose, Behandlung oder Überwachung von Patient:innen zum Einsatz kommen würden. Die derzeitigen sektoralen Regeln für Medizingeräte würden KI-spezifische Risiken aber nicht ausdrücklich berücksichtigen. Ähnliches gelte für Kinderspielzeug.

Die Organisationen bekräftigen darüber hinaus, dass die Regulierung durch diese Änderung komplexer würde statt einfacher. Erstens würde Unsicherheit darüber entstehen, welche KI-Systeme weiterhin der EU-Verordnung unterliegen. Zweitens würde sich die Regulierung zersplittern: Anstatt ein einziges Gesetz für KI zu haben, würden die unterschiedlichen sektoralen Regulierungen gelten. Sollten KI-Risiken dort nachträglich ergänzt werden, müssten womöglich Dutzende Gesetze geändert werden.

Ein fragmentierter und unnötig komplexer Regulierungsrahmen würde nur die Rechtsunsicherheit erhöhen, warnt der Brief: „In einer Zeit, in der die EU bestrebt ist, das Vertrauen in KI zu stärken und ihre technologische Souveränität zu festigen, ist die Wahrung des Vertrauens in einen kohärenten und effektiven Rahmen für die KI-Governance von entscheidender Bedeutung.“

Ergebnis bis Ende April

Beim KI-Omnibus hat die EU bislang ein hohes Tempo vorgelegt. Im November von der EU-Kommission vorgestellt, haben die EU-Länder sowie das Parlament im März ihre jeweiligen Verhandlungspositionen festgezurrt. Ende März fand bereits das erste Trilog-Treffen statt. Aktuell verhandeln die EU-Institutionen in technischen Meetings miteinander, schon am 28. April wollen sie sich auf den finalen Kompromiss einigen.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

✇netzpolitik.org

Freiwillige Chatkontrolle: Big Tech will ohne Rechtsgrundlage weiterscannen

Von: Markus Reuter

Am Wochenende ist die Ausnahmeregelung für die freiwillige Chatkontrolle ausgelaufen. Doch große Tech-Unternehmen wie Google, Meta oder Microsoft wollen weiter massenhaft die private Kommunikation ihrer Nutzer:innen scannen.

Streetart mit einem stilisierten Facebook-Logo, umgeben von mehreren kleineren Facebook-Symbolen und dem Text 'YOU'VE BEEN ZUCKED'
Zuckerbergs Meta-Konzern will weiter die unverschlüsselte Kommunikation der Nutzer:innen durchsuchen. – Gemeinfrei-ähnlich freigegeben durch unsplash.com Annie Spratt

Am vergangenen Samstag ist die europäische Ausnahmeregelung zum Scannen von privater Kommunikation nach Inhalten sexualisierten Kindesmissbrauchs – die sogenannte „freiwillige Chatkontrolle“ oder Chatkontrolle 1.0 – ausgelaufen. Die Tech-Konzerne Google, Meta, Microsoft und Snapchat wollen aber dennoch weiter die Kommunikation ihrer Nutzer:innen massenhaft und anlasslos nach solchen Inhalten durchsuchen. Das verkündeten die Unternehmen am 4. April in einer gemeinsamen Erklärung. Wie genau die Unternehmen die Maßnahmen fortsetzen wollen, ließen sie allerdings offen.

Das Auslaufen der Ausnahmeregelung „trübe“ die Rechtssicherheit, so die vier Konzerne, die sich enttäuscht über das „unverantwortliche Versäumnis“ zeigen. In der Erklärung heißt es weiter, dass man „weiterhin freiwillige Maßnahmen in Bezug auf unsere relevanten Dienste für die interpersonale Kommunikation ergreifen“ werde. Die Konzerne fordern zudem die EU-Institutionen auf, die Verhandlungen über einen Rechtsrahmen abzuschließen.

In einem Schreiben vom 25. März hatten mehrere EU-Kommissare, unter ihnen der Innenkommissar Magnus Brunner, in einem Schreiben an EU-Abgeordnete gewarnt, dass es nach dem 3. April den Anbietern gemäß der ePrivacy-Richtlinie untersagt sei, Material über sexuellen Kindesmissbrauch im Internet nach eigenem Ermessen aufzuspüren und zu melden. In der heutigen Pressekonferenz wollte die EU-Kommission allerdings nicht auf die Frage antworten, ob die eigenmächtige Fortführung der freiwilligen Chatkontrolle durch die Unternehmen gegen EU-Regeln verstoßen würde.

Scheitern mit Ansage

Das Scheitern der freiwilligen Chatkontrolle war vor allem durch die fehlende Verhandlungsbereitschaft des Rates im Trilog zustande gekommen, wie Dokumente belegen, die netzpolitik.org veröffentlicht hat. Das Parlament hatte zuvor dafür gestimmt, dass die freiwillige Chatkontrolle nicht mehr anlasslos sein sollte, sondern nur noch auf Verdacht. Die Mitgliedsstaaten, darunter auch Deutschland, wollten jedoch die Anlasslosigkeit beibehalten. Nach dem Scheitern des Trilogs hatten die Konservativen im EU-Parlament das Thema mit einem Verfahrenstrick noch einmal auf die parlamentarische Agenda gehoben – und waren dort gescheitert.

Die freiwillige Chatkontrolle wird unterschiedlich bewertet. Die Befürworter:innen halten sie für unverzichtbar, um Inhalte und Kriminelle aus dem Bereich des sexualisierten Kindesmissbrauchs ausfindig zu machen. Kritiker:innen weisen darauf hin, dass es sich um bekanntes Material handele und dass man damit keinen laufenden Kindesmissbrauch stoppe. Sie verweisen zudem darauf, dass das anlasslose Scannen von Kommunikation ein tiefer Eingriff in Grundrechte ist.

Der ehemalige Piraten-Europaabgeordnete Patrick Breyer nannte das Aus der anlasslosen Chatkontrolle in einer Pressemitteilung keinen Rückschlag, „sondern eine Chance für echten Kinderschutz“. Statt Massenüberwachung solle auf „Löschen statt Wegsehen“, auf sicheres Design bei Apps, mehr Prävention an Schulen sowie einer Stärkung der Ermittlungsbehörden gesetzt werden.

Verhandlungen über CSA-Verordnung

Ungleich wichtiger als die Ausnahmeregelung der Chatkontrolle 1.0 ist die CSA-Verordnung, welche auch die verpflichtende Chatkontrolle 2.0 enthalten könnte, über die seit vier Jahren gestritten wird. Durch ein eingestuftes Ratsprotokoll vom 13. März, das wir im Volltext veröffentlicht haben, wurde deutlich, dass die EU-Mitgliedstaaten Kompromisse bei der temporären freiwilligen Chatkontrolle 1.0 offenbar als eine Art Vorentscheidung für die weitaus wichtigeren Verhandlungen zur CSA-Verordnung und damit für eine permanente Regelung (Chatkontrolle 2.0) sehen.

Knackpunkt bei der CSA-Verordnung ist die verpflichtende Chatkontrolle. Der EU-Kommission möchte, dass dabei auch verschlüsselte Kommunikationen durchleuchtet werden. Das Parlament hat dies bisher abgelehnt und Maßnahmen nur auf Verdacht gefordert. Auch im EU-Rat hat die anlasslose Chatkontrolle bislang keine qualifizierte Mehrheit gefunden. Die drei Institutionen sind derzeit im Trilog und verhandeln über die Verordnung.

Für die Chatkontrolle nach Wunsch der EU-Kommission wäre Technologie namens Client-Side-Scanning nötig, welche vor der Verschlüsselung Inhalte auf dem Handy oder Computer scannt. Wäre diese Technologie einmal eingeführt, ist verschlüsselte Kommunikation wertlos, weil die Inhalte schon vor dieser angeschaut werden könnten. Es wäre das Ende der privaten und vertraulichen Kommunikation. Wir haben zusammengestellt, warum dies für uns alle gefährlich ist.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

✇netzpolitik.org

Trilog zu Alterskontrollen: Warnung vor „Ausweispflicht für weite Teile des Internets“

Von: Sebastian Meineck · Chris Köver

Sowohl der Rat als auch das EU-Parlament haben Nein gesagt zur verpflichtenden Chatkontrolle. Aber die umstrittene Verordnung birgt weitere Risiken für digitale Grundrechte – und zwar flächendeckende Alterskontrollen. Worüber Kommission, Parlament und Rat jetzt verhandeln.

Ein Stoppschild im Vordergrund. Im Hintergrund eine Fahrbahn mit zwei Schranken.
Die EU will neue Barrieren schaffen (Symbolbild) – Schild: Efrem Efre / Free Pexels Licence; Hintergrund: IMAGO/ Breuel-Bild

Es war ein merkliches Aufatmen Ende vergangenen Jahres. Nach mehr als drei Jahren Verhandlungen hatten sich Vertreter*innen der EU-Staaten im Rat auf eine gemeinsame Position zur sogenannten Chatkontrolle geeinigt, einem der weitreichendsten Überwachungsprojekte der EU.

Hinter der Chatkontrolle stecken Pläne der EU-Kommission, Anbieter von Messengern wie Signal oder WhatsApp auf Anordnung dazu verpflichten zu können, die Kommunikation von Nutzer*innen zu durchleuchten. Vertrauliche Nachrichten müssten sie dann in großem Stil nach sogenannten Missbrauchsdarstellungen durchsuchen – ein fundamentaler Angriff auf sicher verschlüsselte Kommunikation. Anlass ist der Vorschlag für eine Verordnung zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern, kurz: CSA-VO.

Fachleute aus unter anderem Kinderschutz, Wissenschaft, Zivilgesellschaft sind gegen das Vorhaben Sturm gelaufen. Mit dem Nein von Rat und EU-Parlament dürfte die Chatkontrolle vom Tisch sein. Kaum beachtet geblieben ist dabei jedoch ein weiteres Überwachungsvorhaben im Vorschlag der Kommission, und zwar die Einführung von Alterskontrollen.

Die EU-Kommission möchte Anbieter nämlich auch dazu verpflichten dürfen, das Alter ihrer Nutzer*innen zu überprüfen. Betroffen sind Dienste, die Erwachsene nutzen können, um sexuelle Kontakte zu Minderjährigen anzubahnen. Das nennt sich Grooming.

Alterskontrollen laufen oftmals auf invasive Maßnahmen heraus. Nutzer*innen müssten dann zum Beispiel ihr Gesicht biometrisch vermessen lassen, damit eine Software ihr Alter schätzt, oder mithilfe von Dokumenten wie dem Ausweis belegen, dass sie erwachsen sind. Mindestens würde es damit für Millionen Nutzer*innen schwerer, sich frei im Netz zu bewegen. Wenn es nicht gelingt, solche Kontrollen sicher zu gestalten, drohen Datenschutz-Verletzungen und massenhafte Überwachung.

Kommission, Rat und Parlament haben teils widersprüchliche Positionen zu den Alterskontrollen. Aktuell verhandeln sie im sogenannten Trilog über die Verordnung – und damit auch über die Zukunft von Alterskontrollen in der EU. Wir liefern die Übersicht über die zentralen Positionen und die Risiken dahinter.

Das will die EU-Kommission

Der Vorschlag der EU-Kommission sieht eine Verpflichtung zu Alterskontrollen bei „interpersonellen Kommunikationsdiensten“ vor, einfach ausgedrückt: Anbietern mit Chatfunktion.

Sie sollen zunächst selbst das Risiko für Grooming einschätzen, also ob ihre Dienste zum Zweck des „sexuellen Kindesmissbrauchs“ eingesetzt werden könnten. Dabei spielt etwa eine Rolle, wie viele Kinder den Dienst überhaupt verwenden, wie leicht sie von Erwachsenen auf der Plattform kontaktiert werden können und welche Möglichkeiten es gibt, solche Kontakte zu melden.

Potenziell von Grooming betroffene Anbieter sollen dann das Alter ihrer Nutzer*innen überprüfen, um Minderjährige „zuverlässig“ zu identifizieren. Die Konsequenz sollen Maßnahmen zur Risikominderung sein. Zwar nennt der entsprechende Artikel im Entwurf kein konkretes Beispiel – denkbar wären aber zum Beispiel eingeschränkte Chat-Funktionen, die keine Gespräche mit Fremden erlauben.

Vergangene Recherchen über Grooming legen nahe: Diese Regelung könnte viele populäre Plattformen treffen, etwa TikTok, Instagram und Roblox oder das unter Gamer*innen beliebte Discord. Auch Messenger wie WhatsApp oder Signal könnten dazu verpflichtet werden, das Alter ihrer Nutzer*innen zu prüfen.

Entscheidend sind hier die Worte „zuverlässig identifizieren“. Eine schlichte Altersabfrage dürfte kaum genügen. Es geht auch nicht bloß darum, dass Anbieter Schutzfunktionen für Minderjährige bereithalten müssen, damit betroffene Minderjährige (oder ihre Aufsichtspersonen) sie einsetzen können. Stattdessen könnte es sein, dass Nutzer*innen in großem Stil beweisen sollen, dass sie schon erwachsen sind.

Zusätzlich sieht die Kommission eine weitere Altersschranke vor, die noch einen Schritt früher ansetzt, und zwar bei „Stores für Software-Anwendungen“. Darunter dürften mindestens der Google Play Store und Apples App Store fallen, je nach Auslegung auch Spiele-Marktplätze wie Steam. Auch dort müssten Nutzer*innen demnach ihr Alter nachweisen, bevor sie Zugang bekommen.

Das will der Rat der EU

Der Rat der EU vertritt die Regierungen der Mitgliedstaaten. Geht es um Alterskontrollen, deckt sich die Ratsposition weitgehend mit dem Vorschlag der Kommission. Auch der Rat will, dass Anbieter, die ein Risiko zur Kontaktaufnahme mit Kindern bei sich feststellen, das Alter ihrer Nutzer*innen kontrollieren. Das Gleiche will der Rat für App Stores.

Für die Ausgestaltung dieser Kontrollen stellt der Rat weitere Anforderungen auf. Demnach sollen die Maßnahmen Privatsphäre und Datenschutz wahren, transparent, akkurat und dabei auch zugänglich und diskriminierungsfrei sein. Der Rat spricht damit Aspekte an, die sich auch an anderer Stelle in EU-Regeln finden, etwa in den Leitlinien zum Jugendschutz im Netz auf Grundlage des Gesetzes über digitale Dienste (DSA).

Der Knackpunkt: Keine Technologie wird all diesen Anforderungen gerecht. Um den Anspruch zu erfüllen, akkurat zu sein, müssten Prüfungen wohl invasiv sein – sonst lassen sie sich täuschen. Typisch sind Kontrollen mit biometrischen Daten oder auf Basis von Dokumenten wie Ausweispapieren. Erstere können Menschen diskriminieren, die nicht ausreichend in den Trainingsdaten eines KI-Systems repräsentiert sind, etwa Women of Color. Letztere können Menschen ausschließen, die keine Papiere haben.

Das will das EU-Parlament

Das EU-Parlament will bei Alterskontrollen einen anderen Weg einschlagen, wie dessen Position zeigt. Streichen will das Parlament demnach die Pflichten für Alterskontrollen auf der Ebene von App-Stores.

Die Marktplätze sollen demnach bloß deutlich ausweisen, wenn Apps erst ab einem bestimmten Alter vorgesehen sind. Zudem sollen sie bei Apps, die das verlangen, die Zustimmung von Erziehungsberechtigten sicherstellen. Diese Maßnahmen könnten etwa Apple und Google bereits umgesetzt haben: Dort gibt es entsprechende Vorkehrungen für Accounts von Minderjährigen, die an Eltern-Accounts gekoppelt sind.

Für die Anbieter von Kommunikationsdiensten will das Parlament im Gegensatz zu Rat und Kommission keine verpflichtenden Alterskontrollen, sondern optionale. Risiken mindern müssen betroffene Anbieter dennoch; sie hätten allerdings die Wahl, auf welche Weise sie das tun.

Weniger invasive Methoden zur Altersprüfung haben einige Plattformen bereits heute im Einsatz. So will TikTok das Verhalten von Nutzer*innen auf Signale untersuchen, die auf ein zu geringes Alter hindeuten, etwa, mit welchen Accounts sie interagieren.

Das Parlament fordert zudem eine Reihe von Auflagen für Alterskontrollsysteme und wird dabei konkreter als der Rat. Demnach soll es für Nutzer*innen weiterhin möglich sein, anonyme Accounts einzurichten, und es sollen keine biometrischen Daten verarbeitet werden dürfen. Zudem sollen Kontrollen nach dem Zero-Knowledge-Prinzip erfolgen. Praktisch heißt das: Anbieter, bei denen man das eigene Alter nachweist, sollen nichts weiter erfahren, außer ob man die nötige Altersschwelle überschreitet. Ein mögliches Werkzeug dafür ist die von der EU in Auftrag gegebene Alterskontroll-App, die künftig Teil der digitalen Brieftasche (EUDI-Wallet) werden soll.

Für Dienste, die sich an Kinder unter 13 Jahren richten, fordert das Parlament zusätzlich, dass sie standardmäßig in ihren Funktionen hohe Sicherheitsstandards wählen. Sie sollen etwa verhindern, dass Nutzer*innen persönliche Daten teilen oder Screenshots machen können.

Gesondert verlangt das Parlament außerdem Regeln für Pornoplattformen. Diese besondere Gruppe von Anbietern soll verpflichtend das Alter von Nutzer*innen kontrollieren. Das entspräche jedoch im Tenor den Anforderungen aus bereits bestehenden EU-Gesetzen wie der Richtlinie über audiovisuelle Mediendienste und dem DSA.

Das steht auf dem Spiel

Alterskontrollen sind nicht nur ein Thema für Kinder und Jugendliche – es geht nämlich darum, alle Nutzer*innen zu kontrollieren, um Minderjährige herauszufiltern. Die deutsche Europa-Abgeordnete Birgit Sippel (SPD) warnt: „Eine verpflichtende Altersverifikation würde eine Ausweispflicht für weite Teile des Internets bedeuten, und zwar vor allem auch für Erwachsene.“ Diese Warnung würde jedoch voraussetzen, dass die EU eine Pflicht zu Alterskontrollen sehr streng auslegt.

Wenn bei Alterskontrollen die Plattformen zum Türsteher werden und Daten auch für andere Zwecken nutzen können, wäre das „höchst problematisch“, so Sippel weiter. Deshalb brauche es Safeguards wie das Zero-Knowledge-Prinzip. „Schließlich darf die Anonymität und Nutzung von Pseudonymen nicht gefährdet werden.“ Außerdem warnt die Abgeordnete davor, Alterskontrollen als Allheilmittel zu betrachten. „Um Kinder effektiv zu schützen, braucht es eine strukturelle Reform der Plattformen, damit Profit nicht mehr aus dem Geschäft mit missbräuchlichen Inhalten geschlagen werden kann.“ Abgeordnete aus anderen Fraktionen haben sich auf Anfrage von netzpolitik.org nicht geäußert.

Für European Digital Rights (EDRi), dem Dachverband von Organisationen für digitale Freiheitsrechte, beobachtet Politikberater Simeon de Brouwer das Gesetzesvorhaben. „Verpflichtende Altersverifikation bei Diensten für zwischenmenschliche Kommunikation ist gefährlich, weil sie die freie Rede unterdrückt“, warnt er. Je nach Art der Kontrollen könnten ganze Gesellschaftsgruppen ausgeschlossen werden – etwa Menschen ohne Papiere. Außerdem warnt er vor Einschüchterung („chilling effects“), wenn der Zugang zu sicherer Kommunikation hinter verpflichtenden Kontrollen steht.

Auch Alterskontrollen auf App-Marktplätzen lehnt de Brouwer ab. „Ein derartiges Maß an Kontrolle und aufdringlicher Datenverarbeitung sollte nicht normalisiert werden – besonders nicht an einem solchen Nadelöhr.“ Es entstehe keine Sicherheit, sondern Kontrolle, wenn der Zugang zu digitalen Werkzeugen vom Überwinden zentraler Prüfsysteme abhängig gemacht wird.

Svea Windwehr ist Co-Vorsitzende des Vereins für progressive Digitalpolitik D64. „Alle bekannten Technologien zur Altersbestimmung im Netz weisen signifikante Schwächen auf“, schreibt sie auf Anfrage. So seien etwa KI-gestützte Altersschätzungen häufig ungenau und „bergen massive Diskriminierungspotenziale, da ihre Leistung stark von Geschlecht, Alter, Hautfarbe und anderen Merkmalen abhängt“. Verifikation anhand von Ausweisdokumenten wiederum könne „eine signifikante Barriere für gesellschaftliche Teilhabe darstellen“.

Unterm Strich würden neue Pflichten zur Altersverifikation „einen Bärendienst für die Privatsphäre von jungen Menschen im Netz“ darstellen, warnt Windwehr. Vor allem würden sie nichts an den strukturellen Problemen ändern, die Plattformen zu unsicheren Räumen für Kinder machen können. „Der politische Anspruch sollte darin bestehen, an der Wurzel des Problems anzusetzen und Plattformen für ihre Produkte zur Verantwortung zu ziehen, statt vulnerable Nutzende auszuschließen.“

So geht es jetzt weiter

Beim Gesetz steht die EU unter gewissem Zeitdruck. Obwohl viele Dienstleister wie etwa Meta bereits jetzt eine freiwillige Chatkontrolle durchführen, fehlt dafür eine dauerhafte Rechtsgrundlage. Möglich ist die Maßnahme nur durch eine vorübergehende Ausnahmeregelung mit Blick auf die Datenschutz-Richtlinie für elektronische Kommunikation. Die Frist dafür endet jedoch im April 2026. Zumindest Kommission und Rat wollen sie um zwei Jahre verlängern; das Parlament müsste dem noch zustimmen.

Weil der Rat sich jahrelang nicht auf eine Position zur Chatkontrolle einigen konnte, war das ganze Gesetzesvorhaben für lange Zeit blockiert. Erst mit der Einigung auf die Ratsposition Ende November wurde der Weg frei für die informellen Trilog-Verhandlungen zwischen Kommission, Rat und Parlament. Beim Trilog versuchen die drei EU-Organe einen Kompromiss zu finden. Verhandelt wird hinter verschlossenen Türen. Dauer: ungewiss; ein Ergebnis ist nicht garantiert.

„Trotz der Differenzen zeigen das Europäische Parlament und der Rat die feste Absicht, intensiv an dem Vorschlag zu arbeiten und so schnell wie möglich eine Einigung zu erzielen“, sagte jüngst der spanische Abgeordnete Javier Zarzalejos (EVP) während einer Ausschuss-Sitzung am 27. Januar. Er ist der zuständige Berichterstatter der konservativen Fraktion im Parlament.

Nach dem ersten Verhandlungstermin am 9. Dezember sollen Verhandlungen auf technischer Ebene am 15. Januar begonnen haben. Aus diesen bis dato zwei Terminen könne Zarzalejos von „guter Atmosphäre und beachtlichem Fortschritt“ berichten. Diskutiert habe man bisher insbesondere das neue EU-Zentrum – das ist die geplante zentrale Anlaufstelle zur Umsetzung der Verordnung. Der nächste Trilog-Termin soll der 26. Februar sein.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

  • Es gibt keine weiteren Artikel
❌