Internet-Dienste sollen nicht nur sexuellen Kindesmissbrauch suchen, sondern auch andere Inhalte wie Extremismus. Das fordern Deutschland, Frankreich und die Niederlande in einem Diskussionspapier. Tech-Unternehmen lehnen es ab, ihr System zum Datenaustausch auf solche Inhalte auszuweiten.

Die Bundesregierung will Online-Radikalisierung und gewalttätigen Extremismus stärker bekämpfen. Deutschland hat zusammen mit Frankreich und den Niederlanden ein Diskussionspapier mit möglichen Maßnahmen erstellt.

Die Verordnung gegen terroristische Online-Inhalte und das Gesetz über digitale Dienste regeln viele Inhalte bereits. Den Staaten reichen diese Gesetze nicht, denn sie helfen nur gegen terroristische Inhalte, die immer illegal sind. „Gewalttätige extremistische Inhalte“ sind jedoch nicht illegal. Deshalb fordern die Staaten weitere Maßnahmen gegen „schädliche, aber legale“ Inhalte.

Ausweitung auf Terror und Extremismus

Deutschland, Frankreich und die Niederlande fordern einen Verhaltenskodex mit „strengeren Maßnahmen“ für Online-Plattformen. Die Staaten wollen die Unternehmen beispielsweise „ermutigen“, Warnsignale über extremistische Inhalte „an die zuständigen nationalen Behörden weiterzuleiten“.

Die Regierungen „empfehlen“, ein bestehendes Projekt zum Informations-Austausch auszuweiten, „von seinem Schwerpunkt auf Material über sexuellen Kindesmissbrauch auf terroristische und gewalttätige extremistische Inhalte“.

Projekt Laterne gegen Kindesmissbrauch

Vor 20 Jahren haben sich einige Tech-Unternehmen in einer Koalition zusammen geschlossen, um „sexuelle Ausbeutung von Kindern im Internet zu bekämpfen“. Das Bündnis war ursprünglich Teil der Organisation „Nationales Zentrum für vermisste und ausgebeutete Kinder“. Heute hat die „Tech-Koalition“ dutzende Mitglieder, darunter Google, Meta und Microsoft in „führender Rolle“.

Ende 2023 hat die Koalition das Projekt „Laterne“ verkündet. Die beteiligten Unternehmen teilen über das Programm Informationen über Kindesmissbrauch. Sie wollen insbesondere Plattform-übergreifende Versuche vom Missbrauch und Grooming aufdecken.

Die ausgetauschten Informationen können auf Inhalten basieren, wie URLs oder Hashwerte von Fotos und Videos. Sie können aber auch auf Ereignissen basieren. Wenn Accounts Kinderporngrafie konsumieren oder verbreiten, teilen die Unternehmen E-Mail-Adressen oder andere Account-Informationen.

Zweckbindung gegen übermäßige Eingriffe

Das Bündnis Tech-Koalition und das Produkt Laterne haben Sorgfaltspflichten für Menschenrechte entwickelt. Der erste Punkt ist eine Zweckbindung: „Der Anwendungsbereich von Lantern beschränkt sich ausschließlich auf die Bekämpfung sexueller Ausbeutung und Missbrauch von Kindern im Internet, um Datenschutz zu gewährleisten und übermäßige Eingriffe zu minimieren“.

Dieses Grundprinzip will die Bundesregierung gemeinsam mit Frankreich und den Niederlanden kippen. Die Unternehmen sollen mit Laterne nicht nur Missbrauch bekämpfen, sondern auch Extremismus und legale Inhalte.

Beschränkung als Schutzmaßnahme

Auf Anfrage von netzpolitik.org zeigt sich die Tech-Koalition verwundert über den Vorschlag. Eine Sprecherin bestätigt, dass Lantern nicht für andere Inhalte bestimmt ist. „Lantern ist bewusst auf sexuelle Ausbeutung und Missbrauch von Kindern im Internet beschränkt. Das geht aus unserer Mission hervor und dient als Maßnahme zum Schutz von Privatsphäre und Datenschutz.“

Wir haben die Tech-Koalition auch gefragt, ob die Staaten ihren Vorschlag mit dem Bündnis diskutiert haben. Die Antwort: Nein, haben sie nicht.

Wir haben dem Bundesinnenministerium eine Reihe an Fragen gestellt. Eine Sprecherin „bittet um Verständnis, dass wir uns dazu nicht äußern“. Die Vorschläge sind schließlich ein sogenanntes „Non-Paper“ – und damit nicht offiziell zitierfähig.

Von Kinderschutz zu anderen Inhalten

Immer wieder werden staatliche Eingriffe zunächst mit Terrorismus oder Kindesmissbrauch begründet und nach der Einführung auf andere Inhalte ausgeweitet.

Das derzeit verhandelte EU-Gesetz zur Chatkontrolle begründet die Maßnahme mit sexuellem Missbrauch von Kindern. Europol und Abgeordnete fordern eine Ausweitung auf andere Inhalte wie Pornografie und Drogen.

Ein deutsches Gesetz begründete Netz-Sperren mit strafbarer Kinderpornografie. Bundeskriminalamt und Abgeordnete forderten eine Ausweitung auf Killerspiele und Glücksspiele. Heute sperren deutsche Provider Webseiten vor allem wegen Urheberrecht und Jugendschutz.

Die Bundesregierung begründet die Vorratsdatenspeicherung vor allem mit Kinderpornografie. Tatsächlich werden diese Daten schon heute vor allem wegen mutmaßlicher Urheberrechtsverletzungen abgefragt.

Die Tech-Unternehmen haben das Projekt Laterne explizit gegen Kindesmissbrauch gegründet und darauf beschränkt. Jetzt will die Bundesregierung dieses System auf Extremismus ausweiten – selbst wenn der legal ist.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Anfang Februar 2025 gelten die ersten Regel aus dem AI Act. Das Gesetz soll die Gefahren sogenannter Künstlicher Intelligenz eindämmen. Tatsächlich enthält es zahlreiche Ausnahmen. Vor allem Frankreich verhandelte Schlupflöcher mit potenziell weitreichenden Folgen für Europas Grundrechte.

Dieser Artikel wurde von dem Journalistenteam Investigate Europe recherchiert, das aus Reporterinnen und Reportern aus elf europäischen Staaten besteht. Die Recherche wird gemeinsam mit Medienpartnern wie Disclose (Frankreich), EU Observer (Belgien), Il Fatto Quotidiano (Italien), InfoLibre (Spanien), Publico (Portugal) und Efsyn (Griechenland) veröffentlicht.

Ab dem 2. Februar 2025 sind KI-Systeme, die ein unannehmbares Risiko darstellen, in der EU verboten. Das ist im AI Act, der europäischen KI-Verordnung, geregelt. Die ersten dieser Regeln werden bald gültig, bei anderen dauert es noch etwas. Aber der AI Act enthält Ausnahmen und Schlupflöcher. Deshalb dürfen etwa Strafverfolgungsbehörden weiter Gesichtserkennung auf Videoüberwachungsbilder anwenden und an der Grenze dürfen automatisiert die mutmaßlichen Emotionen von Geflüchteten ermittelt werden. Das sind nur einige der Punkte, die die EU-Staaten in den europäischen AI Act hineinverhandelt haben. Dabei sollte das Gesetz eigentlich die zahlreichen Grundrechtsbedenken beim Einsatz von KI-Systemen ausräumen.

Grund für die Ausnahmen ist unter anderem die geheime Lobbyarbeit Frankreichs und anderer EU-Staaten. Das zeigen interne Dokumente aus den Verhandlungen, die Investigate Europe vorliegen. Sie zeichnen ein Bild von Gesprächen, in denen es den Mitgliedstaaten gelang, den Gesetzestext zu verwässern und damit Polizei und Grenzschützern die Möglichkeit zu geben, Bürgerinnen und Bürger heimlich zu überwachen.

Ausnahmen für die „nationale Sicherheit“

„Eine Reihe von bürokratischen Schlupflöchern führt dazu, dass der AI Act nicht das Gesetz zum Schutz der Menschenrechte ist, auf das viele gehofft hatten“, sagt die Direktorin der Brüsseler Nichtregierungsorganisation Equinox, Sarah Chander, die sich gegen rassistische Diskriminierung einsetzt. „In Wirklichkeit ist der AI Act ein industriefreundliches Instrument, das den europäischen KI-Markt schnell voranbringen und den öffentlichen Dienst digitalisieren soll.“

Für die Recherche konnte Investigate Europe mehr als 100 Dokumente aus den Sitzungen des COREPER-Ausschusses sichten, in dem sich die ständigen Vertreter:innen der 27 Mitgliedstaaten treffen. Sie bereiten die Sitzungen des Rats der EU vor. Die Journalistinnen und Journalisten konnten auch mit mehreren Personen sprechen, die an den Verhandlungen beteiligt waren. Sie zeigen, wie Frankreich strategische Änderungen im Gesetzestext durchsetzen konnte.

Das KI-Gesetz verbietet den Einsatz von Gesichtserkennungssystemen im öffentlichen Raum. Ausnahmen, die von der Regierung Macron und ihren Unterstützern in das Gesetz hineinverhandelt wurden, ermöglichen es jedoch, dass Strafverfolgungsbehörden und Grenzschutzbeamte sich nicht immer an dieses Verbot halten müssen. Dies könnte beispielsweise dazu führen, dass Klimademonstrationen oder politische Proteste mit Hilfe von KI überwacht werden, wenn die Behörden eine Gefährdung der „nationalen Sicherheit“ befürchten.

Harter Kampf um Gesichtserkennung

In einer COREPER-Sitzung im November 2022 brachte der französische Verhandlungsführer die Wünsche seiner Regierung unmissverständlich zum Ausdruck. Er habe gefordert, dass „die Ausnahme von Sicherheit und Verteidigung vom Anwendungsbereich unbedingt beibehalten werden muss“, heißt es in einem Protokoll der Sitzung. Damit bezog er sich auf eine Passage im damaligen Gesetzentwurf, laut der nur das Militär Echtzeit-Gesichtserkennung im öffentlichen Raum einsetzen dürfen sollte. In einer späteren Sitzung unterstützten mehrere Staaten die französische Forderung, darunter Italien, Schweden, Finnland, Tschechien, Litauen, Rumänien, Ungarn und Bulgarien.

„Das war einer der härtesten Kämpfe, den wir am Ende verloren haben“, erinnert sich einer der Verhandlungsführer im Gespräch mit Investigate Europe, der seinen Namen nicht in diesem Bericht lesen möchte. Die endgültige Fassung des Gesetzes erlaubt es Staaten, Überwachungstechnologien einzusetzen, wenn es um die nationalen Sicherheit geht.

In der Praxis könnten sich dank dieser Regelung auch private Unternehmen sowie Drittstaaten an der Überwachung von EU-Bürgern beteiligen, wenn sie den Sicherheitsbehörden des Landes KI-Technologie zur Verfügung stellen. Das Gesetz sieht vor, dass die Überwachung zulässig ist – „unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt“.

Schlupfloch für private Unternehmen

„Dieser Artikel verstößt gegen jede Verfassung, gegen die Grundrechte und gegen europäisches Recht“, sagt ein Jurist der konservativen EVP-Fraktion im Europäischen Parlament im Gespräch mit Investigate Europe. „Frankreich könnte zum Beispiel die chinesische Regierung bitten, mit ihren Satelliten Fotos zu machen und diese an die französische Regierung zu verkaufen.“

Die Ausnahme widerspreche auch Urteilen des Europäischen Gerichtshofs, sagt die Rechtswissenschaftlerin Plixavra Vogiatzoglou von der Universität Amsterdam. In den Jahren 2020 und 2022 hatten die Luxemburger Richter geurteilt, dass französische Telekommunikationskonzerne gegen EU-Recht verstoßen hätten, weil sie Daten aus Gründen der nationalen Sicherheit gespeichert hätten. Vogiatzoglou: „Der EU-Gerichtshof hat gesagt, dass private Unternehmen nicht vom EU-Recht ausgenommen sind, auch wenn sie in Fragen der nationalen Sicherheit involviert sind.“

Auch außerhalb der Ratsverhandlungen hat Frankreich in den vergangenen Jahren auf den Einsatz von Überwachungstechnologien gedrängt. So genehmigte das Verfassungsgericht des Landes im Mai 2023 den Einsatz von KI-Systemen zur Videoüberwachung während der Olympischen Spiele in Paris. Diese Maßnahme wurde von Amnesty International als „ernsthafte Bedrohung für bürgerliche Freiheiten und demokratische Prinzipien“ kritisiert. In Zukunft könnte diese Ausnahme zur Regel werden.

Emotionserkennung an der Grenze erlaubt

Ab dem 2. Februar außerdem verboten sind KI-Systeme zur Emotionserkennung am Arbeitsplatz, in Schulen und Universitäten. Außerdem dürfen Unternehmen die Technologie nicht nutzen, um das Verhalten potenzieller Kunden in ihren Geschäften zu analysieren. Auch Arbeitgeber dürfen sie nicht einsetzen, um festzustellen, ob ihre Mitarbeiter zufrieden oder traurig sind. Dank des Einsatzes Frankreichs und anderer EU-Länder dürfen Sicherheitsbehörden und Grenzschützer die Systeme künftig jedoch nutzen.

Bei einer Verhandlungssitzung von COREPER am 29. November 2023 betonte der dänische Vertreter, dass ein Verbot „verhältnismäßig sein muss und nur dann gelten darf, wenn die Gefahr einer Diskriminierung besteht“. Die Niederlande, Portugal und die Slowakei vertraten bei dem Treffen eine ähnliche Position und äußerten sich kritisch zu einer Ausweitung des Verbots auf die Strafverfolgung.

Eine weitere umstrittene Anwendung von KI sind biometrische Kategorisierungssysteme. Deren Betreiber versprechen, damit die ethnische Zugehörigkeit oder sogar die sexuelle Orientierung einer Person bestimmen zu können. Das neue EU-Gesetz verbietet zwar ihren Einsatz, aber hier gibt es ebenfalls eine Ausnahme für Strafverfolgungsbehörden: „Dieses Verbot erstreckt sich nicht auf die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze … auf der Grundlage biometrischer Daten oder auf die Kategorisierung biometrischer Daten“.

Auch hier war es Frankreich, das die Beschränkungen des AI Act aufweichte. In einem schriftlichen Kommentar zum Gesetzentwurf schrieben die französischen Verhandlungsführer am 24. November 2023, es sei „sehr wichtig, die Suche nach einer Person zu ermöglichen, … die ihre religiösen oder politischen Ansichten zum Ausdruck bringt und beispielsweise ein Abzeichen trägt, wenn diese Person in gewalttätigen Extremismus verwickelt ist oder ein terroristisches Risiko darstellt“.

Gesichtserkennungssoftware kann in Echtzeit eingesetzt werden, wenn dies für die Strafverfolgungsbehörden „unbedingt erforderlich“ ist. Die Polizei kann die Technologie bei Ermittlungen zu 16 bestimmten Straftaten einsetzen, darunter „Umweltkriminalität“. Mehrere Staaten drängten darauf, die Liste um Dutzende von Straftaten zu erweitern. Aus dem Protokoll einer COREPER-Sitzung vom November 2023 geht hervor, dass Frankreich auf eine Ausweitung des Anwendungsbereichs drängte. Unterstützt wurde es dabei von den Vertreter:innen aus Italien, Zypern, Estland, Lettland, Bulgarien und Ungarn.

In derselben Verhandlungssitzung forderte der griechische Vertreter, dass Gefängnisse und Grenzgebiete ausdrücklich von jeglichem Verbot ausgenommen werden sollten. Vielmehr sollten die Behörden die Möglichkeit haben, Bürger und Geflüchtete mit Echtzeit-Überwachungstechnologie zu überwachen.

„Ende der Anonymität“

Mit biometrischen Systemen könnten Millionen von Gesichtern überwacht und mit nationalen Datenbanken abgeglichen werden, um Personen zu identifizieren. Der Einsatz dieser Technologie im öffentlichen Raum würde „das Ende der Anonymität an diesen Orten“ bedeuten, warnte bereits 2020 European Digital Rights. Zivilgesellschaftliche Organisationen warnen seit langem davor, dass der AI Act die Grundrechte in Europa massiv einschränken könnte.

„Wir leben in einem Klima, in dem unsere Regierungen auf immer mehr Ressourcen, Gesetze und Technologien drängen, um Menschen in ihrem Alltag leichter zu überwachen, zu kontrollieren und zu bestrafen“, sagt die Gründerin der Brüsseler Anti-Rassismus-Organisation Equinox, Sarah Chander. „Wir entfernen uns immer weiter von einer Zukunft, in der die wir unsere Ressourcen für soziale Vorsorge und Schutz ausgeben statt für Überwachungstechnologie.“

Als am 6. Dezember 2023 die letzte Verhandlungsrunde zwischen Rat, Parlament und Kommission über die endgültige Fassung des AI Act begann, drängte die spanische Ratspräsidentschaft darauf, den Gesetzestext noch vor den Europawahlen im Juni 2024 zu verabschieden. Offenbar fürchteten die spanischen Diplomaten das Erstarken rechtsradikaler Parteien. Ein Beamter, der an den Gesprächen teilnahm und um Anonymität bat, berichtete Investigate Europe, dass die Unterhändler eineinhalb Tage lang verhandelten. „Wir waren erschöpft, und erst nach einer durchverhandelten Nacht begannen wir um 6 Uhr morgens, über Verbote zu sprechen“, erinnert er sich heute. „Am Ende haben wir erreicht, dass jedes Produkt von einer unabhängigen nationalen Behörde zugelassen werden muss.“

Selbstzertifizierung möglich

Der Einsatz sogenannter Hochrisikotechnologien wie Echtzeitüberwachung ist an bestimmte Bedingungen geknüpft, darunter ein Gerichtsbeschluss, die Registrierung in einer europäischen Datenbank und eine Folgenabschätzung zur Wahrung der Grundrechte. Doch auch hier wurden die strengen Regeln in den Verhandlungen teilweise aufgeweicht. So fügten die Verhandlungsführer dem Gesetz einen Artikel hinzu, der es Unternehmen erlaubt, eine Selbstzertifizierung auszufüllen und damit zu entscheiden, ob es sich bei ihrem Produkt um eine Hochrisikotechnologie handelt oder nicht.

Investigate Europe liegt ein internes Arbeitspapier des juristischen Dienstes des Europäischen Parlaments vor, das diese Lösung in Frage stellt. „Den Unternehmen wird ein hohes Maß an Subjektivität überlassen, was im Widerspruch zum Ziel des AI Act steht, das Risiko von Hochrisiko-KI-Systemen zu regulieren.“

Tatsächlich dürften die Verhandlungspartner auch von dem Interesse getrieben gewesen sein, ihre eigenen Wirtschaftsunternehmen zu schützen. Die Regierung Macron warnte in einer Verhandlungsrunde am 15. November 2023, dass ohne einen breiten Einsatz von KI-Technologien „die Gefahr besteht, dass Unternehmen ihre Aktivitäten in Regionen verlagern, in denen Grundrechte keine Rolle spielen“.

Konkrete Auswirkungen noch nicht absehbar

Es bleibt abzuwarten, inwieweit die Mitgliedstaaten die Ausnahmen nutzen werden. Der niederländische Anwalt für digitale Rechte, Anton Ekker, glaubt, dass die Ausnahmen in der Praxis kaum Auswirkungen haben werden. „Ich bin sehr kritisch, wenn ein Staat Algorithmen einsetzt. Aber zu sagen, dass alles erlaubt ist, weil es Ausnahmen gibt, ist nicht richtig“, sagte er in einem Interview mit Investigate Europe. „Es gibt viele nationale Verfassungen, die Grundrechte schützen.“

Professorin Rosamunde van Brakel forscht an der Vrije Universiteit Brüssel zu ethischen Fragen rund um den Einsatz von KI. Sie befürchtet, dass das Gesetz Betroffenen kaum helfen wird. „In den meisten Fällen greifen Regulierung und Aufsicht erst, nachdem es zu einem Verstoß gekommen ist. Vorher schützen sie uns nicht“, sagt sie. „Außerdem betreffen KI-Anwendungen im öffentlichen Sektor oft schutzbedürftige Bevölkerungsgruppen, die nicht in der Lage sind, eine Beschwerde einzureichen oder darauf zu vertrauen, dass eine Beschwerde ernst genommen wird.“

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.