Die EU will die KI-Verordnung aufweichen. Eine erste Einigung sieht nun vor, bestimmte Regulierungen für die Industrie abzuschwächen und zeitlich deutlich nach hinten zu verschieben. Hinzugekommen ist ein Verbot von KI-Anwendungen, mit denen sexualisierte Deepfakes erstellt werden können.
Mehr "Künstliche Intelligenz" mit weniger Auflagen, das wünscht sich die Industrie. (Symbolbild) – Alle Rechte vorbehalten: Bild: IMAGO / Westend61, Bearbeitung: netzpolitik.org
Die Einigung betrifft die Aufnahme des Verbots von sogenannten KI-Nudifiern in die KI-Verordnung. „Nudifier“ sind Anwendungen, mit deren Hilfe sexualisierte Deepfakes erstellt werden können. Außerdem sollen Auflagen für die Industrie beim Einsatz von risikoreichen KI-Systemen begrenzt sowie zentrale Pflichten aus dem AI Act für Hochrisiko-Systeme deutlich nach hinten verschoben werden – auf Ende 2027 und 2028. Der vorliegende Kompromiss zwischen Rat und Parlament muss noch formal bestätigt werden.
Der Trilog war zuvor an der Frage gescheitert, wie in der Industrie mit der Hochrisiko-Kategorie für KI-Systeme umgegangen werden soll, die bereits durch sektorale Bestimmungen reguliert werden. Zentrale Pflichten des AI Acts für besonders risikoreiche KI-Systeme sollten eigentlich bereits ab dem 2. August 2026 wirksam werden. Der Kompromiss sieht nun vor, dass die Anwendung der KI-Verordnung dort begrenzt wird, wo sektorale Sicherheitsanforderungen vergleichbare KI-Regeln enthalten.
Die EU verabschiedete den AI Act (Verordnung über künstliche Intelligenz) im Mai 2024. Er ordnet KI-Technologie vier abgestuften Risikokategorien zu und regelt Pflichten für die Hersteller und Anbieter von KI-Systemen oder Produkten, die KI-Technologie enthalten. KI-Systeme mit inakzeptablem Risiko können verboten werden.
Die EU-Kommission möchte die Regelungen im Rahmen des sogenannten Digitalen Omnibus jedoch vereinfachen, um bürokratische Hürden für Unternehmen abzubauen und Europas Wettbewerbsfähigkeit zu steigern. Das Gesetzespaket ist umstritten. Es enthält unter anderem Lockerungen bei der Datenschutzgrundverordnung oder beim Training von KI mit personenbezogenen Daten.
Verbot von KI-„Nudifiern“
Konkret haben sich Parlament und Rat darauf geeinigt, in Zukunft KI-Anwendungen zu verbieten, mit deren Hilfe man sexualisierte Deepfakes erstellen kann. Das Thema wurde zu einem zentralen Vorhaben, nachdem Nutzer*innen mit dem Chatbot Grok Anfang des Jahres binnen weniger Tage Millionen von nicht-einvernehmlichen Deepfakes erstellt hatten.
Bereits Ende März hatte sich das Parlament dafür ausgesprochen, solche KI-Anwendungen zu verbieten. Im Trilog ging es noch um die Details der Formulierung. Das Verbot umfasst jetzt explizit auch das Erstellen von Inhalten, die sexuellen Missbrauch von Kindern zeigen. Zudem soll es untersagt sein, KI-Anwendungen auf den Markt zu bringen, die ohne Zustimmung Deepfakes von “intimen Teilen einer identifizierbaren Person” oder die Person bei sexuellen Handlungen zeigen.
Die geplante Verschärfung ist nicht die erste EU-Regelung zu Deepfakes. Eine andere Richtlinie sieht bereits vor, dass Mitgliedstaaten die Verbreitung von sexualisierten Deepfakes unter Strafe stellen, wenn diese geeignet sind, einer Person schweren Schaden zuzufügen. Deutschland setzt dies mit dem geplanten Gesetz gegen digitale Gewalt derzeit um. Das geplante Verbot in der KI-Verordnung würde den Fokus von der Bestrafung der Täter*innen auf die Anbieter solcher Anwendungen verschieben.
Im geplanten Text steht nun auch die fehlende Zustimmung der gezeigten Personen als definierendes Merkmal. Fachleute forderten das seit langem. Zugleich kritisiert etwa Ana Ornelas von der European Sex Workers’ Rights Alliance (ESWA), die Beschränkung auf „identifizierbare Personen“. Sie fürchtet, dass dies in der Durchsetzung zu Schlupflöchern führen könnte.
Lockerungen und Fristverlängerung für Industrie
Hochrisiko-KI-Systeme in Bereichen wie Beschäftigung, Bildung, Migration, Strafverfolgung oder kritische Infrastruktur sollen Anforderungen aus dem AI Act erst ab dem 2. Dezember 2027 erfüllen müssen. Für KI in Medizinprodukten, Maschinen oder Spielzeug gilt der 2. August 2028. Anbieter von KI-Systemen müssen diese grundsätzlich in der EU-Datenbank für risikoreiche Systeme registrieren – auch wenn sie der Ansicht sind, die Einstufung als risikoreich träfe nicht zu oder sei ausgenommen.
Die Sonderregelung für Maschinenverordnung schwächt nach Meinung des europäischen Verbraucherverbands BEUC den Verbraucherschutz. Konkret kritisiert der Verband, dass Alltagsgeräte wie Industriemaschinen aus der KI-Aufsicht herausfallen würden. Bei deren Versagen könnten Menschen zu Schaden kommen. Der Deal enthält offenbar auch eine Klausel, mit der die EU-Kommission später weitere KI-Systeme ohne neues Gesetzgebungsverfahren aus dem Geltungsbereich des AI Acts herausnehmen kann. Die Kommission erhalte damit eine Hintertür für künftige KI-Deregulierung.
BEUC-Generaldirektor Agustín Reyna meint, der überhastete Prozess habe ein Gesetz hervorgebracht, das komplizierter und weniger wirksam als vorher sei und vor allem der Industrie nutze.
Zumindest an manchen Stellen scheint der Kompromiss strenger. Die EU-Kommission wollte die Verarbeitung sensibler personenbezogener Daten – etwa Angaben, aus denen Ethnie oder Religion hervorgehen können – zur Bias-Erkennung erleichtern. Rat und Parlament begrenzten hier durch striktere Maßstäbe.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Die schwarz-rote Koalition will ein Gesetzespaket verabschieden, das ein neues Zeitalter der Überwachung einläutet. Was steckt da konkret alles drin? Wir haben es durchgesehen, damit ihr es nicht tun müsst.
Bundesinnenminister Dobrindt (links) und Vizekanzler Klingbeil: Große Einigkeit in der Großen Koalition, dass Polizeibehörden weitere Ermittlungsbefugnisse brauchen. – Alle Rechte vorbehalten: IMAGO / dts Nachrichtenagentur
Eigentlich war es ja eine Idee der Ampel-Regierung, der deutschen Polizei die Suche nach Gesichtern im Internet zu erlauben sowie Software einzusetzen, die so viele Daten wie möglich zusammenführt und auswertet. Beides sind Überwachungstechnologien, die auf sogenannter Künstlicher Intelligenz basieren. Auf Bundesebene gibt es derartiges noch nicht, die Ampel hatte es nicht mehr durchgekriegt. Zugleich haben inzwischen zahlreiche Bundesländer ihren Polizeien Gesichtersuchmaschinen und die Datenanalysen genehmigt.
Nun zieht die inzwischen schwarz-rot geführte Bundesregierung nach: Sie will der Bundespolizei und dem Bundeskriminalamt (BKA) beide Instrumente in die Hand geben. Das zugehörige Gesetzespaket hat sie Ende April im Kabinett verabschiedet. Daten, die nötig sind, um die Überwachungstools zu füttern, sollen demnach die Bundesbürger*innen liefern. Bürgerrechtsorganisationen wie die Gesellschaft für Freiheitsrechte (GFF) warnen vor „Instrumenten zur Massenüberwachung“ und halten das Paket für verfassungswidrig.
Wir klären die wichtigsten Fragen rund um das Überwachungspaket in diesen FAQ.
Die Polizei soll Fahndungsfotos mit öffentlich zugänglichen Bildern aus dem Internet abgleichen dürfen. Also auch mit Selfies auf Social Media, dem Teamfoto deiner Handballmannschaft und einem Stockfoto der Innenstadt von Hannover, auf dem du aus Versehen im Hintergrund zu sehen bist. Sie soll mit dieser Suche die Identität abgebildeter Personen herausfinden dürfen. Dabei bekäme sie Zugriff auf potenziell äußerst persönliche Informationen.
Davor warnt auch die GFF: Die Behörden könnten durch den Abgleich Rückschlüsse auf besonders sensible Daten wie politische Einstellungen und sexuelle oder religiöse Orientierung ziehen, z.B. bei Aufnahmen von Demos, Veranstaltungen oder Gottesdiensten. Das Internet mache mittlerweile einen erheblichen Teil des öffentlichen Raumes aus, so die Bürgerrechtsorganisation. Mit den neuen Befugnissen werde die Anonymität in diesem digitalen öffentlichen Raum faktisch unmöglich gemacht. Das sei mit enormen Abschreckungseffekten verbunden und habe erhebliche Auswirkungen auf die Ausübung von Grundrechten, kritisiert die GFF.
Laut den Plänen soll die Polizei die biometrische Fahndung einsetzen dürfen, um die Identität oder den Aufenthaltsort von Beschuldigten, aber auch von Zeug*innen festzustellen. Im Zweifel muss man also nicht mal selbst einer Straftat verdächtig sein, um zum Fahndungsziel zu werden. Erlaubt sein soll das beim Verdacht einer Straftat von erheblicher Bedeutung – das sind etwa Mord und Vergewaltigung, aber auch Steuerhinterziehung, Geldwäsche oder Drogendelikte.
Das Problem: Um im öffentlichen Internet nach Personen fahnden zu können, müssen Ermittlungsbehörden die öffentlich im Netz verfügbaren Fotos von Gesichtern zunächst durchsuchen, sammeln und in Templates umrechnen. Dabei entsteht eine Datenbank mit den biometrischen Entsprechungen von möglicherweise Milliarden von Gesichtern.
Das Ministerium betont, dass diese Vergleichsdatenbank bei dem geplanten „Ad-hoc-Abgleich“ nicht dauerhaft gespeichert würde. Die Templates müssten stattdessen für jeden Abgleich neu erstellt werden. Damit sei die „Erstellung einer dauerhaften Datenbank, die aus dem Internet erhobene Lichtbilder und/oder zugehörige Templates vorhält, […] ausgeschlossen“.
Allerdings steht das so nicht explizit im Gesetzentwurf. Dieser legt nur fest, dass die „beim Abgleich erhobenen und verarbeiteten Daten“ im Anschluss „unverzüglich“ zu löschen sind, wenn sie für die weiteren Ermittlungen nicht relevant sind. Die Referenzdatenbank selbst erwähnt der Text nicht explizit.
Hinzu kommt: Artikel 5 der KI-Verordnung der EU verbietet „das Inverkehrbringen, die Inbetriebnahme […] oder die Verwendung von KI-Systemen, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern“.
Aber eine zielgerichtete Suche wäre demnach wohl durchaus möglich. Beispielsweise: Vergleiche dieses Bild mit allen Menschen, die sich auf Social Media für das Wacken-Festival interessieren.
Eine Gesichtersuchmaschine hat die deutsche Polizei ja bereits: Das Gesichtserkennungsystem (GES) des BKA, das eingespeiste Bilder mit, unter anderem, Menschen vergleicht, die erkennungsdienstlich behandelt wurden. Über fünf Millionen Menschen sind dort drin. Die Fotofahndung im Netz wäre für dieses System ein Riesen-Upgrade, weil damit theoretisch fast alle Menschen identifiziert und gefunden werden können. Wer hat schon keine Fotos von sich im Netz?
Was ist das Problem mit der automatisierten Datenanalyse?
Geplant ist eine Super-Datenbank. Die Datenanalyse soll verschiedene Datenquellen verbinden und die aggregierten Daten sinnvoll aufbereiten. Damit können Polizist*innen Fragen nachgehen wie: Wer gehört zu einer bestimmten Gruppe? Oder: Wo wird wohl demnächst eingebrochen?
Das Problem an dieser Datenbank: Da sind nicht nur Daten von Verurteilten oder zumindest Verdächtigen drin, sondern auch die von Opfern und Zeugen von Straftaten oder Kontaktpersonen von Verdächtigen. Also potenziell: wir alle. Die Quellen, aus denen die Daten dazu stammen dürfen, sind im Gesetzpaket auch nicht beschränkt. Daten, auf die beispielsweise das BKA „zur Erfüllung seiner Aufgaben zugreifen“ darf, dürfte es auch in die Super-Datenbank kippen.
Denkbar sind also Standortdaten, Fingerabdrücke, Genproben, abgehörte Gespräche, wer wann mit wem wie lange telefonierte, sowie natürlich sämtliche polizeiinterne Vorgangsdaten. Außerdem kann die Datenbank live an polizeiliche Datenbanken anderer EU-Staaten angeschlossen werden.
Amnesty International und ein Dutzend andere Organisationen warnen, dass die Daten von Opfern, Zeug:innen und gänzlich unbeteiligten Personen Teil derselben „Super-Datenbank“ werden würden. Das Resultat wären demnach „tiefgreifende Persönlichkeitsprofile auf der Basis algorithmisch ausgewerteter massenhafter Datenbestände.“
„Automatisierte Datenanalysen sind mächtige Überwachungsmaßnahmen“, schreibt die GFF in ihrer Stellungnahme zum Gesetzespaket. Deswegen seien strenge Beschränkungen zum Schutz der Grundrechte nötig. Doch diese sieht die Bundesregierung nicht vor.
Was ist das Problem am KI-Training?
Laut der Gesetzentwürfe dürfen Beamt*innen sogenannte KI mit deinen Daten füttern. Die Trainingsdaten müssen beispielsweise dann nicht an- oder pseudonymisiert werden, wenn das „einen unverhältnismäßigen Aufwand“ bedeuten würde. Die Polizei darf bei ihr vorhandene personenbezogene Daten zum KI-Training auch weitergeben, beispielsweise an privatwirtschaftliche Unternehmen. Das Problem: Sprachmodelle können die Informationen, mit denen sie trainiert werden, nahezu perfekt wiedergeben. Das kam im Rahmen von Urheberrechtsstreitigkeiten heraus.
Das heißt: Informationen, die in derartiger Software landen, können nicht nur von der Software gegen dich verwendet werden – indem sie dich einem Verdacht aussetzt – sondern auch von jedem Menschen, der Zugriff auf die Software hat, rekonstruiert werden. Das ist ein Problem, wenn die Polizei anfängt, wahllos persönliche Informationen in Überwachungssoftware zu füttern. Die Hersteller der Programme sind ja meist auch privatwirtschaftliche Unternehmen, die unsere Informationen womöglich gewinnbringend weiterverarbeiten. So entwickelt beispielsweise Datenanalyse-Marktführer Palantir seine Produkte auch auf Basis realweltlicher Daten.
Ist das nicht alles verfassungswidrig?
Die Gesellschaft für Freiheitsrechte (GFF) nennt in ihrer aktuellen Stellungnahme zum Sicherheitspaket (PDF) die Gesetzesvorhaben der Bundesregierung zur biometrischen Fahndung im Internet und zur automatisierten Datenanalyse „zum Großteil verfassungswidrig“. Die Bürgerrechtsorganisation lehnt deshalb die Einführung der darin vorgeschlagenen Befugnisse und Änderungen fast rundweg ab.
Systeme zur automatisierten Analyse könnten umfassende Persönlichkeitsprofile erzeugen, die Daten Unbeteiligter würden mitverarbeitet und es drohten falsche Treffer und Fehlverdächtigungen. Die GFF verweist dabei auf ein Urteil des Bundesverfassungsgericht von 2023, das ähnliche Regelungen in Hessen und Hamburg bereits teilweise kassiert hat. Karlsruhe stellte damals klar: Automatisierte Datenanalyse greift schwerwiegend in das Recht auf informationelle Selbstbestimmung ein und braucht deshalb enge gesetzliche Grenzen. Diese sehe das aktuelle Entwurf nicht vor.
Auch im Fall der Foto-Fahndung sieht die Organisationen Grundrechte in Gefahr, etwa weil auch hier die Daten vieler Unbeteiligter betroffen wären und die Maßnahmen nicht ausreichend auf schwerste Straftaten begrenzt sind.
Auch AlgorithmWatch kommt zu einem ähnlichen Urteil. Die Pläne der Bundesregierung, die digitalen Ermittlungsbefugnisse von Sicherheitsbehörden auszuweiten, sind nach Meinung der Organisation europarechtswidrig und stehen im Konflikt mit verfassungsrechtlichen Mindestanforderungen und datenschutzrechtlichen Grundsätzen. Dabei kommt AlgorithmWatch – wie auch schon die GFF – zu dem Schluss, dass man dieses Gesetz nicht mit ein paar Änderungen verbessern könnte.
Die verfassungs- und menschenrechtliche Unverhältnismäßigkeit lasse „ausschließlich die Empfehlung zu, die Gesetzentwürfe zurückzuziehen und ein grundsätzliches gesetzliches Verbot des Einsatzes biometrischer Massenerkennungssysteme für öffentliche und private Stellen einzuführen“, so die Zusammenfassung der Stellungnahme zum Gesetz (PDF).
Was sind die Unterschiede zum Ampel-Sicherheitspaket?
Das Gesetzespaket ist nicht der erste Anlauf, um Gesichtserkennung und Big-Data-Analysen auf Bundesebene einzuführen. Nach dem Messeranschlag in Solingen haben die Ampel-Fraktionen im Bundestag bereits ein „Sicherheitspaket“ beschlossen, das allen Polizeibehörden den Einsatz von Gesichtserkennung und KI erlauben sollte.
Das Ampel-Paket bestand aus zwei Gesetzen. Das eine – in dem es um Messerverbote und verschärfte Asylregelungen ging – trat in Kraft. Das andere – mit erweiterten Befugnissen für Sicherheitsbehörden – scheiterte. Genau diese gescheiterten Instrumente tauchen jetzt in verschärfter Form im Kabinettsentwurf wieder auf: biometrische Gesichtserkennung und automatisierte Datenanalyse. Das Paket holt also nach, was im ersten Anlauf nicht durchkam.
Was sagen die Kritiker*innen?
Clara Bünger, stellvertretende Vorsitzende der Linken im Bundestag:
Die Bundesregierung treibt den Ausbau digitaler Kontrollwerkzeuge massiv voran und hebelt damit den Schutz unserer Privatsphäre mithilfe künstlicher Intelligenz aus. Besonders die biometrische Gesichtserkennung erfordert den Aufbau riesiger Datensammlungen, die alle Menschen unter Generalverdacht stellen und gegen geltendes europäisches Recht verstoßen. Dieser Weg führt geradewegs in einen digitalen Überwachungsstaat.
Donata Vogtschmidt, digitalpolitische Sprecherin der Linken im Bundestag:
Mehr Überwachung kann Ursachen von Kriminalität und sozialen Problemen nicht lösen. Das Sicherheitspaket 2.0 ist in der Summe nichts weiter als der höchst zweifelhafte Versuch, durch ein Gefühl der ständigen Überwachung im öffentlichen Raum die Handlungsfreiheit der Menschen zu ersticken und KI auch dort zu entfesseln, wo sie gesellschaftlich besonders großen Schaden anrichten kann. Diese fundamentale Fehlentwicklung sollte und muss endlich wachrütteln!
Konstantin von Notz, Stellvertretender Fraktionsvorsitzender der Grünen:
Die geplanten neuen Befugnisse ermöglichen tiefe Grundrechtseingriffe und betreffen dabei keineswegs nur Personen im direkten Fokus von Sicherheitsbehörden, sondern potenziell alle, auch gänzlich unbescholtene, Bürger.
Matthias Spielkamp, Geschäftsführer der NGO AlgorithmWatch:
Damit macht die Bundesregierung den Weg dafür frei, die Fotos aller Menschen, die im Internet verfügbar sind, ob von der Familienfeier oder dem Sommerurlaub, biometrisch zu speichern und auszuwerten. Zudem sollen mit KI-Software wie der von Palantir alle Daten ausgewertet werden, die die Behörden über uns gesichert haben. Davon träumen sonst nur autoritäre Regierungen.
Kai Kempgens vom vom Deutschen Anwaltverein:
Polizeibehörden erhielten damit Zugriff auf eine KI-generierte ‚Gigadatenbank‘ mit darin enthaltenen zum Teil höchstpersönlichen Daten. Ein unkontrollierter Zugriff auf solche faktischen Vorratsdaten lässt sich angesichts der massiven Tiefe des Grundrechtseingriffs nicht ansatzweise rechtfertigen und würde eine Überwachungsdystopie verwirklichen, die massiv dem Rechtsstaatsprinzip zuwiderläuft.
Wer tut etwas dagegen?
Das Netzwerk „Sicherheit ohne Überwachung“ agitiert gegen die Gesetzesverschärfungen auf Bundesebene: Gesichtersuchmaschine, Datenanalyse nach Palantir-Art und Vorratsdatenspeicherung. Unter anderem ist eine Demonstration in Berlin am 13. Juni 2026 um 14 Uhr an der Warschauer Straße / Marchlewskistraße geplant.
Update, 5.5.2026, 15.25 Uhr: In einer vorherigen Fassung schrieben wir, dass im GES des BKA alle Menschen verzeichnet seien, die je erkennungsdienstlich behandelt wurden. Das ist nicht korrekt. Teilweise werden die dabei erhobenen Daten nach einer gewissen Zeit wieder gelöscht.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Die EU will unter hohem Zeitdruck ihre Regeln für Künstliche Intelligenz aufweichen. Nun sind eigentlich abschließende Verhandlungen gescheitert. Alle Beteiligten machen sich gegenseitig Vorwürfe, am Ende könnten Regeln zum besseren Schutz vor KI-generierten Nacktbildern unter die Räder geraten.
Dem "Digitalen Omnibus" geht's nicht gut. – Gemeinfrei-ähnlich freigegeben durch unsplash.com: Arno Ryser
Die EU-Institutionen können sich weiter nicht auf eine abgeschwächte Fassung der KI-Verordnung einigen. Medienberichten zufolge sind gut zwölfstündige Trilog-Verhandlungen zwischen dem Europäischen Parlament, dem Rat und der Kommission am Dienstag gescheitert.
Ein zentraler Streitpunkt war offenbar eine vorgeschlagene Ausnahme für risikoreiche KI-Systeme in der Industrie, wie Table Media [€] berichtet. Das Parlament hatte demzufolge vorgeschlagen, die sektorspezifischen Regelungen zu ändern: Industriemaschinen sollten demnach aus der Hochrisiko‑Kategorie herausfallen. Entscheidend für eine Einstufung als Hochrisiko sollte stattdessen die tatsächliche Sicherheitsfunktion der KI werden. Rat und Parlament sind sich in dieser Frage jedoch uneins.
Gestritten wurde dem Bericht zufolge zudem über ein Verbot sogenannte „Nudifier“-Anwendungen. Das sind generative KI‑Systeme, die Menschen auf Foto- oder Videomaterial entkleiden können. Das Parlament möchte nicht‑einvernehmliche intime Inhalte verhindern, es konnte jedoch keine Einigung darüber erzielt werden, welche Körperteile darunterfallen.
Das kritisiert unter anderem Eva Lejla Podgoršek, Senior Policy Managerin bei AlgorithmWatch. Es sei wichtig, „dass die wenigen guten Vorschläge nicht unter die Räder geraten.“ Das geplante Verbot von KI-Systemen, die nicht einvernehmliche sexualisierende Deepfakes ermöglichen, sei ein wichtiger Baustein, um Betroffene wirksam zu schützen.
Wenn drei sich streiten, freut sich niemand
Die Anpassungen der bereits im August 2024 in Kraft getretenen KI-Verordnung sollen im Rahmen des sogenannten Digitalen Omnibus erfolgen. Mit dem von der EU-Kommission vorgeschlagenen Gesetzespaket sollen Vorschriften im digitalen Sektor vereinfacht werden, um bürokratische Hürden für Unternehmen abzubauen und Europas Wettbewerbsfähigkeit zu steigern. Das Paket ist jedoch umstritten. Es enthält auch Lockerungen der Datenschutzgrundverordnung, etwa beim Training von KI mit personenbezogenen Daten oder einer Neudefinition personenbezogener Daten.
Während die Verhandlungen über den Daten-Omnibus sich offenbar länger hinziehen, machten die Beratungen über den KI-Omnibus schnell Fortschritte. Die Zeit drängt: Zentrale Pflichten des AI Acts für besonders risikoreiche KI-Systeme werden ab dem 2. August 2026 wirksam. Diese Fristen sollen mit dem Omnibus aufgeschoben werden. Gestern sind die finalen Verhandlungen allerdings bereits zum zweiten Mal geplatzt.
Laut Table Briefings sieht die zypriotische Ratspräsidentschaft keine Schuld bei sich: „Wir sind mit einer sehr konstruktiven Haltung in die heutige Sitzung gegangen und haben konkrete Vorschläge zur Lösungsfindung unterbreitet“. Man habe während der Verhandlungen ein hohes Maß an Flexibilität gezeigt, aber keine Einigung mit dem Europäischen Parlament erzielen können. Das Ziel der Vereinfachung werde jedoch weiterhin verfolgt.
Stimmen aus dem Parlament sehen dies anders. Es sei „inakzeptabel, dass die Ratspräsidentschaft nicht bereit war, einen substanziellen Kompromiss zu machen, um die Überregulierung von KI zu beenden“, sagte die Europaabgeordnete Svenja Hahn (FDP). Michael McNamara (parteilos), Verhandlungsführer für das EU-Parlament, räumte in einem Interview mit Tech Policy Press jedoch selbst ein, dass die vorgeschlagene Verlagerung in sektorale Gesetze „eher zu Deregulierung als zu einer Vereinfachung führen könnte“.
Schwere Vorwürfe kommen von den Grünen im EU-Parlament, insbesondere gegenüber deutschen Konservativen, wie Euractiv berichtet. Sie werfen der Europäischen Volkspartei vor, das Omnibus-Gesetz bewusst zu verzögern und dabei auch die Hilfe von rechtsextremen Parteien im Parlament in Anspruch zu nehmen. Merz wolle noch weitergehende Lockerungen der KI-Regeln, als sie derzeit verhandelt würden. Das wiederholte Scheitern lassen der Verhandlungen sei ein Schachzug, um Zeit zu gewinnen und so die Positionen der EU-Mitgliedstaaten zu beeinflussen.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Der KI-Boom wird mehr und mehr zum Problem für Umwelt und Klima. Expert:innen haben jetzt für das Umweltministerium skizziert, wie eine nachhaltigere Alternative aussehen könnte. Ihr Gutachten vermeidet Kritik am aktuellen Kurs, die Empfehlungen laufen jedoch auf eine drastische Politikwende hinaus.
Digitalminister Karsten Wildberger (CDU) und NRW-Wirtschaftsministerin Mona Neubauer (Grüne) zusammen mit Lokalpolitiker:innen und Microsoft-Vertreter:innen beim Spatenstich für ein neues Rechenzentrum des Konzerns im Rheinischen Revier. – Alle Rechte vorbehalten IMAGO / Marc John
Wie kann Künstliche Intelligenz ökologisch nachhaltiger und gleichzeitig zum Wettbewerbsvorteil für Deutschland und Europa werden? Das Bundesumweltministerium hat zu dieser Frage in der vergangenen Woche ein Gutachten von fünf Expert:innen veröffentlicht. Ihre klare Botschaft: Beides ist möglich, aber nur mit einem deutlichen Umsteuern in der KI-Politik.
Während die Bundesregierung gerade die Regeln zu Umweltschutz und Energieeffizienz von Rechenzentren lockern will, weil sie sich als Konkurrentin in einem KI-Wettrennen mit den USA und China wähnt, warnt das Gutachten unter anderem: „Regulatorische Änderungen mit eng gefasstem Fokus und kurzfristiger Perspektive können zu langfristigen Problemen führen und dazu, dass die Ziele der Energiewende verfehlt werden.“
Der Energiehunger der Künstlichen Intelligenz
Die Ausgangslage für nachhaltige KI ist aktuell gleich im doppelten Sinne düster: Zum einen ist klar, dass der Energieverbrauch durch Rechenzentren, die für die Entwicklung und den Betrieb sogenannter Künstlicher Intelligenz gebaucht werden, rasant steigt. Nach Schätzungen der Internationalen Energieagentur betrug er in 2024 bereits 415 Terawattstunden, was nur knapp unter dem Stromverbrauch von Frankreich liegt, also der siebtgrößten Volkswirtschaft der Welt (449 Terawattstunden in 2024). Um den Energiehunger der KI zu stillen, setzen die großen KI-Firmen neben erneuerbaren auch massiv auf fossile, umweltschädliche Formen der Energiegewinnung, insbesondere Gas.
Zum anderen ist aufgrund der großen Intransparenz der Branche weitgehend unbekannt, wie viel Strom und Wasser einzelne KI-Modelle oder Rechenzentren genau verbrauchen oder wie viele Treibhausgas-Emissionen sie verursachen. Auch die großen Versprechen, dass KI für nachhaltige Zwecke wie etwa intelligentes Energie-Management genutzt werden könne, warten überwiegend noch auf ihre Einlösung.
Die ausgewiesenen Expert:innen Udit Gupta, Philipp Hacker, Lynn Kaack, Emma Strubell und Aimee van Wynsberghe haben im Auftrag des Umweltministeriums deshalb zahlreiche Vorschläge gemacht, wie die Situation verbessert werden könnte. Sie sagen: KI und Nachhaltigkeit müssten nicht im Widerspruch stehen. Deutschland habe eine gute Ausgangslage, um bei nachhaltiger KI eine globale Führungsrolle einzunehmen.
Spezialisierte KI-Ansätze statt riesiger Modelle
Eine zentrale Empfehlung der interdisziplinären Expert:innen-Gruppe ist ein realistischerer Blick auf die Vor- und Nachteile unterschiedlicher KI-Ansätze.
Derzeit sei die Aufmerksamkeit auf die großen sogenannten General-Purpose-AI-Modelle (GPAI) konzentriert. Der englische Begriff lässt sich am besten als KI-Modelle mit allgemeinem Verwendungszweck übersetzen. Gemeint sind in der Regel generative Modelle wie GPT von OpenAI oder Claude von Anthropic. Diese Modelle sind gerade wegen ihres allgemeinen Problemlösungsanspruchs und der dahinterstehenden Technik des Reasonings, das logisches Schlussfolgern imitiert, besonders energieintensiv.
Daneben gebe es jedoch auch andere vielversprechende Ansätze wie etwa kleinere KI-Modelle, die speziell zur Erfüllung konkreter Aufgaben trainiert werden. Diese seien oft besser zur Erfüllung von Aufgaben in der Industrie geeignet, etwa für Predictive Maintenance oder Bilderkennung für Krebsforschung. Viele Aufgaben erforderten gar nicht die Fähigkeiten von Allzweckmodellen oder profitieren nicht einmal davon.
Je genauer man die Zielaufgabe für ein KI-Modell definieren könne, desto effizienter lasse es sich in der Regel gestalten. Die klare Empfehlung des Gutachtens: „Um den wirtschaftlichen Nutzen von KI zu maximieren und gleichzeitig ihren Ressourcenbedarf zu minimieren, ist es daher von entscheidender Bedeutung, Modelle entsprechend zu spezialisieren oder sie gezielt für bestimmte Aufgaben einzusetzen.“
Der Fokus auf kleinere und spezifische Modelle passe zum deutschen und europäischen KI-Ökosystem, das stärker von kleineren und mittleren Unternehmen als von Tech-Giganten geprägt sei. Solche Modelle müssten durch gezielte Investitionen, Förderungen und Public-Private-Partnerships vorangetrieben werden. Dann könnten sich Nachhaltigkeit und ökonomische Wettbewerbsfähigkeit gegenseitig verstärken.
„Die Zukunft ist offener, als wir denken“, so fasste Jurist Philipp Hacker von der Europa-Universität Viadrina die Hoffnung der Sachverständigen bei einer Vorstellung der Studie in Berlin zusammen. „Es ist nicht alternativlos, dass die GPAI-Modelle gewinnen.“ Die Anbieter der großen Modelle hätten bis heute kein tragfähiges Geschäftsmodell und ihre Modelle würden teilweise immer schlechter, Stichwort „Enshittification“, so Hacker.
Intransparenz als Kernproblem
Ein großes Problem bei einer nachhaltigeren Gestaltung der KI-Ökonomie ist dem Gutachten zufolge die massive Intransparenz der Branche. Weil entsprechende Informationen fehlen, könnten Nutzer:innen heute gar nicht das „am wenigsten problematische Modell“ auswählen, so Computerlinguistin Emma Strubell von der Carnegie Mellon University.
Die Intransparenz sei nicht nur ein Problem für private, sondern auch für betriebliche Anwender:innen, die sich ein Bild von der Effizienz machen müssten. Auflagen für die Umweltberichterstattung müssten deshalb dringend um verpflichtende, standardisierte, unabhängig überprüfte und öffentlich zugängliche Informationen zu den Folgen von KI über den gesamten Lebenszyklus ergänzt werden.
Die KI-Verordnung der EU enthalte hierzu beispielsweise nur rudimentäre Anforderungen, die erweitert werden müssten. Dabei sollten nicht nur Daten zum Energieverbrauch beim Training, sondern auch beim Gebrauch von KI-Modellen einfließen. Ebenso CO₂-Emissionen, die bei der Produktion spezialisierter Hardware wie etwa hochleistungsfähigen Grafikprozessoren entstehen.
Bislang halten KI-Firmen solche Daten unter Verweis auf Geschäftsgeheimnisse unter Verschluss. Das öffentliche Informationsinteresse überwiege hier jedoch, so das Gutachten: „Der dringende Bedarf an Daten für ein wirksames Ressourcenmanagement und den Umweltschutz überwiegt die potenziellen Wettbewerbsnachteile, die mit der Offenlegung von Kennzahlen verbunden sind, die indirekt mit der Modellgröße zusammenhängen.“
Darüber hinaus könnten Anbieter verpflichtet werden, ein „grünes Modell“ ihrer KI-Anwendungen anzubieten, das beispielsweise ohne rechenintensives Reasoning daherkomme, um Energieverschwendung durch unnötige Rechenoperationen zu vermeiden. Auch das staatliche Beschaffungswesen sollte als Hebel genutzt werden, um KI- und Cloud-Anbieter zu fördern, die auf Energieeffizienz, nachhaltige Energiequellen und öffentliche Transparenz setzen.
Regeln für Rechenzentren müssen verschärft werden
Auch Rechenzentren als wichtige KI-Infrastruktur stehen im Fokus des Gutachtens. Bei keiner Industrie steige der Energiebedarf derzeit so rasant an wie bei Rechenzentren, so Udit Gupta von der New Yorker Universität Cornell Tech bei der Vorstellung des Papiers. In bestimmten Regionen führe der Bau-Boom bereits heute zu Problemen mit der Energieversorgung. In Frankfurt am Main etwa gingen bereits 2022 knapp 30 Prozent des Stromverbrauchs auf das Konto von Rechenzentren.
Auch hier gehen dem Gutachten zufolge die aktuellen Berichts- und Transparenzpflichten für Betreiber nicht weit genug. Statt tatsächlicher Verbrauchsmessungen würden sie häufig lediglich Schätzungen basierend auf dem Design ihrer Anlagen übermitteln. Ohne solche Angaben könne der tatsächliche Bedarf an Rechenkapazität nicht realistisch eingeschätzt und der Bau neuer Anlagen volkswirtschaftlich sinnvoll geplant werden. Zahlen aus den Niederlanden hätten erst kürzlich gezeigt, dass Rechenzentren dort vermutlich nur zu einem Drittel ausgelastet seien.
Problematisch seien auch die zentralen Maßeinheiten für die Effizienz von Rechenzentren, der PUE-Wert, kurz für Power Usage Effectiveness, und der WUE-Wert, kurz für Water Usage Effectiveness. Beide Werte, die auch in den Nachhaltigkeitsberichten großer Rechenzentrumsbetreiber wie Amazon, Google oder Microsoft angegeben werden, geben keine Auskunft über den absoluten Verbrauch. Stattdessen sind es relative Effizienzwerte, was dazu führe, dass PUE und WUE sich zwar verbessern würden, der absolute Verbrauch jedoch drastisch steige, weil Einsparungen in immer noch größere Modelle investiert würden. Der PUE-Wert messe zudem nur den Energieverbrauch der Gebäude-Infrastruktur, etwa Kühlsystem und Beleuchtung, nicht den Verbrauch der tatsächlichen Energieinfrastruktur.
Um hier für Verbesserungen zu sorgen, müssten den Expert:innen zufolge die Transparenz- und Berichtspflichten für Rechenzentren deutlich verschärft werden. Hierzu müsste der DIN-Standard für Rechenzentren ebenso angepasst werden wie die Europäische Energieeffizienz-Richtlinie und das deutsche Energieeffizienzgesetz. Wichtig seien unabhängig auditierte Verbrauchsmessungen, die zudem mindestens in aggregierter Form öffentlich zugänglich sein sollten. Auch bei Rechenzentren müsse der ganze Lebenszyklus ins Reporting einbezogen werden: von den Emissionen, die bei der Herstellung von Servern entstehen, bis zum Elektroschrott, nachdem Hardware aussortiert wird.
Darüber hinaus könnten auch beim Design von Rechenzentren und der Energieversorgung große Fortschritte erzielt werden. So sollten etwa KI-Unternehmen verpflichtet werden, selbst für den Ausbau Erneuerbarer Energien in dem Maße zu sorgen, wie sie Strom verbrauchen. Rechenzentren sollten zudem Teil des Systems der CO₂-Bepreisung sein, damit Betreiber Folgekosten für die Umwelt nicht externalisieren können.
Außerdem sollte der Staat die Entwicklung energieeffizienter Rechenzentren fördern, die auf die Bedürfnisse der deutschen Wirtschaft spezialisiert sind. Auch die Abwärme von Rechenzentren sollte weiterhin verpflichtend genutzt werden müssen, Ausnahmen davon reduziert werden.
Auf Kollisionskurs
Die Liste der Vorschläge der Expert:innen ist noch deutlich länger und zeigt, wie groß die Möglichkeiten wären, KI und Rechenzentren nachhaltiger zu gestalten. Zum aktuellen Kurs der Bundesregierung passen sie jedoch gar nicht. Diese sieht Deutschland und Europa in einem KI-Wettrennen mit den USA und China und setzt deshalb auf den Ausbau von KI-Kapazitäten um jeden Preis.
Getrieben von Wirtschaftsverbänden wie BDI, Bitkom oder Eco hat Digitalminister Karsten Wildberger (CDU) eine neue Rechenzentrumsstrategie erarbeiten lassen, die im März vom Bundeskabinett beschlossen wurde. Sie sieht vor, die Rechenzentrumskapazitäten in Deutschland bis 2030 mindestens zu verdoppeln und die KI-Kapazitäten bis dahin sogar zu vervierfachen. Hierfür sollen Umweltstandards gesenkt, Berichtspflichten gelockert und Planungsverfahren beschleunigt werden.
Wirtschaftministerin Katharina Reiche (CDU) will zudem das deutsche Energieeffizienzgesetz so weit zurückfahren, dass es nur noch den Mindeststandards der entsprechenden EU-Richtlinie entspricht. Dabei haben Journalist:innen von Investigate Europe gerade erst aufgedeckt, wie erfolgreich große Tech-Konzerne gegen weitergehende Transparenzvorgaben in dieser Richtlinie lobbyiert hatten: Die EU-Kommission hat demzufolge bestimmte Abschnitte fast wortgleich von Microsoft kopiert, so dass die ohnehin schon schwammigen Kennzahlen zu Rechenzentren, die an Aufsichtsbehörden übermittelt werden müssen, nicht öffentlich gemacht werden dürfen.
Es ist nun also an Umweltminister Carsten Schneider (SPD), die Vorschläge der von ihm beauftragten Expert:innen in die Debatte mit seinen Kolleg:innen zu bringen. Ob er die KI-Politik auf Klima-Kurs bringen kann, wenn er argumentiert, dass Deutschland und Europa von nachhaltiger KI auch wirtschaftlich profitieren könnten?
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Die geplante „Vereinfachung“ der europäischen KI-Verordnung könnte den Schutz von Verbraucher:innen vor der Technologie erheblich schwächen. Ein breites Bündnis von 32 Organisationen warnt insbesondere vor Lücken bei Medizingeräten und Spielzeug.
Sollten Transparenzregeln nicht mehr gelten, könnten Patient:innen den Einsatz von KI in Medizingeräten womöglich nicht mehr nachvollziehen. – Gemeinfrei-ähnlich freigegeben durch unsplash.com Mathew Schwartz
Die Sorge ist groß, dass die geplante „Vereinfachung“ der europäischen KI-Regeln zu deren Aushöhlung führen könnte. Davor warnt die europäische Verbraucherschutzorganisation BEUC gemeinsam mit 31 anderen Organisationen in einem gemeinsamen Brief an die Verhandler des sogenannten KI-Omnibusses: die EU-Kommission, die zypriotische Ratspräsidentschaft und die Berichterstatter:innen des Europaparlaments Arba Kokalari (EVP) und Michael McNamara (Renew).
Die unterzeichnenden Organisationen vertreten neben Verbraucher:innen und der Zivilgesellschaft auch Ärzt:innen, Krankenhäuser und Gesundheitsdienste, Prüfstellen wie den TÜV sowie die Wissenschaft. Sie befürchten, dass in den aktuellen Trilog-Verhandlungen zwischen EU-Parlament, den EU-Ländern und der Kommission zentrale Elemente der KI-Verordnung zur Diskussion gestellt werden könnten. Die angestrebte Vereinfachung dürfe nicht auf Kosten des Verbraucherschutzes und der Grundrechte gehen, bekräftigt der Brief.
Im Zentrum der Kritik steht eine mögliche Änderung, die das Europäische Parlament in die laufenden Trilog-Verhandlungen einbringt: Bestimmte Sektoren sollen aus dem unmittelbaren Anwendungsbereich der KI-Verordnung ausgenommen werden, darunter Medizintechnik, Funkgeräte, Spielzeug und Maschinen. Abgeordnete und Industrievertreter argumentierten, dass diese Produkte schon unter eigene Sicherheitsvorschriften fallen würden und die Hersteller ansonsten einem doppelten Aufwand ausgesetzt seien.
Zivilgesellschaft warnt vor Lücke
Die Autor:innen des Briefs sehen dies anders: Sie betonen, dass die KI-Verordnung spezifische KI-Risiken reguliere, die in den sektorspezifischen Regeln nicht behandelt würden. Dazu zählen etwa Diskriminierung, Intransparenz und die kontinuierliche Veränderung der Systeme. Durch die Ausnahmen würde eine Regulierungslücke entstehen.
Als Beispiel für die möglichen Nachteile dieser Änderung für Verbraucher:innen nennen sie Medizingeräte. Diese würden zunehmend über KI-Funktionen verfügen, die bei der Diagnose, Behandlung oder Überwachung von Patient:innen zum Einsatz kommen würden. Die derzeitigen sektoralen Regeln für Medizingeräte würden KI-spezifische Risiken aber nicht ausdrücklich berücksichtigen. Ähnliches gelte für Kinderspielzeug.
Die Organisationen bekräftigen darüber hinaus, dass die Regulierung durch diese Änderung komplexer würde statt einfacher. Erstens würde Unsicherheit darüber entstehen, welche KI-Systeme weiterhin der EU-Verordnung unterliegen. Zweitens würde sich die Regulierung zersplittern: Anstatt ein einziges Gesetz für KI zu haben, würden die unterschiedlichen sektoralen Regulierungen gelten. Sollten KI-Risiken dort nachträglich ergänzt werden, müssten womöglich Dutzende Gesetze geändert werden.
Ein fragmentierter und unnötig komplexer Regulierungsrahmen würde nur die Rechtsunsicherheit erhöhen, warnt der Brief: „In einer Zeit, in der die EU bestrebt ist, das Vertrauen in KI zu stärken und ihre technologische Souveränität zu festigen, ist die Wahrung des Vertrauens in einen kohärenten und effektiven Rahmen für die KI-Governance von entscheidender Bedeutung.“
Ergebnis bis Ende April
Beim KI-Omnibus hat die EU bislang ein hohes Tempo vorgelegt. Im November von der EU-Kommission vorgestellt, haben die EU-Länder sowie das Parlament im März ihre jeweiligen Verhandlungspositionen festgezurrt. Ende März fand bereits das erste Trilog-Treffen statt. Aktuell verhandeln die EU-Institutionen in technischen Meetings miteinander, schon am 28. April wollen sie sich auf den finalen Kompromiss einigen.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Die europäische Grenzschutzagentur Frontex entwickelt derzeit eine App mit integriertem Chatbot. Der soll Geflüchtete dabei beraten, wie sie „freiwillig“ in ihr Herkunftsland zurückkehren können. Der Einsatz stelle nach dem AI Act kein hohes Risiko dar, findet die Behörde.
Frontex arbeitet an einer neuen künstlichen Intelligenz, die zu Abschiebungen beraten soll. – Alle Rechte vorbehalten IMAGO / ANP
Wenn Geflüchtete „freiwillig“ oder unfreiwillig Europa verlassen, soll sie künftig ein KI-basierter Chatbot dabei beraten. Die Grenzschutzagentur Frontex entwickelt eine App, in der Menschen mehr über finanzielle Anreize einer sogenannten freiwilligen Ausreise erfahren oder wohin sie sich für weitere Beratung wenden können.
Die Anwendung ist Teil des europäischen Reintegration Programme von Frontex, das unter anderem Ausreisen finanziert. Reisen Geflüchtete nicht freiwillig aus, begleitet Frontex etwa auch Abschiebeflüge. Seit einigen Jahren setzt die Behörde verstärkt darauf, Menschen zur „freiwilligen“ Rückkehr zu bewegen. Laut einer Präsentation von Frontex aus dem Januar 2026 habe die Unterstützung von „Rückkehr-Spezialisten“ in 42 Prozent der Fälle, bei denen sie eingesetzt wurden, in einer Entscheidung zur freiwilligen Rückkehr geendet.
Da eine solche freiwillige Rückkehr, wie die EU diese Prozesse nennt, für Menschen mit fehlenden Alternativen nicht freiwillig sein kann, nutzen manche stattdessen Begriffe wie Selbst-Abschiebung.
Abschiebungen im Gewand automatisierter Beratungen
Der KI-Chatbot soll nun ähnliches bewirken. Das Ziel sei, dass sich mehr Menschen für eine Rückkehr in ihr Heimatland entscheiden, so der stellvertretende Exekutivdirektor Lars Gerdes laut AlgorithmWatch.
Wenn Frontex jedoch eine KI-basierte Technologie einsetzen will, ist relevant, ob sie nach dem AI Act als Hochrisiko-Anwendung gilt. Die Verordnung sieht vor, dass viele KI-Systeme im Bereich Migration als Hochrisiko-Systeme einzustufen sind, etwa wenn sie bei der Prüfung von Asyleinträgen genutzt werden. Für Frontex hat das zur Behörde gehörende Fundamental Rights Office (FRO) eine entsprechende Einstufung geprüft.
Die unzureichenden Stellen der KI-Verordnung
Obwohl der Chatbot zur Rechtsberatung eingesetzt werden könnte, kam die Behörde zu dem Schluss, dass kein hohes Risiko bestehe. Somit ergebe sich kein weiterer Bedarf, mögliche Auswirkungen auf Grundrechte zu überprüfen. In einer späteren Einschätzung empfahl FRO allerdings als erste von 27 weiteren Empfehlungen, die These theoretisch zu untermauern, dass mehr Informationen die Quote freiwilliger Rückkehrer*innen erhöhen würden. Im Zuge des 2024 verabschiedeten AI Acts hatten sowohl AlgorithmWatch als auch netzpolitik.org auf Leerstellen verwiesen, die der AI Act bei der Regulierung von eingesetzten Technologien im Bereich Migration hat.
Informationen über die App erhielt die Nichtregierungsorganisation AlgorithmWatch aus internen Dokumenten, die sie mit Informationsfreiheitsanfragen erhielt. Auf welche Daten der Chatbot zugreifen können soll, ist laut AlgorithmWatch noch unklar. Ebenfalls unklar bleibt, ob er wie geplant in Sprachen wie Arabisch, Urdu oder Paschtu genutzt werden könne. Bisher hatte Frontex nur Material in englischer Sprache zum Training verwendet, das Material dafür hat Frontex‘ Return Knowledge Office Daten zum Training zusammengestellt.
Die neue App gilt bei Frontex als „schnell umsetzbares, kostengünstiges Projekt mit nur geringem Ressourcenaufwand“, wie aus internen E-Mails laut AlgorithmWatch hervorgeht. Und Frontex hofft offenbar darauf, weitere, „leistungsfähigere und integrierte IT-Systeme“ entwickeln zu können, sobald gesetzliche Hürden dazu gefallen sind.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Digitale Modelle von Skeletten werden neuerdings in Strafverfahren genutzt. Warum ist das etwas anderes als ein Fingerabdruck? Und warum ist es nicht ratsam, derartige Beweismethoden für eine Anklage zu nutzen? Darüber sprechen wir im Interview mit zwei Fachleuten.
Wem gehört dieses Skelett? – Gemeinfrei-ähnlich freigegeben durch unsplash.com Mathew Schwartz
Dass Fingerabdrücke oder DNA-Spuren in Strafverfahren als Beweise herangezogen werden, ist weit verbreitet. Aber mittlerweile halten zunehmend neue Technologien in die Gerichtssäle Einzug. Ein Beispiel: 3D-Modelle von mutmaßlichen Täter:innen werden automatisiert mit Videoaufnahmen vom Tatort abgeglichen. So soll bestimmt werden, ob auf dem Video die vermutete Person zu sehen ist – ganz ohne Gesicht.
Auch im sogenannten Budapest-Komplex spielt das eine Rolle. In einem aktuellen Prozess werden einem Beschuldigten Angriffe auf Neonazis, darunter versuchter Mord, vorgeworfen. Die Anklage stützt sich auch auf eine Analyse mittels Skelett-Modell und den Abgleich mit Tatort-Videos.
Wir haben dazu mit Anne Zettelmeier und Prof. Dr. Dominik Brodowski von der Universität des Saarlandes gesprochen. Sie forschen zum Einsatz von Technologien im Justizwesen und warnen davor, KI-gestützte Ergebnisse als alleinige Beweismittel zu nutzen.
Sie forschen im von der Daimler und Benz Stiftung geförderten Ladenburger-Kolleg „Technologische Intelligenz zur Transformation, Automatisierung und Nutzerorientierung des Justizsystems (TITAN)“ und warnen davor, KI-gestützte Ergebnisse als alleinige Beweismittel zu nutzen.
Anne Zettelmeier - Alle Rechte vorbehalten Daimler und Benz Stiftung / Gerald Schiling
netzpolitik.org: Wie funktioniert eine Analyse mit digitalen Skeletten und wo kommt dabei eine KI zum Einsatz?
Zettelmeier: Um ein Skelettmodell einer Person zu erstellen, werden Marker an die Person angebracht – entweder händisch an bestimmten Körperstellen oder durch die automatisierte Erkennung bestimmter Punkte am Skelett.
Beim Einsatz in Strafverfahren geht es um den Vergleich zwischen dem erstellten digitalen Skelettmodell und einem Tatort-Video. Bei diesem Abgleich soll eine KI eingesetzt werden, um die beiden Täter-Skelett-Modelle zu vergleichen. Das Programm nennt dann am Ende eine Prozentzahl, mit welcher Wahrscheinlichkeit die Personen übereinstimmen und ein Verdächtiger die Person auf einem Tatort-Video ist.
netzpolitik.org: Mit welcher Software kann man das machen?
Brodowski: Mit Produkten, die auf dem Markt erhältlich sind und zur Modellierung von Bewegungsabläufen oder auch zur Identifikation von entsprechenden Markern dienen.
Allerdings sind diese Produkte teils für ganz andere Zwecke geschaffen worden, beispielsweise für die Filmindustrie, um verstorbene Schauspieler mit Bewegungen wieder zum Leben zu erwecken. In Kinofilmen geht es im Gegensatz zu Strafverfahren aber nicht um die Rekonstruktion einer materiellen Wahrheit. Da gelten ganz andere Zielrichtungen und Genauigkeitsmaßstäbe.
Biomechanische Gutachten und Computer-Simulation
netzpolitik.org: Ist der Ansatz, 3D-Modelle in Strafverfahren für eine Beweisführung zu nutzen, komplett neu?
Prof. Dr. Dominik Brodowski - Alle Rechte vorbehalten Jörg Pütz
Brodowski: Dass Skelettmodelle für die Beweisführung genutzt werden, ist noch relativ neu. Der Literatur zufolge wurde das allerdings bereits in anderen Verfahren eingesetzt, um Beschuldigte zu be- oder entlasten.
Bereits etablierter sind von Gutachtern erstellte Expertisen. Ein eindrückliches Beispiel hierfür ist der sogenannte Badewannen-Mord, bei dem sich im Nachhinein herausgestellt hat, dass es gar kein Mord war.
Ein Mann wurde dafür verurteilt und saß 13 Jahre lang unschuldig in Haft, bis ein Wiederaufnahmeverfahren nachgewiesen hat, dass er als Täter nicht in Betracht kommt. Dafür hat man unter anderem in einem biomechanischen Gutachten und per Computersimulationen untersucht, wie die Mechanik des menschlichen Körpers mit dem vermuteten Geschehen in Einklang zu bringen ist.
netzpolitik.org: Worin besteht der Unterschied, ob ich ein Verfahren zur Be- oder Entlastung nutze?
Zettelmeier: Gerade das ist eine wichtige Differenzierung. Es kann auf der einen Seite natürlich zur Entlastung beitragen, wenn Körperbau und Bewegungen einer Person gar nicht zu denen eines Menschen auf einer Aufnahme passen. Um solche Modell-Analysen aber zur Belastung von Verdächtigen zu nutzen, muss man sich sehr sicher sein – beispielsweise wenn ein KI-Modell zum Ergebnis kommt, dass es sich bei einer Person auf einem Video wahrscheinlich um den Tatverdächtigen handelt.
Alles netzpolitisch Relevante
Drei Mal pro Woche als Newsletter in deiner Inbox.
Eine Anklage oder am Ende sogar eine Verurteilung allein auf die Ergebnisse eines solchen Modells zu stützen, wäre ein Problem, weil diese Methode nicht ausreichend wissenschaftlich fundiert und untersucht ist. Wenn jemand falsch verurteilt wird und dann wie im Badewannen-Fall viele Jahre unschuldig in Haft sitzt, hat das schwerwiegende Folgen.
Brodowski: Für eine Verurteilung muss ein Gericht von der Schuld des Beschuldigten überzeugt sein und diese subjektive Überzeugung muss sich auch auf eine objektiv hohe Wahrscheinlichkeit stützen. Umgekehrt ist es aber so, dass bereits begründete Zweifel an der Schuld zwingend zum Freispruch zu führen haben. Dann greift der In-dubio-pro-reo-Grundsatz.
Das heißt, wenn wir nun anhand einer solchen Methodik Zweifel an einer Täterschaft eines Beschuldigten säen können, funktioniert das. Aber um als alleiniges Beweismittel dafür auszureichen, dass eine Person am Tatort war, braucht man eine ausgesprochen hohe Sicherheit hinter dieser Methodik. Die sehe ich zum aktuellen Zeitpunkt noch nicht.
Es braucht mehr Untersuchungen unter Realbedingungen
netzpolitik.org: Was bräuchte es denn dafür, dass solche Skelett-Analysen für eine Beweisführung vor Gericht genutzt werden könnten?
Brodowski: Mehr Untersuchungen zur Zuverlässigkeit der Methode, gerade unter Realbedingungen. Es ist ein Unterschied, ob man solche Analysen in einem Labor unter Idealbedingungen mit genügend Vergleichsmaterial durchführt oder ob man verrauschte Handyvideos und Schwarz-weiß-Aufnahmen einer Überwachungskamera nutzt.
Menschen bewegen sich auch im Laufe der Zeit unterschiedlich. Die Knochen bleiben dieselben, aber der Bewegungsapparat verändert sich im Laufe eines Tages, im Laufe von mehreren Monaten. Auch in Stresssituationen können sich Bewegungsmuster verändern. All diese Faktoren und ihre Auswirkungen müssen untersucht werden. Ich sehe da noch großen Forschungsbedarf.
Dazu kommt noch eine andere Problematik, die beim Einsatz von KI auftritt: Die Berechnungen und die Ergebnisse sind nicht gut nachvollziehbar. Das ist die sogenannte Blackbox-Problematik und Ansätze mit Explainable Artificial Intelligence und ähnlichem haben noch keinen durchschlagenden Erfolg gebracht.
Wenn wir nicht wissen, wie nun eine solche Blackbox von einem Ausgangsdatensatz zum Ergebnis kommt, müssen wir das immer mit Vorsicht genießen.
Uns fehlen diesesJahr noch 257.709 Euro.
Bist Du auch Feuer und Flamme für Grundrechte? Dann unterstütze jetzt unsere Arbeit mit einer Spende.
Bist Du auch Feuer und Flamme für Grundrechte? Dann unterstütze jetzt unsere Arbeit mit einer Spende.
Verteidiger:innen müssen sich bei digitalen Beweismitteln weiterbilden
netzpolitik.org: Welche Auswirkungen hat es denn auf die Verteidigung und die Richter:innen in Strafverfahren, wenn Ergebnisse eines KI-Modells in Strafverfahren einfließen und nicht klar nachvollziehbar ist, wie diese zustande kommen?
Zettelmeier: Im Zweifel kann das zu einem sogenannten Automation Bias führen. Das bedeutet, dass man sich zu sehr auf die generierten Ergebnisse verlässt und beruft.
Es gibt zum Beispiel in Spanien das VioGén-System, das nach Anzeigen von Frauen wegen Gewalt das Risiko berechnen soll, erneut Gewalt zu erfahren. Basierend auf dem Risiko kann es dann richterliche Anordnungen zum Beispiel für ein Näherungsverbot der früheren Täter geben. Dort gibt es auch die Kritik, dass sich die Richter zu stark auf das generierte Ergebnis berufen und es nicht mehr zu einer eigenständigen Überprüfung kommt.
Brodowski: Umso wichtiger ist deshalb, dass man Transparenz herstellt, wann und an welcher Stelle in Verfahren Künstliche Intelligenz eingesetzt wird. Es darf etwa nicht passieren, dass ein Sachverständiger sehr überzeugt im Gerichtssaal auftritt und dort sein schriftliches Gutachten präsentiert und man nur in Fußnoten herausfindet, dass bei bestimmten Auswerteschritten KI eingesetzt wurde.
Das entspricht auch nicht den Anforderungen, die aus der EU-KI-Verordnung folgen. Diese verlangt ein hohes Maß an Transparenz, um einem solchen Automation Bias entgegenwirken zu können.
Eine gute Verteidigung wird solchen Ansätzen nachgehen und versuchen, Zweifel an der Methodik zu säen. Das verlangt jedoch viel von der Strafverteidigung, die sich deswegen auch im Bereich solcher digitaler Beweismittel zunehmend professionalisieren muss. Während in der Vergangenheit der Fokus der Verteidigung häufig auf der Glaubwürdigkeit von Zeugenaussagen gelegen hat, muss sie sich zukünftig immer mehr auch auf die Aussagekraft von solchen digitalen Beweismitteln fokussieren und hier Fachkompetenz hinzuziehen.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Eigentlich sollen zentrale Teile der europäischen KI-Verordnung im August 2026 in Kraft treten. Weil aber bestimmte Standards noch fehlen, fordern Unternehmen, die Frist nach hinten zu verschieben. Organisationen wie European Digital Rights (EDRi) sehen darin einen großen Fehler, doch die Aufschiebung scheint immer wahrscheinlicher.
Mit dem Slogan „Stop the clock“ fordert die Industrie, Regeln der KI-Verordnung zu verzögern. – Gemeinfrei-ähnlich freigegeben durch unsplash.com Malvestida
Im August 2024 hat die EU die KI-Verordnung (AI Act) verabschiedet. Wie vorgesehen tritt sie schrittweise in Kraft: Etwa müssen seit August 2025 Anbieter von KI-Modellen mit allgemeinem Verwendungszweck darlegen, welche Inhalte sie für das Training verwenden, wie sie dabei das Urheberrecht einhalten, wie die Modelle funktionieren und welche Risiken bestehen.
Auch Verbote von KI-Anwendungszwecken wie dem Social Scoring gelten schon seit Februar 2025. Seit August dieses Jahres sollten außerdem die EU-Mitgliedsstaaten auf nationaler Ebene die zuständigen Behörden einrichten – in Deutschland ist das vor allem die Bundesnetzagentur.
Industrie will Frist um bis zu zwei Jahre schieben
Alle anderen Regeln, also auch die Regulierung von Hochrisikosystemen, treten erst am 2. August 2026 in Kraft – zumindest eigentlich. Schon seit längerer Zeit fordern Unternehmen und Industrieverbände, diese Frist nach hinten zu verschieben. Die Initiative wurde unter dem Slogan „Stop the clock“ (Stopp die Uhr) bekannt. Doch wie begründen sie die Verschiebung einer gesetzlich festgelegten Frist?
Für die Umsetzung der Verordnung werden Standards entwickelt, die Unternehmen helfen sollen, den Gesetzestext in notwendige Handlungsschritte zu übersetzen, quasi wie eine Checkliste. Doch ihre Entwicklung zögert sich hinaus. Die Industrie argumentiert, dass dadurch zu wenig Zeit bleibe, um sich auf die Verordnung vorzubereiten. IBM meint sogar, dass die Standards womöglich erst Ende 2026 fertiggestellt würden.
Der Konzern arbeitet selbst an der Entwicklung der Standards mit und fordert, dass die Vorschriften erst ein Jahr nach Veröffentlichung der Standards gelten sollen. Aktuell würden mehrere Standards als Entwürfe vorliegen, doch es müsse noch weiter daran gearbeitet werden, um sie umsetzbar und praktikabel zu machen. Der Bundesverband der Deutschen Industrie (BDI) und Siemens fordern hingegen eine Verschiebung der Frist um zwei Jahre. Das neue Datum wäre somit der 2. August 2028.
Tatsächlich müsste die Frist nicht verschoben werden. Es wäre auch möglich, die Anforderungen zu „pausieren“, also die Fristen beizubehalten, aber für Verstöße keine Strafen zu verhängen.
NGOs: Verschiebung schadet der Glaubwürdigkeit der EU
Das ist die eine Seite. Auf der anderen Seite stehen Organisationen der Zivilgesellschaft, die sich klar gegen eine Verzögerung aussprechen, wie in einem Brief an die Digitalkommissarin Henna Virkkunen Ende September deutlich wurde. 31 Organisationen unterschrieben ihn. Initiiert wurde der Brief von der Organisation European Digital Rights (EDRi), die verschiedene NGOs bündelt. Sie argumentiert, dass sich Unternehmen und Behörden schon seit über einem Jahr auf die Verordnung vorbereiten würden. Dafür hätten sie bereits Zeit und Geld investiert. Sollte sich die Frist jetzt ändern, würde das rechtliche Unsicherheit hervorrufen und womöglich diejenigen bestrafen, die besonders schnell in der Umsetzung waren, so die Organisation.
Die europäische Verbrauchervertretung ANEC setzt sich in Normungsprozessen für die Perspektive der Verbraucher:innen ein und bringt bezüglich der KI-Verordnung einen weiteren Aspekt ins Spiel: Die Verschiebung der Frist würde der internationalen Glaubwürdigkeit der EU als globaler Spitzenreiter in der KI-Regulierung schaden. Sie betont auch, dass die Standards zwar eine wichtige, aber letztlich nur freiwillige Hilfestellung wären und die Verordnung auch ohne sie umgesetzt werden könne. Der Schutz der Verbraucherrechte und die Notwendigkeit vertrauenswürdiger KI würden „bei weitem“ die Unannehmlichkeiten überwiegen, die mit der Arbeit ohne harmonisierte Standards verbunden sind, so ANEC.
Der Verbraucherschutzzentrale Bundesverband (vzbv) macht darauf aufmerksam, dass durch eine Verzögerung auch Verbraucher:innen erst später auf wichtige Rechte zugreifen könnten. Dazu gehört die Erkennung von Hochrisikosystemen durch eine verpflichtende Kennzeichnung oder das Recht, sich KI-Entscheidungen erklären zu lassen. Auch würde die Verzögerung ein „schädliches politisches Signal“ senden, findet der vzbv. Wenn die Kommission dem Druck der Industrie nachgebe und Verbraucherrechte für „kurzfristige kommerzielle Interessen“ opfere, werde das Vertrauen der Öffentlichkeit in das Engagement der EU für den Schutz der Menschen untergraben, heißt es im Statement.
Entscheidung am 19. November
Beobachter vermuten, dass die Kommission eher zu der Verschiebung der Fristen tendiert. Eine offizielle Entscheidung gibt es jedoch noch nicht, bestätigte Kommissionssprecher Thomas Regnier heute. Diese wird am 19. November veröffentlicht. An diesem Datum wird die EU-Kommission den Digital-Omnibus vorstellen – das Vorhaben für die Vereinfachung von mehreren europäischen Digitalregulierungen. Einer Veränderung der KI-Verordnung müssten dann noch das Parlament und der Rat zustimmen. Dann kommt es also auch auf die Haltung der Mitgliedsstaaten an.
Deutschland hat sich mittlerweile positioniert und fordert ebenso eine Verschiebung der Frist – allerdings nur um ein Jahr. So sollen KI-Anbieter ausreichend Zeit bekommen, um die Standards umzusetzen. Das ist die „innovationsfreundliche Auslegung der KI-Verordnung“, welche Unionspolitiker:innen in den vergangenen Jahren immer wieder gefordert hatten. Ziel sei demnach, die europäische Wettbewerbsfähigkeit im KI-Markt zu stärken und damit mehr digitale Souveränität im Sinne der Nutzung europäischer Lösungen zu erreichen.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Trotz internationaler Kritik hält die ungarische Regierung an ihrer queerfeindlichen Politik fest und verbietet die Pride in Pécs. Wieder droht Teilnehmenden die Identifikation per Gesichtserkennung wegen einer Ordnungswidrigkeit. Zivilgesellschaftliche Organisationen fordern ein EU-Vertragsverletzungsverfahren.
Menschen demonstrieren auf der ersten Pride in Pécs im Jahr 2021. – Alle Rechte vorbehalten Merész Márton
Nach dem Verbot der Pride-Parade in Budapest im Juni gehen ungarische Behörden zum zweiten Mal gegen eine Demonstration für die Rechte queerer Menschen im Land vor. Diesmal trifft es die für Anfang Oktober geplante Pride in der südungarischen Stadt Pécs. Anfang September hat die Polizei die als Versammlung angemeldete Pride untersagt. Die Kúria, das höchste ungarischen Gericht, hat das Verbot inzwischen bestätigt.
Es ist ein Affront gegen Brüssel. Darauf weisen auch zivilgesellschaftliche Organisationen wie die Civil Liberties Union und die Ungarische Bürgerrechtsunion hin. In einem Brief von Anfang dieser Woche fordern sie von Kommissionspräsidentin Ursula von der Leyen, das nachzuholen, was die EU vor der Budapester Veranstaltung versäumt hat: ein Vertragsverletzungsverfahren gegen Ungarn einzuleiten und beim Europäischen Gerichtshof (EuGH) sofortige einstweilige Maßnahmen zu beantragen.
Per Gesichtserkennung identifizieren – wegen einer Ordnungswidrigkeit
Die Verbote basieren auf einer queerfeindlichen Gesetzesänderung, die das ungarische Parlament Anfang dieses Jahres im Eilverfahren verabschiedet hat. Die Änderungen betreffen das Versammlungsgesetz, das Gesetz für Ordnungswidrigkeiten und das Gesetz über den Einsatz von Gesichtserkennungtechnologien.
Sie verbieten effektiv jegliche Veranstaltungen und Versammlungen im öffentlichen Raum, die für die Rechte von queeren oder trans Menschen eintreten und knüpfen an das berüchtigte „Kinderschutzgesetz“ an, mit dem Ungarn bereits seit 2021 queere Minderheiten zum Feindbild macht. Die Teilnahme an solchen Veranstaltungen gilt seither als Ordnungswidrigkeit, auf die ein Bußgeld von bis zu 500 Euro steht.
Weil zugleich das Gesetz für den Einsatz von Gesichtserkennung so verändert wurde, dass Personen nun schon im Fall von Ordnungswidrigkeiten per Gesichtserkennung identifiziert werden dürfen, bedeutet das: Teilnehmende der Demo müssen fürchten, gefilmt, biometrisch identifiziert und anschließend mit einem Ordnungsgeld belegt zu werden.
Eine Abschreckungsmaßnahme, die zumindest im Fall der Budapest Pride nach hinten losgegangen ist. Mehr als 150.000 Menschen kamen schätzungsweise zu der Großdemonstration im Juni, die nach einer Intervention des grünen Budapester Bürgermeisters unter dessen Schirmherrschaft stand. Menschen aus der ganzen Welt reisten an, spektakuläre Bilder von den Massen auf der Donaubrücke gingen um die Welt, die internationale Presse berichtete aus Budapest.
Die Rekordzahlen in Budapest ändern nichts an der Rechtslage
Schon damals war klar: Der Triumph über Viktor Orbáns queerfeindliches Verbot, so psychologisch wichtig er sein mochte, ändert nichts an der Rechtslage in Ungarn. Kommende Pride-Veranstaltungen würden vom neuen Gesetz ebenso betroffen sein. Für einige ist die Messlatte jetzt also: Wird sich für die verbotene Pride in Pécs, Ungarns fünftgrößte Stadt mit rund 140.000 Einwohner*innen, ebenso viel Aufmerksamkeit mobilisieren lassen.
Eine Rückendeckung des Bürgermeisters, wie in Budapest, ist in Pécs nicht zu erwarten. Attila Péterffy (parteilos) hatte vergangene Woche angekündigt, der Einladung der Veranstalter zu folgen und eine Rede auf der Eröffnung des parallel stattfindenden Festivals für Menschenrechte zu halten, was er auch tat. An der Demonstration selbst werde er hingegen nicht teilnehmen.
Die Pécs Pride wird seit 2021 von der Organisation Divers Youth Network ausgerichtet und findet traditionell als Abschluss des Festivals für Menschenrechte in der südungarischen Stadt statt. In der Vergangenheit war es eine überschaubare Demonstration. Die Zahl der Teilnehmenden bewegte sich um die Marke von etwa 1000 Teilnehmenden. Dieses Jahr werden jedoch, wie in Budapest, Rekordzahlen erwartet. Wieder wollen ausländische Politiker*innen und EU-Parlamentarier*innen teilnehmen. Die Veranstalter*innen haben angekündigt, die Versammlung werde trotz Verbot wie geplant stattfinden.
„Diese Entscheidung ist ein weiterer Beweis dafür, dass die Machthaber versuchen, mit rechtlichen Mitteln die Ausübung grundlegender Freiheitsrechte einzuschränken und das Recht auf friedliche Versammlung zu unterbinden“, schreiben sie auf Facebook zur Entscheidung des obersten Gerichtshofes. Nun gehe es darum, „gemeinsam für Gleichheit, Akzeptanz und Freiheit einzutreten“.
Auch die Ungarische Bürgerrechtsunion TASZ fordert zur Teilnahme auf und hat gemeinsam mit anderen Organisationen einen Leitfaden zu rechtlichen Fragen rund um die Demo veröffentlicht. Darin warnen die Jurist*innen auch vor dem Einsatz von Gesichtserkennung. In Ungarn gilt ebenso wie in Deutschland ein Vermummungsverbot, Masken oder Schals über dem Gesicht zu tragen ist daher verboten.
Selbst in ihrer großzügigsten Auslegung lässt das KI-Regelwerk diesen Einsatz von Gesichtserkennung nicht zu
Zum Affront gegen die EU wird die Sache nicht nur, weil Orbáns Regierung mit dem Gesetz offensiv die Rechte von queeren Minderheiten im Land beschneidet und damit gegen die Grundrechtscharta der Union verstößt. Der Einsatz von Gesichtserkennung auf einer Demonstration zur Identifikation von Teilnehmenden ist auch ein klarer Verstoß gegen die neue KI-Verordnung, ein Gesetz, das erst im vergangenen Jahr verabschiedet wurde und dessen Verbote nun nach und nach greifen.
Die biometrische Identifikation aus der Ferne, vor allem in Echtzeit, war bei der jahrelangen Verhandlungen um das Gesetz einer der größten Streitpunkte. Kritiker*innen warnten vor den Gefahren für die Demokratie, wenn Staaten in die Lage versetzt werden, Menschen etwa auf Demonstrationen zu identifizieren.
Am Ende stand ein Kompromiss, laut dem der Einsatz dieser Technologien für wenige Fälle erlaubt sein soll. Auf der Liste stehen etwa Terrorverdacht oder Straftaten, auf die mindestens vier Jahre Gefängnis stehen. Eine Ordnungswidrigkeit wie in Ungarn ist, wie man es auch dreht und wendet, davon nicht abgedeckt.
In ihrem Brief an die EU-Kommission gemeinsam mit der Civil Liberties Union weist die TASZ auf diesen Umstand hin: Das Gesichtserkennungssystem, mit dem die ungarische Polizei arbeite, sei in der Lage, Personen auch binnen kürzester Zeit zu identifizieren und falle deswegen klar in die Kategorie der Echtzeit-Systeme.
Die EU solle nun endlich das tun, was im Vorlauf der Budapester Veranstaltung nicht passiert ist: ein Vertragsverletzungsverfahren gegen Ungarn einleiten und beim Europäischen Gerichtshof (EuGH) einstweilige Maßnahmen beantragen.
Bald urteilt der Gerichtshof der Europäischen Union
In Brüssel brodelt es um den Fall, die Kommission prüft derzeit laut eigenen Angaben, ob das ungarische Gesetz gegen EU-Vorgaben verstößt. In einer Parlamentsdebatte im Juni sagte der Justizkommissar Michael McGrath, die Budapester Pride sei keine Gefahr für Kinder.
Vor einem anderen EU-Gericht, dem Gerichtshof der Europäischen Union, wird derweil das Urteil zur Klage gegen Ungarn queerfeindliches Gesetz von 2021 erwartet, das den Zugang zu Darstellungen von Queerness einschränkt. Die EU-Kommission, 16 EU-Länder und das EU-Parlament hatten Ungarn verklagt, Menschenrechtsorganisationen sprechen vom „größten Menschenrechtsfall in der Geschichte der EU“.
Im Juni gab die Generalanwältin des Gerichtshofs, Tamara Ćapeta, ihre Stellungsnahme ab, die als wegweisend für das finale Urteil der Richter*innen gilt. Sie sagt, Ungarn verstößt mit dem Gesetz gegen EU-Recht und die in den Verträgen verankerten Werte der EU. Folgt das Gericht ihrer Einschätzung, könnte es anordnen, das Ungarn das Gesetz zurücknimmt oder Strafen verhängen.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Biometrische Gangerkennung soll Menschen aus der Ferne identifizieren können, selbst wenn sie ihr Gesicht verhüllen. Unser Überblick zeigt, wie die Technologie funktioniert und wo sie bereits eingesetzt wird. Menschenrechtler*innen fordern ein Verbot.
Unser Gang hat einen Wierdererkennungswert. (Symbolbild) – Alle Rechte vorbehalten IMAGO / Westend61, Bearbeitung: netzpolitik.org
Unser Gang ist besonders. Wir unterscheiden uns zum Beispiel darin, wie wir unsere Füße aufsetzen, unsere Arme beim Gehen schlenkern lassen oder wie lange unsere Schritte dauern. Solche Merkmale sind individuell und potenziell auch verräterisch, denn sie werden wie beiläufig bei der Videoüberwachung mit aufgezeichnet. Und anders als bei der biometrischen Gesichtserkennung kann man nicht einfach eine Maske aufsetzen, um den eigenen Gang zu verschleiern.
Wenn man Menschen auch von Weitem anhand ihrer Körpermerkmale erkennt, nennt man das biometrische Fernidentifizierung. In der öffentlichen Debatte darüber geht es meist um Gesichtserkennung. Dabei gibt es noch weitere Möglichkeiten, Menschen biometrisch zu erkennen. Eine solche Methode ist die biometrische Gangerkennung.
Verboten ist der Einsatz der Technologie in der EU nicht, im Gegenteil. Dort, wo die KI-Verordnung (AI Act) den Staaten Spielraum für biometrische Gesichtserkennung lässt, können Behörden auch andere biometrische Technologien einsetzen – auch wenn darüber selten diskutiert wird.
Dieser Artikel erklärt, was Gangerkennung bereits kann, und wo sie schon angewandt wird. Die Organisationen Amnesty International und AlgorithmWatch warnen vor der Technologie – die beispielsweise die Polizei bereits auf dem Schirm hat. Und im Auftrag der Europäischen Union erkunden Forscher*innen in Österreich ihren Einsatz an der EU-Grenze.
Auch Menschen können andere Personen anhand ihres Gang identifizieren. Unter anderem in Großbritannien werden dafür Sachverständige vor Gerichte geladen, um etwa die Identität eines Tatverdächtigen festzumachen. Einer Studie über diese forensische Gangerkennung aus dem Jahr 2018 zufolge würden solche Gang-Expert*innen allerdings noch wenig mit Software arbeiten.
Inzwischen gibt es zunehmend technisch gestützte Methoden für Gangerkennung, die gemeinhin als „KI“ bezeichnet werden. Einer der Menschen, der dazu forscht, ist Simon Hanisch. „Gangerkennung funktioniert mittlerweile sehr gut mithilfe von Deep Learning und Objekterkennung“, erklärt der Forscher, der am Karlsruher Institut für Technologie zur Anonymisierung biometrischer Daten arbeitet.
Im Gespräch mit netzpolitik.org beschreibt er eine Art, wie Gangerkennung per Software heutzutage funktionieren kann: Zuerst zerlegt die Software das Video einer laufenden Person in einzelne Frames, also Momentaufnahmen. So lassen sich etwa die Phasen eines Schritts nachvollziehen, die Bewegungen von Armen und Beinen. Danach stellt die Software die Umrisse der Person frei. Sie sieht dann so ähnlich aus wie ein Ampelmännchen. Schließlich legt die Software die Umrisse aus mehreren Frames in Graustufen übereinander. Das sieht dann aus wie ein Ampelmännchen mit vielen Armen und Beinen.
Auf diese Weise sollen möglichst einzigartige Profile entstehen, anhand derer sich Menschen voneinander unterscheiden lassen – und wiedererkennen.
Wie korrekt ist Gangerkennung?
Zu Gangerkennung sind in den vergangenen Jahren viele Studien erschienen. Sie beschreiben mehrere Verfahren, die verschieden genau sind. Manche Forschende verweisen auf äußere Faktoren, die Einfluss auf unseren Gang haben und deshalb die Wiedererkennung erschweren würden. Zum Beispiel könnten Schuhe, die Beschaffenheit des Bodens oder Taschen das Gangprofil verändern.
So stellten auch die Autor*innen der oben erwähnten Studie zur forensischen Gangerkennung fest: Der Beweiswert eines menschlichen Gang-Gutachtens vor Gericht sei relativ niedrig. Das war jedoch im Jahr 2018. Mittlerweile sind die technischen Mittel ausgereift genug, um Personen auch trotz sich ändernder Bedingungen zu identifizieren, wie Simon Hanisch erklärt. Die Software könnte auch Veränderungen des Gangs einbeziehen.
Eine KI ist jedoch nur so gut wie die Daten, mit denen sie trainiert wurde. „Für das Training benötigt man viele Daten“, sagt Hanisch, „die entsprechenden Datensätze gibt es aber heute schon“. Um nur eine einzelne Person anhand ihres Gangs über mehrere Überwachungskameras hinweg zu verfolgen, brauche es nicht sehr viele Daten, so der Forscher. Zur Identifikation würden bereits einige Beispiele genügen, die zeigen, wie diese Person geht.
Anders sehe es aus, wenn eine beliebige Person in einem Video eindeutig identifiziert werden soll, erklärt Hanisch. Dafür „wäre eine große Datenbank erforderlich, in der Gangbeispiele aller Personen vorhanden sind – analog zu einer Datenbank mit Gesichtsbildern oder Fingerabdrücken.“ Im Moment gibt es allerdings keine Anzeichen dafür, dass in Deutschland größere Datenbanken mit biometrischen Gangprofilen existieren.
Eine wichtige Komponente könne auch die Zeitspanne sein. Wie verändert sich der Gang eines Menschen über Jahrzehnte? Es gibt „noch nicht genug Forschung, um sagen zu können, wie gut die Gangerkennung über die Zeit funktioniert“, sagt Hanisch. „Wahrscheinlich wird es einen großen Einfluss haben; allerdings sind mir keine Studien bekannt, die das wirklich gut untersucht haben.“
Für eine realistische Anwendung von Gangerkennung brauche es noch mehr Forschung. „Meiner allgemeinen Vermutung nach würde die Gangerkennung in einem realistischen Setting außerhalb des Labors wahrscheinlich eher mäßig gut funktionieren.“
Trotzdem warnt Hanisch vor der Technologie: „Man sollte nicht vergessen, dass sich biometrische Merkmale kombinieren lassen, um bessere Ergebnisse zu erzielen, beispielsweise Gangerkennung mit Gesichtserkennung.“ Das Potenzial für staatliche Überwachung sieht Hanisch durchaus. Besonders sei es für Behörden vorteilhaft, Gangerkennung einzusetzen, weil „man seinen Gang nur schwer verstecken kann“.
Deutschland: Polizei bildet sich zu Gangerkennung weiter
Wir haben bei deutschen Polizeibehörden nachgefragt, ob sie biometrische Gangerkennung einsetzen oder sich zumindest damit beschäftigen. Die Landeskriminalämter (LKAs) aus 16 Bundesländern sowie das Bundeskriminalamt (BKA) haben den Einsatz computergestützter biometrischer Gangerkennung verneint.
Laut der Pressestelle des LKA Hessen „fehlt es an einer Datenbank, gegen die ein solches System Daten abgleichen könnte“. Gangerkennung hätten die Beamt*innen in Hessen allerdings auf dem Schirm. „Denkbar wären 1:1 Vergleiche, beispielsweise den Gang einer unbekannten Person mit dem Gang einer bekannten Person abzugleichen“, schreibt die Pressestelle. Dies könne „als Sachbeweis in einem laufenden Ermittlungsverfahren herangezogen werden“.
Das LKA Berlin hat sich ebenso mit Gangerkennung beschäftigt, allerdings nicht computerbasiert. Stattdessen würden Gutachten des kriminaltechnischen Instituts (KTI) des LKA Berlin „nach der Methode der beobachtenden Gangbildanalyse erstellt, wie sie auch in der Medizin und der Sportwissenschaft angewandt wird“. Auch das LKA Rheinland-Pfalz wende sich für solche Gutachten an das LKA Berlin.
Das LKA Saarland hat sich nach eigenen Angaben bereits mit biometrischer Gangerkennung beschäftigt, und zwar im Rahmen einer Fortbildung durch das BKA. Das BKA wiederum teilt mit, die angesprochene Fortbildung sei eine Online-Vortragsreihe der Deutschen Hochschule der Polizei gewesen. Dort habe man Vertreter*innen der Polizeien von Bund und Ländern über aktuelle Entwicklungen in der Kriminaltechnik informiert.
Deutschland: Erkennung gehender Personen im Supermarkt
Gangerkennung findet wohl auch Verwendung in der freien Wirtschaft. Bereits 2024 berichtete netzpolitik.org von einem Rewe-Supermarkt in Berlin, der seine Besucher*innen mit hunderten Überwachungskameras durch den Laden verfolgt, die mitgenommenen Waren erkennt und dann an der Kasse abrechnet. Dabei arbeitet Rewe mit der israelischen Firma Trigo zusammen, die es sich zur Mission gemacht hat, den Einzelhandel mit sogenannter KI zu optimieren.
Im Rewe-Supermarkt soll es allerdings keine Gesichtserkennung geben, wie Rewe und Trigo betonten. Stattdessen würden Kameras die schematische Darstellung des Knochenbaus der Besucher*innen erfassen, um sie voneinander zu unterscheiden. Auch das kann eine Form biometrischer Gangerkennung sein, wie sie etwa in einer Studie der TU München beschrieben wird. Demnach könne Gangerkennung per Skelettmodell sogar besser funktionieren als über die Silhouette. Die Strichmännchen mit Knotenpunkten an den Gelenken aus der Münchner Studie ähneln optisch dem Pressematerial von Trigo.
Screenshot aus der Studie der TU München: Gangerkennung per Silhouette und per Skelett. - Alle Rechte vorbehalten Screenshot: Technical University of Munich
Auf Anfrage von netzpolitik.org verneint Trigo allerdings den Einsatz von Gangerkennung: „Unser System unterscheidet zwischen Käufer*innen mittels computerbasiertem Sehen (‚computer vision‘)“, schreibt die Pressestelle. „Aus wettbewerbstechnischen Gründen können wir nicht tiefer auf technologische Details eingehen, aber wir nutzen keine Gangerkennung oder biometrische Identifikation.“
Ohne die technologischen Details, die Trigo vorenthält, lässt sich die Technologie nicht abschließend bewerten. Bereits 2024 hatten wir den Biometrie-Experten Jan Krissler (alias starbug) um eine Einschätzung gebeten. Er sagte mit Blick auf Trigo: „Körpermerkmale erfassen ist der Inbegriff von Biometrie – und das passiert hier.“
Die Technologie, deren Details das Unternehmen geheimhalten will, wird nach Angaben von Trigo schon in mehreren europäischen Länder eingesetzt. Wo genau? Auch hierzu verweigert die Pressestelle eine Antwort, wieder mit Verweis auf Wettbewerber*innen.
EU: Forschung an Gangerkennung für die Grenze
Die EU erforscht den Einsatz von Gangerkennung an der Grenze, Projektname: PopEye. Das Projekt läuft von Oktober 2024 bis September 2027. Auf der Projektwebsite gibt es beim Klick auf „Ergebnisse“ noch nichts zu sehen. In der dazugehörigen Beschreibung heißt es auf Englisch: „Das von der EU geförderte Projekt PopEye zielt darauf ab, die Sicherheit an den EU-Grenzen durch den Einsatz fortschrittlicher biometrischer Technologien zur Identitätsüberprüfung in Bewegung zu erhöhen“. Eine dieser Technologien ist Gangerkennung.
Die Grenzagentur Frontex listet PopEye als eines von mehreren Forschungsprojekten auf der eigenen Website auf. Bereits 2022 hatte Frontex Gangerkennung in einer Studie über biometrische Technologien beschrieben. Demnach benötige Gangerkennung „keine Kooperation der betreffenden Person und kann aus mittlerer Entfernung zum Subjekt funktionieren“. In der Studie schätzt Frontex: Bis biometrische Gangerkennung im Alltag ankommt, würden noch mindestens zehn Jahre vergehen.
Frontex ist auch an illegalen Pushbacks beteiligt. Das heißt, Beamt*innen verhindern, dass schutzsuchende Menschen an der EU-Grenze Hilfe bekommen. Auf Anfrage von netzpolitik.org will sich Frontex nicht zu PopEye äußern und verweist auf das AIT, das Austrian Institute of Technology. Das Institut aus Österreich koordiniert das Projekt im Auftrag der EU.
Das AIT wiederum erklärt auf Anfrage, selbst nicht im Bereich Gangerkennung zu arbeiten. Allerdings sei Gangerkennung eines von mehreren biometrischen Verfahren, die im Rahmen von PopEye erforscht würden. In dem Projekt würden biometrische Methoden entwickelt, die auch dann funktionieren, wenn sich eine Person bewegt und etwas entfernt ist. Kurzum: Man will Menschen identifizieren können, auch wenn sie gerade nicht aktiv ihr Gesicht vor eine Kamera halten oder ihren Finger auf einen Sensor legen. Das könne etwa die Wartezeit von Reisenden verkürzen, so das AIT.
Weiter erklärt das AIT, man wolle die Technologie verstehen, ihre Einschränkungen und Risiken. Ohne, dass wir ausdrücklich danach gefragt hätten, betont das AIT mehrfach, nichts Verbotenes zu tun. „Wir verpflichten uns, alle geltenden Vorschriften einzuhalten und die Werte der EU sowie die Grundrechte zu fördern und zu wahren.“ Sollte das nicht selbstverständlich sein?
Die gemeinnützige Organisation AlgorithmWatch kritisiert Gangerkennung an der Grenze, gerade mit Blick auf einen möglichen Einsatz bei Geflüchteten. „Wie so häufig wird also die Entwicklung digitaler Überwachungstools an Menschen auf der Flucht getestet, die sich kaum dagegen wehren können“, schreibt Referentin Pia Sombetzki auf Anfrage.
China und Russland: Gangerkennung über 50 Meter Entfernung
Die chinesische Regierung treibt Forschung zu Gangerkennung voran. Einer der größeren Datensätze mit Gangprofilen ist Gait3D, der auf Videodaten aus einem Supermarkt basiert. Das im Jahr 2022 veröffentliche Projekt hat China mit staatlichen Mitteln gefördert.
Nach Berichten der Agentur AP News soll China bereits 2018 Überwachung per Gangerkennung eingeführt haben, und zwar durch Polizeibehörden in Beijing und Shanghai. Die Technologie komme von der chinesischen Überwachungsfirma Watrix. Nach Angaben des CEOs gegenüber AP News könne das System Personen aus bis zu 50 Metern Entfernung identifizieren. Das System lasse sich angeblich nicht täuschen, etwa durch Humpeln.
In einer Spiegel-Reportage aus dem Jahr 2019 erklärte eine Pressesprecherin von Watrix, das System würde weitere Informationen nutzen, um Menschen zu identifizieren, etwa Körpergröße und Statur. Angeblich erkenne die Software Menschen in einer Sekunde. „Zwei Schritte reichen.“ Auch in Gruppen von bis zu 100 Leuten könne die Software Menschen erkennen, deren Gangprofil dem System bekannt sei. Es ist üblich, dass Überwachungsfirmen die Fähigkeiten ihrer Produkte überhöhen. Auf unsere Fragen hat Watrix nicht reagiert.
Auch das russische Regime soll biometrische Gangerkennung einsetzen. Im Jahr 2020 berichtete das russische Exilmedium Meduza von entsprechenden Plänen für das Folgejahr. Die Technologie sollte demnach Teil der staatlichen Kameraüberwachung in Moskau werden. Im Jahr 2021 schreib das staatliche Propaganda-Medium Rossiyskaya Gazeta von einem solchen Überwachungssystem im Auftrag des Innenministeriums. Angeblich könne die Gangerkennung eine Person aus einer Entfernung von bis zu 50 Metern identifizieren. Es fehlt allerdings eine unabhängige Prüfung, um festzustellen, viel davon Einschüchterung ist und wie viel korrekt.
Grundrechte in Gefahr: Menschenrechtler*innen fordern Verbot
Menschenrechtsorganisationen betrachten Gangerkennung schon länger kritisch. Privacy International warnte bereits 2021 vor den Gefahren von Gangerkennung bei Protesten. Auch Amnesty International beschäftigt sich damit. Gangerkennung funktioniere aus der Ferne und bleibe dadurch unbemerkt, schreibt Lena Rohrbach auf Anfrage von netzpolitik.org. Sie ist Referentin für Menschenrechte im digitalen Zeitalter bei Amnesty International in Deutschland.
Behörden könnten Gangerkennung etwa ergänzend zu Gesichtserkennung einsetzen, um Menschen auch auf Distanz zu identifizieren. „Überwachung durch Gangerkennung ist ein tiefgreifender Eingriff in Menschenrechte und geht mit umfassenden Risiken einher“, warnt Rohrbach. „Jede Form biometrischer Fernidentifizierung ist potenziell geeignet, zur Repression genutzt zu werden und die freie und unbeobachtete Bewegung im öffentlichen Raum vollständig zu beenden.“
Amnesty International setze sich deshalb für ein umfassendes Verbot biometrischer Fernidentifizierung zur Überwachung des öffentlichen Raums ein – inklusive Gangerkennung. Die EU hat die Gelegenheit verpasst, ein solches Verbot im Rahmen der KI-Verordnung zu beschließen.
In Deutschland befasst sich die Organisation AlgorithmWatch mit den Auswirkungen sogenannter KI auf Menschenrechte. Auf Anfrage vergleicht Referentin Pia Sombetzki Gangerkennung mit Gesichtserkennung. „Die Anonymität im öffentlichen Raum wird effektiv aufgehoben, und Menschen dürften es sich tendenziell eher zweimal überlegen, an welcher Versammlung sie noch teilnehmen“, schreibt sie. Neben Demonstrierenden könnten zum Beispiel auch Obdachlose oder Suchtkranke beobachtet werden.
Das Problem betreffe grundsätzlich alle, die sich in der Öffentlichkeit frei bewegen wollten. Rufe nach mehr KI in der Polizeiarbeit könnten in eine Sackgasse führen, warnt Sombetzki. „Denn je mehr die Freiheitsrechte auch hierzulande eingeschränkt werden, desto weniger bleibt von der demokratischen Gesellschaft übrig, die es eigentlich zu schützen gilt.“
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Bei der Budapest Pride am Samstag drohen den Teilnehmenden Strafen, die Polizei darf sogar Gesichtserkennung zur Identifikation einsetzen. Etwa 50 Menschenrechtsorganisationen fordern die EU-Kommission zu sofortigen Handeln gegen den „gefährlichen Präzedenzfall“ auf.
Demonstration gegen das Gesetzespaket, das Pride-Veranstaltungen in Ungarn verbietet. – Alle Rechte vorbehalten IMAGO
Rund 50 Menschenrechts- und Digitalrechtsorganisationen aus ganz Europa fordern die EU-Kommission auf, ein neues Vertragsverletzungsverfahren gegen Ungarn einzuleiten und sofortige Maßnahmen gegen queerfeindliche Gesetze im Land zu ergreifen.
Die Organisationen verweisen auf ein Gesetz, das den Einsatz von Gesichtserkennungssystemen bei der anstehenden Pride-Demonstration in Budapest erlaubt: Es verstoße klar gegen EU-Vorgaben für Künstliche Intelligenz (KI-Verordnung). Die Kommission müsse umgehend handeln um sicherzustellen, dass die Teilnehmenden der für Samstag geplanten Pride ihr Recht auf Versammlung und freie Meinungsäußerung wahrnehmen können. Auch soll sie von den ungarischen Behörden Informationen über den Einsatz und die technischen Details der Gesichtserkennung anfordern. Details hält die Regierung bislang unter Verschluss.
„Gefährlicher Präzedenzfall“
Ungarn hat Mitte März ein Gesetzespaket verabschiedet, das die Organisation und Teilnahme an Veranstaltungen wie der Pride unter Strafe gestellt. Die Regierung begründet dies mit dem angeblichen Schutz Minderjähriger. Seit dem 15. April drohen Geldstrafen und die Polizei darf Echtzeit-Gesichtserkennung einsetzen, um Demonstrierende zu identifizieren – obwohl es sich lediglich um eine Ordnungswidrigkeit handelt.
„Die Europäische Kommission muss sich einschalten und Ungarn und die Welt daran erinnern, dass die EU eine klare rote Linie gegen dystopische, diskriminierende und strafende Nutzungen von Technologien zieht“, fordert Ella Jakubowska, Leiterin der Abteilung Politik bei European Digital Rights (EDRi), welche den Brief mitgezeichnet hat.
Ádám Remport von der Hungarian Civil Liberties Union warnt, das Gesetz bedrohe nicht nur die Privatsphäre, sondern auch die Rechtsstaatlichkeit und eine Vielzahl von Menschenrechten. „Die Europäische Kommission muss entschlossen handeln, um zu verhindern, dass sich ein gefährlicher Präzedenzfall in der gesamten Union etabliert.“
Keine Bücher und Filme zu Queerness
Die Kommission hat bereits rechtliche Schritte gegen Ungarn wegen eines queerfeindlichen Gesetzes aus dem Jahr 2021 eingeleitet, das LGBTQ-Inhalte in Schulen, Buchläden und im Fernsehen verbietet. Kinder und Jugendliche haben seither kaum noch Zugang zu Informationen rund um queere Sexualität oder Transidentität. Werbung oder Sendungen zu diesen Themen sind aus dem Fernsehen verschwunden, Bücher dürfen nicht mehr offen im Buchladen ausliegen.
Anfang Juni stellte die Generalanwältin des von der Kommission angerufenen Europäischen Gerichtshof (EuGH) fest, dass das Gesetz und seine Argumentation, es gehe um den Schutz von Kindern, auf „Vorurteilen dazu beruht, dass das Leben von Homosexuellen und Nicht-Cisgender [Transgender] nicht den gleichen Wert hat”. Das Gericht hat noch kein Urteil gefällt, folgt aber meist der Einschätzung aus der Schlusserklärung.
Das „Kinderschutzgesetz“ dient auch als Rechtsgrundlage für das aktuelle Verbot von Versammlungen im Zusammenhang mit Queerness. Zwei queere Veranstaltungen wurden bereits auf Basis dieses Gesetzes untersagt, schreiben die Organisationen an die Kommission.
Bürgermeister widersetzt sich dem Verbot
Lange war ungewiss, ob und wie die traditionelle Budapest Pride in diesem Jahr stattfinden würde. Nach dem Verbot im März hatten die Veranstalter*innen angekündigt, an der Veranstaltungen festzuhalten. In der Folge begann ein Katz-und-Maus-Spiel zwischen der Budapester Polizei und der Stiftung, die die Pride ausrichtet. Die Organisator*innen versuchten zunächst, das Verbot zu umgehen, indem sie mehrere Veranstaltungen für denselben Tag anmeldeten. Die Polizei hat sie alle verboten.
Schließlich schaltetet sich Mitte Juni der liberale Bürgermeister von Budapest Gergely Karácsony ein. Gemeinsam mit dem Sprecher der Budapest Pride kündigte er per Video an, die Stadt werde die Veranstaltung als kommunalen „Tag der Freiheit“ ausrichten. Als Teil der Feierlichkeiten werde es auch eine Prozession durch die Innenstadt geben.
Dabei handele es sich um keine Demonstration. „Es wird keine Lastwagen, keine Tänzer*innen und keine Sexualität in irgendeiner Form geben“, schrieb er an die Polizei. Doch auch diese Veranstaltung hat die Polizei mittlerweile verboten. Sie verstoße gegen das neue Gesetz, argumentiert Polizeichef Tamas Terdik in dem 16-seitigen Dokument.
Der Bürgermeister hält daran fest, das Verbot sei irrelevant. Die Veranstaltung könne nicht verboten werden, weil sie nie als Demonstration angemeldet war. „Die Polizeibehörde von Budapest hat ein Verbot für eine nicht existierende Versammlung erlassen und hätte mit derselben Härte auch Einhörner verbieten können.“
EU-Abgeordnete und Bürgermeister*innen laufen mit
Zu der Veranstaltung am Samstag werden mehrere Zehntausend Menschen erwartet. Mehr als 70 Abgeordnete des EU-Parlaments haben bereits ihre Teilnahme angekündigt, darunter die Vorsitzende der Sozialisten und Demokraten (S&D) Iratxe García, die Vorsitzende der Liberalen Renew Europe Valérie Hayer und die Co-Vorsitzende der Grünen-Fraktion Terry Reintke.
Die niederländische Staatssekretärin für Bildung und mehrere Bürgermeister*innen großer europäischer Hauptstädte werden ebenfalls anwesend sein.
Die EU-Kommissarin für Gleichstellung Hadja Lahbib hatte ihre Teilnahme davon anhängig gemacht, ob die Veranstaltung verboten wird. In dem Fall hat sie angekündigt, sich am Vortag mit Aktivist*innen treffen zu wollen, aber nicht an der Pride teilzunehmen.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Anfang Februar 2025 gelten die ersten Regel aus dem AI Act. Das Gesetz soll die Gefahren sogenannter Künstlicher Intelligenz eindämmen. Tatsächlich enthält es zahlreiche Ausnahmen. Vor allem Frankreich verhandelte Schlupflöcher mit potenziell weitreichenden Folgen für Europas Grundrechte.
Frankreich spielte bei den Ausnahmen im AI Act eine zentrale Rolle. – Alle Rechte vorbehalten Spoovio/Georgina Choleva für Investigate Europe
Dieser Artikel wurde von dem Journalistenteam Investigate Europe recherchiert, das aus Reporterinnen und Reportern aus elf europäischen Staaten besteht. Die Recherche wird gemeinsam mit Medienpartnern wie Disclose (Frankreich), EU Observer (Belgien), Il Fatto Quotidiano (Italien), InfoLibre (Spanien), Publico (Portugal) und Efsyn (Griechenland) veröffentlicht.
Ab dem 2. Februar 2025 sind KI-Systeme, die ein unannehmbares Risiko darstellen, in der EU verboten. Das ist im AI Act, der europäischen KI-Verordnung, geregelt. Die ersten dieser Regeln werden bald gültig, bei anderen dauert es noch etwas. Aber der AI Act enthält Ausnahmen und Schlupflöcher. Deshalb dürfen etwa Strafverfolgungsbehörden weiter Gesichtserkennung auf Videoüberwachungsbilder anwenden und an der Grenze dürfen automatisiert die mutmaßlichen Emotionen von Geflüchteten ermittelt werden. Das sind nur einige der Punkte, die die EU-Staaten in den europäischen AI Act hineinverhandelt haben. Dabei sollte das Gesetz eigentlich die zahlreichen Grundrechtsbedenken beim Einsatz von KI-Systemen ausräumen.
Grund für die Ausnahmen ist unter anderem die geheime Lobbyarbeit Frankreichs und anderer EU-Staaten. Das zeigen interne Dokumente aus den Verhandlungen, die Investigate Europe vorliegen. Sie zeichnen ein Bild von Gesprächen, in denen es den Mitgliedstaaten gelang, den Gesetzestext zu verwässern und damit Polizei und Grenzschützern die Möglichkeit zu geben, Bürgerinnen und Bürger heimlich zu überwachen.
Ausnahmen für die „nationale Sicherheit“
„Eine Reihe von bürokratischen Schlupflöchern führt dazu, dass der AI Act nicht das Gesetz zum Schutz der Menschenrechte ist, auf das viele gehofft hatten“, sagt die Direktorin der Brüsseler Nichtregierungsorganisation Equinox, Sarah Chander, die sich gegen rassistische Diskriminierung einsetzt. „In Wirklichkeit ist der AI Act ein industriefreundliches Instrument, das den europäischen KI-Markt schnell voranbringen und den öffentlichen Dienst digitalisieren soll.“
Für die Recherche konnte Investigate Europe mehr als 100 Dokumente aus den Sitzungen des COREPER-Ausschusses sichten, in dem sich die ständigen Vertreter:innen der 27 Mitgliedstaaten treffen. Sie bereiten die Sitzungen des Rats der EU vor. Die Journalistinnen und Journalisten konnten auch mit mehreren Personen sprechen, die an den Verhandlungen beteiligt waren. Sie zeigen, wie Frankreich strategische Änderungen im Gesetzestext durchsetzen konnte.
Das KI-Gesetz verbietet den Einsatz von Gesichtserkennungssystemen im öffentlichen Raum. Ausnahmen, die von der Regierung Macron und ihren Unterstützern in das Gesetz hineinverhandelt wurden, ermöglichen es jedoch, dass Strafverfolgungsbehörden und Grenzschutzbeamte sich nicht immer an dieses Verbot halten müssen. Dies könnte beispielsweise dazu führen, dass Klimademonstrationen oder politische Proteste mit Hilfe von KI überwacht werden, wenn die Behörden eine Gefährdung der „nationalen Sicherheit“ befürchten.
Harter Kampf um Gesichtserkennung
In einer COREPER-Sitzung im November 2022 brachte der französische Verhandlungsführer die Wünsche seiner Regierung unmissverständlich zum Ausdruck. Er habe gefordert, dass „die Ausnahme von Sicherheit und Verteidigung vom Anwendungsbereich unbedingt beibehalten werden muss“, heißt es in einem Protokoll der Sitzung. Damit bezog er sich auf eine Passage im damaligen Gesetzentwurf, laut der nur das Militär Echtzeit-Gesichtserkennung im öffentlichen Raum einsetzen dürfen sollte. In einer späteren Sitzung unterstützten mehrere Staaten die französische Forderung, darunter Italien, Schweden, Finnland, Tschechien, Litauen, Rumänien, Ungarn und Bulgarien.
„Das war einer der härtesten Kämpfe, den wir am Ende verloren haben“, erinnert sich einer der Verhandlungsführer im Gespräch mit Investigate Europe, der seinen Namen nicht in diesem Bericht lesen möchte. Die endgültige Fassung des Gesetzes erlaubt es Staaten, Überwachungstechnologien einzusetzen, wenn es um die nationalen Sicherheit geht.
In der Praxis könnten sich dank dieser Regelung auch private Unternehmen sowie Drittstaaten an der Überwachung von EU-Bürgern beteiligen, wenn sie den Sicherheitsbehörden des Landes KI-Technologie zur Verfügung stellen. Das Gesetz sieht vor, dass die Überwachung zulässig ist – „unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt“.
Schlupfloch für private Unternehmen
„Dieser Artikel verstößt gegen jede Verfassung, gegen die Grundrechte und gegen europäisches Recht“, sagt ein Jurist der konservativen EVP-Fraktion im Europäischen Parlament im Gespräch mit Investigate Europe. „Frankreich könnte zum Beispiel die chinesische Regierung bitten, mit ihren Satelliten Fotos zu machen und diese an die französische Regierung zu verkaufen.“
Die Ausnahme widerspreche auch Urteilen des Europäischen Gerichtshofs, sagt die Rechtswissenschaftlerin Plixavra Vogiatzoglou von der Universität Amsterdam. In den Jahren 2020 und 2022 hatten die Luxemburger Richter geurteilt, dass französische Telekommunikationskonzerne gegen EU-Recht verstoßen hätten, weil sie Daten aus Gründen der nationalen Sicherheit gespeichert hätten. Vogiatzoglou: „Der EU-Gerichtshof hat gesagt, dass private Unternehmen nicht vom EU-Recht ausgenommen sind, auch wenn sie in Fragen der nationalen Sicherheit involviert sind.“
Auch außerhalb der Ratsverhandlungen hat Frankreich in den vergangenen Jahren auf den Einsatz von Überwachungstechnologien gedrängt. So genehmigte das Verfassungsgericht des Landes im Mai 2023 den Einsatz von KI-Systemen zur Videoüberwachung während der Olympischen Spiele in Paris. Diese Maßnahme wurde von Amnesty International als „ernsthafte Bedrohung für bürgerliche Freiheiten und demokratische Prinzipien“ kritisiert. In Zukunft könnte diese Ausnahme zur Regel werden.
Emotionserkennung an der Grenze erlaubt
Ab dem 2. Februar außerdem verboten sind KI-Systeme zur Emotionserkennung am Arbeitsplatz, in Schulen und Universitäten. Außerdem dürfen Unternehmen die Technologie nicht nutzen, um das Verhalten potenzieller Kunden in ihren Geschäften zu analysieren. Auch Arbeitgeber dürfen sie nicht einsetzen, um festzustellen, ob ihre Mitarbeiter zufrieden oder traurig sind. Dank des Einsatzes Frankreichs und anderer EU-Länder dürfen Sicherheitsbehörden und Grenzschützer die Systeme künftig jedoch nutzen.
Bei einer Verhandlungssitzung von COREPER am 29. November 2023 betonte der dänische Vertreter, dass ein Verbot „verhältnismäßig sein muss und nur dann gelten darf, wenn die Gefahr einer Diskriminierung besteht“. Die Niederlande, Portugal und die Slowakei vertraten bei dem Treffen eine ähnliche Position und äußerten sich kritisch zu einer Ausweitung des Verbots auf die Strafverfolgung.
Eine weitere umstrittene Anwendung von KI sind biometrische Kategorisierungssysteme. Deren Betreiber versprechen, damit die ethnische Zugehörigkeit oder sogar die sexuelle Orientierung einer Person bestimmen zu können. Das neue EU-Gesetz verbietet zwar ihren Einsatz, aber hier gibt es ebenfalls eine Ausnahme für Strafverfolgungsbehörden: „Dieses Verbot erstreckt sich nicht auf die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze … auf der Grundlage biometrischer Daten oder auf die Kategorisierung biometrischer Daten“.
Auch hier war es Frankreich, das die Beschränkungen des AI Act aufweichte. In einem schriftlichen Kommentar zum Gesetzentwurf schrieben die französischen Verhandlungsführer am 24. November 2023, es sei „sehr wichtig, die Suche nach einer Person zu ermöglichen, … die ihre religiösen oder politischen Ansichten zum Ausdruck bringt und beispielsweise ein Abzeichen trägt, wenn diese Person in gewalttätigen Extremismus verwickelt ist oder ein terroristisches Risiko darstellt“.
Gesichtserkennungssoftware kann in Echtzeit eingesetzt werden, wenn dies für die Strafverfolgungsbehörden „unbedingt erforderlich“ ist. Die Polizei kann die Technologie bei Ermittlungen zu 16 bestimmten Straftaten einsetzen, darunter „Umweltkriminalität“. Mehrere Staaten drängten darauf, die Liste um Dutzende von Straftaten zu erweitern. Aus dem Protokoll einer COREPER-Sitzung vom November 2023 geht hervor, dass Frankreich auf eine Ausweitung des Anwendungsbereichs drängte. Unterstützt wurde es dabei von den Vertreter:innen aus Italien, Zypern, Estland, Lettland, Bulgarien und Ungarn.
In derselben Verhandlungssitzung forderte der griechische Vertreter, dass Gefängnisse und Grenzgebiete ausdrücklich von jeglichem Verbot ausgenommen werden sollten. Vielmehr sollten die Behörden die Möglichkeit haben, Bürger und Geflüchtete mit Echtzeit-Überwachungstechnologie zu überwachen.
„Ende der Anonymität“
Mit biometrischen Systemen könnten Millionen von Gesichtern überwacht und mit nationalen Datenbanken abgeglichen werden, um Personen zu identifizieren. Der Einsatz dieser Technologie im öffentlichen Raum würde „das Ende der Anonymität an diesen Orten“ bedeuten, warnte bereits 2020 European Digital Rights. Zivilgesellschaftliche Organisationen warnen seit langem davor, dass der AI Act die Grundrechte in Europa massiv einschränken könnte.
„Wir leben in einem Klima, in dem unsere Regierungen auf immer mehr Ressourcen, Gesetze und Technologien drängen, um Menschen in ihrem Alltag leichter zu überwachen, zu kontrollieren und zu bestrafen“, sagt die Gründerin der Brüsseler Anti-Rassismus-Organisation Equinox, Sarah Chander. „Wir entfernen uns immer weiter von einer Zukunft, in der die wir unsere Ressourcen für soziale Vorsorge und Schutz ausgeben statt für Überwachungstechnologie.“
Als am 6. Dezember 2023 die letzte Verhandlungsrunde zwischen Rat, Parlament und Kommission über die endgültige Fassung des AI Act begann, drängte die spanische Ratspräsidentschaft darauf, den Gesetzestext noch vor den Europawahlen im Juni 2024 zu verabschieden. Offenbar fürchteten die spanischen Diplomaten das Erstarken rechtsradikaler Parteien. Ein Beamter, der an den Gesprächen teilnahm und um Anonymität bat, berichtete Investigate Europe, dass die Unterhändler eineinhalb Tage lang verhandelten. „Wir waren erschöpft, und erst nach einer durchverhandelten Nacht begannen wir um 6 Uhr morgens, über Verbote zu sprechen“, erinnert er sich heute. „Am Ende haben wir erreicht, dass jedes Produkt von einer unabhängigen nationalen Behörde zugelassen werden muss.“
Selbstzertifizierung möglich
Der Einsatz sogenannter Hochrisikotechnologien wie Echtzeitüberwachung ist an bestimmte Bedingungen geknüpft, darunter ein Gerichtsbeschluss, die Registrierung in einer europäischen Datenbank und eine Folgenabschätzung zur Wahrung der Grundrechte. Doch auch hier wurden die strengen Regeln in den Verhandlungen teilweise aufgeweicht. So fügten die Verhandlungsführer dem Gesetz einen Artikel hinzu, der es Unternehmen erlaubt, eine Selbstzertifizierung auszufüllen und damit zu entscheiden, ob es sich bei ihrem Produkt um eine Hochrisikotechnologie handelt oder nicht.
Investigate Europe liegt ein internes Arbeitspapier des juristischen Dienstes des Europäischen Parlaments vor, das diese Lösung in Frage stellt. „Den Unternehmen wird ein hohes Maß an Subjektivität überlassen, was im Widerspruch zum Ziel des AI Act steht, das Risiko von Hochrisiko-KI-Systemen zu regulieren.“
Tatsächlich dürften die Verhandlungspartner auch von dem Interesse getrieben gewesen sein, ihre eigenen Wirtschaftsunternehmen zu schützen. Die Regierung Macron warnte in einer Verhandlungsrunde am 15. November 2023, dass ohne einen breiten Einsatz von KI-Technologien „die Gefahr besteht, dass Unternehmen ihre Aktivitäten in Regionen verlagern, in denen Grundrechte keine Rolle spielen“.
Konkrete Auswirkungen noch nicht absehbar
Es bleibt abzuwarten, inwieweit die Mitgliedstaaten die Ausnahmen nutzen werden. Der niederländische Anwalt für digitale Rechte, Anton Ekker, glaubt, dass die Ausnahmen in der Praxis kaum Auswirkungen haben werden. „Ich bin sehr kritisch, wenn ein Staat Algorithmen einsetzt. Aber zu sagen, dass alles erlaubt ist, weil es Ausnahmen gibt, ist nicht richtig“, sagte er in einem Interview mit Investigate Europe. „Es gibt viele nationale Verfassungen, die Grundrechte schützen.“
Professorin Rosamunde van Brakel forscht an der Vrije Universiteit Brüssel zu ethischen Fragen rund um den Einsatz von KI. Sie befürchtet, dass das Gesetz Betroffenen kaum helfen wird. „In den meisten Fällen greifen Regulierung und Aufsicht erst, nachdem es zu einem Verstoß gekommen ist. Vorher schützen sie uns nicht“, sagt sie. „Außerdem betreffen KI-Anwendungen im öffentlichen Sektor oft schutzbedürftige Bevölkerungsgruppen, die nicht in der Lage sind, eine Beschwerde einzureichen oder darauf zu vertrauen, dass eine Beschwerde ernst genommen wird.“
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Sollen Polizeibehörden Gesichtserkennung einsetzen können, wenn sie mit einem Schild davor gewarnt haben? Macht es für Empfänger:innen von Sozialhilfe einen Unterschied, ob sie mit einem KI-System Probleme kriegen oder mit klassischer Software? Die Zivilgesellschaft hätte dazu gerne mehr Klarheit von der EU-Kommission.
Die EU-Kommission soll dafür sorgen, dass die Verbote aus der europäischen KI-Verordnung möglichst umfangreich ausgelegt werden. Das fordert eine Koalition aus zivilgesellschaftlichen Organisationen in einer heute veröffentlichten Stellungnahme. Sie bezieht sich auf Leitlinien, an denen die Kommission momentan noch arbeitet.
Diese Leitlinien sollen dafür sorgen, dass auch „einfachere“ Systeme von den Regeln der KI-Verordnung betroffen sind, fordern die Organisationen. Die Kommission soll auch klarstellen, welche Arten von Systemen die verbotenen „inakzeptablen“ Risiken für Grundrechte haben. Außerdem sollen Grundrechte die zentrale Basis dafür sein, wie die KI-Verordnung praktisch umgesetzt wird.
Arbeit an Details läuft weiter
Die Europäische Union hat lange an ihren Regeln für Künstliche Intelligenz gefeilt. Intensiv diskutiert wurde etwa die Frage, welche Einsätze von KI in Europa ganz verboten werden sollten. Dabei ging es etwa um die biometrische Gesichtserkennung oder das sogenannte „Predictive Policing“. Die fertige KI-Verordnung schränkt beide Praktiken zwar ein, verbietet sie aber nicht ganz.
Zuvor gibt es noch einiges fertigzustellen. Zum Beispiel die sogenannten „Praxisleitfäden“, die genaue Regeln für KI-Modelle mit allgemeinem Verwendungszweck wie GPT-4 festlegen sollen. An denen arbeiten gerade die Anbieter solcher Modelle, andere Unternehmen und Vertreter:innen der Zivilgesellschaft unter Aufsicht der EU-Kommission. Bis April soll es einen fertigen Text geben.
Die Verbote gelten ab dem 2. Februar. Bis dahin will die EU-Kommission noch Leitlinien veröffentlichen, die Unternehmen dabei helfen sollen, sie einzuhalten. Außerdem will sie noch klarstellen, was genau denn ein KI-System überhaupt ist – und welche Systeme deshalb von der KI-Verordnung betroffen sein werden.
Ergebnis soll zählen, nicht die Art der Software
Auf diese Leitlinien bezieht sich nun die zivilgesellschaftliche Koalition, an der unter anderem European Digital Rights (EDRi), Access Now, AlgorithmWatch und Article 19 beteiligt sind. Caterina Rodelli von Access Now hält die Leitlinien für ein „zentrales Werkzeug“, um mangelhafte Menschenrechtsregeln der Verordnung noch auszubessern.
Die erste Forderung der Koalition bezieht sich auf „einfachere“ Software. „Wir sind besorgt, dass Entwickler:innen vielleicht die Definition von KI und die Einstufung von Hochrisiko-KI-Systemen ausnutzen können, um die Verpflichtungen der KI-Verordnung zu umgehen“, schreiben die Organisation. Unternehmen könnten ihre KI-Systeme zu normaler, regelbasierter Software umwandeln und so nicht mehr vom Gesetz betroffen sein, obwohl es die gleichen Risiken geben würde.
Die Organisationen fordern deshalb, dass sich Gesetze an möglichem Schaden orientieren sollten, nicht an den genutzten technischen Mitteln. Sie beziehen sich auf das Beispiel des niederländischen SyRI-Systems. Dieses System beschuldigte Empfänger:innen von Sozialhilfe fälschlicherweise des Betrugs und beeinträchtigte so Tausende von Familien. Der Skandal führte 2021 zum Sturz der damaligen niederländischen Regierung.
Dabei wirkte das zugrundeliegende System einfach und erklärbar, betont das Statement. Die Auswirkungen auf eine Vielzahl an Personen waren trotzdem verheerend.
Mehr Systeme einbeziehen
Die Koalition fordert außerdem, dass die Leitlinien marginalisierte Gruppen besser schützen sollen. Dafür soll die Kommission ausdehnen, welche Fälle unter die verbotenen „inakzeptablen“ Risiken für die Grundrechte fallen.
So soll das Verbot von „Social Scoring“ etwa auf Anwendungen ausgedehnt werden, die heute in Europa schon gang und gäbe sind: Etwa für Empfänger:innen von Sozialhilfe, wie im niederländischen Fall, oder für Migrant:innen. Die Leitlinien sollten deshalb etwa Daten schützen, die über Bande Informationen wie die Ethnie oder den sozioökonomischen Status preisgeben könnten, wie zum Beispiel die Postleitzahl.
Das Verbot für „Predictive Policing“ soll eine weite Bandbreite an Systemen einbeziehen, die kriminalisiertes Verhalten vorhersagen sollen. Im Verbot des allgemeinen Scrapens von Gesichtsbildern sehen die Organisationen einige Schlupflöcher, die sie gerne geschlossen haben würden. Außerdem soll eine Definition einer Gesichtsbild-Datenbank gelöscht werden, weil durch diese Anbieter wie Pimeyes oder Clearview außen vor bleiben würden.
Löcher schließen bei der Gesichtserkennung
Bei den Verhandlungen zur KI-Verordnung wollte das Europäische Parlament ein umfassendes Verbot von Systemen zur Emotionserkennung durchsetzen, ist damit aber gescheitert. Die Leitlinien sollen nun zumindest klar zwischen echten medizinischen Geräten wie Herzmonitoren und Geräten wie „Aggressionsdetektoren“ unterscheiden, fordern die Organisationen – denn medizinische Geräte sind von den Verboten ausgenommen.
Außerdem sollen die Leitlinien die Regeln für automatisierte Gesichtserkennung verschärfen. Auch in Deutschland gab es schon Forderungen, einige der in der KI-Verordnung dafür offen gelassenen Schlupflöcher zu schließen. Auf europäischer Ebene fordert die zivilgesellschaftliche Koalition nun, dass die Entwicklung von Gesichtserkennungssystemen für den Export unter das Verbot fallen soll. Zudem soll es nicht ausreichen, wenn Behörden nur mit einem Schild auf Zonen hinweisen, in denen Gesichtserkennung genutzt wird. Videoaufzeichnungen sollen erst nach 24 Stunden biometrisch ausgewertet werden dürfen.
In Zukunft bitte mehr Zeit
Eine Menge Wünsche für die Leitlinien – die Koalition hat aber auch noch einige Kritik für deren Entstehen übrig. Der Prozess sei nicht vorher angekündigt worden, habe kurze Fristen gelassen, es sei kein Entwurf veröffentlicht worden, schreiben sie. Außerdem seien manche der Fragen suggestiv formuliert gewesen. So habe die Kommission etwa nur nach Systemen gefragt, die aus der Definition von KI ausgeschlossen werden sollten, und nicht nach Systemen, für die die Regeln gelten sollten, bemängeln die Organisationen.
Das Statement fordert deshalb die Kommission auf, in Zukunft die Zivilgesellschaft besser einzubeziehen. „Die EU-Kommission muss Interessengruppen mit begrenzten Ressourcen eine Stimme geben, und dafür muss sie längere Zeiträume für so umfassende Befragungen vorsehen“, so Nikolett Aszodi von AlgorithmWatch.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen. Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
