Manche Nutzer:innen lassen sich Wikipedia-Artikel von Sprachmodellen generieren, inklusive erfundener Referenzen. Ein Wikipedia-Urgestein stolperte zufällig über die halluzinierten Artikel – ausgerechnet mit der Hilfe von einem Sprachmodell.

Eigentlich wollte Mathias Schindler nur eine kleine Sache in der Wikipedia korrigieren. Doch dann baute der Wikipedianer versehentlich einen Detektor für bestimmte KI-generierte Inhalte in der Enzyklopädie. Auf dem 39C3 berichtet er, warum die halluzinierten Texte auch ein Problem für die Anbieter großer Sprachmodelle werden könnte und warum er den Autor:innen keine guten Absichten unterstellt.

Die kleine Sache, die Schindler korrigieren wollte, waren fehlerhafte ISBNs. Mit diesen 10 oder 13-stelligen Nummern werden Bücher identifiziert und finden sich oft in Quellenangaben von Wikipedia-Einträgen. Dabei sind die Zahlenkombinationen nicht vollkommen zufällig, erklärt Schindler im Talk. Die letzte Ziffer ist eine Prüfziffer, sie lässt sich aus den neun beziehungsweise zwölf vorherigen Ziffern berechnen. Ursprünglich wollte Schindler falsche ISBNs in der Wikipedia aufspüren und ausbessern, auch damit Nutzer:innen die richtigen Bücher finden, die als Referenzen in den Artikeln angegeben wurden.

Zufallsfund dank falscher ISBNs

„Referenzen auf Wikipedia sind nicht nur wichtig, sondern ein integraler Teil der Wikipedia“, sagt Schindler und verweist in seinem Vortrag auf den alten Spruch: „Wikimedia mag ein guter Ort sein, um eine Recherche zu starten, aber es ist ein schlechter Ort, um dort die Recherche zu beenden.“ (Alle Zitate aus dem Talk haben wir ins Deutsche übersetzt.) Schindler muss es wissen. Er ist Mitbegründer von Wikimedia Deutschland und Wikipedia-Autor seit 2003.

Um die inkorrekten ISBNs zu finden, schrieb Schindler ein Skript, lud die gesamte deutschsprachige Wikipedia herunter und durchsuchte sie nach ISBNs mit einer faulen Prüfziffer, erzählt er in seinem Vortrag. Doch er stieß nicht nur auf falsch eingegebene ISBNs oder von den Verlagen falsch ausgegebene ISBNs, sondern fand auch Artikel, bei denen zwei oder mehr Bücher fehlerhafte ISBNs hatten. Diese Bücher schienen zwar plausible Titel und Autor:innen zu haben, aber Schindler konnte sie nirgendwo sonst finden. Sie waren halluziniert.

Offenbar hatten sich Menschen ganze Artikel von einem Large Language Model (LLM) wie ChatGPT schreiben lassen, welches sich dann auch einen Abschnitt mit Einzelnachweisen ausdachte.

Noch ist es ein Nischenphänomen

Im Gespräch mit netzpolitik.org erzählt Schindler, dass er mit seiner Methode etwa 150 Artikel gefunden habe, bei denen man Sorge haben müsse, dass sie zumindest teilweise KI-generiert und frei erfunden seien. Allerdings seien die fehlerhaften Einträge nicht ausschließlich auf KI-Chatbots zurückzuführen, manchmal gebe es andere Gründe für mehrfach falsche ISBNs, sagt Schindler. Außerdem gibt es über drei Millionen deutschsprachige Wikipedia-Artikel, die 150 Auffälligen machen also nur ein äußerst geringen Anteil von 0,005 Prozent aus.

Andererseits erfasst Schindlers Methode auch nicht alle Halluzinationen, dafür war es schließlich nicht gedacht. „Dieses Werkzeug ist nicht das Universaltool zum Erkennen von ChatGPT-generierten Artikeln.“ Andere Möglichkeiten, solche Inhalte zu enttarnen, seien etwa systematische Abweichungen von der Syntax von „Media Wiki“ (der Software hinter Wikipedia). Oder wenn Autor:innen viele Adjektive verwenden: „Kein Wikipedianer, der was auf sich hält, wird den Fernsehturm als ‚großartig‘ oder ‚herausragend‘ bezeichnen.“

LLM generierter Text „Anti-These zu Wikipedia“

Doch auch wenn das Erstellen von Wikipedia-Artikeln mit LLMs noch nicht so verbreitet sein sollte, geht es für Wikipedia um Grundsätzliches: Die Kontamination mit Inhalten, die auf den ersten Blick wahr erscheinen könnten und sich als Fakten tarnen. Schindler sagt: „Man könnte es auch als Anti-These zu einem Enzyklopädie-Projekt wie Wikipedia beschreiben.“

Die Gefahren? Zum einen können sich falsche Infos verselbstständigen, wenn eine andere Veröffentlichung den vermeintlichen Fakt von Wikipedia abschreibt und die Wikipedia diese Veröffentlichungen hinterher als Beleg für genau diesen Fakt aufführen. Schindler weist in seinem Vortrag auf diesen Teufelskreis hin, der bereits vor LLMs ein Problem darstellte.

Glaubwürdigkeit in Gefahr – und die Qualität von LLMs

Zum anderen verschlingen LLM-generierte Quellen zunehmend die Ressourcen unterschiedlichster Einrichtungen. Nicht nur die der Online-Enzyklopädie: Irregeleitete Nutzer:innen fragen etwa Bibliothekar:innen nach ausgedachten Büchern, berichtete 404 Media im Herbst. Beim Internationalen Komitee des Roten Kreuzes (ICRC) wurde die Situation offenbar so schlimm, dass es sich mit einer „wichtigen Mitteilung“ an die Öffentlichkeit wandte.

„Wenn eine Referenz nicht gefunden werden kann, heißt das nicht, dass das ICRC Informationen zurückhält. Verschiedene Situationen können das erklären, wie etwa unvollständige Zitationen, Dokumente, die in andere Institutionen lagern, oder – zunehmend – KI-generierte Halluzinationen“, warnte das ICRC Anfang Dezember.

Auch für die Entwickler von Large Language Models hätten halluzinierte Wikipedia-Artikel Nachteile, argumentiert Schindler. Denn ihre Modelle werden oft mit Wikipedia-Artikeln trainiert. „Die KI-Firmen profitieren von hochwertigen Daten und leiden unter dem Verlust von Quellen, die frei von synthetischen Texten sind“, sagt im Schindler im Gespräch mit netzpolitik.org. Oder wie er es im Vortrag formuliert: „LLM-Provider vergiften damit auf eine Art den Fluss, aus dem sie selber trinken“, sagt Schindler.

Wer macht sowas?

Doch wer stellt eigentlich LLM-generierte Inhalte in die Wikipedia? „Bunt gemischt“, erzählt Mathias Schindler im Gespräch mit netzpolitik.org. Von Wikipedia-Neulingen über langjährige Autor:innen bis zu einer Werbeagentur sei alles dabei gewesen. Er habe versucht, möglichst viele Autor:innen von verdächtigen Artikeln zu kontaktieren. Manche hätten ihn ignoriert, andere alles geleugnet oder den Einsatz einer LLM heruntergespielt.

„Eine Erklärung ist, dass Menschen LLMs tatsächlich als Recherchewerkzeug ansehen, das magischen Zugang zu wissenschaftlichen Datenbanken und Literatur hat und belastbare Belege liefert“, sagt Schindler zu netzpolitik.org. Bisher habe er aber noch keine solche Person unter den verdächtigen Autor:innen getroffen. Stattdessen vermutet Schindler eher persönlichen Geltungsdrang oder dass Personen eine Agenda verfolgen, die Enzyklopädie in ihrem Sinne umzuschreiben.

In seinem Vortrag erzählt Schindler, er habe alle verdächtigen Autor:innen, um den Prompt gebeten, mit dem diese den Artikel generiert hätten. „Das ist mein persönlicher ‚Litmus‘-Test, ob die Menschen ehrliche Absichten haben“, sagt Schindler. Nur eine einzige Person habe den Prompt nach vielen Nachfragen privat geteilt.

Die Herausforderung bleibt

Laut Schindler wurden alle gemeldeten Artikel gelöscht, bei denen die Autor:innen die Zweifel nicht ausräumen konnten, dass sie KI-generiert waren. In vielen Fällen wurden auch die Autor:innen gesperrt. In einem Richtlinien-Artikel der deutschsprachigen Wikipedia heißt es dazu: „Sprach-KI sind derzeit nicht in der Lage, korrekt belegte Beiträge zu erstellen. Beiträge, die damit erstellt werden, verstoßen daher unter anderem gegen WP:Keine Theoriefindung, WP:Belege, WP:Urheberrechtsverletzung, WP:Neutraler Standpunkt; ihre Verwendung ist daher derzeit generell unerwünscht.“

Für Schindler bleibt es eine Herausforderung für die Wikipedia-Community, halluzinierte Texte aufzudecken, zumal Chatbots künftig ISBNs mit einer korrekt berechneten letzten Stelle erfinden könnten. Er hofft auf einen konstruktiven Dialog mit den KI-Firmen. „Mein persönlicher Wunsch wäre, dass man durch Austausch und vielleicht Kompetenztransfer mit den KI-Firmen erreicht, dass man KI-generierte Texte leichter erkennt, wenn jemand versucht, sie in die Wikipedia zu stellen.“

Am Ende ist die Geschichte der KI-generierten ISBNs auch eine über falschen und vielleicht besseren KI-Einsatz. Denn den Code für seinen ISBN-Checker hat Schindler auch mithilfe von Large Language Models geschrieben.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die elektronische Patientenakte sei sicher, versichert die Bundesregierung. Doch ihre Antworten auf eine Kleine Anfrage lassen die Zweifel an diesem Versprechen wachsen. Versicherte sollen der ePA offenbar blind vertrauen – selbst wenn ihre Gesundheitsdaten bei US-Behörden landen könnten.

Die meisten von uns besitzen einen Haustürschlüssel. Und die meisten von uns wissen, wer sonst noch Zugang zu unserer Wohnung hat. Bei den Gesundheitsdaten, die in der elektronischen Patientenakte hinterlegt sind, ist das offenkundig nicht so klar. Das zeigen die Antworten der Bundesregierung auf eine Kleine Anfrage der Bundestagsfraktion „Die Linke“.

Die Abgeordneten haben die Regierung unter anderem gefragt, welche Vorkehrungen verhindern sollen, dass etwa die US-Regierung an sensible Gesundheitsdaten von deutschen Versicherten gelangt. Die Antworten der Bundesregierung sind mitunter missverständlich, in Teilen unvollständig und fehlerhaft.

Nachfragen bei dem zuständigen Gesundheitsministerium, verschiedenen Krankenkassen und der Gematik haben nur wenig Licht ins Dunkel gebracht. Offenkundig sollen die Versicherten weitgehend bedingungslos darauf vertrauen, dass ihre sensiblen Daten in der ePA sicher sind.

Krankenkassen verweigern Auskunft

Anlass der Kleinen Anfrage war eine Aussage des Chefjustiziars von Microsoft Frankreich im Juni dieses Jahres. Er hatte in einer öffentlichen Anhörung vor dem französischen Senat nicht ausschließen können, dass der Tech-Konzern Microsoft auf Anordnung US-amerikanischer Behörden auch Daten europäischer Bürger:innen weitergeben müsse.

Hintergrund ist unter anderem der US-amerikanische Clarifying Lawful Overseas Use of Data Act, kurz CLOUD Act, aus dem Jahr 2018. Das Gesetz verpflichtet US-Tech-Anbieter unter bestimmten Voraussetzungen zur Offenlegung von Daten gegenüber US-Behörden – auch wenn sich diese Daten außerhalb der Vereinigten Staaten befinden.

Die Abgeordneten der Linksfraktion fragten die Bundesregierung, ob sie ein ähnliches Szenario bei den in der ePA hinterlegten Gesundheitsdaten ausschließen könne. Die Regierung erwidert, dass sie nichts über die Verträge zwischen den Betreibern der ePA und den Krankenkassen wisse. Sie kenne daher die Regelungen nicht, mit denen die Daten der Versicherten geschützt würden. Betreiber von ePA-Infrastrukturen sind spezialisierte IT-Dienstleister wie IBM Deutschland und das österreichische Unternehmen RISE.

Wir haben uns bei den drei größten gesetzlichen Krankenkassen in Deutschland erkundigt, welche vertraglichen Vereinbarungen sie mit ihren externen Anbietern getroffen haben. Weder die Techniker Krankenkasse noch die Barmer oder die DAK wollten unsere Frage beantworten. Sie verweisen auf die Gematik, die als Nationale Agentur für Digitale Medizin für die Spezifikationen zur technischen Ausgestaltung der ePA zuständig sei. Der Barmer-Sprecher bittet zudem um Verständnis, dass er sich „aus Wettbewerbsgründen“ nicht weiter zu den Vertragsbedingungen äußern könne.

Es ist also unklar, ob es entsprechende Regelungen zum Schutz der Versichertendaten gibt, von denen die Bundesregierung spricht.

Der Schlüssel liegt bei den Betreibern

Desweiteren verweist die Bundesregierung auf „umfangreiche technische und organisatorische Sicherheitsmaßnahmen“, die zum Schutz der Gesundheitsdaten umgesetzt worden seien. So dürften die in der ePA hinterlegten Daten nur verschlüsselt bei den Betreibern gespeichert werden. Ohne „den Schlüssel der Versicherten“ könnten Unbefugte die Daten nicht lesen, betont die Regierung.

Diese Antwort ist mindestens missverständlich formuliert. Tatsächlich verfügt die ePA derzeit über keine patientenindividuelle Verschlüsselung, bei der jede:r Versicherte die eigene Patientenakte mit einem persönlichen Schlüssel absichert. Ältere Versionen der ePA sahen noch eine Ende-zu-Ende-Verschlüsselung der in der Patientenakte hinterlegten Daten vor; die aktuelle „ePA für alle“ bietet dieses Mehr an Sicherheit allerdings nicht mehr.

Außerdem sind die Schlüssel nicht, wie noch bei früheren ePA-Versionen, auf der elektronischen Gesundheitskarte der Versicherten hinterlegt, sondern sie liegen auf den Servern des ePA-Betreibers. Sogenannte Hardware Security Modules in einer „vertrauenswürdigen Ausführungsumgebung“ würden gewährleisten, dass die Betreiber keinen direkten Zugriff auf diese Schlüssel haben, schreibt das Gesundheitsministerium auf Nachfrage von netzpolitik.org.

„Diese speziell abgesicherten Komponenten sind dafür ausgelegt, kryptografische Schlüssel sicher zu verwalten und sensible Daten vor unbefugtem Zugriff zu schützen“, sagt eine Gematik-Sprecherin auf Anfrage. Ein direkter Zugriff auf die Schlüssel, auch durch die Betreiber der ePA, sei technisch ausgeschlossen. Die Schlüssel werden etwa dann zur Entschlüsselung der Gesundheitsdaten verwendet, wenn die Versicherten ihre elektronische Gesundheitskarte beim Besuch einer Praxis oder einer Apotheke in ein Lesegerät schieben.

Offene Eingangstüren

Zwei Aspekte lassen das Gesundheitsministerium und die Gematik bei ihren Ausführungen jedoch unter den Tisch fallen.

Zum einen ist den Sicherheitsfachleuten des Chaos Computer Clubs Bianca Kastl und Martin Tschirsich in den vergangenen Monaten wiederholt gelungen, die Zugriffskontrolle der ePA zu überwinden.

Bei den von ihnen beschriebenen Angriffsszenarien hilft Verschlüsselung nicht mehr viel. „Es ist vollkommen egal, dass das irgendwie verschlüsselt gespeichert wird, wenn an der Eingangstür ein paar Wissensfaktoren reichen, um jede ePA in Zugriff zu bekommen“, sagt Bianca Kastl, die auch Kolumnistin bei netzpolitik.org ist.

Die von ihr und Tschirsich aufgezeigten Sicherheitslücken bestehen teilweise noch immer fort. Eine „endgültige technische Lösung“ will das Bundesamt für Sicherheit in der Informationstechnik (BSI) erst im kommenden Jahr implementieren.

Trügerische Sicherheit

Zum anderen behauptet die Bundesregierung, dass die bestehenden Sicherheitsvorkehrungen einen „technischen Betreiberausschluss“ gewährleisten, „sodass selbst ein fremdbestimmter Betreiber keinen Zugriff auf die Daten der ePA erlangen würde“.

Hauptbetreiber von elektronischen Patientenakten ist die IBM Deutschland GmbH. Unter anderem die Techniker Krankenkasse, die Barmer Ersatzkasse und die AOK haben das Unternehmen damit beauftragt, die ePA und die dazugehörigen Aktensysteme gemäß der von der Gematik gemachten Spezifikationen umzusetzen. Mehr als zwei Drittel aller digitalen Patientenakten laufen auf IBM-Systemen, aus Sicherheitsgründen seien die Daten „über zahlreiche, geographisch voneinander getrennte Rechenzentrums-Standorte in der IBM Cloud in Deutschland verteilt“, so das Unternehmen.

Dieses Sicherheitsversprechen ist jedoch trügerisch. Denn die IBM Deutschland GmbH ist eine Tochter der US-amerikanischen IBM Corp. – und damit potenziell ein „fremdbestimmter Betreiber“. Gemäß CLOUD Act können US-Behörden IBM dazu zwingen, die Daten von deutschen Versicherten an sie auszuleiten.

Gefahr erkannt, Gefahr gebannt?

Welche Risiken der CLOUD Act birgt, hat etwa das baden-württembergische Innenministerium erkannt. Im Juli räumte es in einer Stellungnahme ein, dass US-Behörden theoretisch auf Daten zugreifen könnten, die in der Verwaltungscloud Delos gespeichert sind. Delos Cloud ist ein Tochterunternehmen von SAP und fußt auf Microsoft Azure und Microsoft 365. Dem Ministerium zufolge könnten US-Behörden den Tech-Konzern anweisen, „einen Datenabfluss in seine Software zu integrieren, ohne dass der Kunde darüber in Kenntnis gesetzt wird.“

Dennoch plant die Bundesregierung nach eigenem Bekunden nicht, die technologische Abhängigkeit von nicht-europäischen ePA-Betreibern zu prüfen – obwohl sie die digitale Patientenakte explizit als eine kritische Infrastruktur einstuft.

Anne Mieke-Bremer, Sprecherin für Digitale Infrastruktur der Fraktion Die Linke im Bundestag, kritisiert diese Weigerung der Regierung. „Statt klare Prüfpflichten festzuschreiben, versteckt sie sich hinter lückenhaften Vorgaben“, so Mieke-Bremer. „Und sie gibt sich damit zufrieden, dass die Verträge zwischen Betreibern und Kassen eine Blackbox bleiben.“

Die ePA wirke „zunehmend wie ein mangelhaftes und fahrlässiges Prestigeprojekt“, das voller Lücken und Risiken ist, sagt Stella Merendino, Sprecherin der Linken für Digitalisierung im Gesundheitswesen. „Was mit unseren sensibelsten Gesundheitsdaten passiert, bleibt dabei im Dunkeln.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Wichtige Stimmen wie Amnesty International, Reporter ohne Grenzen und der Chaos Computer Club appellieren eindringlich an die Bundesregierung, die Chatkontrolle zu verhindern. Sie warnen vor einem Angriff auf die Pressefreiheit, einem IT-Sicherheitsalptraum und einer Gefahr für die Demokratie.

Die Entscheidung um die Chatkontrolle rückt näher. Wenn die Bundesregierung ihre bisher grundrechtsfreundliche Position ändert, könnte die EU das Überwachungsprojekt doch noch beschließen. Bei der so genannten Chatkontrolle geht es um eine EU-Verordnung, die sich gegen die Verbreitung von Darstellungen sexuellen Kindesmissbrauchs (sogenannte Kinderpornografie) richten soll.

Die EU verhandelt seit drei Jahren kontrovers. Die geplante Verordnung enthält Vorschriften, die Messenger wie WhatsApp, Signal, Threema oder Telegram verpflichten sollen, die Kommunikation aller Nutzer:innen ohne jeden Verdacht zu durchsuchen.

Eine breite Front lehnt die Chatkontrolle ab. Nicht nur die IT-Fachwelt und die Wissenschaft sind gegen diese anlasslose Massenüberwachung, sondern auch zivilgesellschaftliche Organisationen aller Art.

Wir haben uns umgehört, was zivilgesellschaftliche Organisationen von der Bundesregierung erwarten – und warum die Chatkontrolle so gefährlich ist. Die Ablehnung reicht von Digital- und Journalistenverbänden über Menschenrechtsorganisationen bis hin zu Fußballfans.

„Gesamte Bevölkerung unter Generalverdacht“

Die Chatkontrolle würde das „Ende einer breit verfügbaren, vertraulichen und sicher verschlüsselten Kommunikation in Europa“ bedeuten, sagt Tom Jennissen von der Digitalen Gesellschaft. „Die gesamte Bevölkerung würde unter Generalverdacht gestellt und ihre Endgeräte mit staatlich verordneter Spyware infiziert.“ Von der Bundesregierung erwartet Jennissen, dass sie sicherstellt, dass dieser „vollkommen unverhältnismäßige Angriff auf unsere Kommunikationsgrundrechte und die IT-Sicherheit endlich vom Tisch kommt“.

Svea Windwehr vom digitalpolitischen Verein D64 sagt, dass die Chatkontrolle Grundrechte untergrabe, aber ohne den Schutz von Betroffenen zu verbessern. Jede Form der Chatkontrolle zerstöre die Verschlüsselung und die Vertraulichkeit privater Kommunikation, einem Schutz, von dem alle Menschen profitieren. „Anstatt auf vermeintliche technische Lösungen für eine komplexe gesellschaftliche Herausforderung zu setzen, müssen Ansätze gestärkt werden, die Prävention, Care und Unterstützung von Betroffenen in den Fokus rücken“, so Windwehr.

Elina Eickstädt, Sprecherin des Chaos Computer Clubs, nennt die Chatkontrolle und den vorgesehenen Bruch von vertraulicher und verschlüsselter Kommunikation den „Anfang von einem IT-Sicherheitsalptraum“. Hintertüren würden nie nur für Strafverfolgungsbehörden funktionieren, sondern immer auch für andere. „Die Bundesregierung muss sich klar gegen jeden Bruch von vertraulicher und verschlüsselter Kommunikation stellen, sie darf keinen Entwurf annehmen, der diese Prinzipien verletzt“, so Eickstädt weiter.

„Massiver Angriff auf Pressefreiheit“

Arne Semsrott von Frag den Staat sieht in der Chatkontrolle einen „massiven Angriff auf die Pressefreiheit“. Medienschaffende seien darauf angewiesen, vertraulich mit Quellen zu kommunizieren und ihre Arbeit zu schützen. „Wird diese Möglichkeit mit der Chatkotrolle genommen, schadet das der freien Presse enorm“, sagt Semsrott.

Das bestätigt auch Anja Osterhaus von Reporter ohne Grenzen. Sichere Verschlüsselung sei „unverzichtbar für vertrauliche Kommunikation und unabdingbare Voraussetzung für die Pressefreiheit“. Verschlüsselung schütze Journalist:innen und ihre Quellen, das ermögliche investigative Recherchen und erlaube es Whistleblowern, Missstände mitzuteilen. „Chatkontrolle untergräbt nicht nur das Vertrauen in sichere Kommunikation, sie gefährdet auch den Quellenschutz und unterminiert damit das Grundrecht auf Pressefreiheit“, so Osterhaus weiter. Reporter ohne Grenzen fordert deswegen die Bundesregierung dazu auf, sich öffentlich gegen Chatkontrolle zu positionieren.

„Gefährdet die Demokratie“

Lena Rohrbach, Expertin für Menschenrechte im digitalen Zeitalter bei Amnesty International sagt: „Bei der Chatkontrolle stimmt gar nichts: Als anlasslose Massenüberwachung trifft sie alle Menschen in der EU – außer Straftäter:innen, die sie umgehen werden.“ Das Vorhaben der Chatkontrolle „gefährdet die Demokratie, weil sie eine beispiellose Kontrolle unserer Kommunikation ermöglicht, die leicht missbraucht werden kann.“ Auch sie weist darauf hin, dass Kinder „echten Schutz durch Prävention und zielgerichtete Ermittlung“ benötigen würden.

Noa Neumann aus dem Koordinierungskreis von Attac warnt vor einer „anlasslosen, präventiven Massenüberwachung und einer vollständigen Aushöhlung des Datenschutzes“. Die Bundesregierung sei dazu verpflichtet, die Rechte und die Privatsphäre von Menschen aktiv zu schützen. „Deshalb muss sie gegen die Einführung der Chatkontrolle stimmen“, so Neumann weiter.

Linda Röttig vom Dachverband der Fanhilfen erklärt, dass Fußballfans häufig von Überwachung und Datenbanken von Polizeibehörden betroffen und deswegen besonders alarmiert seien, wenn staatliche Überwachung immer weiter ausgebaut werden soll. „Daher erheben auch wir gegen die Chatkontrolle unsere Stimme und warnen gemeinsam mit vielen anderen vor den katastrophalen Folgen dieses Verordnungsentwurfs“, so Röttig weiter. Die Fußballfans fordern die Bundesregierung auf, sich gegen eine Einführung der Chatkontrolle auszusprechen und von dieser Position auch andere Mitgliedsstaaten zu überzeugen.

Druck auf Ministerien nötig

Die Bundesregierung wird sich vermutlich vor dem 14. Oktober auf eine Position einigen, dann wird im EU-Rat abgestimmt. Zur Debatte steht der dänische Vorschlag, der eine verpflichtende Chatkontrolle und Client-Side-Scanning beinhaltet.

Das Bündnis „Chatkontrolle stoppen“ ruft dazu auf, die relevanten Personen und Organisationen zu kontaktieren. Das sind vor allem die beteiligten Bundesministerien (Innen, Justiz, Digital, Familie) sowie die Fraktionen und Abgeordneten der Regierungs-Parteien im Bundestag. Am besten wirken direkte E-Mails und Telefonanrufe, oder auch rechtzeitig ankommende Briefe. Auf der Webseite des Bündnisses gibt es Tipps und Adressen, um selbst aktiv zu werden.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Janik Besendorf glaubt: Das BKA hat Fotos von ihm genutzt, um damit Software für Gesichtserkennung zu testen. Deshalb hat er heute eine Klage eingereicht. Er will, dass sich die Behörde „in Zukunft an geltendes Recht hält“.

Im Oktober 2018 nahm die Polizei Janik Besendorf fest. Vorwurf: Hausfriedensbruch. Es folgte eine erkennungsdienstliche Behandlung. Vier Fotos wurden von ihm erstellt: Porträt, linkes und rechtes Profil sowie ein Ganzkörperfoto. Direkt danach durfte er gehen, der Vorwurf wurde kurz darauf fallengelassen. Doch die Bilder sind bis heute im Polizeisystem gespeichert.

Im Jahr 2019 hat das BKA schließlich 4,8 Millionen Porträtfotos von rund drei Millionen Personen benutzt, um vier verschiedene Systeme zur Gesichtserkennung zu testen. Das umfasste fast alle damals verfügbaren Bilder und deshalb vermutlich auch die von Besendorf. Der Datenschutzaktivist geht davon aus, dass es dafür keine Rechtsgrundlage gab. Das BKA gab gegenüber der Datenschutzaufsicht an, dass die Bilder zu wissenschaftlichen Zwecken genutzt worden seien, was nach dem BKA-Gesetz erlaubt wäre. Janik Besendorf sagt: „Die dürfen Forschung machen, aber nicht Marktforschung!“

Das BKA setzt seit 2007 ein Gesichtserkennungssystem mit dem Kürzel GES ein. „Die Erkennungsleistung des Systems wurde über die Jahre durch Updates des Algorithmenherstellers kontinuierlich verbessert, sodass das GES zu einem unverzichtbaren Hilfsmittel bei der Identifikation unbekannter Personen geworden ist“, schrieb das BKA 2017 in einer internen Mitteilung. Um zu sehen, ob das aktuell genutzte System eine wettbewerbsfähige Erkennungsleistung liefert, sollte es mit am Markt erhältlichen Systemen getestet werden. „Es gilt, die Frage zu beantworten, ob dem BKA noch das effektivste Gesichtserkennungssystem zur Verfügung steht“, heißt es in der genannten Mitteilung weiter.

„Ich sehe eine Gefahr“

Zuerst hatte Besendorf sich bei der Datenschutzaufsicht über die mutmaßliche Nutzung seines Fotos beschwert, die hat die Beschwerde abgewiesen. Unterstützt vom Chaos Computer Club reichte er nun gemeinsam mit seiner Anwältin Beata Hubrig Klage vor dem Verwaltungsgericht Wiesbaden ein. Besendorf will feststellen lassen, dass die Verwendung seines Bildes – und damit auch aller anderen Bilder – rechtswidrig war. „Damit sich das BKA in Zukunft an geltendes Recht hält, also nur unternimmt, wofür es eine Rechtsgrundlage gibt. Schließlich geht es um Grundrechte. Es passiert leider immer häufiger, dass Polizeibehörden losgehen und irgendwas testen, obwohl gar nicht klar ist, ob es dafür eine Rechtsgrundlage gab. Ich sehe eine Gefahr darin, wenn die Polizei immer mehr technische Mittel benutzt“, sagt der hauptberufliche IT-Sicherheitsexperte.

Besendorf weiß, dass seine Fotos in der Polizeidatenbank INPOL-Z liegen, weil er das BKA danach gefragt hat. Wie man solche Auskünfte beantragt, erklärte er gemeinsam mit seiner Anwältin in einem Vortrag beim 38C3. Dort zeigten die beiden auch, wann man die Löschung von Daten aus Polizeidatenbanken verlangen kann. Besendorf will mit dem Löschantrag zu seinen Fotos allerdings noch warten, bis das Verfahren abgeschlossen ist, damit keine Beweise zerstört werden.

Den Test der Gesichtserkennungssysteme hat das Fraunhofer-Institut für Graphische Datenverarbeitung (Fraunhofer IGD) durchgeführt. Besendorf fürchtet, dass das BKA dafür seine Fotos an das Fraunhofer-Institut gegeben hat. Das BKA schrieb der Datenschutzbehörde allerdings: „Die Bilddaten haben das BKA nicht verlassen und standen Mitarbeitenden des Fraunhofer IGD auch nicht zur Einsichtnahme zur Verfügung.“ An anderer Stelle hieß es allerdings, Fraunhofer-Mitarbeitende seien – unter BKA-Aufsicht – im Rechnerraum gewesen.

Besendorf sagt: „Dass die Daten nicht an das Fraunhofer-Institut weitergegeben wurden, ist bislang eine Behauptung, vor Gericht wird sich das BKA bekennen müssen.“ Besendorf ist auch gespannt, welche Rechtsgrundlage das BKA für den Test angeben wird.

Die den Test betreffende Kommunikation zwischen der Datenschutzaufsicht und dem BKA, die netzpolitik.org vorliegt, zeigt, wie sehr das BKA die Datenschutzbehörde auflaufen lässt. Es antwortet auf mehrere Nachfragen nicht, lässt Fristen für geforderte Erklärungen verstreichen, übersendet zunächst nur eine Variante des Abschlussberichts, in der die Namen der Hersteller nicht genannt sind.

Mögliche Rechtsgrundlagen für den Eingriff

Als eine mögliche Rechtsgrundlage für die Speicherung nennt die Datenschutzbehörde in einem Schreiben an Besendorf vom Februar 2025 Artikel 6 der DSGVO. Demnach ist eine Datenverarbeitung unter anderem erlaubt, wenn sie zur Erfüllung einer rechtlichen Verpflichtung erforderlich ist. Angeblich gäbe es ein erhebliches öffentliches Interesse: die mögliche Senkung der Falscherkennungsrate bei der Gesichtserkennung. „Die potenziellen Folgen des polizeilichen Einsatzes einer fehlerbehafteten Gesichtserkennungssoftware für die betroffenen Personen, die von der Stigmatisierung über die Rufschädigung bis hin zu Diskriminierung und strafrechtlicher Verfolgung reichen können, können im Einzelfall gravierend sein“, schreibt die Datenschutzbehörde.

Das steht allerdings im Widerspruch zu dem, was das Amt im Juni 2022 an das BKA schrieb. Damals hieß es, der entsprechende Artikel des Bundesdatenschutzgesetzes sei aufgrund seiner Unbestimmtheit und angesichts der Eingriffsintensität keine taugliche Rechtsgrundlage für die Verarbeitung einer Vielzahl biometrischer Daten. „Hätte der Gesetzgeber hierfür eine Rechtsgrundlage schaffen wollen, hätte er – entsprechend den verfassungsrechtlichen Anforderungen – konkrete Vorschriften zu Zweck, Anlass und Verfahrenssicherungen geschaffen“, heißt es weiter.

Das BKA selbst nannte gegenüber der Datenschutzbehörde als Rechtsgrundlage für die Nutzung der Fotos für den Test einen Paragrafen des BKA-Gesetzes, der die Datenverarbeitung zum Zweck der wissenschaftlichen Forschung erlaubt. Die Datenschutzbehörde hält diesen Paragrafen hier allerdings für nicht anwendbar: „Vorliegend ging es um eine vergleichende Untersuchung der Leistungsfähigkeit marktreifer Gesichtserkennungssysteme. Neue Erkenntnisse, die den Fortschritt der Wissenschaft zu bewirken vermögen, sind nicht ersichtlich.“

USB-Anschlüsse deaktiviert, Festplatten zerstört

Das BKA hat sich, wie es der Datenschutzaufsicht schreibt, im Rahmen des Tests viel Mühe beim Schutz der personenbezogenen Daten gegeben: Das passwortgeschützte Computersystem, das dafür genutzt wurde, sei in einem abgeschlossenen Raum aufgebaut worden, zu dem nur das Projektteam Zugang gehabt habe. Einen Anschluss ans Internet oder an andere polizeiliche Systeme zur Datenerfassung habe es nie gegeben. Die Fotos seien auf einer verschlüsselten Festplatte transportiert worden. Und nachdem die Fotos eingelesen wurden, seien die USB-Anschlüsse des Computersystems deaktiviert worden.

Die Fraunhofer-Mitarbeiter, die am Projekt mitwirkten, seien einer Sicherheitsüberprüfung unterzogen worden. Nur die Auswertung der Daten – ohne Bilder und personenbezogene Informationen – sei dem Fraunhofer-Institut zur Weiterbearbeitung in eigenen Räumen ausgehändigt worden. Nach Abschluss des Projekts seien alle Datenspeicher zerstört worden.

Der Abschlussbericht des Fraunhofer-Instituts zeigt, welches der Systeme am schnellsten und am besten Menschen erkannte, und auch, in welchen Fällen Menschen von keinem der Systeme auf Fotos erkannt werden konnten. Getestet wurden meist, aber nicht nur, Bilder aus erkennnungsdienstlichen Maßnahmen; darüber hinaus gibt es im Polizeisystem aber beispielsweise auch Fotos aus Observationen.

Die Programme versagten demnach bei Bildern von vermummten oder verschleierten Gesichtern, bei zu geringer Auflösung und zu geringem Kontrast sowie bei tief gesenktem Kopf. Welche Hersteller Produkte zu dem Test beisteuerten, hält das BKA geheim. Nach dem Test blieb es bei dem System zur Gesichtserkennung, das es auch zuvor schon verwendet hatte.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Zum zweiten Mal müssen wir auf eine CCC-Jahresendveranstaltung in Präsenz verzichten. Als Trost bleibt uns die Remote Chaos Experience, kurz RC3, die uns mit spannenden Inhalten zum Anschauen versorgt. Der Stream geht auch ganz ohne Ticket, wir haben uns das Programm angeschaut und einige vielversprechende, netzpolitische Vorträge entdeckt.

27. Dezember, Tag 1

Um 13:30 Uhr sprechen Rena Tangens und Matthias Eberl darüber, Warum personalisierte Werbung verboten werden muss. „Es geht nicht nur um ’nervige Cookie-Banner‘. Es gibt eine Menge guter Gründe, warum Werbetracking und Überwachungswerbung nicht nur schädlich, sondern sogar gefährlich sind“, heißt es in der Beschreibung.

Um Tracking für die gute Sache geht es dagegen in Fluchtboote mit Satelliten finden um 16 Uhr. Es ist eine Projektvorstellung von Space-Eye, einer Organisation, die mit Satellitenbildern Boote auf dem Mittelmeer aufspüren will. Es geht um Projektansätze und „technische und nicht-technische Herausforderungen“.

Aus dem Maschinenraum berichtet Svea Eckert in ihrem Talk Facebook Files Explained, der auch um 16 Uhr auf Englisch stattfindet. Er verspricht bisher ungeschriebene Geschichten und Einblicke aus der Arbeit mit den 1.200 geleakten Facebook-Dokumenten.

Natürlich darf auch die digitale Pandemiebewältigung nicht fehlen. Bianca Kastl, „Digitalisierungstante und disruptives Element in einer städtischen Verwaltung“, will uns mitnehmen auf die „abenteuerliche Reise durch die wunderbare Welt der Digitalisierung in einem Gesundheitsamt“. Das verspricht unterhaltsam und erschreckend zu werden. Um 20 Uhr geht es los mit „Digitalisierung. In einer Pandemie. Im Gesundheitsamt!“.

Nils Melzer, UN-Sonderberichterstatter über Folter, und die Journalistin Stefania Maurizi analysieren ebenfalls um 20 Uhr den Fall Wikileaks und Julian Assange in ihrem Vortrag Julian Assange and WikiLeaks: Anatomy of a Persecution. Es geht darum, wie Staaten Journalismus bekämpfen und Journalist:innen einschüchtern.

28. Dezember, Tag 2

Um 11:30 Uhr berichtet Donncha Ó Cearbhaill von Amnesty Internationals Security Lab in Catching NSO Group’s Pegasus spyware darüber, wie die Sicherheitsforscher:innen die vermeintlich unentdeckbare Pegasus-Spähsoftware aufspüren können. Dabei geht es auch um das Tool MVT, das zum Entdecken von Infektionen genutzt werden kann.

Es folgt ein Klassiker: der netzpolitische Jahresüberblick aus der Schweiz. „Auch im Schatten von Corona ging es in der Schweizer Netzpolitik drunter und drüber. Wir blicken mit gewohntem Schalk auf das netzpolitische Jahr 2021 zwischen Bodensee und Matterhorn zurück – und diskutieren jene Themen, die relevant waren und relevant bleiben.“ Um 15 Uhr geht es los.

Wer nach all den harten Infos etwas Unterhaltsames braucht, wird vielleicht bei „Entbehrliches – Unterhaltsames Wissen aus der Wikipedia“ fündig. Um 17 Uhr soll es einen Ritt durch 600 lustige oder skurile Wikipedia-Artikel geben.

Was tun, wenn man eine Sicherheitslücke findet? Linus Neumann und das Hacker:innen-Kollektiv Zerforschung klären um 18 Uhr auf, was dann zu beachten ist und wie Unternehmen mit gemeldeten Sicherheitslücken umgehen sollten. Spoiler: Die Finder:innen anzeigen ist wohl nicht der richtige Weg.

Die Europäische Bürger:inneninitiative Reclaim Your Face! hat dieses Jahr ganz schön Action gegen biometrische Überwachung gemacht. Ella Jakubowska von EDRi resümiert um 21 Uhr, was die Bewegung bisher erreicht hat und was sie im neuen Jahr noch plant.

29. Dezember, Tag 3

Ohne Heizdeckenkaufpflicht, aber dafür Einsteiger:innen-kompatibel und mit ganz viel Basiswissen laden Isa und Catrinum 12:30 Uhr auf eine Kaffeefahrt ins Darknet. „Wolltest Du schon immer mal wissen, wie es auf der ‚anderen Seite‘ des Internets aussieht. Mal einen Blick in das als ‚digitale Unterwelt‘ verschriene Darknet erhaschen, um das sich so viele Mythen ranken?“ Dann könnte dieser Vortrag das Richtige sein.

Um 16 Uhr gibt es den Jahresrückblick von NSU-Watch. Er versucht, eine Bilanz zu zehn Jahren Aufklärungsversuchen zu ziehen, und erklärt, warum wir genug wissen, um Konsequenzen zu ziehen, obwohl noch nicht alles aufgeklärt ist.

Wer noch gute Vorsätze fürs nächste Jahr sucht, könnte sich mal beim digitalen Ehrenamt umschauen. Daniel Domscheit-Berg, Felix Just und Katarina Peranić „sprechen über Gemeinsamkeiten und Unterschiede von digitalem Ehrenamt in Stadt und auf dem Land. Darüber, welche Unterstützung und Anerkennung digitales Engagement braucht und, wie wir zu einem gemeinsamen Wirken kommen.“ Das Ganze gibts ab 17:55 Uhr.

Später um 20 Uhr gibt Anke Domscheit-Berg Einblicke in das netzpolitische Nähkästchen einer Abgeordneten. Wie hat der Bundestag in der Pandemie gearbeitet? Was macht man als Digitalpolitikerin? Und was waren die schlimmsten WTF-Momente? Aber bei Rückblick soll es nicht bleiben: auch Tipps, wie wir selbst Anliegen ins Parlament bringen können, soll es geben.

30. Dezember, Tag 4

Um 11:30 Uhr gibt Florian Gallwitz einen Überblick über „The Rise and Fall of ‚Social Bot‘ Research“. Er kündigt eine Abrechnung mit pseudowissenschaftlichen Methoden an und will zeigen, dass vermeintliche Bots oft ganz normale Menschen sind.

Als letztes wollen wir euch einen Vortrag über Kartierung von Überwachungskameras als Gegenwehr empfehlen, der um 13:30 Uhr losgeht. Das Projekt unsurv will Werkzeuge zur Erfassung von Überwachungskameras bereitstellen und dadurch mehr Überblick verschaffen.

Hilf mit! Mit Deiner finanziellen Hilfe unterstützt Du unabhängigen Journalismus.