Internet-Dienste sollen nicht nur sexuellen Kindesmissbrauch suchen, sondern auch andere Inhalte wie Extremismus. Das fordern Deutschland, Frankreich und die Niederlande in einem Diskussionspapier. Tech-Unternehmen lehnen es ab, ihr System zum Datenaustausch auf solche Inhalte auszuweiten.

Die Bundesregierung will Online-Radikalisierung und gewalttätigen Extremismus stärker bekämpfen. Deutschland hat zusammen mit Frankreich und den Niederlanden ein Diskussionspapier mit möglichen Maßnahmen erstellt.

Die Verordnung gegen terroristische Online-Inhalte und das Gesetz über digitale Dienste regeln viele Inhalte bereits. Den Staaten reichen diese Gesetze nicht, denn sie helfen nur gegen terroristische Inhalte, die immer illegal sind. „Gewalttätige extremistische Inhalte“ sind jedoch nicht illegal. Deshalb fordern die Staaten weitere Maßnahmen gegen „schädliche, aber legale“ Inhalte.

Ausweitung auf Terror und Extremismus

Deutschland, Frankreich und die Niederlande fordern einen Verhaltenskodex mit „strengeren Maßnahmen“ für Online-Plattformen. Die Staaten wollen die Unternehmen beispielsweise „ermutigen“, Warnsignale über extremistische Inhalte „an die zuständigen nationalen Behörden weiterzuleiten“.

Die Regierungen „empfehlen“, ein bestehendes Projekt zum Informations-Austausch auszuweiten, „von seinem Schwerpunkt auf Material über sexuellen Kindesmissbrauch auf terroristische und gewalttätige extremistische Inhalte“.

Projekt Laterne gegen Kindesmissbrauch

Vor 20 Jahren haben sich einige Tech-Unternehmen in einer Koalition zusammen geschlossen, um „sexuelle Ausbeutung von Kindern im Internet zu bekämpfen“. Das Bündnis war ursprünglich Teil der Organisation „Nationales Zentrum für vermisste und ausgebeutete Kinder“. Heute hat die „Tech-Koalition“ dutzende Mitglieder, darunter Google, Meta und Microsoft in „führender Rolle“.

Ende 2023 hat die Koalition das Projekt „Laterne“ verkündet. Die beteiligten Unternehmen teilen über das Programm Informationen über Kindesmissbrauch. Sie wollen insbesondere Plattform-übergreifende Versuche vom Missbrauch und Grooming aufdecken.

Die ausgetauschten Informationen können auf Inhalten basieren, wie URLs oder Hashwerte von Fotos und Videos. Sie können aber auch auf Ereignissen basieren. Wenn Accounts Kinderporngrafie konsumieren oder verbreiten, teilen die Unternehmen E-Mail-Adressen oder andere Account-Informationen.

Zweckbindung gegen übermäßige Eingriffe

Das Bündnis Tech-Koalition und das Produkt Laterne haben Sorgfaltspflichten für Menschenrechte entwickelt. Der erste Punkt ist eine Zweckbindung: „Der Anwendungsbereich von Lantern beschränkt sich ausschließlich auf die Bekämpfung sexueller Ausbeutung und Missbrauch von Kindern im Internet, um Datenschutz zu gewährleisten und übermäßige Eingriffe zu minimieren“.

Dieses Grundprinzip will die Bundesregierung gemeinsam mit Frankreich und den Niederlanden kippen. Die Unternehmen sollen mit Laterne nicht nur Missbrauch bekämpfen, sondern auch Extremismus und legale Inhalte.

Beschränkung als Schutzmaßnahme

Auf Anfrage von netzpolitik.org zeigt sich die Tech-Koalition verwundert über den Vorschlag. Eine Sprecherin bestätigt, dass Lantern nicht für andere Inhalte bestimmt ist. „Lantern ist bewusst auf sexuelle Ausbeutung und Missbrauch von Kindern im Internet beschränkt. Das geht aus unserer Mission hervor und dient als Maßnahme zum Schutz von Privatsphäre und Datenschutz.“

Wir haben die Tech-Koalition auch gefragt, ob die Staaten ihren Vorschlag mit dem Bündnis diskutiert haben. Die Antwort: Nein, haben sie nicht.

Wir haben dem Bundesinnenministerium eine Reihe an Fragen gestellt. Eine Sprecherin „bittet um Verständnis, dass wir uns dazu nicht äußern“. Die Vorschläge sind schließlich ein sogenanntes „Non-Paper“ – und damit nicht offiziell zitierfähig.

Von Kinderschutz zu anderen Inhalten

Immer wieder werden staatliche Eingriffe zunächst mit Terrorismus oder Kindesmissbrauch begründet und nach der Einführung auf andere Inhalte ausgeweitet.

Das derzeit verhandelte EU-Gesetz zur Chatkontrolle begründet die Maßnahme mit sexuellem Missbrauch von Kindern. Europol und Abgeordnete fordern eine Ausweitung auf andere Inhalte wie Pornografie und Drogen.

Ein deutsches Gesetz begründete Netz-Sperren mit strafbarer Kinderpornografie. Bundeskriminalamt und Abgeordnete forderten eine Ausweitung auf Killerspiele und Glücksspiele. Heute sperren deutsche Provider Webseiten vor allem wegen Urheberrecht und Jugendschutz.

Die Bundesregierung begründet die Vorratsdatenspeicherung vor allem mit Kinderpornografie. Tatsächlich werden diese Daten schon heute vor allem wegen mutmaßlicher Urheberrechtsverletzungen abgefragt.

Die Tech-Unternehmen haben das Projekt Laterne explizit gegen Kindesmissbrauch gegründet und darauf beschränkt. Jetzt will die Bundesregierung dieses System auf Extremismus ausweiten – selbst wenn der legal ist.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

X hat sich in den letzten Jahren nicht nur zur rechten Propagandaschleuder entwickelt, die Plattform erlaubte seit Ende Dezember auch das Generieren von sexualisierten Deepfake-Bildern. Wir haben Politiker, Ministerien und EU-Kommission gefragt, warum sie trotzdem auf der degenerierten Plattform bleiben.

Auf der Plattform X war es seit Ende Dezember möglich, mit dem Chatbot Grok sexualisierte Deepfakes von Erwachsenen und Minderjährigen zu erstellen. Eine Deepfake-Forscherin geht laut Bloomberg davon aus, dass stündlich etwa 6.700 sexualisierte Deepfake-Bilder mittels des Chatbots generiert wurden, die meisten davon von Frauen und ohne deren Zustimmung. Laut dem Bericht wurden solche Bilder auch nach einer Beschwerde-Meldung nicht durch die Moderation der Plattform entfernt. Nachdem die EU-Kommission am Donnerstag angewiesen hatte, dass X interne Dokumente zu Grok aufbewahren muss, hat die Plattform heute die Bildgenerierung eingeschränkt.

Die Plattform X, wie das frühere Twitter heute heißt, wird seit dem Kauf durch den rechtsradikalen Milliardär Elon Musk immer weiter abgewirtschaftet. Zu diesem Absturz gehörte nicht nur das Zusammenstreichen des Moderationsteams und eine Lockerung bei Regeln gegen Diskriminierung, sondern auch die Wiederzulassung zahlreicher rechtsextremer Accounts und die algorithmische Bevorzugung rechtsradikaler Inhalte.

Hinzu kam jetzt die massenhafte Erzeugung von sexualisierten Bildern gegen den Willen von Betroffenen und damit eine Form digitaler Gewalt. Trotz weltweiter Kritik und einer angeblichen Änderung der Plattform lief die Erzeugung der Bilder über Tage weiter.

Missbrauchsbeauftragte: „Verändertes Ausmaß“

Eine Sprecherin der Unabhängigen Bundesbeauftragten gegen sexuellen Missbrauch von Kindern und Jugendlichen bewertet das Generieren von Deepfakes auf X kritisch: „Die niedrige Zugangsschwelle verändert das Ausmaß. Was früher technisches Wissen und verdeckte Netzwerke erforderte, ist heute per Texteingabe möglich.“ Dabei seien die Produkte hochrealistisch. Sie ließen sich kaum von echten Aufnahmen unterscheiden.

„Durch KI-generierte Missbrauchsdarstellungen entsteht konkreter Schaden: Sexualisierung kindlicher Körper, Weiterverbreitung von Gewaltbildern und die Normalisierung einer Täterperspektive“, so die Sprecherin weiter.

Aufgrund der Degradierung der Plattform haben schon in der Vergangenheit zahlreiche Menschen, Medien und Institutionen X in Richtung anderer Plattformen wie LinkedIn, Bluesky oder ins Fediverse zu Mastodon verlassen. Auch die Bundesbeauftragte gegen sexuellen Missbrauch von Kindern und Jugendlichen ließ X im März 2024 zurück und postet dafür in anderen sozialen Medien.

Treue Nutzer:innen trotz Allem

Doch die Bundesregierung wie auch Bundestagsabgeordnete aller Parteien verbleiben immer noch auf der Plattform, sogar nachdem deren Eigentümer den Hitlergruß gezeigt und auf einer Demonstration zu Gewalt aufgerufen hatte. Auch die EU-Kommission unterhält zahlreiche Accounts auf der Plattform, obwohl der Eigentümer sie wüst beschimpft.

Wir haben deswegen exemplarisch beim Innen- und Familienministerium sowie zufällig ausgesuchten Bundestagsabgeordneten aller demokratischen Fraktionen, die X für ihre Kommunikation nutzen, angefragt, warum sie weiterhin auf so einer Plattform posten und ob sie nicht befürchten, dass die Plattform ihrer eigenen Reputation schaden könnte. Zudem haben wir in Brüssel die EU-Kommission gefragt, ob sie Konsequenzen aus den jetzigen Deepfakes zieht.

Abgeordnete von Grünen, Linken und Union zögern

Bei der Linken hatten wir die Vorsitzende und Bundestagsabgeordnete Ines Schwerdtner gefragt. Sie sagte, dass in Partei und Fraktion derzeit Gespräche über den weiteren Umgang mit X laufen würden. „Entscheidend ist, dass wir dabei zu einem gemeinsamen Vorgehen kommen.“ Ob und wann mit Ergebnissen in diesem Prozess zu rechnen ist, sagte Schwerdtner nicht.

Bei den Grünen hatten wir Britta Haßelmann, Konstantin von Notz und Agnieszka Brugger angefragt – und bekamen eine Sammelantwort der Pressestelle der Bundestagsfraktion. Die sagt lediglich, dass es für Politiker immer wichtig sei, den Dialog zu suchen und dafür auch Social Media zu nutzen. „Die Vorgänge auf X sind allerdings zweifellos indiskutabel“, heißt es weiter im Statement. Die Bundestagsfraktion beobachte die Entwicklungen der Plattform schon seit einiger Zeit mit Sorge und diskutiere auch die Konsequenzen in der Fraktion. Wann ein Punkt für Konsequenzen erreicht sei und warum man das Indiskutable diskutiere, sagte die Pressestelle nicht.

„Zunehmend eine Gratwanderung“

Bei der Union hat der Außenpolitiker Roderich Kiesewetter geantwortet: „Ich sehe die Nutzung von X zunehmend als Gratwanderung und bin zwiegespalten.“ Zwar sprächen die Veränderung der Diskussionskultur, die mangelnde Durchsetzung von Richtlinien, die Intransparenz der Algorithmen und auch die Ermöglichung von Deepfakes „eher dafür“ die Plattform zu verlassen, vieles davon treffe aber auch auf andere Plattformen zu.

Als Politiker sei es seine Aufgabe mit Argumenten und Inhalten Bürgerinnen und Bürger von politischen Lösungen oder Einschätzungen zu überzeugen und politisch zu kommunizieren. Solange die Abkehr von bestimmten Plattformen aus rechtlichen oder sicherheitsrelevanten Gründen nicht von Deutschland oder der EU empfohlen werde, setze er darauf, dass die EU durch Durchsetzung von Regelungen den Einfluss behalte.

„Die Gefahr, dass die Reputation leidet, gibt es leider bei vielen Internetmedien, insbesondere rechtspopulistischen, die z.B. Aussagen in seriösen Medien aus dem Zusammenhang reißen, verkürzen und zu Desinformationszwecken nutzen, dies halte ich persönlich für noch viel gravierender“, so Kiesewetter weiter.

Innen- und Familienministerium mit Standard-Antwort

Dürr fallen die Antworten der angefragten Ministerien aus. Das Bundesinnenministerium (BMI) antwortet auf die Frage, warum es weiterhin auf einer solchen Plattform poste: „Im Rahmen seiner Presse- und Öffentlichkeitsarbeit informiert das BMI auf vielfältige Weise über seine Arbeit und kommt seinem verfassungsrechtlich gebotenen Auftrag nach, Bürgerinnen und Bürger über Regierungshandeln zu informieren.“ Auf die Frage, ob das Ministerium nicht eine Gefahr für seine Reputation in einem solchen Umfeld sehe, antwortet es lapidar: „Die Fortsetzung unserer Präsenzen auf Social Media Plattformen überprüfen wir fortlaufend.“

Eine ähnliche Antwort gibt auch das Familienministerium (BMBFSFJ). Es gehöre zur Erfüllung des Informationsauftrags, in den sozialen Medien mit verlässlichen Informationen präsent zu sein. „Dabei verstehen wir unsere Aktivitäten nicht als Unterstützung der Plattformen, sondern als Erfüllung unseres Informationsauftrages an den digitalen Orten, an denen Menschen sich informieren und austauschen.“ Das Ministerium beobachte „die aktuellen Entwicklungen auf den verschiedenen Plattformen genau“. Dazu gehöre auch, dass das Ministerium fortlaufend kritisch hinterfrage, auf welchen Plattformen es kommuniziere.

Ähnliche Antworten haben die Ministerien seit Monaten und auch schon unter der Ampel-Regierung gegeben.

EU-Kommission will „diversifizieren“

Kommissionssprecher Thomas Regnier sagte auf einer Pressekonferenz auf Nachfrage von netzpolitik.org: „Wir sind noch immer auf X aktiv, aber wir sind dabei, stark zu diversifizieren“. Man sei auf 14 Social-Media-Plattformen aktiv und überprüfe die Social-Media-Präsenz der EU-Kommission regelmäßig, das gelte auch für X.

Ähnlich wie die deutschen Ministerien argumentierte Kommissionssprecherin Arianna Podestà, dass es wichtig sei das „Publikum mit unseren Botschaften zu erreichen.“ Wenn dieses Publikum auf X sei, werde die EU-Kommission dort mit diesem in Kontakt treten.

Die Sprecherin dementierte den Vorwurf eines Journalisten, dass die EU-Kommission X bevorzuge. Was die Zukunft der EU-Kommission auf der Plattform angehe, wollte sich die Sprecherin nicht festlegen: „Nichts ist in Stein gemeißelt. Wir versuchen immer, unsere Präsenz zu verbessern.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Einfach online einen neuen Personalausweis anfordern, den Wohnsitz ummelden oder Kindergeld beantragen: Das Onlinezugangsgesetz (OZG) von 2017 soll all das möglich machen – und zwar schon bis Ende 2022. Fast 600 Verwaltungsleistungen von Kommunen, Ländern und Bund sollen bis dahin digital zur Verfügung stehen, einfach zugänglich über einen Portalverbund. Das Ende von ausgebuchten Bürgerämtern und langen Schlangen.

IT-Sicherheit ist für die digitalisierten Verwaltungsleistungen wichtig, denn es werden jede Menge persönliche Daten verarbeitet. Doch mit der zugehörigen IT-Sicherheitsverordnung hat sich das zuständige Bundesinnenministerium Zeit gelassen. Sie definiert, welche Sicherheitsstandards bei der Umsetzung der Dienste zu erfüllen sind. Erst am 20. Januar trat sie in Kraft. Bis zur Umsetzungsfrist des OZG ist es also – in Verwaltungszeiträumen gesprochen – nicht mehr lange.

Angeflanschte Sicherheit

Einige der genannten Verwaltungsleistungen sind bereits digitalisiert, etwa die Arbeitslosmeldung. Bestimmte Grundregeln galten natürlich trotzdem, etwa die Vorgaben des Bundesamts für Sicherheit in der Informationstechnik (BSI) zum IT-Grundschutz. Aber die Systeme wurden entwickelt, bevor die konkreteren Vorgaben aus der Verordnung bekannt waren. IT-Sicherheitsexpert:innen kritisieren diese Reihenfolge.

„IT-Sicherheit kann man nicht nachträglich an ein System anflanschen. Sie muss von Anfang an mitgedacht werden, sonst bleibt sie ein Furunkel“, sagt Manuel Atug von der AG KRITIS, einer unabhängige Arbeitsgruppe, die sich für die IT-Sicherheit von Kritischer Infrastruktur wie Verwaltung und Energieversorgung stark macht. Atug arbeitet selbst seit über 23 Jahren in dem Bereich, er berät Unternehmen und auditiert IT-Systeme.

Schon 2020 hatte die AG KRITIS beim BMI nachgefragt, wie der Stand der IT-Sicherheitsverordnung ist. Damals war etwa Halbzeit für die Umsetzung des Gesetzes, aber offenbar lag nicht mal ein Entwurf vor. Warum hat es so lange gedauert? Trotz mehrmaliger Nachfrage haben wir auf diese Frage vom Innenministerium leider keine Antwort erhalten.

Dass Sicherheitsvorgaben erst nachträglich festgelegt werden, widerspricht dem Prinzip „Security by Design“. Das bedeutet, dass IT-Sicherheit schon bei der Konzeptionierung und Entwicklung eines Produktes mitgedacht werden soll – und nicht erst hinterher. Das Innenministerium und das ihm unterstellte Bundesamt für Sicherheit in der Informationstechnik (BSI) betonen das selbst. Im Lagebericht des BSI zur IT-Sicherheit 2018 heißt es etwa: „Dabei muss die Sicherheit der eingesetzten Systeme in der staatlichen Verwaltung, in der Wirtschaft und beim Endanwender durch ’security by design‘ und ’security by default‘ von vornherein gewährleistet sein.“ Außerdem: „Deutschland muss in dieser Frage eine Vorreiterrolle einnehmen.“

Schneller Umbau?

Es stellt sich die Frage, ob die bereits vorhandenen digitalen Dienstleistungen nun schnell umgebaut werden müssen. Laut der Verordnung haben die Verantwortlichen dafür Zeit. Bereits aktive Systeme oder solche, die bis Mitte 2022 in Betrieb genommen werden, dürfen von den Vorgaben abweichen – bis Ende 2022 oder „in begründeten Fällen“ sogar bis Januar 2024. Also zwei Jahre lang. Was solche Gründe für die Verlängerung sein können? Auch darauf haben wir bisher keine Antwort erhalten.

„Selbst wenn man nur einen Zettel ausfüllt, hat man die Vorgaben bis 2024 eingehalten“, kritisiert Atug. Damit meint er die vorgegebenen Selbsterklärungen. Darin sollen die Verantwortlichen auf einer Art Checkliste ausfüllen, welche Vorgaben der Verordnung und der konkretisierenden Technischen Richtlinien sie bereits umgesetzt haben. „Es sollte mittlerweile allgemein bekannt sein, dass wenn Leute ihre eigene Leistung bewerten sollen, sie wohl kaum dokumentieren, dass diese nicht zu ausreichenden Ergebnissen geführt hat“, schätzt die AG KRITIS die Selbstauskunft ein.

Nicht nur am Prozess, auch an der Ausgestaltung der Sicherheitsverordnung haben die Experten einiges zu bemängeln. Die alle drei Jahre vorgeschriebenen Penetrationstest für Systeme, die Schnittstellen zum Internet haben, seien zu wenig. Die vier Technischen Richtlinien, auf die die Verordnung etwa in Zusammenhang mit Nutzerkonten verweist, würden nicht genug Fragen abdecken.

IT-Sicherheit „mit Augenmaß“

Dass es hier nicht um das größtmögliche Maß an Sicherheit geht, legt auch eine Pressemitteilung zur neuen IT-Sicherheitsverordnung nahe: „Ein einheitliches Sicherheitsniveau ist wichtig für das Vertrauen der Bürgerinnen und Bürger sowie Unternehmen in staatliche Dienstleistungen“, heißt es dort von Bundes-CIO Markus Richter. Die Umsetzung des OZG ist unter den „innovativen Vorhaben“ seines Ressorts aufgeführt. Er sagt aber auch: „Genauso wichtig ist, dabei Augenmaß zu wahren und die mit großen Schritten voranschreitende OZG-Umsetzung nicht ohne Grund zu belasten“.

Angesichts der immer wieder auftretenden IT-Sicherheitsvorfälle in deutschen Verwaltungen verwundert diese Prioritätensetzung. Nach einem Ransomware-Befall im Landkreis Anhalt-Bitterfeld im Juli ist die dortige Datenwiederherstellung immer noch nicht abgeschlossen. Die Verwaltung war wochenlang arbeitsunfähig. Einige Dateien werden wohl für immer verloren sein, bisher sind zwei Millionen Euro Schaden entstanden. Auch der Landkreis Ludwigslust-Parchim arbeitet bis heute an der Bewältigung eines Ransomware-Falls und konnte deswegen lange etwa keine Coronazahlen melden.

Gerade vor diesem Hintergrund kann Atug den aktuellen Kurs bei der IT-Sicherheit für die Verwaltungen nicht verstehen: „BMI liefert so den kritische Infrastrukturen Sektor Staat und Verwaltung – also alle Behörden, Kommunen und Landkreise – wie auf einem Silbertablett kriminellen Banden aus. Wenn dann die Ransomware-Gangs nicht zuschlagen, weiß ich auch nicht mehr weiter.“ Ob man die aktuelle Verordnung heilen kann? Atug ist skeptisch: „Das ist prozedural schiefgelaufen. Jetzt die IT-Sicherheit nennenswert zu stärken und trotzdem den Zeitplan für das OZG einhalten, wird kaum möglich sein.“ Für ihn wirkt die Verordnung, als sei man „im Rahmen der Möglichkeiten stets bemüht“ gewesen.

Ob das für eine sichere, digitale Verwaltung reicht? Das wird sich zeigen.

Hilf mit! Mit Deiner finanziellen Hilfe unterstützt Du unabhängigen Journalismus.