Zwischen dem aktuellen KI-Hype und der ersten Industrialisierung gibt es Parallelen, das zeigt sich besonders in der drohenden Entfremdung, analysiert unsere Kolumnistin. Aber es gibt Wege, die gleichen Fehler nicht nochmals zu machen.

Unsere Erfindungen sind meistens niedliche Spielsachen, die unsere Aufmerksamkeit von ernsten Dingen ablenken. Sie sind nur verbesserte Mittel zu einem unverbesserten Zweck – zu einem Zweck, der auf die einfachste Weise von vornherein hätte erreicht werden können.

Sparsamkeit, Walden oder Leben in den Wäldern, Henry D. Thoreau

Die heutige Degitalisierung wird sich in dieser Zeit mit dem tieferen Sinn hinter allerlei Digitalisierungsbemühungen, im Speziellen sogenannter Künstlicher Intelligenz, beschäftigen müssen. Dass KI jetzt wieder Thema sein muss, ist auch mir inzwischen selbst nervig, aber genau diese permanente Durchsetzung in jeglichen Bereichen des Arbeits- und inzwischen auch Privatlebens braucht leider immer eine klare Thematisierung. Im Wesentlichen soll es aber auch um die Entfremdung gehen, die wir gerade durchleben.

Den Ton für diese Kolumne setzt dazu ein gewisser Henry Thoreau, der in Walden die einleitenden Worte in einer Blockhütte ab 1845 im Wald ersann. Quasi als eine Art Aussteiger oder Einsiedler, der sich schon im 19. Jahrhundert vom Fortschritt der Industrialisierung eine Auszeit nahm und im Wald über die Welt nachdachte.

Im 19. Jahrhundert befand sich Thoreau inmitten des ersten Maschinenzeitalters und brauchte eine Pause im Wald. Ein emotionales Bedürfnis, das allzu viele im Bereich der Informationstechnologie in den letzten Jahren immer wieder selbst verspürt haben dürften. Denn heute befinden wir uns quasi im zweiten Maschinenzeitalter, dem der Künstlichen Intelligenz, das auch kognitive Arbeitskontexte erfassen wird.

Üblicherweise sind solche Momente in der Geschichte aber auch weitere Gelegenheiten zur Entfremdung. Zur Entfremdung von sinnvollen Zwecken, für die all diese neue Technik genutzt werden könnte. Zur Entfremdung vor allem für „einfache“ Arbeitende. Nicht zum ersten Mal.

Marx und Manchesterkapitalismus

Entfremdung bzw. entfremdete Arbeit ist ein zentrales Konzept im Werk von Karl Marx. In der Zeit der ersten Industrialisierung hat Marx eine vierfache Entfremdung des arbeitenden Individuums in Bezug auf seine Arbeit attestiert. Nach Marx geschieht diese Entfremdung zwischen dem arbeitenden Individuum und dem Kapitalisten zum einen auf Ebene des Produkts der eigenen Arbeit, weil das Produkt der Arbeit ja gar nicht mehr dem Individuum selbst gehört, sondern anderen. Die Entfremdung geschieht auch auf der Ebene der Tätigkeit, die keine eigenen Bedürfnisse mehr befriedigt und auch keine freie und bewusste Tätigkeit mit der Umwelt oder Gesellschaft ermöglicht. Letztlich entfremdet sich der Mensch vom Menschen selbst.

In die Zeit der Industrialisierung und von Marx fällt auch eine Phase des besonders auf die Interessen von Unternehmen ausgerichteten Kapitalismus, des sogenannten Manchesterkapitalismus. Eine Zeit, in der vor allem in Großbritannien, aber nicht nur dort, Kinderarbeit, lange Arbeitszeiten von bis zu 14 Stunden, Hungerlöhne, Armut und das Fehlen jeglicher sozialer und gesundheitlicher Schutzmaßnahmen etwa bei Arbeitsunfällen vollkommen normal waren. Gewerkschaften oder politische Interessenvertretungen wurden lange Zeit unterdrückt. Die Lage trotz all des vermeintlichen technischen Fortschritts für einen Großteil der Bevölkerung elend.

Gebessert hat sich die Lage ein wenig erst durch Gesetze zum Arbeitsschutz, etwa durch das Festlegen von maximalen Arbeitszeiten und durch das schrittweise Verbot von Kinderarbeit, zumindest für Kinder unter 12.

Nur scheint sich im zweiten Maschinenzeitalter vieles, was wir eigentlich aus der Geschichte gelernt haben sollten, wiederholen zu müssen. Denn im modernen Techkapitalismus droht sich sowohl die Entfremdung als auch das Elend auf die gleiche, wenn auch an diese Zeit angepasste, Art und Weise zu wiederholen. In beiden Industrialisierungen geht es auch immer um Maschinen, in der Industrialisierung etwa um Dampfmaschinen und Webstühle, in der KI-Industrialisierung um massive Rechenzentren.

Musk und Techkapitalismus

Eines der ersten wirklich riesigen, auf KI spezialisierten Rechenzentren, ist Colossus von xAI, einem Unternehmen, das von Elon Musk gegründet wurde. Colossus war zu seiner Eröffnung Mitte 2024 der damals wohl schnellste Supercomputer der Welt.

Im Hype um KI wird immer wieder von den weltverändernden Möglichkeiten von Künstlicher Intelligenz gesprochen. Medikamente können schneller entwickelt werden, indem Proteine besser modelliert werden können. Wetter kann besser vorhergesagt werden. Das wäre vielleicht sogar ein sinnhafter Einsatz von KI. Nur forciert Musk den „vermeintlich freien“ Einsatz von KI für ganz andere Zwecke und damit auch von Supercomputern wie Colossus.

Grok, der Chatbot von xAI, flutet seit einiger Zeit den ehemals relevanten Kurznachrichtendienst Twitter, jetzt unter Musks Eigentümerschaft X genannt, mit massenhaft sexualisierten Deepfakes. Die Diskussion nahm in den letzten Tagen zu. Der selbst nicht ganz widerspruchsarme Kulturstaatsminister Wolfram Weimer bezeichnete das als eine „Industrialisierung der sexuellen Belästigung“. Die ansonsten eher seriös aufbereitete Financial Times illustrierte die Plattform X wegen der Ereignisse als eine Deepfake-Pornoseite, deren Mitarbeitende dort als eine Ansammlung von Clowns in einem Zirkuszelt dargestellt wurden.

Der typische techkapitalistische Einsatz dieser Tage führt also ebenfalls zu einer mehrfachen Entfremdung. Menschen oder Künstler*innen, die ihrer Werke und möglichen Einnahmen daraus beraubt werden, sei es bei Texten, Bildern, Illustrationen, Musik oder Filmen. Menschen, die im Sinne von digitalem Kolonialismus für KI-Modelle abartigen Content labeln und sortieren müssen. Menschen, die sich bei dieser Tätigkeit fühlen, als würde ihr Leben enden. Gigantomanische Rechenzentren, die in den nächsten Jahren Musks Colossus locker um das fast Zehnfache übertreffen werden und sich dabei in keinster Weise um die Auswirkungen auf Umwelt und Gesellschaft scheren. Energiebedarfe, die bis in den Gigawattbereich reichen, was dem Energiebedarf US-amerikanischer Großstädte wie Los Angeles entspricht. Ein Energiehunger, der mit zusätzlichen fossilen Energiequellen oder Atomreaktoren gestillt werden muss – bei denen aber die Entsorgung des Atommülls vollkommen unklar sind.

Dazu entfremdet sich auch noch das Finanzsystem immer weiter von der Realität überhaupt noch tragbarer Geschäftsmodelle. Moral ist dabei sowieso egal: Musks xAI sammelt weiter fleißig Geld ein und verbrennt es gleich wieder. Zuletzt fremdeln Anbieter von KI-Lösungen mit dem Konzept von Verantwortung für ihr eigenes Handeln. Hersteller von Chatbots zahlen lieber stillschweigend bei Gerichtsverfahren im Hintergrund Vergleiche, um nicht öffentlich in der Verantwortung für die Konsequenzen ihrer Produkte haften zu müssen.

Auf der anderen Seite starten Akteure wie OpenAI aber KI-Assistenten für die eigene Gesundheit – natürlich auf eigene Gefahr der Nutzenden.

Währenddessen wachsen die Rechenaufwände und die dafür notwendigen Rechenzentren in ihren Anforderungen immer weiter. Anwendungsfälle, die für die Menschheit von irgendeinem nachhaltigen Nutzen wären, werden aber damit kaum umgesetzt. Der Großteil der Rechenleistung wandert in Sprachmodelle, Videogeneratoren und Vision-Modelle. Eingesetzt als eher niedliche Spielsachen, ohne sich aber um ernste Dinge wie den Klimawandel oder die gesellschaftliche Ungleichheit zu scheren.

Grenzen und Wachstum

In manchen Momenten muss die fortschreitende KI-Industrialisierung aber immer wieder mit erstrebenswerten Zukunftsvisionen dargestellt werden, um sie weiter am Leben zu halten, teils geradezu mit marxistisch anmutenden Elementen.

Sam Altman, CEO von OpenAI, versprach etwa 2024 ein Grundeinkommen für alle – wenn denn bald GPT-7 superintelligent sein solle. 2024 veröffentlichte OpenResearch eine von Altman mitfinanzierte Studie zur Wirkung eines bedingungslosen Grundeinkommens, deren Erkenntnisse durchaus unterschiedlich interpretiert wurden.

Altmans Einsatz für ein Grundeinkommen sollte aber nicht ohne seine eigenen Hintergedanken interpretiert werden. Aufgrund des geradezu kannibalistischen Verbrauchs von Ressourcen, die Systeme wie die von OpenAI aufweisen, muss Altman zumindest irgendeine Vision anbieten, die seine Maschinerie am Leben halten kann. Aber Altman ist ein Betrüger, immer wieder.

Das Wachstum der KI-Branche wird aktuell gerade etwas gebremst durch das Erreichen des Limits von produzierbaren Rechenressourcen wie Arbeitsspeicher oder aus dem Internet aufgesaugten Inhalten. LLMs auf der anderen Seite zerstören gerade aktiv ihre eigenen aufgesogenen Inhalte, wie etwa im aktuellen Beispiel des Open Source CSS-Frameworks Tailwind, das in dieser Woche massive Entlassungen wegen KI offenlegte.

In der finanziellen Realität ist aber auch der KI-Primus OpenAI bei seinem Geschäftsmodell schon längst bei Überlegungen zu Erotikinhalten und Werbung angekommen. Dabei sind in die KI-Branche bereits bis 2024 Investitionen gesteckt worden, von denen mehrere Mondprogramme und Manhattan-Projekte finanziert hätten werden könnten.

Bei all diesen Anlässen für Entfremdung ist aber die Frage: Was sind die Alternativen? KI als Teil des Rentensystems? Das ist bei techkapitalistischen Unternehmen, die von der EU geradezu mit Samthandschuhen angefasst werden, schwerlich vorstellbar.

Entfremdung und Rebellion

Ein möglicher Weg aus dieser Entfremdung ist in Thoreaus Worten vom Anfang zu finden. KI in der heutigen Form sind oftmals nur verschlimmbesserte Mittel zu einem kapitalistischen Zweck mit all den schlimmen negativen Konsequenzen.

Politisch wird jetzt vielleicht gefordert, dass es „europäische KI“ brauche mit „europäischen Werten“. Im Wesen von aktuellen KI-Systemen sind aber, ganz gleich welcher Herkunft diese sind, Elemente angelegt, die sich nicht von dieser Technologie trennen lassen. KI ist eine konservative Technologie, sie begünstigt wenige Kapitalisten oder Faschisten immens, bringt einer Mehrheit nur wenige Vorteile und diskriminiert Minderheiten, sei es durch Bias oder schweren Zugang zu aktueller digitaler Technik. Darüber hinaus bleibt die erratische Art des Handelns ein Wesensbestandteil dieser Systeme.

Der Weg aus der Entfremdung ist zuallererst die Erkenntnis, dass KI und die Versprechungen, die sie bringen soll, oftmals aus einer überaus beschränkten Sichtweise kommen. Häufig findet das mittlere oder obere Management in den niedlichen KI-Spielzeugen die vermeintliche Lösung für viele Probleme.

Zu wenig Pflegepersonal im Krankenhaus? Lässt sich bestimmt mit KI-unterstützten Apps für Schichtplanung und Gig Economy „lösen“. Macht die Situation aber nur schlimmer. Zu wenig Geld im Gesundheitssystem? Muss nur mit digitalen Tools besser geleitet werden, am liebsten noch mit Kontaktgebühren. Am besten wäre es doch, gleich die Krankenkassen mit KI tagesaktuell auf Behandlungsdaten agieren zu lassen.

All diese durch KI unterstützten Lösungsvorschläge sind oftmals nur elitäre Projektionen. Lösungen, die nur für einen Teil von Problemen eines Themenbereichs funktionieren und aus Sicht des Managements damit die Lösung für alle Probleme sein müssten, es aber nicht sind.

Die technologische Entfremdung entsteht nicht durch diejenigen, die unrealistische Versprechungen mittels KI machen und verkaufen wollen. Versprechungen wie die einer Superintelligenz, die jetzt 2026 nur noch ein Problem entfernt sei, was eigentlich 2024 schon hätte kommen sollen.

Die technologische Entfremdung des digitalen Maschinenzeitalters entsteht durch zu viele Käufer*innen im Management von Unternehmen, im Gesundheitswesen oder in Verwaltungen [€], die diesen Versprechungen trotz ihrer überzogenen Vorhersagen und trotz ihrer negativen Konsequenzen weiter hinterherlaufen.

Die Frage ist nicht, ob KI in aktueller Form sinnvolle Anwendungen hat. Die Frage ist, ob wir uns als Gesellschaft erst noch einmal jahrelang entfremden müssen, um dann zu erkennen, dass wir vieles aus den Verheißungen von Digitalisierung und KI auch auf einfache oder andere Weise hätten erreichen können – ganz ohne die destruktiven Einflüsse des aktuellen Techkapitalismus.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Immer wieder wird Chatbot-Herstellern vorgeworfen, die Sicherheit von Kindern und Jugendlichen zu gefährden. In fünf Fällen wollen Character Industries und Alphabet die Klagen mit Geld aus der Welt schaffen. Damit sorgen die Unternehmen dafür, dass es weiterhin keinen Präzedenzfall gibt, nach dem Techunternehmen für ihre KI-Chatbots rechtliche Konsequenzen tragen müssen.

In den US-Bundesstaaten Florida, Texas, Colorado and New York handeln Google und Character Technologies Vergleiche mit fünf Familien aus, deren Kinder angeblich durch Chatbot-Nutzung zu Schaden gekommen sind. Der Fall, der die meiste Aufmerksamkeit erhielt, behandelt den Suizid eines 14-Jährigen Jungen. Der Jugendliche hatte eine emotionale Beziehung zum Chatbot „Dany“ von Character Technologies aufgebaut, der den Suizid des Jungen befürwortete.

In anderen Fällen hatten Chatbots von Character Technologies angeblich Jugendliche zu Gewalt gegen ihre Eltern oder selbstverletzendem Verhalten inspiriert. Die Bedingungen der Vergleiche sind bisher öffentlich nicht bekannt und werden nach Angaben von TechCrunch weiter verhandelt. Demnach wollen sich weder Sprecher*innen von Character Technologies, noch die Anwältin der Klägerin dazu äußern.

Haften Techkonzerne für ihre Chatbots?

Zwei ehemalige Google-Mitarbeiter gründeten 2021 den Chatbot-Hersteller Character Technologies. Drei Jahre später kehrten sie zu Google zurück. Im gleichen Zug erwarb der Konzern Lizenzen in Höhe von 2,7 Milliarden US Dollar von Character Technologies. Beide Gründer stehen als Angeklagte vor Gericht. Die Mutter des toten 14-Jährigen hat ebenfalls gegen Googles Mutterkonzern Alphabet geklagt. Sie argumentiert, dass das Unternehmen den Chatbot mitentwickelt hat. Google beteiligt sich nun auch an dem Vergleich.

Im Mai des vergangenen Jahres hatte die verantwortliche US-Bezirksrichterin Anne C. Conway entschieden, dass KI-Chatbots rechtlich als Produkte zu behandeln sind. Ihre Ausgaben seien nicht als geschützte Meinungsäußerung zu werten. Andernfalls hätte das die Chancen einer Haftungsklage stark verringert.

Gegenmaßnahme Altersbeschränkungen

Aktuell laufen in den USA sieben Verfahren gegen den Tech-Konzern OpenAI. Eine Klage stammt von den Eltern eines 16-Jährigen Jungen. Auch sie werfen dem Unternehmen vor, dass die KI den Jugendlichen bei der Selbsttötung unterstützt habe. OpenAI zieht sich bisher aus der Verantwortung. Der KI-Hersteller verweist auf die Missachtung der Sicherheitsmaßnahmen durch den 16-Jährigen.

Gleichzeitig führt das Unternehmen neue Tools zur Alterskontrolle und „Kindersicherung“ ein. Auch der KI-Hersteller Character Technologies hat neue Regelungen zur Altersüberprüfung eingeführt.

Präzedenzfall steht aus

Character Technologies und Google streben die nicht-öffentlichen Vergleiche wohl auch deshalb an, um Präzedenzfälle zu vermeiden, auf die sich Kläger*innen bei zukünftigen Verstößen berufen können. Außerdem ist der Schaden für die Reputation bei einem Vergleich vermutlich geringer als bei einer juristischen Niederlage.

Aline Blankertz von Rebalance Now, einem Verein der sich gegen Monopolisierung einsetzt, sagt: „Die kollektive Schutzwirkung der Gesetze wird dadurch untergraben, denn es bleibt offen, ob das Verhalten illegal war. Wir beobachten diese Tendenz in verschiedenen Rechtsbereichen.“

Blankertz erklärt auch, warum sich Kläger*innen auf Vergleiche einlassen: „Aus Sicht der einzelnen Geschädigten ergeben Vergleiche Sinn: Sie geben ihnen ein sicheres Ergebnis innerhalb kürzerer Zeit.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Nachdem sein Chatbot Grok weiterhin sexualisierte Bilder von prominenten Frauen und Minderjährigen erstellt, sieht sich Elon Musk mit möglichen rechtlichen Konsequenzen konfrontiert. Den Trend zu KI-generierten sexuellen Inhalten und digitaler Gewalt gegen weibliche Personen wird das wohl nicht aufhalten.

Seit Ende Dezember flutet Elon Musks KI-Chatbot Grok die Kurznachrichtenplattform X mit sexualisierten Deepfakes. User*innen haben das Programm aufgefordert, Bilder von bekannten Frauen und Minderjährigen mit nur minimaler Bekleidung und in sexualisierten Posen darzustellen. Inzwischen kursieren auch KI-generierte Bilder von bekannten Frauen in Hakenkreuz-Bikinis.

Auf den weltweiten Aufschrei folgte zunächst nur eine Reaktion des Chatbots selbst, der von „Schwachstellen in den Sicherheitsvorkehrungen“ schrieb, die behoben werden müssten. Elon Musk hatte sich über die Vorwürfe zuerst amüsiert, indem er ein Bild von sich selbst im Bikini postete. Dann kündigte ein Sprecher von X jedoch an, dass das Generieren und Verbreiten „illegaler Inhalte“ die gleichen Konsequenzen für Accounts haben werde, als würden sie die Inhalte selbst hochladen.

Zwar wurden inzwischen einzelne Inhalte gelöscht, weitere Konsequenzen erfolgten bisher jedoch nicht. Entsprechende Bilder kursieren zudem weiter auf der Plattform.

Betroffen sind vor allem Frauen und Kinder

Die Möglichkeit zur Erstellung sexualisierter Fake-Bilder hatte Musks KI-Unternehmen xAI kürzlich mit einem Update für den Chatbot geschaffen. Seit Dezember 2025 kann Grok durch den „Image Generation Release“ auch bestehende Bilder bearbeiten, die Nutzer*innen hochladen. Letzten Sommer hatte das Unternehmen bereits einen „Spicy Mode“ für pornographische Inhalte veröffentlicht, den das neue Feature ergänzt.

Die Bildbearbeitungsfunktion ist auch auf X verfügbar. Wollen User*innen damit Deepfakes erstellen, zum Beispiel von Menschen im Bikini, benötigt der KI-Chatbot dafür weder eine Zustimmung der Urheber*innen, noch erfahren diese von der Manipulation. Opfer der sogenannten Deepnudes sind – nicht nur in diesem Fall digitaler Gewalt – vor allem Frauen und junge Mädchen.

Auch die rechte Influencerin Ashley St. Clair, mit der Elon Musk ein gemeinsames Kind hat, gehört zu den Zielen. Ihre öffentliche Kritik an Musks Chatbot hat den Missbrauch jedoch nur verstärkt. Nutzer*innen hatten unter anderem Bilder von ihr als 14-Jährige, im Bikini und in nach vorne gebeugter Pose erstellen lassen. Wie St. Clair berichtet, habe es nach ihrer Beschwerde bei der Plattform zwölf Stunden gedauert, bis X das gefakte Kinderbild entfernt hat.

Ein Fall für den Digital Services Act

Nach eigenen Angaben will Ashley St. Clair nun ein kürzlich verabschiedetes US-Gesetz nutzen, um sich zu schützen. Der Take it Down Act soll Menschen helfen, gegen die nicht-einvernehmliche Verbreitung sexualisierter Bilder vorzugehen.

Einem Bericht von heise online zufolge prüfen in Frankreich derweil bereits Staatsanwälte, wie man mit dem Digital Services Act der EU auf die Fälle reagieren kann. Auch die Europäische Kommission sieht in den sexualisierten Bildern einen Fall für den Digital Services Act. Das Vorgehen reiht sich in laufende Untersuchungen gegen X wegen Verstößen gegen europäische Plattformgesetze ein.

Auch die britische Kommunikationsaufsicht Offcom verlangt Antworten von xAI zu der Thematik. Ebenso haben sich Regierungen von Malaysia und Indien kritisch geäußert.

Auch Meta und OpenAI setzten auf erotische Inhalte

KI-generierte Erotikinhalte sind inzwischen kein Nischenphänomen mehr. Vielmehr setzen KI-Firmen im großen Stil auf romantische und sexuelle Inhalte, um ihre Bots zu vermarkten. So kündigte Sam Altman, Vorstandschef von Open AI, im Oktober 2025 einen Erotik-Modus für ChatGPT an. Das Add-on ist noch nicht verfügbar und soll nach einer Altersprüfung nutzbar sein.

Meta wiederrum stand kürzlich in der Kritik, weil sein Chatbot Meta AI auf Facebook, WhatsApp und Instagram auch Minderjährigen romantische Interaktionen ermöglichte.

Im Fall eines Rentners aus New York führte eine romantische Konversation sogar zu einem tödlichen Unfall. Der 76-Jährige hatte sich in den Meta-Chatbot „Big Sis Billie“ verliebt und wurde von diesem aufgefordert, ihn an einer bestimmten Adresse zu besuchen. Der Chatbot beteuerte mehrmals, wirklich real zu sein. Auf dem Weg zu dem vermeintlichen Date stürzte und verstarb der Rentner.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Mit radikaler Verweigerung brachte die kenianische Zivilgesellschaft eine geplante Mega-Datenbank ihrer Regierung zu Fall. Wie das gelang und warum der Kampf noch nicht gewonnen ist, berichtete Inklusionsaktivist Mustafa Mahmoud Yousif auf dem 39. Chaos Communication Congress in Hamburg.

Hoffnung in verzweifelten Zeiten zu stiften ist keine leichte Aufgabe, das macht Mustafa Mahmoud Yousif gleich zu Beginn seines Vortrags klar. Und doch hat sich der Menschenrechtsaktivist genau das vorgenommen. Er ist nach Hamburg auf den 39. Chaos Communication Congress gekommen, um von der Kraft der Zivilgesellschaft zu berichten und Mut zu machen. Er spricht über den erfolgreichen Protest einer Bürger:innenbewegung gegen ein digitales Identifikationssystem in Kenia.

Das Problem mit dem „Huduma Namba“ genannten System ist schnell umrissen: In einer riesigen zentralen Datenbank wollte die kenianische Regierung 2019 die Bevölkerung erfassen. Diese sollte zahlreiche Angaben über sie beinhalten, von Größe, Alter, Landbesitz und Stammeszugehörigkeit über Einkommens- und Bildungslevel bis zu Angaben über Familienangehörige. Auch biometrische Daten und DNA sollten erfasst werden.

Nur wer registriert ist, sollte Zugang zu staatlichen Leistungen bekommen, etwa sein Kind auf eine Schule schicken können. Die Regierung wollte sich zudem das Recht einräumen, Daten mit autorisierten Stellen zu teilen – auch mit Unternehmen, fürchtete die kenianische Zivilgesellschaft. Mit den umfangreichen Daten könnten zudem Profile von Personen erstellt werden, so die Sorge. In einem Land, in dem staatlichen Stellen nicht zu trauen sei, eine echte Gefahr, so der Ko-Vorstandsvorsitzende des Instituts für Staatenlosigkeit und Inklusion.

Koloniales Echo

Huduma Namba sollte zur „einzigen Quelle der Wahrheit“ über die Menschen in Kenia werden, erklärt Yousif. Und das in einem Land, das unter britischer Kolonialherrschaft alles andere als gute Erfahrungen mit Identitätssystemen gemacht hat. Denn für die Kolonialherren war die Identitätskontrolle ein Herrschaftsinstrument, mit dem sie die unterdrückte Bevölkerung spalten und in ihrer Bewegungsfreiheit einschränken konnte.

Die Briten hätten das Land in 42 Regionen für 42 Stämme geteilt, mit der Hauptstadt Nairobi als 43. Bezirk. Schwarze Menschen, so Yousif, mussten jederzeit Ausweisdokumente, die sogenannten Kipande, bei sich tragen und der Polizei vorlegen. Die Dokumente enthielten Angaben über die Identität der Personen, wo sie lebten und in welchen Gebieten sie sich aufhalten durften. „Sie haben die Menschen in Ethnien und Bezirke unterteilt, damit sie nicht gemeinsam aufbegehren können“, so Yousif.

Im digitalen Zeitalter seien Daten zum neuen Rohstoff geworden, der nicht mehr in klassischen Minen, sondern beim Data Mining gewonnen wird. Statt auf Datenminimierung zu setzen, wie es aus Perspektive des Datenschutzes geboten wäre, habe die kenianische Regierung bei „Huduma Namba“ deshalb auf Datenmaximierung gesetzt.

In einer übereilten Roll-out-Phase von nur sechs Monaten habe die kenianische Regierung versucht, die Bevölkerung zur Registrierung zu drängen. Gerade ohnehin marginalisierte Gruppen, etwa Menschen ohne gültige Dokumente, seien jedoch gefährdet gewesen, zurückgelassen zu werden, kritisiert Yousif. Kinder, deren Eltern teils kenianische Staatsangehörige und geflüchtete Personen seien, wären auf Dauer als Geflüchtete registriert und dem Risiko der Staatenlosigkeit ausgesetzt worden.

Radikale Verweigerung

Weil es an einer politischen Opposition zu dem Projekt fehlt, habe es an der Zivilgesellschaft gelegen, Widerstand zu organisieren. Zahlreiche Nichtregierungsorganisationen hätten sich zusammengeschlossen, um in Sozialen Medien gegen den ID-Zwang mobil zu machen.

Insbesondere die junge Generation sei auf die Kampagne angesprungen. „Sie hatten das Gefühl, dass sie in ein System gezwungen werden, bei dem nicht Menschen, sondern Unterdrückung im Mittelpunkt stehen.“ Die Antwort darauf war radikale Verweigerung: Als die Regierung damit gedroht habe, nicht-registrierte Menschen des Landes zu verweisen, trendete der Hashtag #deportme, also „schiebt mich ab“. Zum Schlachtruf der Bewegung wurde der Slang-Begriff „Hatupangwingwi“, das in etwa „Wir lassen uns nichts vorschreiben“ bedeutet.

Auch traditionelle Medien hätten das Thema und dem Protest zu mehr Wucht verholfen. NGOs klagten zudem auf Basis des neuen kenianischen Datenschutzgesetzes. Mit Erfolg: Das Verfassungsgericht erklärte die Datenbank für ungültig, unter anderem, weil eine Datenschutz-Folgenabschätzung fehlte. Erhobene DNA-Daten dürfen zudem nur dann genutzt werden, wenn entsprechende Schutzvorkehrungen getroffen werden.

2022 wählten die Menschen in Kenia eine neue Regierung, die einen Neuanfang versprach und erstmalig Vertreter:innen der Zivilgesellschaft mit an den Tisch holte.

Der Kampf geht weiter

Doch damit endete der Kampf für Mustafa Mahmoud Yousif und seine Mitstreier:innen nicht. Auch die neu aufgesetzte Datenbank „Maisha Namba“ soll umfangreiche Daten über die Menschen Kenias enthalten. Auch hier fehlen der Zivilgesellschaft ausreichende Schutzmechanismen, um Bürger:innen vor Profilbildung und Diskriminierung zu schützen.

Doch Yousif gibt die Hoffnung nicht auf. Immerhin: Statt einer überhasteten Registrierungsphase werden Menschen Stück für Stück und ab Geburt registriert. Und die Verantwortlichkeiten für das Projekt sind jetzt klarer geregelt, sagt der Aktivist. „Wir wissen jetzt, wen wir verklagen müssen.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Beim Umgang mit Domains kann einiges schiefgehen. Einige Probleme ließen sich leicht verhindern, das würde die IT-Sicherheit verbessern und es Betrüger:innen schwerer machen. Doch bei Bundesbehörden deckt ein Sicherheitsforscher immer wieder Probleme auf.

Mehrmals hat Tim Philipp Schäfers in den vergangenen Monaten gezeigt, welche Folgen ein leichtfertiger Umgang mit Domains haben kann: Anfang des Jahres entdeckte der Sicherheitsforscher von Mint Secure, dass sich das Bundesamt für Migration und Flüchtlinge (BAMF) ein Sicherheitsproblem schuf, weil es Test-Accounts für seine Systeme mit fiktiven E-Mail-Adressen auf einer Domain anlegte, die das Bundesamt nicht kontrollierte: testtraeger.de. Schäfers holte sich die bis dahin unregistrierte Domain und erhielt so Zugriff auf einen Administrator-Account eines Test-Systems.

Im Dezember folgte eine weitere Recherche: Frühere Behörden-Domains wurden leichtfertig abgestoßen, auch hier im Fall des BAMF. Das hieß früher BAFl und ließ die Domain bafl.de offenbar einfach auslaufen. Als Schäfers die Domain einige Jahre später für sich registrierte, stellte er fest, dass weiterhin regelmäßig automatisierte sowie manuelle Anfragen aus dem IP-Adress-Bereich von Bundesbehörden bei der Domain ankamen. Mittlerweile hat Schäfers die Domain zum BAMF zurückübertragen, berichtete er in einem Vortrag zum Thema auf dem 39. Chaos Communication Congress.

Eine Kleine Anfrage zeigte außerdem, dass Dritte abgelegte Behörden-Domains für sich registrieren und offenbar deren vormalige Vertrauenswürdigkeit ausnutzen, um dort Werbung für illegales Glücksspiel zu platzieren oder gar Schadsoftware zu verteilen. Eine Liste aller Bundesdomains zu veröffentlichen, verweigerte die Bundesregierung jedoch.

All das zeigt: Ein achtloser Umgang mit Domains ist sowohl ein Risiko für IT-Sicherheit als auch ein Einfallstor für Manipulation und Desinformation.

Deutschland und Estland sind Nachbarn auf der Tastatur

Auf dem 39. Chaos Communication Congress fasst Schäfers seine Erkenntnisse zusammen und präsentiert ein neues Problem: die Gefahr durch sogenannte Typosquatting- und Bitsquatting-Domains. Also Domains, die echten Web-Adressen ähnlich sind und die schnell durch Tippfehler und Fehler in der Datenverarbeitung entstehen.

Schäfers registrierte eine solche Domain. Sie heißt: bund.ee. Nur ein Buchstabe unterscheidet sie von bund.de, einer wichtigen Domain, die die deutsche Bundesregierung verwaltet und mindestens seit 1998 nutzt. Statt der Länder-Domain von Deutschland steht also dort diejenige von Estlands.

Bei einem Besuch von bund.de leitet die Seite auf das Bundesportal weiter. Darüber sollen Bürger:innen auf Verwaltungsleistungen von Bund, Ländern und Kommunen zugreifen können. Auf den zahlreichen Subdomains von bund.de finden sich beispielsweise Websites von Ministerien wie die des Innenministeriums unter bmi.bund.de. Auf anderen Unterseiten wie id.bund.de können sich Bürger:innen mit der BundID anmelden. Das ist ein zentrales Konto, über das sie etwa Bescheide von Behörden empfangen oder sich online ausweisen können. Unter gesund.bund.de befindet sich eine Service-Seite des Gesundheitsministeriums mit Informationen zur Arztsuche oder zu Diagnosen.

Schäfers war also gespannt, welche Anfragen bei bund.ee ankommen würden.

Menschen und Maschinen „vertippen“ sich

Dass Menschen aus Versehen versuchen würden, eine bund.ee-Adresse aufzurufen, war absehbar: Die Buchstaben D und E liegen auf den meisten Tastaturen direkt nebeneinander, schnell hat man sich vertippt und eine Mail nicht an beispielsweise „bewerbung@bmg.bund.de“, sondern „bewerbung@bmg.bund.ee“ verschickt. Das sind menschliche Fehler. Treten die nicht nur bei einmaligen Vertippern auf, sondern haben sie sich in eine Konfigurationsdatei geschlichen, besteht der Fehler permanent, solange er nicht entdeckt wird.

Aber auch Maschinen versuchen teils, die falsche Domain bund.ee zu erreichen, etwa wenn es durch eine Fehlfunktion in der Übertragung zu einem falschen Bit kommt. In ASCII-Kodierung entspricht die „00110100“ einem „d“, die „00110101“ einem „e“. Also nur das letzte Bit ist anders, ein „Bitflip“. Damit liegen „d“ und „e“ auf Bitebene ähnlich nah aneinander wie auf vielen Tastaturen.

Dass es zu einem Datenverarbeitungsfehler kommt, ein Bit „umkippt“ und dann ein Gerät die falsche Adresse ansteuert, kann unterschiedliche Ursachen haben. Große Hitze beeinträchtigt mitunter die Funktion von Computern und Bauteilen, sodass es zu Fehlern kommt. Intensive kosmische Strahlung, etwa nach Sonnenstürmen, ebenfalls. IT-Sicherheitsforscher von Cisco zeigten auf einer Konferenz im Jahr 2021, dass Bitsquatting-Domains ein Problem werden können.

Welche genauen Ursachen die Anfragen hatten, die Schäfers an bund.ee erfasste, lässt sich nicht feststellen. Sie zeigen aber: Würde ein böswilliger Angreifer Tipp- und Verarbeitungsfehler ausnutzen, sich eine entsprechende Domain registrieren und eine Weile mitlauschen, was auf der Adresse passiert, könnte er eine Menge Informationen erfahren, die nicht für ihn bestimmt sind.

So zeigte Schäfers in seinem Vortrag, dass er Anfragen von einem Webmail-System des Bundesamtes für Risikoermittlung erhielt und Hostnamen interner Systeme mitgeteilt bekam. Außer wurden offenbar Mails versucht zuzustellen – unter anderem zu bnd.bund.ee.

Probleme lassen sich vermeiden

Schäfers Sicherheitsforschung zeigt: Behörden – und andere – sollten sorgfältig mit Domains umgehen. Aus den Problemen, die er in diesem Jahr fand, lassen sich einige hilfreiche Lehren ziehen.

• Man sollte niemals Domains für Test-Accounts nutzen, die man nicht selbst kontrolliert. Die Ausnahme: explizit dafür vorgesehene Domain-Endungen oder Adressen. Dazu gehören etwa die Top-Level-Domains „.test“ oder „.example“. Auch „example.com“ kann sicher genutzt werden, da sie dauerhaft reserviert ist und nicht frei registriert werden darf. Test-Domains sollten auch sorgfältig dokumentiert, Test-Accounts regelmäßig auf notwendige Berechtigungen geprüft werden.
• Domains, die nicht mehr benötigt werden, sollten nicht einfach achtlos wieder freigegeben werden. Schon bei der Registrierung einer neuen Domain sollten öffentliche Stellen überlegen, wie sie im späteren Verlauf damit umgehen. Verweise auf die Domain müssen aus anderen Systemen entfernt werden. Ist das Risiko zu hoch, dass Dritte die Domain missbräuchlich nutzen, sollte sie dauerhaft unter Kontrolle der Behörde bleiben. Um den Umgang mit Domains zu regeln, sollte es mindestens einheitliche Handlungsempfehlungen geben. Diese fehlen Bundesbehörden-übergreifend bislang.
• Um zu vermeiden, zahllose extra registrierte Domains zu verwalten, sollten öffentliche Stellen auf Subdomains vertrauenswürdiger Adressen zurückgreifen, die eindeutig als Web-Auftritt staatlicher Institutionen zu erkennen sind. Für Bundesbelange steht dafür bund.de zur Verfügung. Die Domain gov.de ist Bestandteil einer „digitalen Dachmarke“, die auch Institutionen auf Länder- und kommunaler Ebene nutzen können. Sie ist aber noch sehr wenig verbreitet.
• Behörden sollten klassische Vertipper- oder Bitsquatting-Domains im Blick haben, Methoden zur Vermeidung entsprechender Fehler implementieren und sie gegebenenfalls auch registrieren.
• Geheimhaltung, welche Domains öffentliche Stellen nutzen, hilft nicht weiter. Sie verhindert Sicherheitsforschung und erschwert es Nutzenden zu prüfen, welche Domains zu staatlichen Stellen gehören.

Geheimhaltung löst keine Probleme

Um etwas Licht ins Dunkle zu bringen, veröffentlicht Tim Philipp Schäfers gemeinsam mit FragDenStaat nun eine Liste mit 2.000 derzeit bekannten Behörden-Domains und Subdomains: von 60-jahre-sozialstaat.de über brexit-training.it.bund.de bis punktereform.de.

Die Liste ergänzt bereits bestehende Domain-Listen, die Menschen teils mit Informationsfreiheitsanfragen erhalten hatten. Strukturiert Domains mithilfe des Informationsfreiheitsgesetzes herauszufinden, ist jedoch nicht erfolgversprechend. Das Verwaltungsgericht Köln urteilte in einem Verfahren gegen das Bundesgesundheitsministerium, dass Behörden ihre Domain-Listen nicht offenbaren müssen.

Doch auch alternative Methoden geben Informationen über die Web-Adressen des Staates: „Suchmaschinen, automatisierte DNS-Scans, Zertifikatstransparenz-Logs, Fehlkonfigurationen oder einfache Leaks führen häufig dazu, dass solche Domains früher oder später entdeckt werden“, schreibt Schäfers auf FragDenStaat. „Die Annahme, eine unbekannte Domain bleibe dauerhaft unsichtbar, ist daher realitätsfern.“

Generell lehnt er den Ansatz der Geheimhaltung ab. Die bringe keine Sicherheit vor gezielten Angriffen. „Moderne IT-Sicherheit folgt deshalb dem Grundsatz, dass Systeme auch dann sicher sein müssen, wenn ihre Architektur und ihre Adressen bekannt sind“, so Schäfers. Denn: „Sicherheit entsteht nicht durch Verbergen – sondern durch Transparenz.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Katsching und Klimper-klimper: Mit raffinierten Mechanismen fesseln Anbieter von Glücksspielen Menschen an die Geräte und verdienen Milliarden. In ihrem Vortrag auf dem 39C3 nimmt Forscherin Elke Smith die Tricks auseinander – und zeigt, wo Regulierung ansetzen könnte.

Die Slotmaschine rattert, blinkt und klingelt, während ihre Walzen rotieren. Die Lootbox schüttelt sich und pulsiert, als würde sie gleich explodieren, begleitet von anschwellenden Glockenklängen. Für viele Gamer*innen bedeutet das Spaß und Nervenkitzel, ob beim klassischen (Online-)Glücksspiel für Erwachsene oder in Glücksspiel-ähnlichen Games, die teils sogar für Kinder freigegeben sind.

Für die Psychologin und Neurowissenschaftlerin Elke Smith bedeutet Glücksspiel dagegen Arbeit. Denn sie erforscht an der Universität zu Köln menschliche Entscheidungs- und Lernprozesse – darunter jene Mechanismen, die beim Zocken im Hintergrund ablaufen. In ihrem Vortrag auf dem 39. Chaos Communication Congress erklärt Smith die zentralen Tricks von Glücksspiel, die sich inzwischen auch in klassischen Online-Games ausbreiten.

Geschätzt 2,4 Prozent der deutschen Bevölkerung zwischen 18 und 70 Jahren sind laut Gesundheitsministerium süchtig nach Glücksspielen, haben also eine als Krankheit anerkannte Verhaltensstörung. Derweil liegen die Umsätze für legales Glücksspiel in Deutschland bei knapp 63,5 Milliarden Euro. Dennoch kommt der Vortrag der Glücksspiel-Forscherin Smith ohne Verteufelung aus. Vielmehr umreißt sie den Graubereich zwischen Spaß und Suchtgefahr.

Deshalb macht Glücksspiel so viel Spaß

Ein besonders auffälliger Glücksspiel-Mechanismus, den Smith hervorhebt, sind audiovisuelle Effekte, die bei hohen Gewinnen noch stärker werden. Darunter fallen zum Beispiel die zu Beginn erwähnten klingelnden und glitzernden Slotmaschinen und Lootboxen. Gerade bei einem Gewinn können virtuelle Funken sprühen, Goldmünzen hageln und Fanfaren blasen. Solche Elemente sind kein bloßes Beiwerk, sondern tragen dazu bei, Menschen durch Reize zu belohnen und damit zum Weiterspielen zu motivieren.

Sogenannte Near Misses sind Fälle, in denen Spieler*innen den Eindruck bekommen, nur ganz knapp verloren zu haben, etwa wenn bei der Slotmaschine das Gewinnsymbol fast getroffen wurde. Zwar macht es finanziell keinen Unterschied, ob man knapp oder deutlich verliert – es fühlt sich aber anders an.

Ein weiterer Mechanismus, den Smith hervorhebt, sind als Verluste getarnte Gewinne, auf Englisch: losses disguised as wins. In diesem Fall bekommen Spielende einen Bruchteil ihres Einsatzes als scheinbaren Gewinn zurück, begleitet mit audiovisuellen Belohnungsreizen.

Bei der Jagd nach Verlusten („chasing losses“) versuchen Spieler*innen wiederum, das verlorene Geld aus vorigen Runden durch immer weitere Einsätze wieder zurückzuholen.

Nicht zuletzt kann sich Glücksspiel auch der sogenannten Kontroll-Illusion („illusion of control“) bedienen. Das ist eine kognitive Verzerrung: Üblicherweise können Menschen durch ihre Entscheidungen tatsächlich ihre Umwelt beeinflussen, dazu lernen und ihre Fähigkeiten verbessern. Beim Glücksspiel dagegen haben Entscheidungen oftmals keinen Einfluss auf das Ergebnis – es fühlt sich nur so an. Als Beispiel nennt Smith die Entscheidung, wann genau man bei einer Slotmaschine den Knopf drückt, um die rollenden Walzen zu stoppen.

Mechanismen breiten sich in Spiele-Apps aus

Diese und weitere Mechanismen sind nicht auf (Online-)Casinos begrenzt, sondern verbreiten sich auch in klassischen Spiele-Apps, wie Smith ausführt. Die Integration von Glücksspiel-Elementen wie Zufall, Risiko und Belohnung nennt sie „Gamblification“ – und deren Effekte hat sie selbst untersucht.

Gemeinsam mit Forschungskolleg*innen hat Smith gemessen, wie Zuschauer*innen auf YouTube-Videos reagieren, in denen Gamer*innen sich beim Öffnen von Lootboxen filmen. Solche Videos erreichen auf YouTube ein Millionenpublikum und zeigen: Glücksspiel-Mechanismen wirken möglicherweise sogar dann, wenn man anderen nur beim Spielen zuschaut.

Konkret haben die Forschenden Views, Likes und Kommentare von 22.000 Gaming-Videos mit und ohne Lootboxen miteinander verglichen. Das Ergebnis: Der Lootbox-Content hat das Publikum messbar stärker eingenommen als anderer Gaming-Content: mehr Views, mehr Likes, mehr Kommentare. „Dieses erhöhte Engagement könnte mit den Glücksspiel-ähnlichen Eigenschaften der durch Lootboxen vermittelten Belohnungsstruktur zusammenhängen“, heißt es auf Englisch in dem Paper, das im Mai 2025 beim Journal Scientific Reports erschienen ist.

Um ihre Online-Spiele zu optimieren, können Anbieter auf A/B-Testing mit großen empirischen Datenmengen zurückgreifen, erklärt Smith in ihrem Vortrag. Das heißt: Sie können Features einfach ausprobieren und messen, was am besten funktioniert. Schließlich bekommen sie täglich kostenlos neue Daten von Millionen Gamer*innen. Auf diese Weise entstehen Produkte, die von Anfang an so gestaltet sind, dass sie die Belohnungsmechanismen der Spieler*innen am besten ausnutzen. Smith nennt das „Neuroexploitation by design“.

Das sind die Ansätze für Regulierung

Gegen Ende ihres Vortags geht Smith auf Ansätze ein, um die Gefahren von Glücksspiel-Mechanismen einzudämmen. In Deutschland gibt es etwa den Glücksspielstaatsvertrag. Manche Normen zielen direkt auf Glücksspiel-Mechanismen ab: So muss bei einem virtuellen Automatenspiel etwa ein einzelnes Spiel mindestens fünf Sekunden dauern, der Einsatz darf einen Euro pro Spiel nicht übersteigen. Das soll das Feuerwerk aus Risiko und Belohnung eindämmen.

Ob Lootboxen in die Kategorie Glücksspiel fallen, beschäftigt internationale Gerichte und Gesetzgeber bereits seit Jahren. In Deutschland hatte jüngst der Bundesrat strengere Regeln gefordert. Am 21. November hielten die Länder fest, dass Lootboxen und andere Glücksspiel-ähnliche Mechanismen in Videospielen besser reguliert werden sollen, um Suchtgefahr zu reduzieren. In Belgien und den Niederlanden gibt es bereits strengere Regeln.

Auf EU-Ebene gibt es derzeit kein spezifisches Recht zur Regulierung von Lootboxen, wie die Wissenschaftlichen Dienste des Bundestags den Sachstand im Herbst 2024 zusammenfassen. Allerdings kommen je nach Kontext verschiedene EU-Gesetze in Frage, etwa das Gesetz über digitale Dienste (DSA), das manche Anbieter dazu verpflichtet, Risiken für ihre Nutzer*innen zu erkennen und zu minimieren. Derzeit plant die EU-Kommission zudem den Digital Fairness Act, der Lücken im Verbraucherschutz schließen soll.

„Ich denke, es wäre wichtig, vor allem junge Menschen vor diesen Mechanismen zu schützen“, warnt Smith mit Blick auf Glücksspiel-Mechaniken in Spielen. Damit verweist die Forscherin auf eine Leerstelle in den aktuellen Debatten um Jugendschutz im Netz, die vor allem um Alterskontrollen für soziale Medien kreisen.

Ein fertiges Regulierungs-Konzept für Glücksspiel-Mechanismen hat die Forscherin zwar nicht. In welchem Spannungsfeld man sich bei dem Thema bewegt, bringt sie jedoch in Reaktion auf eine Frage aus dem Publikum auf den Punkt: „Gibt es einen Bereich vom Spieldesign, der Spaß macht, Nervenkitzel birgt, profitabel ist für die Anbieter und im Bereich des sicheren Spielens liegt?“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Digitale Modelle von Skeletten werden neuerdings in Strafverfahren genutzt. Warum ist das etwas anderes als ein Fingerabdruck? Und warum ist es nicht ratsam, derartige Beweismethoden für eine Anklage zu nutzen? Darüber sprechen wir im Interview mit zwei Fachleuten.

Dass Fingerabdrücke oder DNA-Spuren in Strafverfahren als Beweise herangezogen werden, ist weit verbreitet. Aber mittlerweile halten zunehmend neue Technologien in die Gerichtssäle Einzug. Ein Beispiel: 3D-Modelle von mutmaßlichen Täter:innen werden automatisiert mit Videoaufnahmen vom Tatort abgeglichen. So soll bestimmt werden, ob auf dem Video die vermutete Person zu sehen ist – ganz ohne Gesicht.

Auch im sogenannten Budapest-Komplex spielt das eine Rolle. In einem aktuellen Prozess werden einem Beschuldigten Angriffe auf Neonazis, darunter versuchter Mord, vorgeworfen. Die Anklage stützt sich auch auf eine Analyse mittels Skelett-Modell und den Abgleich mit Tatort-Videos.

Wir haben dazu mit Anne Zettelmeier und Prof. Dr. Dominik Brodowski von der Universität des Saarlandes gesprochen. Sie forschen zum Einsatz von Technologien im Justizwesen und warnen davor, KI-gestützte Ergebnisse als alleinige Beweismittel zu nutzen.

Sie forschen im von der Daimler und Benz Stiftung geförderten Ladenburger-Kolleg „Technologische Intelligenz zur Transformation, Automatisierung und Nutzerorientierung des Justizsystems (TITAN)“ und warnen davor, KI-gestützte Ergebnisse als alleinige Beweismittel zu nutzen.

netzpolitik.org: Wie funktioniert eine Analyse mit digitalen Skeletten und wo kommt dabei eine KI zum Einsatz?

Zettelmeier: Um ein Skelettmodell einer Person zu erstellen, werden Marker an die Person angebracht – entweder händisch an bestimmten Körperstellen oder durch die automatisierte Erkennung bestimmter Punkte am Skelett.

Beim Einsatz in Strafverfahren geht es um den Vergleich zwischen dem erstellten digitalen Skelettmodell und einem Tatort-Video. Bei diesem Abgleich soll eine KI eingesetzt werden, um die beiden Täter-Skelett-Modelle zu vergleichen. Das Programm nennt dann am Ende eine Prozentzahl, mit welcher Wahrscheinlichkeit die Personen übereinstimmen und ein Verdächtiger die Person auf einem Tatort-Video ist.

netzpolitik.org: Mit welcher Software kann man das machen?

Brodowski: Mit Produkten, die auf dem Markt erhältlich sind und zur Modellierung von Bewegungsabläufen oder auch zur Identifikation von entsprechenden Markern dienen.

Allerdings sind diese Produkte teils für ganz andere Zwecke geschaffen worden, beispielsweise für die Filmindustrie, um verstorbene Schauspieler mit Bewegungen wieder zum Leben zu erwecken. In Kinofilmen geht es im Gegensatz zu Strafverfahren aber nicht um die Rekonstruktion einer materiellen Wahrheit. Da gelten ganz andere Zielrichtungen und Genauigkeitsmaßstäbe.

Biomechanische Gutachten und Computer-Simulation

netzpolitik.org: Ist der Ansatz, 3D-Modelle in Strafverfahren für eine Beweisführung zu nutzen, komplett neu?

Brodowski: Dass Skelettmodelle für die Beweisführung genutzt werden, ist noch relativ neu. Der Literatur zufolge wurde das allerdings bereits in anderen Verfahren eingesetzt, um Beschuldigte zu be- oder entlasten.

Bereits etablierter sind von Gutachtern erstellte Expertisen. Ein eindrückliches Beispiel hierfür ist der sogenannte Badewannen-Mord, bei dem sich im Nachhinein herausgestellt hat, dass es gar kein Mord war.

Ein Mann wurde dafür verurteilt und saß 13 Jahre lang unschuldig in Haft, bis ein Wiederaufnahmeverfahren nachgewiesen hat, dass er als Täter nicht in Betracht kommt. Dafür hat man unter anderem in einem biomechanischen Gutachten und per Computersimulationen untersucht, wie die Mechanik des menschlichen Körpers mit dem vermuteten Geschehen in Einklang zu bringen ist.

netzpolitik.org: Worin besteht der Unterschied, ob ich ein Verfahren zur Be- oder Entlastung nutze?

Zettelmeier: Gerade das ist eine wichtige Differenzierung. Es kann auf der einen Seite natürlich zur Entlastung beitragen, wenn Körperbau und Bewegungen einer Person gar nicht zu denen eines Menschen auf einer Aufnahme passen. Um solche Modell-Analysen aber zur Belastung von Verdächtigen zu nutzen, muss man sich sehr sicher sein – beispielsweise wenn ein KI-Modell zum Ergebnis kommt, dass es sich bei einer Person auf einem Video wahrscheinlich um den Tatverdächtigen handelt.

Eine Anklage oder am Ende sogar eine Verurteilung allein auf die Ergebnisse eines solchen Modells zu stützen, wäre ein Problem, weil diese Methode nicht ausreichend wissenschaftlich fundiert und untersucht ist. Wenn jemand falsch verurteilt wird und dann wie im Badewannen-Fall viele Jahre unschuldig in Haft sitzt, hat das schwerwiegende Folgen.

Brodowski: Für eine Verurteilung muss ein Gericht von der Schuld des Beschuldigten überzeugt sein und diese subjektive Überzeugung muss sich auch auf eine objektiv hohe Wahrscheinlichkeit stützen. Umgekehrt ist es aber so, dass bereits begründete Zweifel an der Schuld zwingend zum Freispruch zu führen haben. Dann greift der In-dubio-pro-reo-Grundsatz.

Das heißt, wenn wir nun anhand einer solchen Methodik Zweifel an einer Täterschaft eines Beschuldigten säen können, funktioniert das. Aber um als alleiniges Beweismittel dafür auszureichen, dass eine Person am Tatort war, braucht man eine ausgesprochen hohe Sicherheit hinter dieser Methodik. Die sehe ich zum aktuellen Zeitpunkt noch nicht.

Es braucht mehr Untersuchungen unter Realbedingungen

netzpolitik.org: Was bräuchte es denn dafür, dass solche Skelett-Analysen für eine Beweisführung vor Gericht genutzt werden könnten?

Brodowski: Mehr Untersuchungen zur Zuverlässigkeit der Methode, gerade unter Realbedingungen. Es ist ein Unterschied, ob man solche Analysen in einem Labor unter Idealbedingungen mit genügend Vergleichsmaterial durchführt oder ob man verrauschte Handyvideos und Schwarz-weiß-Aufnahmen einer Überwachungskamera nutzt.

Menschen bewegen sich auch im Laufe der Zeit unterschiedlich. Die Knochen bleiben dieselben, aber der Bewegungsapparat verändert sich im Laufe eines Tages, im Laufe von mehreren Monaten. Auch in Stresssituationen können sich Bewegungsmuster verändern. All diese Faktoren und ihre Auswirkungen müssen untersucht werden. Ich sehe da noch großen Forschungsbedarf.

Dazu kommt noch eine andere Problematik, die beim Einsatz von KI auftritt: Die Berechnungen und die Ergebnisse sind nicht gut nachvollziehbar. Das ist die sogenannte Blackbox-Problematik und Ansätze mit Explainable Artificial Intelligence und ähnlichem haben noch keinen durchschlagenden Erfolg gebracht.

Wenn wir nicht wissen, wie nun eine solche Blackbox von einem Ausgangsdatensatz zum Ergebnis kommt, müssen wir das immer mit Vorsicht genießen.

Verteidiger:innen müssen sich bei digitalen Beweismitteln weiterbilden

netzpolitik.org: Welche Auswirkungen hat es denn auf die Verteidigung und die Richter:innen in Strafverfahren, wenn Ergebnisse eines KI-Modells in Strafverfahren einfließen und nicht klar nachvollziehbar ist, wie diese zustande kommen?

Zettelmeier: Im Zweifel kann das zu einem sogenannten Automation Bias führen. Das bedeutet, dass man sich zu sehr auf die generierten Ergebnisse verlässt und beruft.

Es gibt zum Beispiel in Spanien das VioGén-System, das nach Anzeigen von Frauen wegen Gewalt das Risiko berechnen soll, erneut Gewalt zu erfahren. Basierend auf dem Risiko kann es dann richterliche Anordnungen zum Beispiel für ein Näherungsverbot der früheren Täter geben. Dort gibt es auch die Kritik, dass sich die Richter zu stark auf das generierte Ergebnis berufen und es nicht mehr zu einer eigenständigen Überprüfung kommt.

Brodowski: Umso wichtiger ist deshalb, dass man Transparenz herstellt, wann und an welcher Stelle in Verfahren Künstliche Intelligenz eingesetzt wird. Es darf etwa nicht passieren, dass ein Sachverständiger sehr überzeugt im Gerichtssaal auftritt und dort sein schriftliches Gutachten präsentiert und man nur in Fußnoten herausfindet, dass bei bestimmten Auswerteschritten KI eingesetzt wurde.

Das entspricht auch nicht den Anforderungen, die aus der EU-KI-Verordnung folgen. Diese verlangt ein hohes Maß an Transparenz, um einem solchen Automation Bias entgegenwirken zu können.

Eine gute Verteidigung wird solchen Ansätzen nachgehen und versuchen, Zweifel an der Methodik zu säen. Das verlangt jedoch viel von der Strafverteidigung, die sich deswegen auch im Bereich solcher digitaler Beweismittel zunehmend professionalisieren muss. Während in der Vergangenheit der Fokus der Verteidigung häufig auf der Glaubwürdigkeit von Zeugenaussagen gelegen hat, muss sie sich zukünftig immer mehr auch auf die Aussagekraft von solchen digitalen Beweismitteln fokussieren und hier Fachkompetenz hinzuziehen.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Wenn Behörden nicht mehr benötigte Domains aufgeben, kann das zu Problemen führen: Die vormals staatlich genutzten Adressen sind attraktiv und lassen sich für Desinformation nutzen. Einheitliche Regeln für den Umgang mit den Domains hat der Bund nicht. Auch ein Überblick fehlt.

Wenn eine Behörde einen anderen Namen bekommt, verursacht das jede Menge Aufwand: Vom Hinweisschild bis zum Briefpapier müssen viele Details aktualisiert werden. Nicht zuletzt bekommen die Ämter dann meist auch eine neue Domain.

So lief es auch beim BAMF, dem Bundesamt für Migration und Flüchtlinge. Bis 2005 hieß die Asylbehörde noch Bundesamt für die Anerkennung ausländischer Flüchtlinge, kurz: BAFl. Der neue Name sollte widerspiegeln, dass das jetzige BAMF auch für Migration und Integration zuständig ist und sich seine Aufgaben erweitert hatten. Und so wechselte das Bundesamt auch die Adresse, unter der es im Netz erreichbar war.

Aus bafl.de wurde bamf.de. Noch einige Jahre nach der offiziellen Umbenennung, mindestens bis zum Jahr 2013, leitete die alte Domain Besucher:innen auf die neue BAMF-Seite weiter. Doch irgendwann stieß der Bund die nicht mehr benötigte Web-Adresse ab. Der neue Name hatte sich längst etabliert. Die alte Domain geriet in Vergessenheit.

Hartnäckige Altlasten

Wenn öffentliche Stellen Domains aufgeben, kann das zum Problem werden. Denn die alten Domains verschwinden nicht völlig. Nachrichtenmedien, wissenschaftliche Papiere oder Adresslisten von Vereinen und Verbänden verlinken auf die früheren Behörden-Websites, lange über deren aktive Nutzung hinaus. In Suchmaschinen sind sie leicht zu finden. Sie genießen Vertrauen.

Gerade diese Faktoren machen abgelegte Adressen staatlicher Stellen zum attraktiven Ziel für Aufmerksamkeitssuchende oder gar Betrüger. Unter den Domains früherer Behördenseiten finden sich heute Werbung für illegales Glücksspiel, Casinos und Schadsoftware. Und manchmal schaffen es staatliche Stellen auch nach mehreren Jahren nicht, alle Abhängigkeiten von den längst verlassenen Domains aus ihren Systemen zu entfernen.

Letzteres auch beim BAMF, das seit 20 Jahren nicht mehr BAFl heißt. Auf der alten Domain passierte lange nichts, bis sich ab August 2022 vorübergehend eine andere Website unter bafl.de fand.

Ein neues BAFl taucht auf

Die Website, die über Asyl informierte und sich angeblich für vertriebene Familien engagierte, wirkt eigenartig. Ein Impressum gab es nicht, die Bilder stammten teils aus kostenlosen Stockfoto-Datenbanken. Verlinkungen erschienen wahllos, aber nicht irreführend. Die Beschreibungen der vermeintlichen Teammitglieder, etwa Mike als „Praktikantin für digitales Eigenkapital“, irritieren. Eine seltsame, aber offenbar nicht schädliche Website.

Im Sommer 2025 lief die Domainregistrierung erneut aus. Wer auch immer bafl.de zuvor kontrollierte, legte offenbar keinen Wert darauf, die Seite weiterzuführen. Der IT-Sicherheitsforscher Tim Philipp Schäfers nutzte diese Gelegenheit und holte sich Ende August die Domain bafl.de. Er wollte wissen, ob noch Aufrufe an die Domain gehen.

Aufrufe an längst vergangene Systeme

Zu Schäfers Überraschung gab es solche Aufrufe und zwar aus den Netzen von Bundesbehörden. Von dort erreichten täglich Anfragen bafl.de, das sich nun unter seiner Kontrolle befand. Schäfers meldete sich beim CERT-Bund des Bundesamtes für Sicherheit in der Informationstechnik (BSI). Er vermutete, interne IT-Systeme könnten weiter automatisiert Signale an bafl.de senden, etwa durch eine Fehlkonfiguration. Das CERT ist eine Anlaufstelle, wenn es zu IT-Sicherheitsproblemen kommt. Das CERT antwortete ihm, die Meldung erhalten zu haben und sie an die zuständigen Stellen weiterzuleiten. Auf Anfrage von netzpolitik.org bestätigt ein Sprecher des BSI, „einen entsprechenden Hinweis binnen 24 Stunden an die zuständige Behörde weitergeleitet“ zu haben. Doch die Anfragen an Schäfers Domain hörten nicht auf, zwei Wochen später fragte Schäfers erneut nach.

Ende Oktober, einen Monat nach der ersten Meldung an das CERT, meldete sich nun das BAMF selbst zurück, bedankte sich für den Hinweis und beteuerte, der Sache nachgehen zu wollen. Man nahm die Sache offenbar ernst. Auch ein Sprecher des BAMF bestätigt das gegenüber netzpolitik.org:

Das BAMF teilt die Einschätzung des Sicherheitsforschers Herrn Schäfers, dass ein fortbestehender Verweis (Verwendung einer Domain außerhalb der Kontrolle der Behörde) auf ehemalige Domains ein Sicherheitsrisiko darstellt.

Die Aufrufe hören einfach nicht auf

Man könne Gefahren und Missbrauch dadurch begegnen, „dass keine Dienste mehr eine ehemalige Domain oder Sub-Domain wie bafl.de verwenden“, so der Sprecher weiter. Daher habe das BAMF „eine Löschung von bafl.de aus allen Konfigurationen durch ITZBund“ veranlasst. Das „Informationstechnikzentrum Bund“ ist zentraler IT-Dienstleister für die Bundesverwaltung und verwalte, so ein Sprecher der Asylbehörde, in der Regel Domains im Auftrag der jeweiligen Behörden.

Doch nach außen hin passierte nicht mehr viel. Selbst nach der Presseanfrage an das BAMF reißen die regelmäßigen Anfragen nicht ab. Seit September 2025 habe es tausende solcher Anfragen gegeben. „Einige finden täglich und automatisiert statt, andere offenbar durch manuelle Pings oder Anfragen an IT-Systeme“, schreibt Schäfers in seiner Analyse.

Was ist das Risiko, wenn ein Dienst aus den Netzen von Bundesbehörden offenbar wiederholt versucht, eine nicht mehr kontrollierte Domain zu erreichen? Schäfers sieht darin ein mehrstufiges Problem. Angreifende könnten versuchen, durch die beständigen Anfragen auszuforschen, wie die interne IT-Infrastruktur aufgebaut ist. Und wenn sie passende Antworten auf die Anfragen geschickt hätten, wäre es vielleicht sogar möglich gewesen, Systeme zu manipulieren.

Lieber reservieren als riskieren

Der Sicherheitsforscher sagt gegenüber netzpolitik.org: „Im Fall von bafl.de wurde die Domain über 10 Jahre aktiv genutzt und ist – offenbar bis zum heutigen Tage – tief in den IT-Systemen des BAMF verankert.“ Dass eine Domain einfach abgestoßen wird und somit für Dritte nutzbar ist, wenn in internen Systemen weiter Verweise auf die Adresse existieren, kann er nicht nachvollziehen: „Eine solche Domain sollte man erst dann freigeben, wenn man absolut sichergestellt hat, dass sie intern auf keinem System mehr verwendet wird oder sicherheitshalber reserviert halten, wenn man das nicht garantieren kann.“ Auch ein Sprecher des BAMF schreibt: „Es ist erforderlich, nicht mehr genutzte Domains aus Sicherheitsgründen weiter zu registrieren.“ Passiert ist das bei bafl.de offenbar nicht.

Wenn Max Mustermann zum Sicherheitsproblem wird

Doch wenn Bundesbehörden Domains aufgeben, lauern darin nicht nur potenzielle Gefahren für die IT-Sicherheit der Systeme. Gerade wenn Domains mehrere Jahre von Behörden genutzt wurden oder zu bekannten Kampagnen gehörten, ergeben sich große Risiken für Desinformation, Phishing oder Betrug. Dass das kein theoretisches Szenario ist, zeigt die Antwort der Bundesregierung auf eine Kleine Anfrage der Linken-Abgeordneten Donata Vogtschmidt.

Dort benennen mehrere Ministerien, dass vormals durch ihnen zugeordnete Behörden genutzte Domains mittlerweile von Dritten registriert wurden, die sie für unerwünschte Zwecke nutzen.

Wettanbieter statt Landwirtschaft

Ein Beispiel ist eine Website, die bis 2020 von der Fachagentur Nachwachsende Rohstoffe (FNR) für das Landwirtschaftsministerium betrieben wurde. Sie diente der Information über sogenannte Energiepflanzen, die beispielsweise für die Biogas-Produktion angebaut werden. Wer heute die Domain besucht, erhält auf den ersten Blick weiterhin Informationen über entsprechende Biomassenutzung, doch in den Webauftritt mischen sich Links zu Glücksspiel- und Wettanbietern.

„Aktuell verlinkt die Domain auf eine missbräuchliche abgewandelte Abbildung der damaligen FNR-Webseite“, schreibt die Bundesregierung dazu. „Hiergegen konnte bislang nicht erfolgreich vorgegangen werden“, heißt es weiter.

Das ist kein Einzelfall, auch das Bundesinstitut für Öffentliche Gesundheit (BIÖG) kämpft mit ungenutzten Domains. Besser bekannt ist die Behörde im Geschäftsbereich des Gesundheitsministeriums vermutlich noch unter ihrem alten Namen, bis Februar hieß sie Bundeszentrale für gesundheitliche Aufklärung und startete immer wieder reichweitenstarke Informationskampagnen, von Suchtprävention bis zur Verhütung sexuell übertragbarer Krankheiten.

Casino-Werbung statt Impf-Kampagne

Für viele dieser Kampagnen registrierte man eigene, einprägsame Domains und gestaltete bunte Websites. „Das Impfbuch“ etwa sollte in der Corona-Pandemie mit Beiträgen des populären Arztes und Fernsehmoderators Eckart von Hirschhausen die Bevölkerung zu Impfungen informieren. Mittlerweile lassen sich über die Domains Wettanbieter finden, die in Deutschland gesperrten Spieler:innen dennoch das Wetten erlauben. Dasselbe gilt für weitere drei Domains, die das BIÖG untersuchte: Sie „führen auf optisch und inhaltlich gleichartige Seiten, die möglicherweise illegale Inhalte zu Online-Glücksspiel enthalten“. Und zwei dieser Seiten geben vor, dass weiterhin die Bundeszentrale für gesundheitliche Aufklärung hinter den Inhalten stecke.

Offenbar fielen die Seiten erst durch die Kleine Anfrage auf und wurden nun dem Justiziariat der Behörde „zur Prüfung rechtlicher Schritte gemeldet“.

Schadsoftware statt Kinderlieder

Eine andere der Seiten verteilt auch Schadsoftware. Sie gehörte zu einer Initiative, die vor 15 Jahren mit kindgerechten Liedern Themen wie Liebe, Körpererfahrungen und Sexualität aufbereiten wollte. Die heute zugehörige Seite werde „durch die Netze des Bundes (NdB) blockiert, da diese Domain offenbar auf eine Seite weiterleitet, die Schadcode verbreitet“, schreibt die Bundesregierung.

Außer dem Landwirtschafts- und dem Gesundheitsministerium hat kein anderes Ressort der Bundesregierung Domains gemeldet, die nach der eigenen Nutzung von Dritten und missbräuchlich genutzt würden. „Fehlanzeige“, heißt es in der Antwort. Diese Ergebnislosigkeit irritiert. Dass es hier tatsächlich keinerlei Funde gibt, ist nicht plausibel. Allein die eingangs genannte frühere BAMF-Domain bafl.de ist ein Beispiel aus dem Geschäftsbereich des Innenministeriums und war den entsprechenden Stellen zum Zeitpunkt der Anfrage bekannt.

Fragestellerin Donata Vogtschmidt, Obfrau im Digitalausschuss für die Linksfraktion und Sprecherin für Digitalpolitik, kann das nicht verstehen: „Das Totalversagen bei der Sicherung eines vertrauenswürdigen und resilienten Webauftritts der Bundesregierung ist äußerst irritierend“, so die Abgeordnete. „Es vergeht kaum ein Tag, an dem die Bundesregierung nicht vor der hybriden Bedrohung warnt, auch von höchster Stelle.“ Dafür gebe es auch immer wieder „großspurige“ Ankündigungen wie den Cyberdome oder mehr KI-Nutzung. „Aber einfach mal den Webauftritt des Bundes gegen Desinformation resilient machen, scheint keine Rolle zu spielen“, kritisiert Vogtschmidt die Prioritäten der Bundesregierung.

Um systematisch zu untersuchen, wie groß das Problem ist und ob böswillige Akteure gezielt alte Bundes-Domains kaufen, müsste man wissen, welche Domains es überhaupt gibt – und welche in den vergangenen Jahren aufgegeben wurden.

Welche Bundes-Domains es gibt, bleibt geheim

Doch wie viele Domains überhaupt in Bundeshand befinden und welche Kosten damit verbunden sind, will die Bundesregierung nicht offenlegen. Sie stuft ihre Antwort dazu als Verschlusssache ein und argumentiert, eine Liste könne die Sicherheit der Bundesrepublik Deutschland gefährden. Die Informationen seien geeignet, Systeme etwa mit DDOS-Attacken anzugreifen, sie also durch gezielte massenhafte Anfragen zu überlasten.

Die schiere Menge der Domains, die sich in Bundeshand befanden oder befinden, lässt sich aus punktuellen öffentlichen Angaben daher nur schätzen. So gab es vor rund zehn Jahren systematisch Informationsfreiheitsanfragen. Viele angefragte Stellen lehnten eine Beantwortung ab. Aus den Antworten lassen sich jedoch Größenordnungen erahnen. So hielt allein der Deutsche Wetterdienst im Jahr 2015 fast hundert verschiedene Domains, das Bundesverwaltungsamt 44 unterschiedliche Adressen und das damalige Bundesministerium für Arbeit und Soziales kam auf 295 Domains. Dieser kleine, eine Dekade alte Ausschnitt zeigt, dass es sich bezogen auf alle Bundesbehörden leicht um Tausende Domains handeln dürfte, die Inhalte staatlicher Stellen enthalten oder enthielten. Mehr als 600 listet ein Projekt von robbi5 auf Github.

Schäfers schreibt gegenüber netzpolitik.org, Geheimhaltung sei beim Umgang mit Domains der falsche Ansatz. Ausschließlich intern genutzte Domains müsse man nicht für die Allgemeinheit listen. Aber in der Regel seien viele Domains durch öffentliche Nutzung oder Archivseiten ohnehin sichtbar. „Gleichzeitig erschwert vollständige Geheimhaltung internes Inventar-Management, externe Transparenz und Sicherheitsforschung“, so der Sicherheitsforscher. „Aus meiner Sicht ist ein Geheimhaltungsansatz nicht mehr zeitgemäß und schadet eher, als das er hilft.“

Wer macht Regeln für die Registrierung?

Wesentlich effektiver als Geheimhaltung sei „ein gutes Lifecycle-Management, starke Authentifizierung und Monitoring, um Missbrauch zu verhindern“. Doch Regeln dazu, wie Bundesbehörden mit nicht mehr benötigten Domains umgehen sollten, scheint es trotz der Dimension staatlicher Domainverwaltung nicht zu geben. „Es sind keine entsprechenden Vorschriften bekannt“, schreibt die Bundesregierung in ihrer Antwort. Die Zuständigkeit dafür, etwa Desinformation durch die gezielte Registrierung von Domains zu unterbinden, liege bei der jeweiligen Behörde.

Auch das BSI antwortet auf Anfrage, dass innerhalb seines Zuständigkeitsbereiches entsprechende Vorschriften nicht bekannt seien. Das Bundesamt empfiehlt jedoch: „Aus Sicht des BSI besteht bei sogenannten Vertipper-Domains und vergleichbaren Fällen das Risiko eines Datenabflusses. Bei nachgewiesenem Missbrauch sollte daher die Übernahme der Domain durch die jeweilige Behörde verfolgt werden.“

Um das Problem der ständig wechselnden Domain-Inhaber zu vermeiden, könnten Bundesinstitutionen auch Subdomains von bund.de nutzen. So sind die Ministerien des Bundes in der Regel unter „kürzel.bund.de“ erreichbar, das Gesundheitsministerium also zum Beispiel unter bmg.bund.de. Auch andere Inhalte lassen sich als Unterseiten der Bundes-Domain ansteuern, so das Infektionsradar des Gesundheitsministeriums oder die Login-Seite zur BundID. So können Nutzende schnell erkennen, dass es sich um ein echtes staatliches Angebot handelt.

Damit auch Internetauftritte von Ländern und Kommunen besser als solche erkennbar sind, gibt es seit 2024 die „Digitale Dachmarke“ für Deutschland. Sie besteht aus vier Kennzeichnungselementen: einer Website-Kopfzeile, die eine Seite als „offizielle Website“ kennzeichnet, ein dedizierter Bundesadler mit dem Schriftzug „Bund Länder Kommunen“ als Bildwortmarke, ein einheitliches Designsystem sowie ein Domainname, der auf „gov.de“ endet. Nicht alle diese Elemente müssen gleichzeitig genutzt werden, sie sollen jedoch helfen, einen Vertrauensanker zu markieren. Um die Informationen auf den Seiten als verlässlich einzustufen oder auch bevor man sensible Daten dort eingibt.

gov.de soll Vertrauen schaffen

Noch befindet sich das Projekt, so die Bundesregierung, in der Pilotierung. Nur wenige Angebote nutzen die Möglichkeit, eine Subdomain von gov.de zu beziehen. Dazu gehören das Digital- und das Verteidigungsministerium sowie der IT-Planungsrat und die Föderale IT-Kooperation FITKO. Die Website des „Veteranentags 2025“ erreicht man ebenfalls so. Eine Subdomain, um die PIN des Personalausweises zurückzusetzen, ist unter „pin-ruecksetzbrief-bestellen.gov.de“ schon vergeben, auch wenn der Inhalt der Seite auf sich warten lässt. Ab 2026, heißt es in der Antwort, soll jedoch der breitere Roll-out des Vorhabens erfolgen.

Der Digitalpolitikerin Donata Vogtschmidt von den Linken geht das nicht schnell genug. „Die Umsetzung hinkt und ist keine Pflicht, was dem Zweck widerspricht“, schreibt sie in einer Pressemitteilung. „Wer Desinformation verbreiten will, hat leichtes Spiel, und der Bundesregierung scheint die Bedeutung der Domains des Bundes nicht klar zu sein.“

Andernorts ist die konsequente Nutzung von Subdomains für staatliche Angebote deutlich etablierter. In Österreich etwa sind viele öffentliche Angebot als Subdomain von gv.at abrufbar, wer diese wie nutzen darf, ist klar geregelt. Ähnlich ist es in Großbritannien mit „gov.uk“ und in vielen anderen Ländern. Für zurückliegende Registrierung ist das zwar keine Lösung. Aber für unzählige weitere Domains, die im Laufe von Infokampagnen, Namenswechseln oder neuen Behörden künftig nötig werden, könnte das viele Probleme von Anfang an vermeiden.

Korrektur: Es hieß irrtümlich, die Anfragen würden aus den Netzen des Bundes kommen, es handelt sich aber um Netze von Bundesbehörden.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Der Internationale Gerichtshof will sich von Microsoft unabhängig machen und schwenkt auf openDesk um, die Open-Source-Bürosoftware des Zentrums für Digitale Souveränität. Die Bundesregierung könnte sich daran ein Beispiel nehmen. Denn während openDesk bei europäischen Nachbarn gefragt ist, fremdelt die Bundesverwaltung noch immer damit.

Der Internationale Strafgerichtshof (IStGH) will Microsoft-Anwendungen aus seiner Verwaltung verbannen und stattdessen die Open-Source-Lösung openDesk nutzen. Entwickelt hat diese das Zentrum für Digitale Souveränität (ZenDiS) in Deutschland, eine GmbH des Bundes, die 2022 auf Initiative des Bundesinnenministeriums gegründet wurde.

Die Entscheidung des IStGH hängt laut einem Bericht des Handelsblatts mit einem Vorfall im Mai zusammen. Damals konnte der Chefankläger Karim Khan nicht mehr auf sein E-Mail-Postfach zugreifen, das Microsoft bereitstellte. Microsoft-Präsident Brad Smith widersprach daraufhin Anschuldigungen, wonach der US-Konzern Dienstleistungen für den IStGH eingestellt oder ausgesetzt habe.

Wenige Wochen zuvor, im Februar dieses Jahres, hatte US-Präsident Donald Trump US-Sanktionen gegen Khan erlassen. Hintergrund sind Haftbefehle gegen den israelischen Premierminister Benjamin Netanjahu und dessen früheren Verteidigungsminister Joaw Gallant, die der Gerichtshof beantragt hatte.

EU-Initiative für öffentlich genutzte Software

Die Entscheidung des IStGH wirft ein Licht auf ein seit Jahrzehnten bestehendes Problem: die Abhängigkeit der digitalen öffentlichen Infrastruktur von IT-Konzernen wie Microsoft, Oracle, Google und Amazon. Vor allem Microsofts Bürosoftware ist für Behörden meist die erste Wahl: Outlook für E-Mails, Teams für Videokonferenzen und Word als Schreibprogramm.

Um der Dominanz von Microsoft-Produkten vor allem in öffentlichen Behörden etwas entgegenzusetzen, arbeiten Frankreich, die Niederlande, Italien und Deutschland schon länger zusammen. Sie wollen europäische IT-Lösungen als Teil einer gemeinsamen IT-Infrastruktur mit offenen Standards fördern. Am Mittwoch bestätigte die EU-Kommission die Gründung eines „Digital Commons European Digital Infrastructure Consortium“ (EDIC), mit dem die Partnerländer in digitale Gemeingüter investieren wollen.

In Deutschland arbeiten die Sovereign Tech Agency und das ZenDiS an diesem Ziel. Auch die Bundesregierung unterstützt die Initiative. Thomas Jarzombek, Staatssekretär beim Bundesminister für Digitales und Staatsmodernisierung, begrüßte die Entscheidung der Kommission: „Wir fördern offene Technologien und bauen eine gemeinsame digitale Infrastruktur.“ Nicht nur die an dem Konsortium beteiligten Länder sind von openDesk überzeugt. Auch die Schweiz, Tschechien und weitere EU-Nachbarn haben Interesse geäußert.

Bundesregierung hält sich zurück

Die Bundesregierung selbst setzt openDesk bislang kaum ein. Dabei ist gerade die Bundesverwaltung stark von Microsoft-Anwendungen abhängig. Dass der IStGH nun openDesk nutzt, könnte dies ändern. Zumindest zeige der Fall, dass es Lösungen gibt, sagt Sonja Lemke, Sprecherin für Digitale Verwaltung und Open Government der Bundestagsfraktion Die Linke. Sie fordert die Bundesregierung dazu auf, die eigene Verwaltung konsequent flächendeckend auf openDesk umzustellen.

Gleichzeitig mahnt Lemke an, endlich den Beitritt der Länder zum ZenDiS zu ermöglichen. Damit könnten auch die Landes- und kommunalen Verwaltungen openDesk nutzen. Bislang hat der Bund eine Länderbeteiligung nicht zugelassen, obwohl Schleswig-Holstein, Berlin und Thüringen schon im September 2022 Beitrittsgesuche gestellt hatten.

Am Ende würde die Verwaltung auch viel Geld für Lizenzkosten sparen, so Lemke. „Das Auftragsvolumen für das bundeseigene ZenDiS bewegt sich im einstelligen Millionenbereich.“ Für Microsoft-Lizenzen zahlen allein der Deutsche Bundestag sowie sämtliche Ministerien jährlich rund 200 Millionen Euro.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Während generative KI immer mehr in unseren Alltag einsickert, drohen wir den Kern dessen zu verlieren, was uns sein lässt. Große Sprachmodelle zu nutzen, mag praktisch sein, doch sollten wir darüber nicht vergessen, dass wir Menschen sind.

„Hey ChatGPT, schreib mir was Nettes für meine Freundin.“ „Mach ich“, sagt die Maschine und wir sagen „Danke“. Danke, dass du uns das Denken abnimmst, das Fühlen gleich mit. Bald schreiben wir nicht mehr nur mit generativer KI, sondern sind ihre Anhängsel: halb Mensch, halb Prompt.

Überall, wo früher Gedanken waren, sind jetzt Textvorschläge. Die Schule? Automatisch. Hausarbeiten, Gedichte, Bewerbungsschreiben? Alles generiert, alles glatt, alles gleich. Selbst Liebesnachrichten klingen wie Werbeslogans mit Gefühlsgarantie.

Natürlich ist nichts dagegen einzuwenden, ChatGPT zu nutzen, um sich Arbeit zu sparen. Auch ich tue das gelegentlich, viele von euch wahrscheinlich ebenso. Wer seine E-Mails oder Anschreiben optimiert, spart Zeit. Nur: Wenn wir irgendwann auch unsere Emotionen outsourcen, was bleibt dann noch von uns?

Kommunikation per Knopfdruck

Jede Kommunikation kann mittlerweile per Knopfdruck von einem Large Language Model (LLM) optimiert werden. Seit Kurzem bietet etwa Instagram an, die eigenen Direktnachrichten und Kommentare von einer KI überarbeiten zu lassen. Es gibt LLMs, die Beziehungstipps geben oder kurzerhand selbst vorgeben, ein Partner zu sein.

Doch das alles tut ChatGPT nicht aus Altruismus. Ganz abgesehen davon, dass KIs nicht selbst denken oder handeln und nichts selbst „tun“, ist auch ihr Zweck nicht gemeinwohlorientiert. Stattdessen sind sie kommerzielle Angebote, die für ihre Hersteller Profite erwirtschaften sollen; etwa durch Datensammeln und Abos.

Egal ob es der KI-Partner ist, die Nachrichtenformulierung auf Instagram oder die Generierung von Social-Media-Posts: All das ist nicht dafür gemacht zu helfen, sondern um wirtschaftliche Erträge zu erwirtschaften. Deswegen ist es auch nicht verwunderlich, dass immer mehr Hersteller ein Stück dieses scheinbar unendlich profitablen Kuchens abhaben wollen.

Es scheint, als gäbe es mittlerweile eine KI für alles – von der wissenschaftlichen Recherche bis zu Formulierungsvorschlägen zum Flirten. Sogar Auswirkungen auf unsere Wortwahl lassen sich inzwischen nachweisen. Wörter, die wir früher kaum genutzt haben – die LLMs aber gerne verwenden – tauchen nun überall auf. Wer nicht denken will, scheint auch nicht mehr mehr dazu gezwungen zu sein.

ChatGPT Mensch sein

Irgendwer soll mal gesagt haben: „Ich denke, also bin ich.“ Wenn wir etwas „ChatGPTen“, dann ist ChatGPT – aber nicht wir. ChatGPT ist kein Partner, kein Ratgeber und erst recht kein Ersatz für den eigenen Verstand.

Wenn wir aufhören, selbst zu denken, zu formulieren, zu fühlen – wenn wir das Menschliche an Maschinen delegieren, dann verlieren wir das, was wir der KI voraushaben: unser Bewusstsein.

Dieser Prozess mag beginnen, indem wir LLMs nervige Aufgaben für uns übernehmen lassen, sei es eine Hausaufgabe oder eine Arbeitsmail. Es gibt einige Stimmen, die gerne erzählen, dass ChatGPT das Abitur bestehen könnte und fragen, weshalb Schüler:innen überhaupt noch ihre Hausarbeiten selbst schreiben sollten, wenn ChatGPT das doch viel effizienter erledigen könnte. Und natürlich könnte ChatGPT unser Abitur schreiben.

Es ist keine Nachricht, dass ein Rechner, der mit nahezu allen Informationen dieser Erde gefüttert ist, Antworten auf Fragen aus Schulprüfungen generieren kann. Aber in der Schule sollten eigentlich Schüler mit Informationen gefüttert werden. Und zwar nicht mit dem Ziel, Prüfungen zu bestehen, sondern damit Menschen etwas lernen. Und ja, es ist zumindest kurzfristig nützlich, dass ChatGPT unsere E-Mails oder Hausarbeiten schreibt, uns Arbeit abnimmt. Die Frage ist aber: Wo hört das auf?

Immer mehr Menschen neigen dazu, KI einfachste Denkaufgaben oder gar ihre eigene künstlerische Expression übernehmen zu lassen; von den Hausaufgaben bis hin zum Liebesgedicht. Das ist weder verwunderlich noch verwerflich. Fast jedes soziale Netzwerk und immer mehr Betriebssysteme implementieren LLMs und platzieren sie so, dass wir kaum daran vorbeikommen. Wenn ich WhatsApp öffne, dann ist dort an oberster Stelle nicht der Chat mit meiner besten Freundin oder meiner Mutter, sondern ein Suchfenster, in dem ich doch bitte MetaAI eine Frage stellen darf.

Ich will in einer Welt leben, die von Menschen für Menschen gemacht ist. Und nicht in einer, in der deine KI mit meiner hin und her chattet, bis sie ein Bewerbungsgespräch oder ein Date für uns vereinbart hat.

Was macht uns aus?

Die britische “Sun” hat 2016 geschrieben, 2025 (also heute) würden Frauen mehr Sex mit Robotern als mit Männern haben. Dass das nicht stimmt, liegt auf der Hand. Aber weit davon entfernt sind wir nicht mehr, wenn ein LLM für uns die heißen Nachrichten an unser Date schreibt oder Vorschläge für die besten Sexstellungen generiert.

Vielen Menschen scheint das zu gefallen. Sexting ist schließlich mindestens genauso denkintensiv wie eine E-Mail an den Chef. Da tut es gut, wenn eine KI einem diese Bürde abnehmen kann. Es ist effizient, spart Zeit und Gedankenkraft. Wäre doch schön, wenn ein LLM uns noch mehr unseres anstrengenden Alltags abnehmen könnte. Wo wir schon dabei sind: Lasst ChatGPT doch einfach eure Frau bumsen.

Schreibt meinetwegen eure E-Mails mit KI, die Nachrichten an eure Freunde, eure Liebesbriefe oder die Trauerrede für die Beerdigung eurer eigenen Mutter. Lasst euch nehmen, was euch sein lässt. Aber was bleibt dann noch von uns?

Wenn wir einfache Denkaufgaben nicht mehr Kraft unseres eigenen Verstandes absolvieren, unsere Gefühle nicht mehr selbst ausdrücken oder Kunst schaffen, dann überlassen wir der KI und ihren Produzenten das Großartigste, was diese Welt zu bieten hat: Mensch zu sein.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Für Windows 10 bietet Microsoft seit gut einer Woche keinen Support mehr an. Das bringt Nutzer*innen in Zugzwang, darunter auch die Bundesverwaltung. Das zuständige Digitalministerium weiß indes wenig darüber, welche Behörden und wie viele Rechner betroffen sind.

Mitte Oktober hat Microsoft den Support für Windows 10 eingestellt. Nutzer*innen müssten also auf die nächste Windows-Version upgraden – oder sich für ein anderes Betriebssystem entscheiden. Und das besser gestern als heute, wenn sie sich keine Malware einfangen wollen. Wer den Umstieg nicht schafft, kann sich zumindest für begrenzte Zeit noch für grundlegende Sicherheitsupdates (ESU) registrieren.

Auch die Bundesverwaltung nutzt Windows 10, scheint sich auf die Umstellung jedoch bislang kaum vorbereitet zu haben. Sascha H. Wagner, Bundestagsabgeordneter der Linkspartei und im Haushaltsausschuss, hat beim Bundesministerium für Finanzen nachgefragt: Wie viele Rechner laufen mit Windows 10? Wie viel wird die Umstellung auf Windows 11 kosten? Bis wann sollen diese Rechner mit Windows 11 ausgestattet sein?

Auf diese Fragen erhielt er jedoch keine Antwort. Denn entsprechende Informationen liegen nicht gesammelt und verfügbar vor. Um sie beantworten zu können, müsste das zuständige Bundesministerium für Digitales und Staatsmodernisierung erst „umfangreiche Erhebungen“ vornehmen, so das BMF in seinem nicht-öffentlichen Antwortschreiben.

Keine Ressourcen, um betroffene Rechner zu zählen

Auch die Fragen, wie viele Rechner der Bundesverwaltung mit dem Support-Ende von Windows 10 unbrauchbar werden und wie teuer es wird, neue Geräte mit Windows 11 anzuschaffen, lässt das BMF offen.

Der Aufwand, hierzu Informationen einzuholen, übersteige den Umfang einer „ansonsten üblichen Einzelberichtsanforderung“, heißt es. Linken-Politiker Wagner sagt: „Dass das Digitalministerium unter Karsten Wildberger nicht weiß, wie der erzwungene Umstieg von Windows 10 auf Windows 11 in der Bundesverwaltung umgesetzt wird, ist erschreckend.“

Dabei wurde ein zentrales Lizenzmanagment für den Bund schon im Jahr 2019 beschlossen. Fortschritte verspricht der Bund seit Jahren. Die Idee hinter dem lange angekündigten Projekt ist, dass Bundesbehörden Informationen zu Lizenzen offen einsehen können.

Nicht zuletzt die Kritik des Bundesrechnungshofs gab hier den Ausschlag: Der bemängelte mehrfach (PDF), dass Transparenz zwischen Bundesbehörden fehle. Das wiederum führe dazu, dass Behörden Software häufig nicht wirtschaftlich einsetzen. Dabei käme es häufiger zu Über- oder Unterlizenzierungen. Wüssten Behörden, was andere einkaufen und zu welchen Konditionen, könnten sie Lizenzen zwischen Behörden tauschen und hätten auch bei Einkaufsgesprächen eine bessere Verhandlungsposition.

Keine Ressourcen, um Lizenzen zentral zu verwalten

Doch der Plan einer Zentralstelle konnte laut BMF „mangels entsprechender Ressourcen“ bislang nicht umgesetzt werden. Es gibt also noch immer keine zentrale Stelle, die Informationen zu Lizenzen bei den Ministerien und anhängigen Behörden einfordert und zentral veröffentlicht. Zwar könnten Behörden inzwischen über ein Lizenzverwaltungstool ein rechtssicheres und wirtschaftliches Lizenzmanagement aufbauen, so das BMF. Doch seien Behörden nicht dazu verpflichtet, eines zu betreiben.

Statt das Projekt des Lizenzmanagements für den Bund weiter voranzubringen, will das BMDS nun einen zentralen Datenpool im Bund aufbauen. Darin sollen laut BMF auch die Lizenzinformationen der einzelnen Häuser zusammenlaufen.

Das Support-Ende von Windows 10 bringt den Bund samt Verwaltung hier anscheinend nicht aus der Ruhe. Das könnte daran liegen, dass Microsoft zumindest Sicherheitsupdates weiter fließen lässt – für Organisationen und Behörden können dabei jedoch pro Gerät Kosten anfallen. Dabei müsste es eigentlich darum gehen, „die Abhängigkeit und die explodierenden Kosten für Microsoft-Produkte zu reduzieren“, so Wagner.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Nur noch in wenigen hundert Fällen las das BAMF in den letzten Monaten die Smartphones Geflüchteter aus. Das ist ein markanter Rückgang zu den fünfstelligen Zahlen aus früheren Jahren. Offenbar ist bei der Asylbehörde angekommen, dass der aufwändige und grundrechtsfeindliche Eingriff nichts bringt.

Im Jahr 2017 begann das Bundesamt für Migration und Flüchtlinge (BAMF), die Smartphones von Asylsuchenden auszulesen. Immer dann, wenn diese keinen Pass oder andere anerkannte Identitätsdokumente vorlegen konnten, durften ihre Geräte analysiert werden. Das Ziel: Hinweise auf Identität und Herkunftsland gewinnen – selbst wenn an den Angaben der Antragstellenden noch gar keine Zweifel bestanden.

2018 kam die Behörde mit der neuen Praxis auf über 11.000 ausgelesene Datenträger, 2023 waren es rund 12.500. Damit ist jetzt offenbar Schluss. Laut der Antwort der Bundesregierung auf eine Kleine Anfrage der Linken-Abgeordneten Clara Bünger erfolge das Auslesen von Handydaten „nur noch einzelfallbezogen auf Entscheidung der Entscheiderin oder des Entscheiders“.

Zuvor las das BAMF schon sehr früh im Asylverfahren die Daten aus, in der Regel weit vor der Asylanhörung. Die „damit verbundene ressourcenintensive Auswertung“ sei ab dem Jahr 2024 „ausgesetzt“ worden. Das führt zu deutlich rückgängigen Zahlen: Im ersten Halbjahr 2025, so die Bundesregierung, sind lediglich noch 338 Datenträger ausgelesen worden.

Die Auswertungen sind nutzlos und aufwändig

Der Nutzen der Auswertungen stand schon seit Beginn der Maßnahmen in Frage. Zu Beginn scheiterte in rund einem Viertel der Fälle das Auslesen bereits auf einer technischen Ebene.

Bei den erfolgreichen Auslese- und Auswertevorgängen waren wiederum die meisten Ergebnisse bis zuletzt völlig unbrauchbar. So lieferten die Auswertungen im Jahr 2023 in 73,4 Prozent der Fälle „keine verwertbaren Erkenntnisse“. Nur in 1,7 Prozent der Fälle stützten die Ergebnisberichte die Angaben der Antragstellenden nicht – das heißt, es gab Hinweise darauf, dass ihre Angaben eventuell nicht korrekt sein könnten.

Das ist zum einen viel Aufwand und zum anderen ein tiefer Eingriff in Grundrechte und Privatsphäre für eine Maßnahme mit mehr als fragwürdigem Nutzen. Fragestellerin Clara Bünger kommentiert dazu gegenüber netzpolitik.org: „Die aktuelle Antwort der Bundesregierung zeigt, dass diese negative Bilanz inzwischen offenbar auch im BAMF so gesehen wird.“

Der Wandel geht laut Bundesregierung zurück auf ein „Maßnahmenpaket zur Bewältigung der Asyllage“, das BAMF und Bundesinnenministerium miteinander abgestimmt hätten. Im Gegensatz zur Praxis hat sich die gesetzliche Grundlage der Handydurchsuchungen jedoch verschärft. Durch das 2024 verabschiedete Gesetz zur Verbesserung der Rückführung könnten BAMF und Ausländerbehörden auch Cloud-Speicher von entsprechenden Personen auslesen.

Der Kurs steht weiter auf Verschärfung

Diese Verschärfung beschloss die Bundesregierung kurz nachdem das Bundesverwaltungsgericht im Februar 2023 im Fall einer afghanischen Klägerin Grenzen gesetzt hatte: Das BAMF darf laut dem Urteil erst dann Smartphones auswerten, wenn es keine milderen Mittel gibt, um Hinweise auf Identität und Herkunft der Betroffenen zu bekommen. Das könnten beispielsweise offizielle Papiere neben Ausweisdokumenten sein oder andere Wege, Aussagen der Geflüchteten zu überprüfen.

Bünger fordert, auch andere politische Entwicklungen zu überdenken, um bessere Asylverfahren zu ermöglichen: „Es muss endlich Schluss sein mit den ausgrenzenden Missbrauchsdebatten, den permanenten Asylrechtsverschärfungen und der andauernden Entrechtung von Schutzsuchenden.“

Die Realität jedoch sieht offenkundig anders aus. Mit dem aktuellen Entwurf zur deutschen Umsetzung des Gemeinsamen Europäischen Asylsystems etwa schießt die Bundesregierung noch über die repressiven EU-Vorgaben hinaus. Im Koalitionsvertrag von Union und SPD ist angekündigt, dass sich auch in verwaltungsrechtlichen Asylverfahren einiges zum potenziellen Nachteil von Geflüchteten ändern soll. Die Regierungspartner wollen, dass die Asylsuchenden vor Gericht selbst etwa politische und soziale Faktoren in ihrem Herkunftsland einbringen müssen, wenn die im Verfahren berücksichtigt werden sollen – selbst wenn diese bereits öffentlich oder bei Gericht bekannt sind. Bünger findet: „Das ist das genaue Gegenteil von dem, was jetzt wichtig wäre: pragmatische Vorschläge für zügige und zugleich faire Asylverfahren.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

In Berlin trafen sich vergangene Woche Arbeitskräfte zur Vernetzung, die für den Erfolg von KI-Anwendungen und Sozialen Medien unverzichtbar sind. Sie streiten für bessere Arbeitsbedingungen und fordern Politik und Gewerkschaften auf, sich endlich ihrer Sache anzuschließen.

Sie wollen nicht länger unsichtbar bleiben: In Berlin haben sich vergangene Woche Datenarbeiter:innen und Content-Moderator:innen aus den USA, Kenia, Nigeria, Deutschland, Venezuela und Spanien für eine zweitägige Versammlung getroffen. Die Arbeiter:innen sind Fachleute für Daten-Aufbereitung und Online-Sicherheit. Ihre Arbeit spielt für den Erfolg von Künstlicher Intelligenz und Sozialen Medien eine unverzichtbare Rolle, trotzdem weiß kaum jemand von ihnen.

Beschäftigt sind die Arbeiter:innen häufig über Outsourcing-Firmen. Sie erhalten oft mickrige Gehälter. Am Arbeitsplatz werden sie konstant überwacht und sind permanentem Erfolgsdruck ausgesetzt. Die Tech-Konzerne, deren Probleme sie lösen, profitieren von ihrer Ausbeutung und nehmen in Kauf, dass sie alleingelassen werden, auch wenn sie potenziell traumatisierende Tätigkeiten wie die Moderation gewalttätiger Inhalte übernehmen müssen.

Das wollen die Arbeiter:innen nicht länger hinnehmen. In Berlin tauschten sie Erfahrungen aus, vernetzten sich und schmiedeten Pläne.

Große Lohnunterschiede

Sprechen dürfen die Arbeiter:innen über ihre Tätigkeit eigentlich nicht. Sie mussten Knebelverträge unterschreiben, um die Jobs zu erhalten, die ihr Überleben sichern. Deshalb bleiben alle, deren Statements wir wiedergeben, in diesem Artikel anonym.

Etwa die Person, die von den jüngsten Maßnahmen des Social-Media-Konzerns Tiktok berichtet, der seine Arbeiter:innen in Europa feuere, um woanders günstigere Arbeitskräfte anstellen zu können. So etwa in Casablanca, wo ein neues Moderationszentrum geplant werde. In anderen Fällen würden die Moderator:innen durch KI-Systeme ersetzt, die sie selbst trainieren mussten.

Eine weitere Person berichtet von den unterschiedlichen Gehältern, die global für die gleiche Arbeit gezahlt werden. Das sei auch innerhalb Europas der Fall: „Der Unterschied zwischen Ländern wie Spanien und den nordischen Ländern ist enorm“, sagt die Person, die in Barcelona bei einem Outsourcing-Unternehmen arbeitet. Dort könnten sich Datenarbeiter:innen oft kaum noch die Miete leisten, während Arbeiter:innen in Skandinavien sich von ihrem Gehalt eine eigene Wohnung kaufen könnten.

Kritik an Gewerkschaften

Organisiert wurde das Treffen vom Forschungszentrum Weizenbaum-Institut und der Nichtregierungsorganisation superrr lab. „Die zwei Tage waren für uns etwas Besonderes, weil sie von transnationaler Solidarität geprägt waren“, schreiben Milagros Miceli und Julia Kloiber im Anschluss. „Die Arbeiter*innen schließen sich über Landesgrenzen hinweg zusammen, um den tückischen Taktiken von Big Tech entgegenzutreten, die darauf abzielen, Arbeiter:innen gegeneinander auszuspielen und sich ihrer rechtlichen Verantwortung zu entziehen.“

In den nächsten Jahren gehe es darum, etablierte Gewerkschaften und politische Vertreter:innen zu gewinnen, „damit sie diesen Kampf endlich unterstützen“, so die beiden Organisatorinnen. Dass das notwendig ist, zeigt auch Kritik der Arbeiter:innen vor Ort.

„Weil die Gewerkschaften sich nicht an unseren neuen Sektor angepasst haben, gibt es nichts, was sie für uns tun können, wofür wir nicht als Betriebsrat selbst kämpfen könnten“, sagte eine Person. Zu häufig würden Gewerkschaften Beschäftigte nur als Zahlen sehen. So sei es in der Vergangenheit vorgekommen, dass die deutsche Gewerkschaft ver.di Moderator:innen als Callcenter-Agenten dargestellt habe. „Das ist falsch und verschafft uns nicht die Anerkennung, die wir verdienen.“

Gemeinsamer Kampf für bessere Bedingungen

Anerkennung für ihre Leistungen ist schon lange ein großes Thema für die Arbeitskräfte, die oft lapidar als „Klickarbeiter:innen“ bezeichnet werden. Tatsächlich aber braucht es für viele ihrer Tätigkeiten intensives Training – ohne ihre Arbeit würden heute weder KI-Anwendungen noch Soziale Medien funktionieren. Zu ihrer Vision der kollektiven Emanzipation gehöre es, „unsere Arbeit als qualifizierte Arbeit anzuerkennen“, sagt deshalb eine:r der Arbeiter:innen. Außerdem müsse man Druck auf Arbeitgeber ausüben, damit sie betroffenen Arbeitnehmern angemessene psychologische Unterstützung bieten und diese auch bezahlen.

„Was wir brauchen, ist eine solide, transnationale und branchenübergreifende Vernetzung der Arbeitnehmer:innen in Form einer neuen repräsentativen Gewerkschaft“, sagte eine andere Person vor Ort. Daran wollen gemeinsam mit den Arbeiter:innen auch Kloiber und Miceli in den kommenden Jahren arbeiten. Außerdem wollen sie gemeinsam Anforderungen an ein maßgeschneidertes Mental-Health-Programm entwickeln und Wissenstransfer rund um Arbeitskämpfe verbessern.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Autonome Waffensysteme treffen zunehmend eigenständig Entscheidungen. Nicht zuletzt der Ukrainekrieg dient dabei als Experimentierfeld für militärische KI-Systeme. Welche Folgen das hat und welche Regulierung es braucht, erläutert der Technikforscher Jens Hälterlein im Gespräch mit netzpolitik.org.

Drohnen, die von sogenannter Künstlicher Intelligenz gesteuert werden, gewinnen an Bedeutung. Gerade der Ukrainekrieg dient als Testfeld für neue militärische KI-Anwendungen. Sie ermöglichen nicht nur technologische Fortschritte, sondern werfen auch grundlegende ethische und geopolitische Fragen auf.

Jens Hälterlein ist Technik- und Wissenschaftsforscher an der Universität Paderborn. Er forscht im Projekt Meaningful Human Control zur Regulierung autonomer Waffensysteme. Ein Fokus seiner Arbeit liegt auf Drohnenschwärmen und bestehenden Ansätzen zur ethischen Regulierung KI-basierter Militärtechnologien. Wir haben mit ihm über die Auswirkungen von KI-Anwendungen im Krieg gesprochen.

netzpolitik.org: In Ihrer Forschung beschäftigen sie sich intensiv mit der Entwicklung und dem Einsatz von KI im militärischen Kontext. Der Ukrainekrieg wird zunehmend als „Experimentierfeld“ für militärische KI-Anwendungen beschrieben. Wie schauen Sie auf diese Entwicklung?

Jens Hälterlein: Der Krieg in der Ukraine ermöglicht es – wie im Prinzip jeder Krieg –, neue militärische Entwicklungen unter realen Einsatzbedingungen zu testen. Für die Entwicklung militärischer KI-Anwendungen besteht ein weiterer Vorteil darin, dass auf den Schlachtfeldern der Ukraine große Mengen an Trainingsdaten erzeugt werden. Sie sind für maschinelle Lernprozesse notwendig. Daraus ergeben sich ganz neue Möglichkeiten. Die Ukraine wurde daher auch als „Living Lab“ für militärische KI bezeichnet, also eine Art „Reallabor“.

Nicht ohne Grund hat das US-amerikanische Unternehmen Palantir seine Datenanalyse-Software gleich zu Beginn des Krieges der Ukraine angeboten. Obwohl diese Software zuvor nur für wirtschaftliche und polizeiliche Analysen genutzt wurde, stellte sie schon nach kurzer Zeit ein zentrales Element für die Entscheidungsfindungsprozesse des ukrainischen Militärs dar.

Daten verhelfen der KI zum Druchbruch

netzpolitik.org: Zu Beginn des Ukrainekrieges spielten KI-Systeme bei Drohnen offenbar eine eher unterstützende Rolle. Das verändert sich aus Ihrer Sicht. Können Sie die technologischen Fortschritte und ihre Bedeutung genauer erläutern?

Jens Hälterlein: Am Anfang des Ukrainekrieges wurden die eingesetzten Drohnen noch größtenteils ferngesteuert. KI hat nur in einigen sogenannten „nicht-kritischen“ Funktionen eine Rolle gespielt, beispielsweise im Sinne eines Autopiloten. Das ändert sich derzeit aber anscheinend. Sowohl die Systeme ukrainischer Start-ups als auch die dort eingesetzten westlichen Systeme entsprechen zunehmend dem, was in der internationalen Debatte als tödliche Autonome Waffensysteme (LAWS) bezeichnet wird. Damit sind Systeme gemeint, die kritische Funktionen – also Zielfindung, Zielauswahl und Angriff – ohne menschliches Zutun vollziehen können.

Die in diesen Waffensystemen verwendeten Hardwarekomponenten und Algorithmen sind im Prinzip nicht neu. Aber lange Zeit wurden militärische Innovationen in diesem Bereich durch einen Mangel an Daten ausgebremst. Das ist vergleichbar mit der Entwicklung von Gesichtserkennungssystemen, die erst durch die massenhafte Verfügbarkeit von gelabelten Fotos in sozialen Medien einen Durchbruch erfahren haben.

netzpolitik.org: Über die russischen Systeme, wie etwa die neue Variante der Lancet-Kamikaze-Drohne, ist weit weniger bekannt.

Jens Hälterlein: Im Prinzip sind wir bei allen Kriegsparteien auf die Aussagen von Militärs und Waffenherstellern angewiesen. Und die sind natürlich grundsätzlich mit Vorsicht zu genießen, ganz gleich, ob es sich um westliche oder nicht-westliche Akteure handelt. Seit dem Krieg ist unsere Informationslage zu russischen Systemen allerdings noch eingeschränkter als zuvor. Aber da eine russische KI beziehungsweise eine russische KI-basierte Kampfdrohne grundsätzlich ähnlich funktioniert wie eine US-amerikanische oder eine deutsche sollten auch der jeweilige Kontext ähnlich sein. Auch auf russischer Seite werden diese Waffensysteme daher wohl autonomer werden. Und mit diesem Anspruch wird ja auch das neue Modell der Lancet-Drohne beworben.

Blindes Vertrauen

netzpolitik.org: Wenn militärische KI-Systeme und Autonome Waffensysteme in einem Konflikt wie in der Ukraine getestet werden, wirft dies ethische oder politische Fragen auf. Welche sind das aus Ihrer Sicht?

Jens Hälterlein: Es gibt zahlreiche Probleme. Zum einen ist militärische KI – wie jede KI – notorisch fehleranfällig und vorurteilsbehaftet. Fehler und Vorurteile können hier aber tödliche Folgen haben. Ein System könnte etwa Zivilisten als Kombattanten identifizieren, weil es Daten fehlinterpretiert oder weil es für die Unterscheidung relevante Faktoren übersieht.

Zum anderen droht es durch den Einsatz hochkomplexer Systeme zu einer Verantwortungsdiffusion zu kommen. Formal muss zwar immer ein Mensch als Letztinstanz zustimmen, wenn es zur Tötung von Menschen kommen kann. Allerdings können Bediener*innen nicht im Detail nachvollziehen, wie ein KI-basiertes System seinen Output erzeugt hat. Gleichzeitig kommen sie nicht umhin, auf dessen Basis Entscheidungen zu treffen, und das meist unter Zeitdruck. Auch deshalb könnten sie dazu tendieren, dem Output der Systeme nahezu blind zu vertrauen, was sie angesichts der Fehleranfälligkeit dieser Systeme jedoch keineswegs tun sollten.

Kriegstreiber KI

netzpolitik.org: Ein weiteres Risiko ist die globale Verbreitung dieser Technologien. Wie realistisch ist es, dass in Zukunft immer mehr Staaten autonome Waffensysteme einsetzen – möglicherweise auch im Globalen Süden?

Jens Hälterlein: Drohnen sind wesentlich preisgünstiger als Kampfjets. Gerade kleine Drohnen mit relativ kurzer Flugzeit und geringer Nutzlast sind nicht teuer. In der Ukraine werden sogar kommerzielle Modelle, die wenige hundert Euro kosten, verwendet. Sie werden quasi „in Heimarbeit“ mit Granaten und anderen Kampfmitteln bestückt.

Teuer wird es vor allem dann, wenn besondere Softwarekomponenten entwickelt werden. Aber auch diese Kosten sind kaum mit den Gesamtkosten für die Entwicklung der F-35 oder des Future Combat Air Systems vergleichbar. Es ist also davon auszugehen, dass Finanzen einen zunehmend geringen Faktor bei der globalen Verbreitung KI-basierter Militärtechnologien darstellen. Das türkische Unternehmen Baykar hat beispielsweise seine KI-Kampfdrohe Bayraktar TB2 eben nicht nur in die Ukraine exportiert, sondern auch in zahlreiche afrikanische und asiatische Staaten, wo sie bereits in mehreren Kriegen zum Einsatz gekommen ist.

Unzureichende Regulierung

netzpolitik.org: Mit Blick auf die politische Regulierung von autonomen Waffensystemen und KI-Drohnen sagen Sie, dass wir zunehmend vor vollendete Tatsachen gestellt werden. Gibt es überhaupt noch Chancen auf international verbindliche Regeln?

Jens Hälterlein: Da sehe ich leider wenig Grund zu Optimismus. Im Rahmen der UN-Rüstungskontrolle gibt es seit mehr als zehn Jahren Bemühungen, verbindliche Regulierungen für LAW zu erwirken – bisher ohne Erfolg. Und zwar in erster Linie deshalb, weil solche Regulierungen nicht im Interesse der Nationen liegen, die LAWS entwickeln, einsetzen oder es in Zukunft beabsichtigen. Das sind neben den militärischen Großmächten USA, Großbritannien, Russland und China auch militärische Exportnationen wie Israel, die Türkei und Deutschland.

Deutschland hat sich zwar zusammen mit Frankreich für ein Verbot sogenannter vollautonomer Waffensystemen ausgesprochen. Gleichzeitig aber soll der Einsatz von sogenannten teilautonomen Waffensystemen erlaubt sein. Wenn aber für deren Einstufung bereits ausreichen soll, dass ein Mensch dem Output des Systems final zustimmen muss, halte ich diesen Ansatz aus den genannten Gründen für ungenügend.

Ethik ist kein Ersatz für Recht

netzpolitik.org: Was muss aus Ihrer Sicht passieren, um die unkontrollierte Verbreitung und den Missbrauch solcher Technologien noch zu verhindern?

Jens Hälterlein: Eine Patentlösung habe ich leider nicht. Es benötigt mehr kritische Debatten und zivilgesellschaftliches Engagement. Außerdem müssen wir stärker die Perspektiven der Opfer solcher Technologien in den Blick nehmen. Aber letzten Endes dürften die gegenwärtige globale Polarisierung und Militarisierung ein Klima erzeugen, in dem für Waffenkontrolle wenig Raum ist. Das sehen wir derzeit auch im Bereich der Regulierung von Atomwaffen.

Was aus meiner Perspektive definitiv keine ausreichende Lösung darstellt, ist die Ethik. Mittlerweile gibt es in eine ganze Reihe von Militärstrategien – vor allem westlicher Staaten -, die ein freiwilliges Bekenntnis zum Leitbild eines verantwortungsvollen, erklärbaren und verlässlichen Einsatzes von KI vorsehen. Es ist aber weiterhin unklar, wie die ethischen Prinzipien im Kontext von LAWS eingehalten sowie umgesetzt und kontrolliert werden können.

Vor allem aber sollte Ethik nicht an die Stelle des Rechts treten. Genau diese Gefahr besteht aber. Wir sehen aktuell eine Delegitimierung etablierter internationaler Rechtsnormen seitens westlicher Staaten. Gleichzeitig beziehen sie sich auf Konzepte wie die „regelbasierte internationale Ordnung“, die sich je nach Interessenlage mit Inhalt füllen lassen. In diesem Kontext sollten wir auch die Rhetorik einer „Responsible AI in the Military Domain“ verstehen. Ethik wirkt hier eher ermöglichend als einschränkend.

Erika Dornbusch hat Politikwissenschaften studiert, einige Monate in Syrien gelebt und dort hauptsächlich über den IS geschrieben. Zurzeit arbeitet sie im Bevölkerungsschutz, kommt mit Ordnung jedoch schlechter als mit Chaos zurecht.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Online-Kommunikation mit Behörden ist für Bürger*innen und Unternehmen kompliziert, für Verwaltungen oft teuer und aufwendig. Das soll sich ändern: Eine Arbeitsgruppe von IT-Architekten aus Bund und Ländern schlägt vor, wie alle von einer gemeinsamen Infrastruktur profitieren, und empfehlen das offene Kommunikationsprotokoll Matrix.

Zentrales Bürgerpostfach, BundID, OZG-PLUS-Postfach, MeinJustizpostfach und Elster – um mit Behörden zu kommunizieren, richten sich Bürger*innen, Unternehmen und Organisationen verschiedene Postfächer ein. Denn verschiedene Verwaltungen unterhalten jeweils eigene Kommunikationslösungen.

Die stehen derzeit für sich und sind kaum interoperabel. Denn ob Gerichte, Finanzämter, Gesundheitsämter oder Ausländerbehörden: Alle haben eine eigene IT und IT-Architektur, historisch gewachsen und mit unterschiedlichen technischen und rechtlichen Voraussetzungen.

Das soll sich ändern. Bund und Länder wollen eine „moderne und vertrauenswürdige Kommunikationsinfrastruktur im öffentlichen Sektor, die die bislang isolierten Lösungen schrittweise bündelt und die Interoperabilität stärkt“, so André Göbel, Präsident der Föderalen IT-Kooperation (FITKO).

Die Basiskomponente für die Kommunikation ist Teil der geplanten Deutschland-Architektur (PDF), mit der das Bund-Länder-Gremium IT-Planungsrat neuen Schwung in die Digitalisierung der öffentlichen Verwaltung bringen will. Neben der Basiskomponente Postfächer stehen unter anderem auch Komponenten für Bezahlvorgänge und Authentifizierung an.

Vorteile einer gemeinsamen Infrastruktur

Der Flickenteppich aus verschiedenen Postfach-Lösungen sei sowohl für Bürger*innen und Unternehmen als auch für die Verwaltung selbst unübersichtlich, sagt Dominik Braun gegenüber netzpolitik.org. Er ist Referent für IT-Architekturmanagement bei der FITKO und arbeitet mit Vertreter*innen der Länder Hamburg und Sachsen-Anhalt an der Zielarchitektur für Postfach- und Kommunikationslösungen, kurz ZaPuK.

Das Ziel sei, dass sich die einen besser orientieren können, wo sie welche Post vom Staat bekommen; und die anderen müssten ihre Postfächer nicht getrennt voneinander anbinden und unterschiedliche Schnittstellen, Protokolle und Verschlüsselungsverfahren nutzen.

Das könne finanzielle und personelle Ressourcen einsparen und langfristig auch Vorteile im Bereich IT-Sicherheit bieten. Das sagt Andreas Altmann, Projektmanager beim Ministerium für Infrastruktur und Digitales des Landes Sachsen-Anhalt, und Teil von ZaPuK. Mit einem neuen Beschluss des IT-Planungsrats hat das Team nun das Go für die nächste Phase.

Matrix-Protokoll könnte sich durchsetzen

Die klare Empfehlung der Arbeitsgruppe ist das Matrix-Protokoll. Matrix ist ein Protokoll für die Echtzeitkommunikation, dahinter ein offener Standard für dezentralisierte und interoperable Kommunikation. Damit können Nutzer*innen chatten oder telefonieren, ohne von einem spezifischen Diensteanbieter abhängig zu sein.

Matrix soll den Standard Online Services Computer Interface, kurz OSCI, ablösen, so Altmann gegenüber netzpolitik.org. OSCI gibt es seit dem Jahr 2000. Die „Protokollstandards für den sicheren elektronischen Nachrichtenaustausch über das Internet und andere Netze“ wurden speziell für die öffentliche Verwaltung in Deutschland entwickelt.

Kommunen können entsprechende Standards über das ITZBund beziehen, beispielsweise XMeld für das Ummelden der Wohnungsadresse oder XAusländer für Ausländerbehörden. Laut Bundesmeldedatendigitalisierungs- oder Bundesmeldedatenabruf-Verordnung und Gesetz über das Ausländerzentralregister sind sie sogar dazu verpflichtet, OSCI zu nutzen.

IT-Sicherheit im Vordergrund

Gegenüber Alternativen wie dem international genutzten Matrix-Protokoll wirkt OSCI etwas verstaubt. Derzeit setzt beispielsweise der elektronische Rechtsverkehr für den Transport und die Zwischenspeicherung von Nachrichten auf OSCI auf. Wesentliche Nachteile des Standards: Er sei nicht auf Echtzeitkommunikation ausgelegt und OSCI basiere auf Technologien, die auf dem Markt und in der öffentlichen Verwaltung zunehmend weniger verbreitet sind, so die IT-Architekten von ZaPuK auf OpenCode. Vor allem aber unterstütze die eingesetzte XML-Encryption „keine modernen kryptografischen Anforderungen“.

Zur Ende-zu-Ende-Verschlüsselung empfiehlt die Gruppe die Sicherheitsschicht Messaging Layer Security, kurz MLS. Das sei besonders wichtig, so Dominik Braun gegenüber netzpolitik.org. „Als Bürger will ich nicht, dass jede Behörde nachvollziehen kann, was ich mit einer anderen Behörde kommuniziere.“ Dabei spielten verfassungsrechtliche und Privatsphäreaspekte eine Rolle. „Einzelne Behörden sollen über mich nicht Informationen bei sich bündeln können.“

In Sachen IT-Sicherheit sei laut Braun zudem eine Zero-Trust-Betriebsumgebung geplant. Das entspricht auch der Föderalen Digitalstrategie des IT-Planungsrats (PDF). Danach soll jede technische Instanz „nur die minimalen, absolut notwendigen Rechte bekommen“, um bei einem Angriff die Risiken eines Datenabflusses zu reduzieren.

Eine Lösung für alles wäre schön

Ideal wäre: Bürger*innen, Unternehmen, Organisationen und Behörden nutzen eine Postfach- und Kommunikations-Lösung für alles, so Braun. Daher ist die Empfehlung „die Frontends der bestehenden Lösungen wie MeinJustizpostfach, BundID und OZG-PLUS-Konto in einen Client zusammenzuziehen, der als ein Produkt weiterentwickelt wird“.

Ob es dazu kommt, hänge aber von weiteren Entscheidungen ab, zum Beispiel davon, ob es ein zentrales Verwaltungsportal geben soll. Technisch seien verschiedene Anwendungen denkbar.

Ein paar Designziele stehen jedoch fest: Ende-zu-Ende-Verschlüsselung, Echtzeitverhalten, Mobilfähigkeit und Standards aus offenen und wachsenden Ökosystemen wie Matrix. Außerdem ein Anspruch und rechtliche Vorgabe: Die Kommunikation muss bidirektional verlaufen können – „alles von der Zustellung von Bescheiden bis zu Rückfragen an Behörden über Chat“.

Wichtig sei, dass es im Backend ein koordiniertes einheitliches Produktmanagement gibt, so Braun.

Eine lange Liste von Anforderungen

Das ZaPuK-Team nahm im September seine Arbeit auf. Seither „haben wir alle Postfächer beleuchtet: elektronisches Gerichts- und Verwaltungspostfach, Telematik-Infrastruktur aus dem öffentlichen Gesundheitswesen, zentrales Bürgerkonto, OZG-Plus, De-Mail. Dabei haben wir rund 900 Anforderungen ermittelt und auf 160 konsolidiert“, so Andreas Altmann gegenüber netzpolitik.org. Eine entsprechende Liste ist auf OpenCode öffentlich einsehbar wie auch eine weitere Dokumentation des Vorhabens.

Dort können Interessierte technische Überlegungen des Teams nachvollziehen, bewerten, kommentieren und diskutieren. „Wir sind da für jede Meinung, für jeden konstruktiven Beitrag echt dankbar“, so Altmann.

Teil der Auswertung waren zudem Best-Practice-Beispiele, Dokumente und Interviews mit den Betreibern der bestehenden Postfach-Lösungen. Was sind Gemeinsamkeiten, wo unterscheiden sich die Ansprüche? Organisationskonten müssen andere Anforderungen erfüllen als Privatkonten. „Zeitstempel sind zum Beispiel für den elektronischen Rechtsverkehr wichtig, aber nicht per se in anderen Verwaltungskontexten“, erklärt Braun.

Auch gut 60 Gesetze und Verordnungen bezog das Team für die Zielarchitektur ein, so Altmann, vor allem die Datenschutzgrundverordnung, die Single-Digital-Gateway-Verordnung, eIDAS unter anderem. Die Idee sei, dass die Anforderungen langfristig als MUSS zu lesen sind, erklärt Braun. Für die nächste Phase sei ein juristisches Gutachten zur Frage angedacht, was möglich ist und was verändert werden müsste.

Viele Akteure, viele Gespräche

Dafür hat das Team Zeit bis zur 50. Sitzung des IT-Planungsrats im Sommer 2026. Und auch weitere Fragen soll es bis dahin klären: Wie wird das Vorhaben finanziert? Welche Standardisierungsbedarfe gibt es? Wie wird der Weg für bestehende Lösungen in die gemeinsame Infrastruktur geebnet?

Es gebe riesige IT-Infrastrukturen, so Braun. Da könne man nicht einfach unbedarft an den einzelnen Schrauben drehen. „Unser Ansatz ist maximal konstruktiv. In vielen Domänen funktioniert schon vieles sehr gut.“

Jetzt gelte es, mit den Verantwortlichen der jeweiligen Lösungen zu klären, auszuhandeln, teilweise neu zu erarbeiten, was realistisch möglich sei. Neben vielen anderen sind Gesprächspartner die Betreiber von KONSENS-Verbund (koordinierte neue Softwareentwicklung der Steuerverwaltung), Unternehmenskonto, BundID-Konto, Telematik sowie elektronischem Gerichts- und Verwaltungspostfach.

Braun ist zuversichtlich: „Wir haben mitgedacht, dass die verschiedenen Verwaltungsbereiche ihre eigene Backend-Infrastruktur betreiben können, wenn sie das wollen. Sofern Verwaltungen die Anschlussbedingungen an diese Kommunikations-Infrastruktur erfüllen, kann Behörde X im Land Y sich theoretisch dazu entscheiden, die selbst zu implementieren und sich damit an die Architektur anzuschließen.“

Die Verantwortung für den Betrieb hätten Verwaltungen demnach im eigenen Haus. Für diese dezentral organisierte Infrastruktur seien Matrix, aber auch Mastodon Vorbilder gewesen. Die Hypothese sei: „Wenn jeder für das eigene Backend verantwortlich ist, ist es auch einfacher, diversen rechtlichen Auflagen gerecht zu werden.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Bei der Wahlsoftware gibt es in Deutschland einen relevanten Hersteller: die votegroup GmbH. Ihre Eigentümerstruktur offenbart ein Geflecht aus Kommunen, kommunalen Beteiligungen und regionalen IT-Dienstleistern.

Deutschland wählt analog. Das gilt auch für die Bundestagswahl am 23. Februar. Doch neben Stift, Papier und Briefumschlägen kommt in Deutschland auch Software zum Einsatz. Am Wahltag selbst werden damit etwa sogenannte Schnellmeldungen erstellt, diese bilden die Basis des vorläufigen Ergebnisses für einzelne Wahlkreise, Bundesländer und die Bundesrepublik als Ganzes.

Doch wem gehören diese Softwareprodukte eigentlich? Warum ist der Quellcode nicht öffentlich? Und was hat das alles mit Aachen zu tun?

Qualitätsmängel und Fehler in der Vergangenheit

An den eingesetzten Software-Produkten gibt es immer wieder Kritik. Im September berechnete die Wahlsoftware in Sachsen die Sitzverteilung des vorläufigen Ergebnisses zunächst falsch. Dadurch sah es so aus, als würde die AfD eine Sperrminorität im Landtag bekommen. Das musste später korrigiert werden. Auch wenn die Korrektheit des eigentlichen Wahlergebnisses dadurch nie gefährdet war: Demokratiefeinde nutzten die Panne für Verschwörungserzählungen. Welche Software von welchem Hersteller in Sachsen eingesetzt wurde, hält der Landeswahlleiter aus „Sicherheitsgründen“ geheim.

Sicherheitsforschende innerhalb und außerhalb des CCC fanden zudem immer wieder Sicherheitsmängel. Zuletzt zeigten Linus Neumann und Thorsten Schröder auf dem 38. Chaos Communication Congress, dass auch eine aktuelle Wahlsoftware-Anwendung Qualitätslücken hat. Der zentrale Vorwurf: Die Software signiere die übermittelten Ergebnisse nicht nach gängigen und etablierten BSI-Anforderungen.

Wer stellt die Wahlsoftware her?

Der Hersteller der im Vortrag kritisierten Wahlsoftware, die votegroup GmbH, schreibt dazu auf Anfrage von netzpolitik.org: Die im Vortrag dargestellte Software habe keinerlei Bezüge zur Bundestagswahl. „Dieses Softwaremodul wird ausschließlich in Rheinland-Pfalz zu den Kommunalwahlen verwendet, um die Stimmen einzelner Stimmzettel zu erfassen. Die angesprochene Signierung der Konfiguration, Transportmedien und Ergebnisse können verbessert werden. Auch könnten sicherere (digitale) Transportwege eingerichtet werden.“ Dies scheitere aber oft an dem Nichtvorhandensein einer dafür notwendigen Infrastruktur und sicherer Netzanbindungen.

Die votegroup GmbH ist nicht nur Herstellerin dieser einen Software. Sie ist der Platzhirsch unter den Wahlsoftware-Herstellern in Deutschland. Seinen Sitz hat das Unternehmen in Aachen, entwickelt wird an den Standorten in Berlin und Gütersloh. Die votegroup GmbH ist der Nachfolger der vote iT GmbH. Nach den Angaben von Geschäftsführer Dieter Rehfeld setzen über 90 Prozent der Kommunen Wahlsoftware der votegroup ein, ebenso die Bundeswahlleiterin und sieben Landeswahlleitungen.

Wir haben alle Landeswahlleiter:innen angefragt, welche Software sie verwenden und welche die Kommunen in ihrem Land. Das Ergebnis: Entweder verwenden sie selbst-entwickelte Lösungen – oder Produkte der votegroup. Keine einzige Landeswahlleitung nannte Produkte eines anderen Herstellers. Eine Online-Übersicht der votegroup nennt alleine für die Software „votemanager“ 3.161 Gemeinden, Städte und Verwaltungsgemeinschaften.

Diese marktbeherrschende Stellung hat sich die heutige votegroup in den letzten Jahren durch mehrere Übernahmen erarbeitet. Ihr Mutterkonzern kaufte 2016 den Hersteller von PC-Wahl. 2020 übernahm die votegroup (damals noch vote iT) IVU.elect. Auch die WRS Softwareentwicklung GmbH ist seit Dezember 2019 vollständig im Besitz der votegroup, das zeigen Dokumente aus dem Handelsregister.

Diese Unternehmensgeschichte erklärt auch, warum so viele unterschiedliche Softwareprodukte in Deutschland eingesetzt werden, obwohl sie zum gleichen Hersteller gehören. Auf netzpolitik.org-Anfrage erklärt die votegroup, dass „elect“, „Elect-WAS“, „IVU-elect“, „votemanager“, „Wahlabwicklungssystem (WAS)“ und „Wahlmanager“ eigenständige Produkte sind. Aktuell bestehe das Produktportfolio aus den Softwareprodukten votemanager und elect, schreibt die votegroup.

Wem gehört die votegroup GmbH?

Die votegroup ist vollständig in der Hand kommunaler IT-Dienstleister. 70 Prozent der Anteile hält die regio iT, ein kommunaler IT-Dienstleister für Aachen und die Region. Die Anstalt für Kommunale Datenverarbeitung Bayern (AKDB) hält weitere 20 Prozent der Anteile. Der Rest verteilt sich auf unterschiedliche kommunale IT-Dienstleister sowie den Wahlsoftware-Anwender-Verein.

Die kommunalen IT-Dienstleister wiederum sind mehr oder weniger direkt in der Hand der Kommunen. So ist das auch im Gesellschaftsvertrag der votegroup vorgesehen.

Dabei ist die Beteiligung der Kommunen durchaus unterschiedlich ausgeprägt. An der Regio iT ist beispielsweise die Stadt Aachen stark beteiligt, mit mindestens 47 Prozent. 10 Prozent der Anteile hält sie direkt, den Rest über die Energieversorgungs- und Verkehrsgesellschaft, welcher der Stadt zu 99,99 Prozent gehört.

Die AKDB wiederum wird getragen von den vier kommunalen Spitzenverbänden in Bayern, also den Interessenvertretungen der Kommunen.

Sind dann die Kunden nicht auch gleichzeitig die Eigentümer?

Dass die Kunden mittelbar auch gleichzeitig die Eigentümer der votegroup sind, ist auch im Gesellschaftervertrag geregelt. In diesem heißt es in §3: „Abnehmer der Leistungen können ausschließlich Gesellschafter bzw. die Mitglieder von Gesellschaftern sein. [..]“

Zum Teil kaufen die Kommunen die Software selbst, zum Teil kaufen zuerst die IT-Dienstleister die Software – um sie dann an Kommunen weiterzuverkaufen. Die AKDB beispielsweise bezeichnet sich als „Vertriebspartner“ der votegroup für Bayern. Sie sieht in dieser Doppelrolle keinen Interessenskonflikt. Es ermögliche der AKDB „vielmehr im Sinne ihrer Rolle für die bayerischen Kommunen auch deren Anforderungen an das Wahlprodukt mit in den Entwicklungsprozess einfließen lassen zu können.“

Auch die votegroup sieht in dieser Doppelrolle ihrer Gesellschafter/Kunden keinen Widerspruch: „Im Rahmen der interkommunalen Zusammenarbeit haben sich Kommunen und kommunale Unternehmen zusammengeschlossen, um Wahlsoftware in öffentlicher Hand sicher zu entwickeln und zu betreiben.“

Die Konstruktion mit den IT-Dienstleistern hat für die Kommunen weitere Vorteile: Laut dem Wissenschaftlichen Institut für Infrastruktur und Kommunikationsdienste können die IT-Dienstleister in der Regel „Inhouse-Geschäfte“ mit den Kommunen, die Träger, Mitglieder oder Gesellschafter der Unternehmen sind, abschließen. „Das bedeutet, dass die Kommunen Aufträge an sie direkt vergeben können. Die Aufträge sind mehrwertsteuerfrei und verursachen einen geringeren organisatorischen Aufwand, da keine Vergabeverfahren durchgeführt werden muss.“ Das betrifft nicht nur Wahlsoftware, sondern alle möglichen Arten von Software.

Trotz der Tatsache, dass die (End-)Kunden zumindest zum Teil gleichzeitig die Eigentümer sind, ist das Geschäft der votegroup profitabel. Laut ihren Jahresabschlussberichten erzielte die votegroup GmbH (damals noch unter dem Namen „vote iT“) in den Jahren 2021 und 2022 zusammengerechnet einen Gewinn von etwa 2 Millionen Euro.

Was passiert mit dem Gewinn?

Die votegroup schreibt dazu auf Anfrage: „Die votegroup GmbH muss für die sichere Weiterentwicklung der Software, für die wirtschaftliche Stabilität der Gesellschaft und für das Investment (Zinsen und Tilgung) ihrer Gesellschafter eine auskömmliche Rendite erwirtschaften.“

Wie die votegroup auf Anfrage bestätigt, floss der Gewinn in der Vergangenheit an die Gesellschafter zurück. In wie vielen Jahren das geschah und um welche Summen es insgesamt geht, ist unklar. Allerdings bleibt das Geld nicht nur bei den IT-Dienstleistern, also vor allem der regio iT und der AKDB. Die regio iT schüttet Ihren Gewinn zum Teil auch an ihre Gesellschafter aus.

So steht im Haushaltsplan der Stadt Aachen (2024, S. 3666), dass die Stadt „für Ihren direkten Anteil für das Geschäftsjahr 2022“ eine Nettogewinnausschüttung von 713.000 Euro erhielt. Im Vergleich zur Gesamtgröße des Haushaltsplans ist das ein sehr geringer Posten. Der Haushalt der Stadt Aachen umfasst zwischen 1,2 und 1,3 Milliarden Euro. Auf eine Anfrage von netzpolitik.org reagierte die Stadt Aachen nicht.

Die AKDB wiederum teilt mit, dass sie „als sogenannte ‚Selbsthilfeeinrichtung der Kommunen‘ und als Anstalt des öffentlichen Rechts“ nicht gewinnorientiert arbeite. „Alle Erlöse bleiben im Unternehmen und dienen nicht nur zur Deckung des laufenden Aufwands, sondern insbesondere auch der Neu- und Weiterentwicklung unserer Lösungsangebote.“

Unabhängig der konkreten Gewinnsummen bleibt die Frage: Wie sinnvoll ist die aktuelle Struktur, bei der eine Gesellschaft mit großem Aachener Anteil fast alle Kommunen in Deutschland mit Wahlsoftware beliefert?

Public Money – Secret Code?

So ist fraglich, warum die von der Öffentlichkeit bezahlte und im Besitz staatlicher Unternehmen befindliche Software nicht auch der Öffentlichkeit zur Verfügung steht – getreu dem Grundsatz: „Public Money – Public Code“. Jutta Horstmann, Geschäftsführerin des Zentrums für Digitale Souveränität in der öffentlichen Verwaltung (ZenDis), erklärt auf Anfrage, es gehe um mehr „Public Money – Public Code“. „Bei allen kritischen Systemen muss der Staat höchste Anforderungen an Digitale Souveränität und Transparenz anlegen.“

Im Fall von Wahlsoftware komme verschärfend hinzu, dass eine Wahl nicht einfach ein administrativer Prozess ist, sondern „konstituierend für die Demokratie“. Bürger:innen müssen den Wahlen und den Wahlergebnissen vertrauen. „Das geht nur, wenn der Code der verwendeten Software quelloffen und damit transparent ist“, bekräftigt Horstmann.

Mehrere Landeswahlleiter:innen verweisen darauf, dass das amtliche Endergebnis nicht von Software, sondern den gedruckten Stimmzetteln abhängt. „Alle Wahlunterlagen können und werden im Falle ihrer Entscheidungserheblichkeit bei Anfechtungs- und Wahlprüfungsverfahren auch zur Überprüfung herangezogen“, sagt etwa die Landeswahlleiterin des Saarlands.

Gegen die Veröffentlichung von Wahlsoftware führen Teile der Verwaltung Sicherheitsbedenken an. „Eine Veröffentlichung des Quellcode erfolgt insbesondere nicht, um die Sicherheit des Verfahrens zu gewährleisten“, schreibt etwa die Landeswahlleitung aus Rheinland-Pfalz, die gemeinsam mit Hessen eine Eigenentwicklung nutzt. Der CCC und andere argumentieren hingegen: Sicherheit durch Geheimhaltung funktioniere nicht, stattdessen würden Schwachstellen durch eine Offenlegung schneller bekannt – und die Software somit sicherer.

Wer steht in der Verantwortung?

Aus Sicht der Geschäftsführerin von ZenDis zeigt sich in der Debatte um Wahlsoftware auch ein generelles Problem: „Wir brauchen endlich einen Vorrang für Open-Source-Software im Vergaberecht. Verbunden mit dem klaren Ziel, die Beschaffung bis 2035 vollständig auf Open-Source-Software umzustellen und bis dahin einen schrittweise steigenden Open-Source-Mindestanteil bei Beschaffungsvorgängen und in Rahmenverträgen verpflichtend zu machen“, sagt Horstmann.

Auch viele Wahlleiter:innen aus Bund und Ländern verweisen auf eine fehlende Rechtsgrundlage und sehen keine Notwendigkeit einer Veröffentlichung.

Zudem schreibt uns die Landeswahlleiterin des Saarlands: „Eine Veröffentlichung des Quellcodes einer (Wahl)Software bedürfte der Einwilligung des jeweiligen Softwareherstellers.“ Die votegroup wiederum spielt den Ball zu den Kunden zurück: „Die Software kann nur in Abstimmung mit den jeweiligen Kunden veröffentlicht werden.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Anfang Februar 2025 gelten die ersten Regel aus dem AI Act. Das Gesetz soll die Gefahren sogenannter Künstlicher Intelligenz eindämmen. Tatsächlich enthält es zahlreiche Ausnahmen. Vor allem Frankreich verhandelte Schlupflöcher mit potenziell weitreichenden Folgen für Europas Grundrechte.

Dieser Artikel wurde von dem Journalistenteam Investigate Europe recherchiert, das aus Reporterinnen und Reportern aus elf europäischen Staaten besteht. Die Recherche wird gemeinsam mit Medienpartnern wie Disclose (Frankreich), EU Observer (Belgien), Il Fatto Quotidiano (Italien), InfoLibre (Spanien), Publico (Portugal) und Efsyn (Griechenland) veröffentlicht.

Ab dem 2. Februar 2025 sind KI-Systeme, die ein unannehmbares Risiko darstellen, in der EU verboten. Das ist im AI Act, der europäischen KI-Verordnung, geregelt. Die ersten dieser Regeln werden bald gültig, bei anderen dauert es noch etwas. Aber der AI Act enthält Ausnahmen und Schlupflöcher. Deshalb dürfen etwa Strafverfolgungsbehörden weiter Gesichtserkennung auf Videoüberwachungsbilder anwenden und an der Grenze dürfen automatisiert die mutmaßlichen Emotionen von Geflüchteten ermittelt werden. Das sind nur einige der Punkte, die die EU-Staaten in den europäischen AI Act hineinverhandelt haben. Dabei sollte das Gesetz eigentlich die zahlreichen Grundrechtsbedenken beim Einsatz von KI-Systemen ausräumen.

Grund für die Ausnahmen ist unter anderem die geheime Lobbyarbeit Frankreichs und anderer EU-Staaten. Das zeigen interne Dokumente aus den Verhandlungen, die Investigate Europe vorliegen. Sie zeichnen ein Bild von Gesprächen, in denen es den Mitgliedstaaten gelang, den Gesetzestext zu verwässern und damit Polizei und Grenzschützern die Möglichkeit zu geben, Bürgerinnen und Bürger heimlich zu überwachen.

Ausnahmen für die „nationale Sicherheit“

„Eine Reihe von bürokratischen Schlupflöchern führt dazu, dass der AI Act nicht das Gesetz zum Schutz der Menschenrechte ist, auf das viele gehofft hatten“, sagt die Direktorin der Brüsseler Nichtregierungsorganisation Equinox, Sarah Chander, die sich gegen rassistische Diskriminierung einsetzt. „In Wirklichkeit ist der AI Act ein industriefreundliches Instrument, das den europäischen KI-Markt schnell voranbringen und den öffentlichen Dienst digitalisieren soll.“

Für die Recherche konnte Investigate Europe mehr als 100 Dokumente aus den Sitzungen des COREPER-Ausschusses sichten, in dem sich die ständigen Vertreter:innen der 27 Mitgliedstaaten treffen. Sie bereiten die Sitzungen des Rats der EU vor. Die Journalistinnen und Journalisten konnten auch mit mehreren Personen sprechen, die an den Verhandlungen beteiligt waren. Sie zeigen, wie Frankreich strategische Änderungen im Gesetzestext durchsetzen konnte.

Das KI-Gesetz verbietet den Einsatz von Gesichtserkennungssystemen im öffentlichen Raum. Ausnahmen, die von der Regierung Macron und ihren Unterstützern in das Gesetz hineinverhandelt wurden, ermöglichen es jedoch, dass Strafverfolgungsbehörden und Grenzschutzbeamte sich nicht immer an dieses Verbot halten müssen. Dies könnte beispielsweise dazu führen, dass Klimademonstrationen oder politische Proteste mit Hilfe von KI überwacht werden, wenn die Behörden eine Gefährdung der „nationalen Sicherheit“ befürchten.

Harter Kampf um Gesichtserkennung

In einer COREPER-Sitzung im November 2022 brachte der französische Verhandlungsführer die Wünsche seiner Regierung unmissverständlich zum Ausdruck. Er habe gefordert, dass „die Ausnahme von Sicherheit und Verteidigung vom Anwendungsbereich unbedingt beibehalten werden muss“, heißt es in einem Protokoll der Sitzung. Damit bezog er sich auf eine Passage im damaligen Gesetzentwurf, laut der nur das Militär Echtzeit-Gesichtserkennung im öffentlichen Raum einsetzen dürfen sollte. In einer späteren Sitzung unterstützten mehrere Staaten die französische Forderung, darunter Italien, Schweden, Finnland, Tschechien, Litauen, Rumänien, Ungarn und Bulgarien.

„Das war einer der härtesten Kämpfe, den wir am Ende verloren haben“, erinnert sich einer der Verhandlungsführer im Gespräch mit Investigate Europe, der seinen Namen nicht in diesem Bericht lesen möchte. Die endgültige Fassung des Gesetzes erlaubt es Staaten, Überwachungstechnologien einzusetzen, wenn es um die nationalen Sicherheit geht.

In der Praxis könnten sich dank dieser Regelung auch private Unternehmen sowie Drittstaaten an der Überwachung von EU-Bürgern beteiligen, wenn sie den Sicherheitsbehörden des Landes KI-Technologie zur Verfügung stellen. Das Gesetz sieht vor, dass die Überwachung zulässig ist – „unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt“.

Schlupfloch für private Unternehmen

„Dieser Artikel verstößt gegen jede Verfassung, gegen die Grundrechte und gegen europäisches Recht“, sagt ein Jurist der konservativen EVP-Fraktion im Europäischen Parlament im Gespräch mit Investigate Europe. „Frankreich könnte zum Beispiel die chinesische Regierung bitten, mit ihren Satelliten Fotos zu machen und diese an die französische Regierung zu verkaufen.“

Die Ausnahme widerspreche auch Urteilen des Europäischen Gerichtshofs, sagt die Rechtswissenschaftlerin Plixavra Vogiatzoglou von der Universität Amsterdam. In den Jahren 2020 und 2022 hatten die Luxemburger Richter geurteilt, dass französische Telekommunikationskonzerne gegen EU-Recht verstoßen hätten, weil sie Daten aus Gründen der nationalen Sicherheit gespeichert hätten. Vogiatzoglou: „Der EU-Gerichtshof hat gesagt, dass private Unternehmen nicht vom EU-Recht ausgenommen sind, auch wenn sie in Fragen der nationalen Sicherheit involviert sind.“

Auch außerhalb der Ratsverhandlungen hat Frankreich in den vergangenen Jahren auf den Einsatz von Überwachungstechnologien gedrängt. So genehmigte das Verfassungsgericht des Landes im Mai 2023 den Einsatz von KI-Systemen zur Videoüberwachung während der Olympischen Spiele in Paris. Diese Maßnahme wurde von Amnesty International als „ernsthafte Bedrohung für bürgerliche Freiheiten und demokratische Prinzipien“ kritisiert. In Zukunft könnte diese Ausnahme zur Regel werden.

Emotionserkennung an der Grenze erlaubt

Ab dem 2. Februar außerdem verboten sind KI-Systeme zur Emotionserkennung am Arbeitsplatz, in Schulen und Universitäten. Außerdem dürfen Unternehmen die Technologie nicht nutzen, um das Verhalten potenzieller Kunden in ihren Geschäften zu analysieren. Auch Arbeitgeber dürfen sie nicht einsetzen, um festzustellen, ob ihre Mitarbeiter zufrieden oder traurig sind. Dank des Einsatzes Frankreichs und anderer EU-Länder dürfen Sicherheitsbehörden und Grenzschützer die Systeme künftig jedoch nutzen.

Bei einer Verhandlungssitzung von COREPER am 29. November 2023 betonte der dänische Vertreter, dass ein Verbot „verhältnismäßig sein muss und nur dann gelten darf, wenn die Gefahr einer Diskriminierung besteht“. Die Niederlande, Portugal und die Slowakei vertraten bei dem Treffen eine ähnliche Position und äußerten sich kritisch zu einer Ausweitung des Verbots auf die Strafverfolgung.

Eine weitere umstrittene Anwendung von KI sind biometrische Kategorisierungssysteme. Deren Betreiber versprechen, damit die ethnische Zugehörigkeit oder sogar die sexuelle Orientierung einer Person bestimmen zu können. Das neue EU-Gesetz verbietet zwar ihren Einsatz, aber hier gibt es ebenfalls eine Ausnahme für Strafverfolgungsbehörden: „Dieses Verbot erstreckt sich nicht auf die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze … auf der Grundlage biometrischer Daten oder auf die Kategorisierung biometrischer Daten“.

Auch hier war es Frankreich, das die Beschränkungen des AI Act aufweichte. In einem schriftlichen Kommentar zum Gesetzentwurf schrieben die französischen Verhandlungsführer am 24. November 2023, es sei „sehr wichtig, die Suche nach einer Person zu ermöglichen, … die ihre religiösen oder politischen Ansichten zum Ausdruck bringt und beispielsweise ein Abzeichen trägt, wenn diese Person in gewalttätigen Extremismus verwickelt ist oder ein terroristisches Risiko darstellt“.

Gesichtserkennungssoftware kann in Echtzeit eingesetzt werden, wenn dies für die Strafverfolgungsbehörden „unbedingt erforderlich“ ist. Die Polizei kann die Technologie bei Ermittlungen zu 16 bestimmten Straftaten einsetzen, darunter „Umweltkriminalität“. Mehrere Staaten drängten darauf, die Liste um Dutzende von Straftaten zu erweitern. Aus dem Protokoll einer COREPER-Sitzung vom November 2023 geht hervor, dass Frankreich auf eine Ausweitung des Anwendungsbereichs drängte. Unterstützt wurde es dabei von den Vertreter:innen aus Italien, Zypern, Estland, Lettland, Bulgarien und Ungarn.

In derselben Verhandlungssitzung forderte der griechische Vertreter, dass Gefängnisse und Grenzgebiete ausdrücklich von jeglichem Verbot ausgenommen werden sollten. Vielmehr sollten die Behörden die Möglichkeit haben, Bürger und Geflüchtete mit Echtzeit-Überwachungstechnologie zu überwachen.

„Ende der Anonymität“

Mit biometrischen Systemen könnten Millionen von Gesichtern überwacht und mit nationalen Datenbanken abgeglichen werden, um Personen zu identifizieren. Der Einsatz dieser Technologie im öffentlichen Raum würde „das Ende der Anonymität an diesen Orten“ bedeuten, warnte bereits 2020 European Digital Rights. Zivilgesellschaftliche Organisationen warnen seit langem davor, dass der AI Act die Grundrechte in Europa massiv einschränken könnte.

„Wir leben in einem Klima, in dem unsere Regierungen auf immer mehr Ressourcen, Gesetze und Technologien drängen, um Menschen in ihrem Alltag leichter zu überwachen, zu kontrollieren und zu bestrafen“, sagt die Gründerin der Brüsseler Anti-Rassismus-Organisation Equinox, Sarah Chander. „Wir entfernen uns immer weiter von einer Zukunft, in der die wir unsere Ressourcen für soziale Vorsorge und Schutz ausgeben statt für Überwachungstechnologie.“

Als am 6. Dezember 2023 die letzte Verhandlungsrunde zwischen Rat, Parlament und Kommission über die endgültige Fassung des AI Act begann, drängte die spanische Ratspräsidentschaft darauf, den Gesetzestext noch vor den Europawahlen im Juni 2024 zu verabschieden. Offenbar fürchteten die spanischen Diplomaten das Erstarken rechtsradikaler Parteien. Ein Beamter, der an den Gesprächen teilnahm und um Anonymität bat, berichtete Investigate Europe, dass die Unterhändler eineinhalb Tage lang verhandelten. „Wir waren erschöpft, und erst nach einer durchverhandelten Nacht begannen wir um 6 Uhr morgens, über Verbote zu sprechen“, erinnert er sich heute. „Am Ende haben wir erreicht, dass jedes Produkt von einer unabhängigen nationalen Behörde zugelassen werden muss.“

Selbstzertifizierung möglich

Der Einsatz sogenannter Hochrisikotechnologien wie Echtzeitüberwachung ist an bestimmte Bedingungen geknüpft, darunter ein Gerichtsbeschluss, die Registrierung in einer europäischen Datenbank und eine Folgenabschätzung zur Wahrung der Grundrechte. Doch auch hier wurden die strengen Regeln in den Verhandlungen teilweise aufgeweicht. So fügten die Verhandlungsführer dem Gesetz einen Artikel hinzu, der es Unternehmen erlaubt, eine Selbstzertifizierung auszufüllen und damit zu entscheiden, ob es sich bei ihrem Produkt um eine Hochrisikotechnologie handelt oder nicht.

Investigate Europe liegt ein internes Arbeitspapier des juristischen Dienstes des Europäischen Parlaments vor, das diese Lösung in Frage stellt. „Den Unternehmen wird ein hohes Maß an Subjektivität überlassen, was im Widerspruch zum Ziel des AI Act steht, das Risiko von Hochrisiko-KI-Systemen zu regulieren.“

Tatsächlich dürften die Verhandlungspartner auch von dem Interesse getrieben gewesen sein, ihre eigenen Wirtschaftsunternehmen zu schützen. Die Regierung Macron warnte in einer Verhandlungsrunde am 15. November 2023, dass ohne einen breiten Einsatz von KI-Technologien „die Gefahr besteht, dass Unternehmen ihre Aktivitäten in Regionen verlagern, in denen Grundrechte keine Rolle spielen“.

Konkrete Auswirkungen noch nicht absehbar

Es bleibt abzuwarten, inwieweit die Mitgliedstaaten die Ausnahmen nutzen werden. Der niederländische Anwalt für digitale Rechte, Anton Ekker, glaubt, dass die Ausnahmen in der Praxis kaum Auswirkungen haben werden. „Ich bin sehr kritisch, wenn ein Staat Algorithmen einsetzt. Aber zu sagen, dass alles erlaubt ist, weil es Ausnahmen gibt, ist nicht richtig“, sagte er in einem Interview mit Investigate Europe. „Es gibt viele nationale Verfassungen, die Grundrechte schützen.“

Professorin Rosamunde van Brakel forscht an der Vrije Universiteit Brüssel zu ethischen Fragen rund um den Einsatz von KI. Sie befürchtet, dass das Gesetz Betroffenen kaum helfen wird. „In den meisten Fällen greifen Regulierung und Aufsicht erst, nachdem es zu einem Verstoß gekommen ist. Vorher schützen sie uns nicht“, sagt sie. „Außerdem betreffen KI-Anwendungen im öffentlichen Sektor oft schutzbedürftige Bevölkerungsgruppen, die nicht in der Lage sind, eine Beschwerde einzureichen oder darauf zu vertrauen, dass eine Beschwerde ernst genommen wird.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Der Digital Markets Act der EU zwingt große Anbieter wie Apple, ihre Systeme für den Wettbewerb zu öffnen. Doch wie dies im Detail aussehen soll, ist hart umkämpft. Zivilgesellschaftliche Gruppen fordern nun von der EU-Kommission, Apple zu einem besseren Zusammenspiel mit der Konkurrenz zu zwingen.

Apple soll seine Betriebssysteme, die vom Digital Markets Act (DMA) erfasst werden, von Grund auf auf Interoperabilität ausrichten. Das fordern zivilgesellschaftliche Gruppen wie die Free Software Foundation Europe (FSFE) und European Digital Rights (EDRi) in einer gemeinsamen Stellungnahme. Diese hatte die EU-Kommission in einer letzte Woche zu Ende gegangenen öffentlichen Konsultation von interessierten Parteien eingeholt.

Der seit März des Vorjahres EU-weit geltende DMA soll sicherstellen, dass besonders große Digitalunternehmen ihre Marktmacht nicht missbrauchen. Als sogenannte Gatekeeper eingestufte Unternehmen und die von ihnen angebotene Dienste unterliegen eigenen Regeln. Zudem drohen ihnen bei Verstößen empfindliche Geldbußen von bis zu 10 Prozent des weltweiten Jahresumsatzes.

Apple zählt zu den insgesamt sieben IT-Firmen, die bislang von der EU-Kommission zu Gatekeepern erklärt worden sind. Im Fokus stehen hierbei der App Store, der Browser Safari sowie die mobilen Betriebssysteme iOS und iPadOS.

Apple muss seine Systeme öffnen

Als Folge des DMA muss Apple etwa alternative Vertriebswege für Apps bereitstellen, das Zusammenspiel von Smartwatches oder Kopfhörern anderer Hersteller mit seinen Betriebssystemen verbessern oder Airplay und Airdrop für Dritt-Anbieter ohne Hindernisse freigeben. Einige Auflagen setzt Apple bereits mal mehr, mal weniger um, gegen andere wehrt sich das US-Unternehmen teils juristisch, teils politisch. Im Falle des Messenger-Dienstes iMessage hat die Kommission nach einem Einspruch von Apple letztlich darauf verzichtet, ihn zu einem „zentralen Plattformdienst“ zu erklären.

In der jüngsten Konsultation der EU-Kommission ging es um Regulierungsvorschläge, die Brüssel im Dezember vorgelegt hatte. Demnach soll Apple eine Reihe an konkreten Maßnahmen ergreifen, um bestimmte Vorgaben des DMA vollumfänglich umzusetzen. Unter anderem geht es um Details der im EU-Gesetz skizzierten Regeln zur Interoperabilität.

Grundsätzlich sollen Dritt-Entwickler:innen etwa auf tief in den Betriebssystemen verankerte Funktionen zugreifen dürfen, die zuvor nur Apple offenstanden. Allerdings hat das Unternehmen eigene Vorstellungen davon, wie dieser Zugriff aussehen soll. Derzeit sieht der von Apple in die Welt gesetzte Prozess ein mühseliges Antragsverfahren vor, dem sich Entwickler:innen unterwerfen müssen – ohne Garantie, dass der gewünschte Zugriff letztlich wirklich gewährt wird.

NGOs fordern deutlich mehr Offenheit

Damit sind weder die EU-Kommission noch die Open-Source-Community zufrieden. In ihrer Stellungnahme drängen die zivilgesellschaftlichen Gruppen nun darauf, eine langfristig tragbare Lösung zu finden. „Wir begrüßen die Schritte der Europäischen Kommission, wirksame und transparente Maßnahmen von Apple zu fordern, aber eine grundlegende Umstellung auf ‚Interoperabilität durch Design‘ wäre die wirkungsvollste Verbesserung“, sagt Lucas Lasota von der FSFE.

Beim DMA gehe es nicht nur darum, so Lasota weiter, den Wettbewerb zwischen Gatekeepern zu regulieren, sondern auch darum, gleiche Wettbewerbsbedingungen für KMU und kleinere Softwareentwickler zu schaffen. Daher sei es von „entscheidender Bedeutung, Apples Ansatz zur Interoperabilität einer strengen Prüfung durch die Kommission und die Zivilgesellschaft zu unterziehen.“ Im Moment sei der von Apple gewählte Ansatz „offensichtlich mangelhaft und strukturell nicht in der Lage, die von der DMA geforderte effektive Interoperabilität zu gewährleisten“, führt die Stellungnahme näher aus.

Neben dieser grundlegenden Umstellung fordert die Stellungnahme eine längst überfällige, möglichst lückenlose und diskriminierungsfreie Dokumentation von Programmierschnittstellen, sogenannten APIs. Die Dokumentationen müssten zudem öffentlich zugänglich und kostenlos zur Verfügung stehen. Auch dürften Entwickler:innen nicht willkürlich von Apple gezwungen werden, Verschwiegenheitserklärungen zu unterzeichnen.

Verbesserungsbedarf sehen die NGOs auch beim Verifikationsprozess sowie beim von der Kommission vorgeschlagenen Feedback- und Bug-Tracking-System. Zudem solle Apple nicht willkürlich angebliche Sicherheitsbedenken ins Feld führen dürfen, um Wünsche nach Interoperabilität abzuschmettern. Außerdem sollte „Technologieneutralität“ ausdrücklich in den Regeln festgeschrieben und ein transparentes Tracking-System sowie eine kollaborative Plattform für Entwickler:innen eingerichtet werden.

Apple warnt vor Abschwächung der IT-Sicherheit

Auf den von der EU-Kommission im Dezember vorgelegten Vorschlag reagierte Apple bislang zurückhaltend. So habe das Unternehmen mehr als 250.000 APIs entwickelt, auf die Entwickler:innen Zugriff hätten, teilte es gegenüber Heise mit. Eine allzu freizügige Umsetzung von Interoperabilitätsvorschriften könnte jedoch die Sicherheit gefährden, warnt das Unternehmen. Es wolle aber weiterhin konstruktiv mit der Kommission zusammenarbeiten, um „einen Weg zu finden, der unsere EU-Nutzer:innen schützt und auch die Regulierung klarer macht“.

Die EU-Kommission wird die Stellungnahmen nun prüfen und voraussichtlich bis zum Frühjahr eine endgültige Entscheidung treffen. Dabei dürften sich Änderungen ergeben, wie sie in einem Dokument andeutet: „Die eingegangenen Eingaben können zu Anpassungen der Maßnahmen führen, die in die beiden endgültigen verbindlichen Entscheidungen aufgenommen werden.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Ein neues spendenfinanziertes Projekt will bis zu 30 Millionen Dollar in die Entwicklung rund um das Bluesky-Protokoll AT Proto investieren, um dieses breiter aufzustellen. Kritiker fürchten, dass das Fediverse-Protokoll ActivityPub nur wenig von der Initiative profitieren könnte.

Eine neue Initiative, die von Internetgrößen wie Wikipedia-Gründer Jimmy Wales oder Blogger Cory Doctorow unterstützt wird, will in den nächsten Jahren 30 Millionen Dollar sammeln, um dezentrale soziale Netzwerke und Ökosysteme rund um das Bluesky-Protokoll AT Proto aufzubauen.

Erklärtes Ziel des Projektes „Free Our Feeds“ ist es, soziale Netzwerke vor dem Zugriff von Milliardären zu schützen. Hierzu will das Projekt eine Stiftung aufbauen, welche die Infrastruktur gemeinnützig und unabhängig von Bluesky betreibt. Bluesky ist ein letztlich profitorientiertes Unternehmen hinter dem angesagten Kurznachrichtendienst sowie dem Protokoll, das als offener Standard zur Verfügung steht.

Auf der Webseite von „Free Our Feeds“  heißt es, man wolle mit einer „unabhängigen Finanzierung und Verwaltung“ das AT-Protokoll in etwas verwandeln, das mehr könne als eine einzelne App: „Wir wollen ein ganzes Ökosystem aus miteinander verbundenen Apps und verschiedenen Unternehmen schaffen, denen die Interessen der Menschen am Herzen liegen.“ Dabei gehe es nicht nur darum, eine neue Social-Media-Plattform zu stärken. „Unsere Vision bietet einen Weg zu einem offenen und gesunden Social-Media-Ökosystem, das nicht von einem Unternehmen oder einem Milliardär kontrolliert werden kann“, so das Projekt weiter.

Bluesky freut sich

Das Management von Bluesky begrüßte den Schritt von Free Our Feeds: „Der Aufbau einer alternativen Infrastruktur ist ein großer Schritt, um den Nutzern mehr Auswahl zu bieten und das Netzwerk milliardärssicher zu machen“, schrieb beispielsweise Bluesky-CEO Jay Graber. Auch andere Angestellte von Bluesky begrüßten das Projekt.

Der Schritt löste aber auch Kritik aus. So bezweifelt zum Beispiel Jürgen Geuter, dass die Aktion unsere Feeds befreien wirklich würde. Irgendetwas sei an der Sache faul, er unterstellt in einem Blogbeitrag eine Interessensgleichheit zwischen dem kommerziell organisierten Bluesky und dem gerade als nicht-kommerziell vorgestellten „Free Our Feeds“. Auch sei das existierende und funktionierende ActivityPub-Protokoll nur eine Randnotiz des Projektes in den FAQ. Geuter hätte sich gewünscht, dass die Menge an Geld in die Interoperabilität von AT Proto und ActivityPub oder in das Fediverse gesteckt würde.

Grundsätzlich ist eine Interoperabilität zwischen den beiden Protokollen machbar, aufgrund technischer Unterschiede bislang jedoch nur eingeschränkt. In besagter FAQ will „Free Our Feeds“ das AT Protokoll und ActivityPub nicht als Entweder/Oder-Option sehen: „Unsere Vision ist es, dass Interoperabilität zwischen offenen Social-Media-Plattformen durch Kollaboration erreicht wird.“ Ob sich diese Absicht umsetzen lässt, bleibt vorerst offen.

Positiv zu bewerten dürfte indes sein, dass Mallory Knodel von der Social Web Foundation mit an Bord von Free Our Feeds ist. Die Foundation leistet wertvolle Arbeit rund um das Fediverse. In einem Blogbeitrag schreibt Knodel: „Diese Kampagne bietet die Möglichkeit, die Kapazitäten zu entwickeln, die für eine bessere Interoperabilität der offenen Social-Web-Protokolle – ActivityPub und Blueskys AT-Protokoll – erforderlich sind.“

Kritik an Bluesky gibt es aus verschiedenen Gründen, unter anderem, weil die zugrunde liegende Firma nicht sicher vor dem Zugriff von Investoren ist und weil die Infrastruktur nur mit sehr großem Rechen- und Kostenaufwand dezentralisierbar ist.

Exodus aus den Kommerz-Netzwerken

Die großen kommerziellen sozialen Netzwerke stehen seit Jahren wegen Datenschutzproblemen, algorithmisch verstärkter Radikalisierung, Desinformation, Hassrede und genereller „Enshittification“ in der Kritik. Seit neuestem kommt auch noch eine zunehmend nach rechts orientierte politischen Ausrichtung hinzu.

Nachdem Elon Musk Twitter kaufte, zu X umbenannte und es zur rechtsradikalen Propagandaschleuder umbaute, ist nun auch Meta-Chef Mark Zuckerberg auf einen ähnlichen Kurs eingeschwenkt. Moderationsrichtlinien bei Facebook und Instagram werden im Sinne rechter Narrative aufgeweicht, das Fact-Checking weitgehend abgeschafft und generell ein Trump-freundlicher Kurs eingeschlagen.

Das führte und führt dazu, dass alternative Netzwerke wie Mastodon oder Bluesky oder zuletzt auch die Instagram-Alternative Pixelfed großen Zuwachs erhielten. Vom Exodus aus Twitter profitierte in einer ersten Phase vor allem Mastodon, verblieb aber dann aus verschiedenen Gründen in der Nerd-Szene verwurzelt und damit auf absehbare Zeit eher ein Nischennetzwerk.

In den letzten Monaten und vor allem nach Trumps Wahlsieg konnte sich Bluesky über ein großes Wachstum erfreuen. Mittlerweile hat der Dienst eine Größe erlangt, die es etwa möglich macht, internationale Ereignisse und Entwicklungen in Echtzeit zu verfolgen. Lange Zeit war dies das letzte Alleinstellungsmerkmal von Twitter/X. Dass sich Bluesky so kometenhaft entwickelt hat, könnte ausschlaggebend für „Free Our Feeds“ gewesen sein, nun auf dieses Pferd zu setzen.

Mastodon gibt sich neue Struktur

Fast zeitgleich zum Start von „Free Our Feeds“ wird sich die Twitter-Alternative Mastodon eine neue gemeinnützige Struktur geben. Dies war notwendig geworden, weil das Finanzamt der bisherigen Organisationsform der damals in Deutschland angesiedelten Mastodon gGmbH im Frühjahr die Gemeinnützigkeit aberkannt hat.

Technisch ist Mastodon im Fediverse schon dezentral aufgestellt, es gibt aber auch dort sehr große, faktisch recht zentrale Instanzen sowie Eigentumsrechte und Urheberrechte in der Hand weniger. In einem montäglichen Statement kündigte Mastodon deswegen an:

Wir werden einfach das Eigentum an wichtigen Mastodon-Ökosystem- und Plattformkomponenten (einschließlich des Namens und der Urheberrechte sowie anderer Vermögenswerte) auf eine neue gemeinnützige Organisation übertragen und damit die Absicht bekräftigen, dass Mastodon nicht im Besitz oder unter der Kontrolle einer einzelnen Person stehen sollte.

Mit dem Schritt wird sich auch die Rolle von Mastodon-CEO Eugen Rochko ändern, der aus dieser Funktion in den nächsten Monaten austritt und sich in Zukunft mehr auf die Produktstrategie konzentrieren soll.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.