Hinter dem Erfolg von Künstlicher Intelligenz und Sozialen Medien stecken ausgebeutete Arbeiter:innen. Bei einem Fachgespräch im Deutschen Bundestag wurde heute diskutiert, wie ihre Lage verbessert werden kann. Die Botschaft der Sachverständigen war klar: Deutschland muss mehr Verantwortung übernehmen.

Im Bundestag wurde heute erstmals über die Arbeitsbedingungen von Datenarbeiter:innen hinter Künstlicher Intelligenz und Sozialen Medien diskutiert. Die Ausschüsse für Digitales und Arbeit hatten zu einem Fachgespräch zum Thema Data Labeling geladen. Die klare Botschaft der drei Sachverständigen: Wenn Deutschland auf KI setzt, dann muss es mehr Verantwortung für die Menschen im Maschinenraum der Technologie übernehmen.

Als Data Labeling oder auch Daten-Annotation bezeichnet man eine Tätigkeit, bei der Menschen zum Beispiel Bildmaterial mit Metadaten versehen, also mit Labels, die den Inhalt beschreiben. Das ist unter anderem für Machine-Learning-Systeme erforderlich, die hinter fast allem stehen, auf dem heute das Label „KI“ klebt. Die Arbeiter:innen sind selten bei den Tech-Konzernen selbst beschäftigt, sondern werden häufig unter ausbeuterischen Bedingungen bei Outsourcing-Firmen oder -Plattformen angestellt.

Seit Jahren bringen Whistleblower:innen, Aktivist:inen, Forscher:innen und Journalist:innen die unsichtbar gemachten Arbeitskräfte in die Öffentlichkeit. Auch wir auf netzpolitik.org berichten kontinuierlich darüber. Die Arbeitsbedingungen in der Branche haben sich aber kaum verbessert, weshalb Erwartungen an die Politik groß sind. Das heutige Fachgespräch, an dem sich Abgeordnete von Union, SPD, Grünen und Linkspartei beteiligten, könnte ein Anfang sein. An konkreten Ideen, wie sich die Lage der Arbeiter:innen verbessern lässt, mangelt es jedenfalls nicht.

„Sie sehen die KI, aber uns sehen Sie nicht“

Die ehemalige Datenarbeiterin Joan Kinyua war virtuell aus der kenianischen Hauptstadt Nairobi zugeschaltet. Sie habe mehr als acht Jahre in der Branche gearbeitet hat, die „Künstlicher Intelligenz dabei hilft, die Welt zu verstehen“. Für unterschiedliche Anbieter habe sie unter anderem Bilder von Straßen mit Metadaten versehen, damit selbstfahrende Autos keine Unfälle bauen. Auch mit Straßenszenen aus Berlin habe sie arbeiten müssen (lest dazu mehr in unserem kürzlich veröffentlichten Interview mit Joan).

Später habe sie auch Bilder mit Gewaltdarstellungen klassifizieren müssen, sogar solche, die Gewalt an Kindern zeigten. Gleichzeitig habe sie selbst Daten für das KI-Training erzeugen sollen, indem sie Bilder ihrer Tochter zur Verfügung stellt.

Ausgeübt habe sie die Tätigkeit meist vom eigenen Computer zuhause, über sogenannte Microwork-Plattformen – „ohne Arbeitsvertrag, Sozialversicherung oder Gesundheitsversorgung“. Oft habe sie stundenlang auf neue Aufträge warten müssen, teilweise bis zu 20 Stunden am Tag auf Stand-By. Immer wieder hätten Auftraggeber:innen ihre Ergebnisse abgelehnt. Den Input hätten sie trotzdem behalten, sie selbst sei leer ausgegangen. So habe es Tage gegeben, an denen sie in fünf Stunden nur zwei Cent verdient habe. Im Schnitt würden Datenarbeiter:innen in Kenia 250 US-Dollar im Monat verdienen, was kaum zum Überleben reiche.

Von ihrer Arbeit habe sie außerdem Panik-Attacken und Angstzustände erhalten. Wie ihr gehe es vielen in der Branche, schildert Kinyua. Als Präsidentin der kenianischen Data Labelers Association vertrete sie inzwischen die Interessen von mehr als tausend Datenarbeiter:innen. Viele von ihnen litten unter posttraumatischen Belastungsstörungen.

„Sie sehen die KI, aber uns sehen Sie nicht“, so beschrieb Joan Kinyua den Abgeordneten ihre Lage. Es sei auch in der Verantwortung des Deutschen Bundestages, das zu ändern und für bessere Bedingungen zu sorgen. Unter anderem schlug die Kenianerin Mindeststandards für Datenarbeiter:innen in Deutschland und weltweit vor. Dazu zählt auch eine Obergrenze für die Arbeit an belastenden Inhalten. Zudem brauche es unabhängige Audits der Anbieter, sowie Register für KI-Arbeiter:innen und ganz grundsätzlich mehr Transparenz über Outsourcing und Lieferketten von Tech-Konzernen.

Milliarden-Profite dank Prekarisierung

Dr. Milagros Miceli von der TU Berlin berichtete von ihren Erkenntnissen aus fast einem Jahrzehnt Forschung zu Datenarbeit. Die von Joan Kinyua geschilderten Arbeitsbedingungen seien „kein Einzelfall, sondern ein konstantes Muster“. Oder genauer gesagt: das Geschäftsmodell einer milliardenschweren Branche.

Der von ihr geprägte Begriff der Datenarbeit umfasse mehr als das Labeling von Daten im engeren Sinne: Auch das Generieren und Sammeln von Daten zähle dazu, in zunehmendem Maße außerdem die Validierung des algorithmischen Outputs und das Korrigieren von Fehlern. Zudem müssten Arbeiter:innen immer wieder so tun, als seien sie eine KI.

Miceli ist eine der Initiator:innen des „Data Workers Inquiry“, in dem Datenarbeiter:innen von ihrer Wirklichkeit berichten. Kürzlich hat das Projekt die Geschichte einer Person veröffentlicht, die sich als AI Girlfriend ausgeben musste, also als Chatbot, der eine Liebesbeziehung mit seinen Nutzer:innen simuliert.

Die unterschiedlichen Formen der Datenarbeit seien essenzieller Bestandteil von KI-Produkten, einer Studie zufolge würde sie 80 Prozent der Entwicklungsarbeit von Künstlicher Intelligenz ausmachen. Miceli ist in ihrer Botschaft deshalb klar: „Ohne Datenarbeit und ohne Menschen wie Joan Kinyua gibt es keine KI“. Tech-Konzerne würden Milliarden damit verdienen „dass sie Arbeiter:innen durch Outsourcing und Plattformisierung prekarisieren und austauschbar machen“. Wenn Deutschland KI fördern wolle, müsse deshalb unbedingt für bessere Arbeitsbedingungen sorgen.

Viele der Arbeiter:inen seien hochqualifiziert, hätten Bachelor-Abschlüsse oder sogar promoviert, berichtet die Forscherin. Dabei sei wichtig, dass die Tätigkeit nicht auf Länder wie Kenia beschränkt ist, sondern auch in Deutschland und Europa viele Menschen in der Branche tätig seien. Wie viele genau, das könne man aufgrund der Intransparenz der Unternehmen nicht sagen.

Probleme bei Gesundheits- und Datenschutz

Bekannt ist, dass mehrere Tech-Konzerne und Outsourcing-Unternehmen in Deutschland große Zentren für die Moderation von Inhalten auf Social-Media-Plattformen unterhalten. Eine Tätigkeit, die die Sachverständigen ebenfalls zum Feld der Datenarbeit zählt und die bereits vor drei Jahren bei einem Fachgespräch im Bundestag Thema war. Julia Kloiber vom Superrr Lab war damals bereits dabei und wies heute erneut darauf hin, dass dabei oft Menschen in vulnerablen Lebenssituationen ausgenutzt würden.

Kloiber empfahl unter anderem besseren Schutz für Menschen, die mit schädlichen Inhalten arbeiten müssen. Bei der Polizei etwa, wo ebenfalls Menschen mit Darstellungen von Kindesmissbrauch arbeiten müssten, gebe es klare Expositionsbegrenzungen. Auch für Datenarbeiter:innen brauche es eine Obergrenze, die die Arbeit mit belastendem Material festlegt. Außerdem brauche es Trauma-Prävention und Zugang zu professioneller psychologischer Unterstützung.

Der fehlende Schutz habe nicht nur schwerwiegende Folgen für die Betroffenen, sondern auch für das Gesundheitssystem, schließlich könnten Menschen ein ganz Leben lang unter posttraumatischen Belastungsstörungen leiden. Manchmal könnten sie deshalb nicht mehr arbeiten. Die dadurch entstehenden Kosten würden von den Tech-Konzernen externalisiert und von der Allgemeinheit aufgefangen.

Kloiber wies zudem auf Datenschutzprobleme beim Outsourcing hin: Nicht nur würden die Datenarbeiter:innen selbst stark überwacht, bei ihnen landeten auch große Mengen personenbezogener Daten und sensibler Inhalte. Erst kürzlich hatten Datenarbeiter:innen als Whistleblower:innen darüber berichtet, dass sie Aufnahmen aus Meta-Brillen bearbeiten müssten und dabei auch Nacktaufnahmen und andere intime Szenen von Nutzer:innen zu Gesicht bekämen.

„Unsere digitale Zukunft darf nicht auf Ausbeutung fußen“

Deutlich wurde bei dem Fachgespräch, dass auch deutsche Firmen davon profitieren, dass sie prekäre Arbeit an Menschen wie Joan Kinyua auslagern. Auch die Auto-Industrie, die Pharma-Branche oder Tech-Unternehmen wie Siemens gehörten zu den Kunden von Outsourcing-Unternehmen im Datenbereich, berichtete etwa Milagros Miceli.

Für Julia Kloiber ist klar, dass Deutschland deshalb auch Verantwortung übernehmen müsse. Eine Untersuchung des Fairwork-Projekt der Universität Oxford und Wissenschaftszentrums Berlin habe die Löhne von vier Outsourcing-Unternehmen untersucht. Nur zwei von ihnen hätten Mindestlohn gezahlt, keines den sogenannten Existenzlohn („Living Wage“), der nicht nur das bloße physische Überleben, sondern auch soziale und kulturelle Teilhabe ermöglicht.

Einen wichtigen Ansatzpunkt sieht die Geschäftsführerin des Superrr Lab deshalb in der Regulierung von Lieferketten. Hier drohe der hohe Standard des erst kürzlich eingeführten und dann schon wieder halb gecancelten deutschen Lieferkettengesetzes abgesenkt zu werden. Die Schwarz-Rote Koalition hatte sich darauf geeinigt, nicht über die – ebenfalls gerade ausgehöhlte – EU-Lieferkettenrichtlinie hinauszugehen.

Bei der Umsetzung der Richtlinie müsse Deutschland sicherzustellen, dass der Geltungsbereich nicht eingeschränkt werde. Die EU-Regeln sollen nur Unternehmen ab 5000 Beschäftigten und einem Umsatz von 1,5 Milliarden Euro gelten. In Deutschland würden dann 95 Prozent der Unternehmen von den Sorgfaltspflichten für ihre Lieferketten entbunden, so Kloiber.

Die Expertin brachte zudem ein Direktanstellungsgebot ins Spiel, wie es erst kürzlich gefeuerte und streikende TikTok-Angestellte in Deutschland gefordert hatten. Ganz grundsätzlich fordert Kloiber eine realistischere Kosten-Nutzen-Rechnung, wenn in Deutschland KI ausgebaut und etwa in der Verwaltung eingesetzt wird. Soziale und auch ökologische Kosten dürften nicht länger ausgeblendet werden: „Unsere digitale Zukunft darf nicht auf Ausbeutung fußen.“

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

KI-Unternehmen kreieren Mythen um sich und ihre Produkte. So entziehen sie sich der Verantwortung für Probleme, die sie selbst geschaffen haben. Und wir lassen es ihnen durchgehen. Mark Twain wäre das wohl nicht passiert.

Es war einmal ein Junge, der hatte etwas ausgefressen, und als Strafe dafür wies ihm seine Tante eine besonders harte Strafe zu: Samstags, wenn die anderen Jungs im Fluss schwimmen durften, sollte er den riesigen Zaun vor dem Haus seiner Tante Polly streichen. Er hat eben missmutig mit der Arbeit begonnen, als sein Kumpel Ben vorbeikommt. Der verspottet ihn wegen der mühseligen Arbeit. Doch unser Junge ist schlau: „Das macht doch keine Mühe, das ist der reine Spaß! Wann kann man schon mal ganz allein solch einen großen Zaun streichen?!“

Da staunt Ben – denn Spaß will jeder haben. Statt Plackerei die reine Freude? Ben bettelt geradezu, mitmachen zu dürfen. Er zahlt sogar dafür. Einen saftigen Apfel. Und er streicht wie ein Verrückter, während unser Held im Schatten liegt. Nach und nach kommen noch mehr Willige, und sie alle geben einiges dafür, den Zaun Tante Pollys streichen zu dürfen. Abends ist unser Freund reich – seine Taschen sind voller kleiner Schätze.

Dieser Einstieg für die heutige Degitalisierung ist ein abgewandeltes Zitat eines Essays von Wolf Lotter aus einer Brand Eins von 2007 mit dem Titel Elementarteilchen [€]. Damals ging es um die Beschreibung der Funktionsweise des Web 2.0. User würden mehr oder weniger freiwillig sogar dafür bezahlen, die Arbeit anderer Leute machen zu dürfen.

Lotter greift einen Vorgang auf, den Mark Twain „Das ruhmreiche Zaunweißen“ nannte, ein lehrreiches Stück aus seinem Romanepos „Tom Sawyer“. Das war 1876. Heute ist 2026, und diesen Prozess, an dem sich im Wesentlichen nichts geändert hat, nennt man Künstliche Intelligenz.

Im Zeitalter der sogenannten Künstlichen Intelligenz ist das aber alles viel besser, oder? Agentische KI macht ja jetzt die Arbeit und wir können die Füße hochlegen, oder? Natürlich nicht. Die Genese heutiger Systeme künstlicher Intelligenz ist leider wieder nur eine andere Art des ruhmreichen Zaunweißens. Immer wieder. In dieser Episode geht es mehr oder weniger um die Schaffung eines Mythos – oder um den Mythos um Anthropics Mythos aus Anlass aktueller Ereignisse.

Militär und Maven

Die Ereignisse, bei denen Menschen freudig und freiwillig die eigentliche Arbeit anderer machen, beginnen im Kontext Anthropic im Januar 2026 mit einem Streit zwischen Anthropic und dem amerikanischen Verteidigungsministerium. Dem vorausgegangen war eine vertragliche Vereinbarung von Googles Gemini für eine neue militärische KI-Plattform mit dem Titel GenAI.mil im Dezember 2025. Im Januar kam es dann zum Bruch von Anthropic und dem Pentagon, wegen der Weigerung Anthropics, seine Technologien für autonome Waffen oder Massenüberwachung freizugeben. Anthropics Technologien wurden dann zum Lieferkettenrisiko seitens des Pentagons erklärt und OpenAI sprang in die Bresche als neuer Technologielieferant.

Das erste ruhmreiche Zaunstreichen im Sinne Anthropics begann dann in der Folge dieser Ereignisse. Abos von OpenAIs ChatGPT wurden massenhaft gekündigt – Hashtag Cancel ChatGPT – und die Öffentlichkeit und Medien schwangen gleich freudig die Pinsel am Zaun mit. Man müsse jetzt gleich Abos bei OpenAI kündigen, forderte etwa der Guardian. Viele ehemalige OpenAI-Kund*innen wanderten ab zu Anthropic.

Das ist am Ende aber leider nur scheinheiliges Zaunstreichen für ein weiteres Big-Tech-Unternehmen, das nur auf eine andere Art problematisch ist. Kriegsführung ist inzwischen an vielen Fronten von KI-Technologie durchzogen, sei es in Gaza, in der Ukraine oder jetzt im Iran. Die Markierung und Auswahl von militärischen Zielen hat sich durch KI stark beschleunigt, es werden mehr Ziele schneller angegriffen und die Kollateralschäden in der Zivilbevölkerung nehmen damit eher zu.

Anthropic für Verantwortungsbewusstsein zu feiern beim Aufzeigen von Grenzen für die militärische Nutzung ist also etwas arg einfältig. Die militärische Initiative des Pentagons namens Maven, die KI mehr und mehr in militärische Operationen einbinden wird, basiert zwar im Kern auf Software von Palantir – Palantir hat aber Schwierigkeiten, Technologie von Anthropic nach dem Disput mit dem Pentagon wieder aus Maven zu entfernen. Weil Anthropics Claude eben schon sehr lange tief mit militärischen Anwendungsfällen verwoben ist und aktiv genutzt wird, etwa wohl auch bei der US-Militäroperation zur Festnahme des venezolanischen Präsidenten Nicolás Maduro.

Kein amerikanisches Big-Tech-Unternehmen kann also wegen seines Pazifismus gefeiert werden. Sie sind alle ähnlich tief in den Bereich des Militärs oder der Geheimdienste verstrickt, behaupten nur mehr oder weniger lautstark, zu den Guten zu gehören. Öffentlichkeit und Medien haben Anthropic aber aktiv geholfen, den eigenen Zaun weiß zu streichen beziehungsweise sich eine weiße Weste nach außen hin zu geben.

Mythos und Marketing

Inmitten dieser Melange aus Hype und verzerrter Außendarstellung kommt nun ein Mythos um ein neues KI-Modell namens Mythos. Das ist im Wesentlichen erst einmal im Kern ein neues Large-Language-Modell, wie so häufig, besser in diversen synthetischen Benchmarks. Aber besonders viel besser in der Fähigkeit, Sicherheitslücken in Software zu finden. Oder um es mit den Worten von Anthropic zu sagen: „strikingly capable at computer security tasks“.

Das Bemerkenswerte ist jetzt, ohne auf die eigentlichen Fähigkeiten eingehen zu müssen, der Hype um diese Ankündigung. IT-Security ist normalerweise ein Feld, in dem es eine konstante Bedrohungslage mit diversen Sicherheitsrisiken gibt, die im täglichen Arbeiten so negativ aufstoßen können. Datenleaks, DDoS-Angriffe, Zero-Day-Exploits, kann alles täglich passieren.

Daher ist es oftmals sinnvoll, nicht in Alarmismus zu verfallen, weil das Bedrohungen nicht weniger bedrohlich macht, sondern eher den Blick auf das Wesentliche verstellt und passende Gegenhandlungen wegen Hektik und Anspannung verlangsamt. Die Kommunikation um Mythos wird aber selbst zu einer Art Mythos erhoben. Da ist dieses mythische neue Sprachmodell, das ab morgen alle Computersysteme unsicher macht – überspitzt gesagt, aber nicht weit entfernt von der medialen Darstellung.

Claudia Plattner, Präsidentin des Bundesamtes für Sicherheit in der Informationstechnik, ließ sich zu einem Endorsement unter öffentlicher Nennung eines noch nicht neutral geprüftem Produkts eines kommerziellen, ausländischen Herstellers hinreißen, das für eine ansonsten eher um Neutralität bemühte Bundesbehörde doch eher selten ist: Das BSI nehme die Ankündigungen von Anthropic sehr ernst und erwarte „Umwälzungen im Umgang mit Sicherheitslücken und in der Schwachstellenlandschaft insgesamt“. Selbst wenn es so ist, tut das Feld der Informationssicherheit auch hier gut daran, nicht wieder den Zaun für andere zu weißen.

Die Kommunikation um die Security-Fähigkeiten von Mythos ist eher Doomsday-Marketing [€] und führt vor allem bei vielen für die IT-Sicherheit Verantwortlichen zum Kampf gegen FUD – Fear, Uncertainty und Doubt sowie eben Untergangsszenarien. Eigentlich gibt es schon länger entsprechend fähige KI-Modelle, die Lücken wie die von Mythos bisher wohl finden können, eventuell nur mit einem etwas spezifischeren Kontext und einem engeren Scope der automatisierten Analyse.

Und nicht jede der von Anthropic präsentierten Lücken ist gleich ein Riesenproblem, wie etwa Red Hat für den Linux-Kernel erklären muss. Die reißerische und mythische Kommunikation von Anthropic selbst blockiert also erst einmal Kapazitäten bei IT-Security-Expert*innen, die wesentlich besser im Absichern von Software und Prozessen zur Absicherung gebraucht werden können. Aber viele Medien pinseln lieber weiter am Zaun mit.

Gesetzt den Fall, der Hype um Mythos ist, sagen wir mal, auch nur zu einem Zehntel berechtigt, dann ist doch die Frage angebracht, wie wir mit der Situation umgehen sollten, damit kein globales IT-Sicherheitsdesaster droht. Auch hier geht vieles leider in Richtung Zaunweißen, weniger in eine faire Kooperation zur Verbesserung der IT-Sicherheit. Dieser Aspekt ist weniger in Technologie begründet, sondern eher in der soziologischen Wirkung von KI auf IT-Security und Programmierung.

Glasswing und Hollowing

Als besonders – aus Eigensicht – verantwortungsbewusstes KI-Unternehmen geht Anthropic mit Mythos ja sorgsam um. Mythos wird aus Sicherheitsgründen erst einmal nicht öffentlich zur Verfügung gestellt. Mit Project Glasswing wolle man Unternehmen und wichtigen Open-Source-Maintainern dabei helfen, durch geregelten Zugang auf Mythos-Systeme durch automatisierte Analysen auf Lücken prüfen und diese somit besser absichern zu können. Auffällig ist bei der Auswahl der Unternehmen ein gewisser Hang zu „America First“, da es sich hauptsächlich um Unternehmen mit Hauptsitz in den USA handelt wie Apple, Google, Nvidia, Broadcom und Microsoft. Indirekt findet hier durch eine Vorauswahl eines Privatunternehmens und der Regierung in den USA ja auch eine gewisse geopolitische Vorentscheidung statt. Sichere Software gibt es in Zukunft auch „America First“?

Wenn Erkenntnisse aus Glasswing auf eine Open-Source-Community treffen, ist aber nicht unbedingt mit Freudenschreien zu rechnen. Der gesamte KI-Hype in der Softwareentwicklung hat vielen Open-Source-Maintainern eher offensiv in die Fresse geschlagen, um das deutlich zu sagen.

Da ist zum Beispiel ein Stellenabbau von 75 Prozent bei dem Start-up hinter dem CSS-Framework Tailwind, auch wegen immer mehr Sprachmodellen, die bisher auskömmliche Zusatzangebote wie Servicedienstleistungen oder Premium-Abos zu Tailwind immer uninteressanter machen. Bug-Bounty-Programme, die kleine finanzielle Belohnungen für gemeldete Sicherheitslücken zahlen, müssen schließen wegen zu viel AI Slop, also schlechten oder sinnfreien Beiträgen. Beispiele dafür sind etwa das Schließen des Internet Bug Bounty oder des Bug-Bounty-Programms hinter curl, dort als Versuch, das „Terror Reporting“ einzudämmen. Dazu musste das größte Code-Repository der Welt, GitHub, jüngst eingestehen, dass die KI-Welle eine Art „Eternal September“ eingeläutet habe, also einer Menge neuer, aber eher ungeeigneter Beiträge auf der Plattform – nicht zuletzt durch die durch GitHub selbst bereitgestellten KI-Assistenten wie GitHub Copilot.

Dazu werden Open-Source-Lizenzen, im Open-Source-Bereich eine oftmals fast schon unantastbare Vereinbarung von Nutzungsbedingungen, aktiv durch sogenannte „Clean Room“-Neuentwicklungen wie bei chardet unterwandert.

Programmier*innen hingegen beginnen im Job durch wachsenden KI-Einsatz immer mehr auszubrennen, wie sich etwa auf Plattformen wie Reddit zunehmend kundtut. Im Arbeitsmarkt, etwa in der Schweiz, deutet sich bei Software-Entwickler*innen eine steigende Arbeitslosigkeit in bestimmten Altersgruppen an. Programmieren als Job durchläuft eine Phase des Hollowing-out – speziell wegen KI.

Genau in diese schwierige Phase, insbesondere für Open-Source-Maintainer, kommt nun also ein gehyptes Modell, das Hunderte neue Sicherheitslücken androht, die unbedingt ganz schnell gepatcht werden müssen. Sicherheit von Open-Source-Projekten ist schon immer eine undankbare Aufgabe, wie auch die in Project Glasswing eingebundene Linux Foundation schreibt. Soll nun dafür irgendwer dankbar sein, wenn eine Technologie erst die Grundlagen der etablierten Zusammenarbeit angreift und dann auch noch eine Flut von neuer Arbeit beschert?

Das ist in etwa so, als würde Tante Pollys Zaun von Tausenden Freiwilligen überrannt werden, die wild durcheinander versuchen, den Zaun zu weißen. Mit der Entspannung und dem Spaß wäre es dann auch für Tom Sawyer vorbei.

Mögliche Verbesserungen durch von KI generierte Patches sind eher schwierig an Open-Source-Maintainer heranzutragen, solange KI-Unternehmen nicht glaubwürdig mit der Open-Source-Community und deren Werten und Zielen übereinkommen. Bisher ist das gehörig gescheitert.

Dennoch stellt sich Anthropic selbst als besonders verantwortungsbewusstes Unternehmen dar, in etwa so, wie OpenAI das schon seit Jahren immer wieder tut.

Milliarden und Verantwortung

OpenAI hat immer wieder in seiner Geschichte die PR-Strategie verfolgt, wie Anthropic es jetzt tut, und auf die Gefahren seiner neuen Produkte selbst hingewiesen – allerdings oft, um selbst einen Mythos um seine Produkte zu erzeugen.

Bei OpenAI war das beim Modell zum Klonen von Stimmen namens Voice Engine schon 2024 der Fall. Zu gefährlich, um es auf den Markt zu bringen, so die Eigenaussage.

Auch 2019 wurde der Release von GPT-2 von OpenAI mit einer „zu gefährlich“-PR-Strategie begleitet. Bemerkenswert ist dabei aus heutiger Zeit weniger das Kommunikationsmuster, sondern das, was im Juni 2019 im Repräsentantenhaus in einem Ausschuss anlässlich der Gefahr von Fake Media und KI von OpenAI-Vertretern zu den Akten gegeben wurde. Auch damals gab es bereits „staged releases“ in Form von kleineren Modellen, denen dann schrittweise größere Modelle folgten. Die Herangehensweise von Anthropic bei Mythos ist also nicht neu.

Interessant ist aber das damalige Eingeständnis, dass es schwer werden dürfte, KI-Technologie kontrollieren zu können.

In Bezug auf Stimm-Klon-Software etwa stellte OpenAI fest:

Viele der Kontrollmöglichkeiten sind weniger technischer Natur, im Gegensatz zu den Systemen, die die Technologie umgeben. (Eine Möglichkeit, sich zum Beispiel gegen Menschen zu schützen, die bei Telemarketing-Betrug KI-synthetisierte Stimmen einsetzen, besteht darin, es Kriminellen einfach schwerer zu machen, Telefonnummern zu fälschen.)

Stimmsynthesierungssoftware können wir natürlich voll funktionsfähig entwickeln, wir können sie jedoch nicht kontrollieren. Aber vielleicht löst mein Problem ja die Telefongesellschaft? – Wie sehr kann man sich aus der Verantwortung stehlen wollen?

Eigentlich sind aus Sicht von KI-Unternehmen die Kontrollmöglichkeiten somit gar nicht innerhalb der Technologie möglich, die sie mit viel Aufwand erschaffen, also vor allem mit viel, viel Geld. Das ist alles nicht möglich trotz in der Genese von KI bereitwillig ignorierten Problemen, die einer Art von Kontrolle unterliegen hätten können, wie etwa digitalem Kolonialismus, immensem Ressourcen- und Energieverbrauch, hoher Machtkonzentration, ungehemmter Datenkonsum, Wegbereitung des Faschismus, Plagiarismus und Desinformation. Alles Probleme, die bei der Schaffung von KI-Technologie ja bislang schweigend akzeptiert oder sogar erst geschaffen wurden. Alles nicht kontrollierbar? Falls aber mal jemand auf nur eines oder zwei dieser Probleme hinweist, wie etwa die Nutzung urheberrechtlich geschützter Inhalte im Falle der britischen Regierung, ist das dann alles zu teuer.

Das Grundproblem bislang jeglicher Technologie auf Basis von KI ist es immer wieder gewesen, die Technologie und die damit verbundenen Macher*innen selbst als unschuldig zu sehen. CEOs von KI-Unternehmen wie Sam Altman von OpenAI oder Dario Amodei von Anthropic tragen die Verantwortung für Multi-Milliarden-Unternehmen, scheren sich aber einen feuchten Kehricht um die Wirkung ihrer Technologien. Sie externalisieren ihre Probleme, internalisieren aber den Gewinn.

Jegliches Commitment zu „Sicherheit“ und „Verantwortung“ ist nicht mehr als ein PR-Stunt, bei dem viele Externe auch noch fleißig den Pinsel schwingen, um den Zaun zu weißen. Für Unternehmen, denen lange Jahre lang schon viel zu viel durchgehen gelassen wurde. Das ist bei Mythos nicht viel anders als bei all den vermeintlich guten, aber letztlich schädlichen „KI-Innovationen“ der Jahre zuvor.

Denn letztlich geht es KI-Unternehmen oft nur um ihr oftmals fragiles Ego. Wir sollten daher alle damit aufhören, ihnen auch noch freudig den Zaun zu weißen.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

KI sei verfänglich für faschistische Ideologien und gehe mit autoritären Machtzentren einher. Große Plattformen wie ImmobilienScout24 und Doctolib machen Profit mit Grundbedürfnissen der Menschen. Zwei Aktivist*innen schlagen im Interview konkrete Schritte hin zu einer demokratischen digitalen Teilhabe vor.

Künstliche Intelligenz ist in aller Munde. Ihr wird nachgesagt, nicht nur Arbeitsprozesse zu vereinfachen und zu beschleunigen. Sie soll auch der Wirtschaft zu neuem Aufschwung verhelfen. Doch immer mehr kritische Stimmen greifen in die Debatte ein und beziehen eine klare Haltung gegen diese Technologie. Zwei von ihnen sind die Digitalexpert*innen Aline Blankertz und Malte Engeler.

Anlässlich der Konferenz „Cables of Resistance. Bewegungskonferenz gegen Big Tech“, die am Wochenende in Berlin stattfindet und mögliche Widerstandsstrategien gegen KI und große Plattformen ausloten möchte, haben wir mit ihnen gesprochen. Aline Blankertz ist angewandte Ökonomin und setzt sich für die demokratische Ausgestaltung von Wirtschaft ein, unter anderem im digitalpolitischen Kollektiv „Structural Integrity“. Sie ist an der Organisation der Konferenz beteiligt. Malte Engeler ist Jurist und Mitbegründer des digitalpolitischen Kollektivs.

Im Interview erklären sie, warum sogenannte KI besonders gut verfänglich für autoritäre Politiken ist, wie ihre Sabotage aussehen kann und wie die Gesellschaft wieder mehr demokratische Kontrolle über große Plattformen erreichen kann. Sie plädieren für eine politische Organisierung und die Vergesellschaftung von Plattformen, die solch essenzielle Bereiche der Daseinsvorsorge wie Wohnungssuche oder Arztterminbuchungen strukturieren.

„Künstliche Gebärmutter“ und KI haben den gleichen ideologischen Ursprung

netzpolitik.org: Was ist eigentlich eine „künstliche Gebärmutter“? Im Manifest der Konferenz ist die Rede davon.

Aline Blankertz: Die künstliche Gebärmutter ist eine Figur, die immer mal wieder rund um Elon Musk auftaucht. Dieser Idee des selektiven Pronatalismus liegt zugrunde, dass man stärker steuern möchte, wer Kinder bekommen darf. Die künstliche Gebärmutter ist das Mittel, um sich letztlich vom „weiblichen Körper“ lösen zu können. Es geht darum, aus einer weißen cis-männlichen Perspektive technisch steuern zu können, wohin es mit der Menschheit geht. Mein Verständnis ist, dass es diese künstliche Gebärmütter noch nicht technisch ausgereift gibt. Aber es laufen Forschungsprojekte, die das aktiv vorantreiben. Daneben existieren viele andere transhumanistische Projekte, wie zum Beispiel „Neuralink“, um menschliche Gehirne und Maschinen stärker miteinander zu verbinden.

In Europa ist es subtiler, aber viele dieser Entwicklungen hin zu solchen transhumanistischen Ideen ‒ also wie können Menschen mit technischen Upgrades besser gemacht werden ‒ sehen wir auch hier. Die künstliche Gebärmutter und die Brain-Computer-Interfaces unterscheiden sich zwar von KI, weil sie unmittelbarer auf die Ebene von Hardware und menschlichen Körpern setzen. Doch auch der KI-Diskurs hat den gleichen ideologischen Ursprung und wird technisch von denselben Menschen vorangetrieben.

„Diese Infrastrukturen kann niemand bei sich im Keller haben“

netzpolitik.org: Ist das der Grund warum ihr KI fundamental ablehnt? Und was versteht ihr unter KI genau?

Malte Engeler: Wenn wir von KI reden, dann meinen wir die in der Gesellschaft aktuell sehr präsente Form von KI: große Datenmodelle, die aus vorhandenen Datenquellen zukünftige oder neue Ergebnisse berechnen. Wir meinen maschinelles Lernen, das Menschen dazu nutzen, um neue Texte, Bilder, Videos oder Ton zu erstellen. Die Modelle werden auch in sozialen Situationen eingesetzt, um neue Entscheidungspunkte zu generieren. Zum Beispiel in militärischen Aktionen, in Verwaltungsentscheidungen oder zur Benotung im Bildungswesen. Es geht also um eine Technologie, die auf Basis einer immensen Datenmenge Muster erlernt und neue Ergebnisse mit diesen Mustern produziert. Wir reden hier von ganz großen Modellen.

Dieser Technologie ist inhärent, dass sie besonders für autoritäre und faschistische Kräfte anknüpfbar ist. Das ist also kein technischer Fehler, sondern die Technologie ist schlicht und einfach so gebaut. Dazu gehört, dass diese gigantischen Modelle eine große Zentralisierung mit sich bringen. Die Infrastrukturen, die zum Training und Erhalt der Modelle nötig sind, kann niemand bei sich im Keller haben. Diese riesigen Rechenzentren können eigentlich nur zentralisiert betrieben werden. Politisch anknüpfbar für faschistische Politiken sind diese Infrastrukturen deshalb, weil sie autoritäre Machtzentren stark bevorzugen.

Zum anderen ist da diese Mustererkennung, die immer auf Daten aus der Vergangenheit trainiert wird. Sie überträgt deshalb notwendigerweise diese Vergangenheit in die Zukunft und vereinheitlicht diese Zukunft statistisch auf einen weiß-patriarchal geprägten Mittelwert. Laut diversen Theorien steckt im Kern des Faschismus die Idee, dass es eine Wahrheit, eine tiefes völkisches, echtes Leben in der Gesellschaft gibt, das zum Erblühen gebracht werden soll. Und diese Idee von einer Wiedergeburt der nationalen Stärke findet sich im technischen Prinzip wieder, massenhaft Daten zu sammeln und das vermeintlich Wahre aus diesen Daten wieder extrapolieren zu können.

„Wünschenswert, wenn Menschen KI nicht auch noch freiwillig nutzen“

netzpolitik.org: Ist es aus antifaschistischer Sicht ein Problem, wenn Menschen ihre Suchanfragen nicht mehr in eine klassische Suchmaschine eingeben, sondern zum Beispiel in ChatGPT?

Aline Blankertz: Wir beschäftigen uns vor allem mit der kollektiven Dimension. Es ist nicht die einzelne Suchanfrage bei ChatGPT, die uns dem Faschismus näher bringt. Es sind eben die Zwänge, die an vielen Stellen bestehen. Beispielsweise, dass viele Menschen nun Dinge schneller machen müssen und es deswegen mit KI tun. Dass sie im Wettbewerb mit anderen stehen, um bessere Betriebsergebnisse hervorzubringen.

Es ist wünschenswert, wenn Menschen KI nicht auch noch freiwillig nutzen. Wenn sie es nur unterhaltsam finden, könnten sie sich eine andere Beschäftigung suchen, die weniger klimaschädlich ist und den KI-Hype nicht weiter am Leben hält. Aber das ist nicht das, womit wir antifaschistisch wirken können, indem wir einfach keine KI mehr verwenden.

„KI-Unternehmer*innen werden hierzulande glorifiziert“

netzpolitik.org: Welchen konkreten Schaden seht ihr in Europa und in Deutschland durch KI bereits?

Aline Blankertz: Aktuell läuft die Debatte, dass man in der Verwaltung großflächig KI einsetzen möchte, etwa nach dem Vorbild von DOGE aus den USA. Das wird zwangsläufig dazu führen, dass mehr Menschen diskriminiert werden und dafür wiederum weniger Verantwortung übernommen wird. Das kennen wir beispielsweise aus Amsterdam, wo ein Algorithmus zur Folge hatte, dass vor allem sozial schwachen Familien Betrugsvorwürfe gemacht wurden. Oder aus England, wo Abiturergebnisse während der Corona-Pandemie insbesondere von Schüler*innen aus ärmeren Gegenden abgewertet wurden.

Ein anderer Aspekt ist, dass auch hierzulande KI-Unternehmer*innen als Heilsbringende glorifiziert werden. Ein starkes Beispiel hierfür ist Dieter Schwarz, dem die Schwarz-Gruppe mit Lidl und Kaufland gehört. Neben vielen Rechenzentren baut er so etwas wie eine Privatstadt in Baden-Württemberg auf und wird dafür gefeiert. Die CEOs von SAP und Telekom werden ebenfalls häufig gefragt, was für eine Gesellschaft sie sich wünschen. Ganz so, als ob sie gesellschaftliche Interessen im Blick hätten.

Außerdem beschleunigt KI die gesellschaftliche Spaltung nicht nur im Mediendiskurs, indem plausibel klingende Outputs ohne Anspruch auf Wahrheit eine demokratische Diskussionsbasis untergraben. Sie entwertet schon jetzt Arbeit. Menschen haben Angst, von sogenannter KI ersetzt zu werden, die Gewerkschaften fahren ihre Forderungen zurück. Gleichzeitig erwirtschaften diejenigen, die in Aktien investiert haben, umso mehr Gewinne. Die ökonomische Ungleichheit wächst also noch stärker durch KI.

„In den USA zünden Menschen autonom fahrende Autos an“

netzpolitik.org: Was kann man dagegen tun?

Aline Blankertz: Wir können uns gegen KI wenden. Wir können uns verweigern. Wir können Trainingsdaten vergiften. Man kann auch so etwas wie Sabotage nach dem CIA-Sabotage-Manual betreiben. Es enthält einige inspirierende Ideen aus der Zeit des Zweiten Weltkriegs, wie Menschen den Faschismus verlangsamen können. Man kann Abläufe verringern, verlangsamen und weniger effizient machen. Man kann sich gegen Rechenzentren engagieren.

In den USA gibt es noch weitergehende Aktivitäten. Da zünden Menschen autonom fahrende Autos von Waymo an. Dort gibt es Roboter, die die Gehwege von Obdachlosen freihalten sollen. Menschen attackieren auch diese Roboter.

Um wirklich politisch wirksam sein zu können, müssen wir uns aber organisieren. Da führt kein Weg dran vorbei. Die Dienste im Individuellen zu wechseln reicht nicht. Zu sagen, „ich finde KI doof, reicht auch nicht“. Wir müssen uns politisch zusammenfinden und die Auswirkungen solcher digitalen Technologien stärker als Problem verstehen.

„Vergesellschaftung ist die Antwort“

netzpolitik.org: Auf der Konferenz gebt ihr einen Talk darüber, dass Regulierung und Open-Source-Alternativen nicht ausreichen, um gegen die Macht der Tech-Giganten anzukommen. Stattdessen schlagt ihr vor, große Tech-Plattformen zu vergesellschaften.

Malte Engeler: Aktuell erleben wir eine autoritäre Wende. In Zeiten von Kipppunkten wie diesen ist Abwehrkampf ein ganz wesentlicher Teil. Gegen etwas zu kämpfen ist nicht so motivierend wie für etwas. Ich kann das für mich persönlich ganz klar sagen: Mich motiviert nicht der Hass auf Big Tech. Mich motiviert der Wunsch nach einer besseren Welt. Wir brauchen konkrete Vorstellungen einer Realität, in der diese Technologien, die wir gerade bekämpfen, anders funktionieren. Und wie kommen wir dahin? Wie kann man eine Plattform, die uns jetzt ausbeutet und aus unseren Bedürfnissen Profit schlägt, in etwas Besseres verwandeln?

Die Antwort auf diese Fragen ist Vergesellschaftung: also die Überführung einer privatwirtschaftlich betriebenen kommerziellen Plattform in einen Zustand, in dem sie im Sinne des Gemeinwohls und der Bedürfnisbefriedung der Menschen demokratisch verwaltet wird.

„Mit kleineren Plattformen anfangen“

netzpolitik.org: Welche Plattformen würdet ihr gern vergesellschaften?

Malte Engeler: Sich allein diese Frage zu stellen, ist sehr spannend. Das führt dazu, dass auch linke und progressive Kräfte auf einmal anfangen, darüber nachzudenken: Was ist unsere Vision? Was ist unsere Idee von einer digitalen Wohnungsvermittlung oder von einem Portal, auf dem man sich Arzttermine klicken kann? Was würden wir mit diesen Infrastrukturen machen, wenn sie nicht nach kapitalistischen Prinzipien betrieben werden würden?

Auf der „Cables of Resistance“ gibt es auch einen Talk von der Redscout24-Gruppe, in der Aline und ich beteiligt sind. Das ist ein ganz konkreter Versuch zu zeigen, wie ImmobilienScout24 anders aussehen könnte. Aber das ist nur ein Beispiel von vielen. Doctolib wäre ein anderes.

Die Frage der Vergesellschaftung zwingt uns aber auch dazu, uns zu positionieren, welche Plattformen wir vielleicht gar nicht wollen. Man kann vergesellschaften, um dann nur abzuschalten. KI ist ein Beispiel für eine Technologie, die wir in unserer befreiten Welt nicht haben wollen.

Aline Blankertz: Konkret plädieren wir dafür, mit den kleineren Plattformen wie ImmoScout24 und Doctolib anzufangen. Denn über sie läuft aktuell der Zugang zu für alle Menschen wichtigen Bereichen der Daseinsvorsorge wie Wohnungen und Gesundheitsversorgung. So können wir erst einmal lernen, wie die Umstellung auf Bedürfnisorientierung funktioniert. Mittelfristig können wir dann unseren Blick stärker auf digitale Infrastrukturen wie Rechenzentren und globale Plattformen richten.

Was wir durch Vergesellschaftung gewinnen, ist, dass wir überhaupt wieder gesellschaftlich gestalten können. Im Moment läuft es danach, wie am meisten Geld für die Anteilseignenden herausspringt. Wenn wir an Demokratie glauben, müssen wir auch daran glauben, dass wir gesellschaftliche Infrastrukturen danach gestalten können.

Da kann man sich gut bei „Deutsche Wohnen & Co enteignen“ umsehen, die für ihre Anstalt öffentlichen Rechts ‒ so unsexy das auch klingen mag ‒ sehr detailliert ausbuchstabieren, welche Gruppen wie an Entscheidungsprozessen beteiligt werden sollen. Gleichermaßen wäre das auch bei einer digitalen Wohnungsvermittlungsplattform, die auf die Bedürfnisse von Menschen zugeschnitten ist.

„ImmoScout24 vom Markt verdrängen“

netzpolitik.org: Wie kann eine Bewegung oder ein Zusammenschluss von Bewegungen praktisch an ein Unternehmen wie ImmoScout24 herankommen?

Malte Engeler: Wir sollten nicht vergessen, dass es schon viele Strukturen gibt, die so organisiert sind. Man vergisst, dass wir das Rad nicht neu erfinden müssen. Bibliotheken zum Beispiel sind eine gut funktionierende öffentliche Infrastruktur. Sie haben einen gemeinsamen Datenbestand. Beispielsweise kann ich heute in der Staatsbibliothek Berlin ein Buch aus Heidelberg bestellen und es übermorgen abholen. Das sind auch keine privatwirtschaftlich betriebenen Informationszugangssysteme.

Es gibt verschiedene Wege zum Ziel. In einigen Gemeinden existieren noch kommunale Online-Plattformen zur Wohnungsverwaltung, auf denen sie den eigenen Wohnungsbestand anbieten. Sie stellen ihn nicht auf ImmoScout24 ein. Man könnte also festlegen: Wer Wohnraum hat und vermieten will, muss dafür die Plattform der Gemeinde nutzen. Bei einigen Infrastrukturen der Daseinsvorsorge wie Müllabfuhr oder Wasseranschluss gibt es schon ein ähnliches Prinzip, den sogenannten Anschluss- und Benutzungszwang.

Mit Aktivist*innen aus dem Fediverse, die viel Erfahrung mit dezentralen Strukturen haben, und Menschen, die solche Bibliotheken-Systeme bauen, könnte man ausloten, wie ein deutschlandweiter Katalog aussähe, mit dem man in jeder Kommune auf alle Wohnungen in Deutschland zugreifen kann.

Im Grunde verdrängt man ImmoScout24 auf diese Weise vom Markt und vergesellschaftet es gar nicht. Die Plattform wird so immer unwichtiger. Sie kann dann noch Eigentumswohnungen auf dem Land vermitteln, aber ist aus dem Mietraum raus. Das wäre bereits eine Errungenschaft.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die geplante „Vereinfachung“ der europäischen KI-Verordnung könnte den Schutz von Verbraucher:innen vor der Technologie erheblich schwächen. Ein breites Bündnis von 32 Organisationen warnt insbesondere vor Lücken bei Medizingeräten und Spielzeug.

Die Sorge ist groß, dass die geplante „Vereinfachung“ der europäischen KI-Regeln zu deren Aushöhlung führen könnte. Davor warnt die europäische Verbraucherschutzorganisation BEUC gemeinsam mit 31 anderen Organisationen in einem gemeinsamen Brief an die Verhandler des sogenannten KI-Omnibusses: die EU-Kommission, die zypriotische Ratspräsidentschaft und die Berichterstatter:innen des Europaparlaments Arba Kokalari (EVP) und Michael McNamara (Renew).

Die unterzeichnenden Organisationen vertreten neben Verbraucher:innen und der Zivilgesellschaft auch Ärzt:innen, Krankenhäuser und Gesundheitsdienste, Prüfstellen wie den TÜV sowie die Wissenschaft. Sie befürchten, dass in den aktuellen Trilog-Verhandlungen zwischen EU-Parlament, den EU-Ländern und der Kommission zentrale Elemente der KI-Verordnung zur Diskussion gestellt werden könnten. Die angestrebte Vereinfachung dürfe nicht auf Kosten des Verbraucherschutzes und der Grundrechte gehen, bekräftigt der Brief.

Im Zentrum der Kritik steht eine mögliche Änderung, die das Europäische Parlament in die laufenden Trilog-Verhandlungen einbringt: Bestimmte Sektoren sollen aus dem unmittelbaren Anwendungsbereich der KI-Verordnung ausgenommen werden, darunter Medizintechnik, Funkgeräte, Spielzeug und Maschinen. Abgeordnete und Industrievertreter argumentierten, dass diese Produkte schon unter eigene Sicherheitsvorschriften fallen würden und die Hersteller ansonsten einem doppelten Aufwand ausgesetzt seien.

Zivilgesellschaft warnt vor Lücke

Die Autor:innen des Briefs sehen dies anders: Sie betonen, dass die KI-Verordnung spezifische KI-Risiken reguliere, die in den sektorspezifischen Regeln nicht behandelt würden. Dazu zählen etwa Diskriminierung, Intransparenz und die kontinuierliche Veränderung der Systeme. Durch die Ausnahmen würde eine Regulierungslücke entstehen.

Als Beispiel für die möglichen Nachteile dieser Änderung für Verbraucher:innen nennen sie Medizingeräte. Diese würden zunehmend über KI-Funktionen verfügen, die bei der Diagnose, Behandlung oder Überwachung von Patient:innen zum Einsatz kommen würden. Die derzeitigen sektoralen Regeln für Medizingeräte würden KI-spezifische Risiken aber nicht ausdrücklich berücksichtigen. Ähnliches gelte für Kinderspielzeug.

Die Organisationen bekräftigen darüber hinaus, dass die Regulierung durch diese Änderung komplexer würde statt einfacher. Erstens würde Unsicherheit darüber entstehen, welche KI-Systeme weiterhin der EU-Verordnung unterliegen. Zweitens würde sich die Regulierung zersplittern: Anstatt ein einziges Gesetz für KI zu haben, würden die unterschiedlichen sektoralen Regulierungen gelten. Sollten KI-Risiken dort nachträglich ergänzt werden, müssten womöglich Dutzende Gesetze geändert werden.

Ein fragmentierter und unnötig komplexer Regulierungsrahmen würde nur die Rechtsunsicherheit erhöhen, warnt der Brief: „In einer Zeit, in der die EU bestrebt ist, das Vertrauen in KI zu stärken und ihre technologische Souveränität zu festigen, ist die Wahrung des Vertrauens in einen kohärenten und effektiven Rahmen für die KI-Governance von entscheidender Bedeutung.“

Ergebnis bis Ende April

Beim KI-Omnibus hat die EU bislang ein hohes Tempo vorgelegt. Im November von der EU-Kommission vorgestellt, haben die EU-Länder sowie das Parlament im März ihre jeweiligen Verhandlungspositionen festgezurrt. Ende März fand bereits das erste Trilog-Treffen statt. Aktuell verhandeln die EU-Institutionen in technischen Meetings miteinander, schon am 28. April wollen sie sich auf den finalen Kompromiss einigen.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Mit Hilfe von KI-Agenten sollen Einzelpersonen schon bald Unternehmen mit Milliardenbewertung aufbauen. Das klingt verführerisch, weil es einer prometheischen Sehnsucht nach totaler Souveränität schmeichelt. Allerdings wusste schon Franz Kafka, dass Ein-Personen-Unicorns mythische Wesen sind.

Am 18. Februar 1922 notierte Franz Kafka in sein Tagebuch eine Miniatur, die wie so vieles aus seiner Feder auf den ersten Blick komisch wirkt und auf den zweiten unheimlich. Ein Theaterdirektor, der alles von Grund auf selbst schaffen muss – sogar die Schauspieler muss er erst zeugen. Ein Besucher wird nicht vorgelassen, der Direktor sei mit wichtigen Theaterarbeiten beschäftigt. Und was tut er? Er wechselt die Windeln eines künftigen Schauspielers.

Man lacht kurz. Dann hört man auf.

Die totale Kontrolle über den Produktionsprozess kehrt sich in die Selbstauflösung des Produzenten um. Wer alles selbst erschaffen will – Stück, Bühne, Ensemble –, landet zwangsläufig bei der Windel. Wie man aus der wunderbaren Kafka-Biographie von Reiner Stach lernen kann: Ambition und Absurdität sind bei Kafka keine Gegensätze.

Als Schriftsteller war Kafka jemand, der Nacht für Nacht sein ganzes Ensemble allein erschaffen musste, neben dem Bürojob in der Arbeiter-Unfall-Versicherungsanstalt. Er wusste, dass der kreative Absolutismus seinen Preis hat: Man ist bis zum Umfallen beschäftigt. Mit dem, was gerade nötig ist, damit die Sache irgendwann und irgendwie weitergeht. Und dann fällt einem das nächste Problem auf.

Der Gründer als vollständiges Ensemble

Ich kenne diesen Tagebucheintrag aus Nicolas Mahlers Band „Kafka für Boshaft“. Seit Monaten lese ich ihn immer wieder. Konkret: Seit Sam Altman und andere Vordenker der Branche die Prophezeiung ausgaben, dass Einzelpersonen mit Hilfe von KI-Agenten bald Unternehmen mit Milliardenbewertung aufbauen würden. Das Stichwort lautet Ein-Personen-Unicorns. Übersetzt: Der Gründer als vollständiges Ensemble, als Entwickler, Designer, Vertriebler, Buchhalter und Marketingstratege zugleich, verstärkt durch eine Armee von Sprachmodellen, die gehorsam Code generieren und Kunden kontaktieren.

Diese Prophezeiung ist verführerisch, weil sie einer uralten, prometheischen Sehnsucht nach totaler Souveränität und Kontrolle schmeichelt. Kein Team, das koordiniert werden will. Keine menschlichen Eigenheiten, die berücksichtigt werden müssen. Keine lästigen Kollegen, die anderer Meinung sind. Nur man selbst, die Bühne und die Modelle. Das klingt nach Befreiung. Es riecht nach Windel. Kafka, so ist mir beim Lesen aufgefallen, hat sein Stück hundert Jahre zu früh aufgeschrieben.

Denn Kafkas Direktor ist ja nicht deshalb lächerlich, weil sein Vorhaben scheitert – er scheitert im Tagebucheintrag ja gar nicht. Er ist lächerlich, weil die innere Logik seines Ehrgeizes ihn unausweichlich dorthin geführt hat: zur Windel. Wer lückenlose Kontrolle anstrebt, muss die Schauspieler selbst zeugen; wer sie selbst zeugt, muss auch für sie sorgen. Die Allmacht endet im Pflegeheim der eigenen Schöpfung.

Was der Mensch (ver)lernt

Das weist auf einen blinden Fleck hin, der in der aktuellen Euphorie um Solo-Coder und ihre KI-Agenten in den sozialen Medien oft übersehen wird. Nicht die Frage, ob diese Werkzeuge produktiv sind – das sind sie, oft beeindruckend –, sondern die Frage, was der Mensch dahinter dabei lernt oder verlernt. Sprachmodelle produzieren auf Zuruf: Code, Marktanalyse, Pitch-Deck. Aber sie wissen im strengen Sinne gar nichts. Der Direktor hat ein glänzendes Ensemble gezeugt; ob es spielen kann, erfährt er erst, wenn der Vorhang aufgeht.

Nehmen wir den KI-Bühnenbildner: Er kann Ihnen den Unterschied zwischen Preußischblau und Kobalt in drei Absätzen erklären. Aber er scheitert daran, ein Objekt auf der Bühne zu lokalisieren, das nicht dort ist, wo er es erwartet. Die jüngste Forschung zu multimodalen Sprachmodellen zeigt genau das: Selbst die leistungsfähigsten Systeme erzielen beim visuellen Grounding – dem schlichten Auffinden eines Gegenstandes im Bild – erschreckend niedrige Trefferquoten; bei Aufgaben, die das Erkennen von Abwesenheit erfordern, versagen die meisten vollständig. Was Kognitionswissenschaftler das Binding-Problem nennen, ist in der Praxis vernichtend: Das Modell beschreibt, was es zu sehen erwartet. Es sieht nicht. In anderen Worten: Der KI-Bühnenbildner malt aus dem Gedächtnis, nicht aus der wirklichen Anschauung.

Und der Hauptdarsteller? Er kommt manchmal, wenn man ihm richtig zuflüstert („promptet“), auf die richtige Zeile – aber über Wege, die er sich nicht merken kann, weil er sie nicht gegangen ist. Apples Forschungsteam hat das in einer wichtigen Studie nüchtern „The Illusion of Thinking“ genannt: Sogenannte Reasoning-Modelle, die durch verlängerte Denkprozesse besonders zuverlässig wirken sollen, erleiden ab einem bestimmten Komplexitätsniveau einen Genauigkeitskollaps. Bei einfachen Aufgaben übertreffen sie die älteren Modelle nicht einmal. Was bleibt, ist ein Ensemble, das gelegentlich brillant klingt, aber strukturell unzuverlässig ist. Kein Probengedächtnis, keine Replizierbarkeit. Das Paradox setzt sich beim Publikum fort: Studierende, die regelmäßig KI-Assistenten zum Schreiben und Denken nutzen, zeigen messbar schwächere Gedächtnisleistung, geringere kognitive Eigenständigkeit und – besonders ernüchternd – auch dann noch schlechtere Ergebnisse, wenn sie wieder ohne KI arbeiten. MIT-Forscher sprechen von „kognitiver Verschuldung“.

Die Windeln stapeln sich im Fundus.

Wohin eine solche Aufführung führt? Das sieht man am Bild des Hobby-Coders, der zwar engagiert mit Claude Code spielt, sich aber nie die Prinzipien von sauberem Code angeeignet hat. Zweihundert Zeilen, die funktionieren – bis sie es nicht mehr tun. Dann beginnt das Debugging: ein Durchsuchen von generiertem Code, den der Autor nicht mehr versteht, und zunehmend auch nicht das Modell, das beim nächsten Prompt munter darüber hinweg generiert. Laut einer Analyse von 211 Millionen Codezeilen durch GitClear hat sich der sogenannte Code-Churn im KI-Zeitalter verdoppelt, während 45 Prozent des KI-generierten Codes Sicherheitslücken enthält. Dies wird zunehmend von Hackern ausgenutzt. Der Begriff „Vibe Coding“ ist keine zwei Jahre alt und hat bereits eine eigene technische Schuldenkrise produziert, die erst langsam sichtbar wird. Das Theater steht. Die Windeln stapeln sich im Fundus.

Diese Kritik bedeutet nicht, dass die Werkzeuge wertlos wären. Ich selber nutze lokale KI-Modelle gerne und viel, gerade für mühsame Programmieraufgaben. Für technisch versierte Gründer sind KI-Agenten ein Hebel, den frühere Generationen nicht kannten. Manche Windeln nimmt einem das Modell tatsächlich ab. Doch Unicorns heißen nicht umsonst so: mythische Wesen, selten und wunderlich. Ein-Personen-Unicorns wären mythische Wesen zweiter Ordnung. Was manche Influencer in den sozialen Medien als wundersame Programmierprojekte präsentieren, die angeblich an einem Wochenende entstanden sind, sind Ausnahmen aus einer frühen Phase. Alle anderen debuggen noch.

Der Unterschied zwischen Vision und Theater auf dem höchsten Niveau liegt in der Arbeit dazwischen. Nicht in der glamourösen, nicht in der sichtbaren, sondern in der stillen, zeitaufwändigen, ein wenig demütigenden Arbeit, die das Geschehen auf der Bühne am Laufen hält. Ökonomen, die Transformationstechnologien von der Dampfmaschine bis zur Elektrifizierung analysiert haben, nennen das die Komplementaritätsbedingung. Eine Basistechnologie entfaltet ihren Nutzen nicht durch bloße Verfügbarkeit, sondern durch die jahrelange, unsichtbare Reorganisation von Prozessen, Kompetenzen und Institutionen.

Daron Acemoglu hat das für die generative KI konkret beziffert: Selbst unter optimistischen Annahmen dürfte die Technologie das BIP über zehn Jahre um weniger als ein Prozent heben – weil die komplementäre Arbeit, die sie erst produktiv macht, Zeit braucht und konstante Validierung verlangt.

Man wird nicht vorgelassen. Der Direktor ist beschäftigt.

Was er tut? Er wechselt Windeln.

Die KI nimmt einem ein paar davon ab. Vielleicht sogar viele. Aber das Theater baut sie einem nicht.

Anselm Küsters ist Fachbereichsleiter Digitalisierung und Neue Technologien am Centrum für Europäische Politik (cep) in Berlin. Im Sommersemester 2025 und Wintersemester 2025/26 war er zudem Vertretungsprofessor für Digital Humanities an der Universität Stuttgart. Er ist Autor des Buches „Small is beautiful 2.0: Mit digitaler Dezentralisierung zu einer menschlicheren Wirtschaft“, das jüngst im Herder Verlag erschienen ist.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Several Intel NPU fixes land in the latest update to Resources, which Ubuntu is making the default system monitor in 26.04 LTS. Resources is a GTK4/libadwaita tool that shows more system usage, processes and hardware details than GNOME System Monitor, which it is replacing as Ubuntu’s default in the new LTS. The Resources v1.10 release at the start of February added (among other changes) support for AMD Neural Processing Units (NPUs). The app has supported usage for Intel NPUs since its v1.7.x release in late 2024. The v1.10.2 changelog resolves what is described as “implausible” usage values in Intel NPU […]

You're reading Resources 1.10.2 fixes ‘implausible’ Intel NPU values, a blog post from OMG! Ubuntu. Do not reproduce elsewhere without permission.

Trotz scharfer Kritik hält die sächsische Regierung am ihrem Vorhaben fest, die Polizei mit erheblich erweiterten Überwachungsbefugnissen auszustatten. Den bisherigen Gesetzesentwurf hat sie nach internen Verhandlungen nur kosmetisch angepasst. Kritiker:innen bezweifeln die Vereinbarkeit mit geltendem EU-Recht und warnen vor dystopischen Verhältnissen.

Die sächsische Polizei soll Bilder im Internet biometrisch auswerten dürfen – zumindest wenn es nach dem Willen der sächsischen Regierung geht. Und das ist lange nicht die einzige massive Befugniserweiterung der Polizei, die die Regierung plant. Auch Verhaltensscanner, verdeckte Kennzeichenerkennung und eine automatisierte Datenanalyse sollen kommen. Lediglich bei zwei problematischen Plänen machte das Innenministerium einen Rückzieher. Unter Zeitdruck muss nun der sächsische Landtag entscheiden.

Geringfügige Änderungen für eine „rechtsstaatlich sehr hohe Qualität“

Am Dienstag beschloss das Kabinett den Gesetzentwurf für das Sächsische Polizeivollzugsdienstgesetz (SächsPVDG). Dieser fällt in Teilen weniger scharf aus als die ursprünglich geplante Novelle. Wenn man den sächsischen Innenminister Armin Schuster (CDU) fragt, sogar ein gutes Stück zurückhaltender. Sein Referentenentwurf aus dem Herbst war auf viel Kritik gestoßen, auch die mitregierende SPD kritisierte einige der geplanten Befugniserweiterungen.

Im Vergleich dazu enthielten die neuen Pläne „sehr viele grundrechtssichernde Bestimmungen“, so Schuster. Er verweist auf Richtervorbehalte, Lösch- und Berichtspflichten. „Für Polizisten ist dieses Gesetz eine Herausforde­rung“, sagte der Innenminister auf einer Pressekonferenz am Dienstag nach der Kabinettssitzung. Der Entwurf habe nun eine „rechtsstaat­lich sehr hohe Qualität“, betonte er.

Tatsächlich gibt es bei den meisten Bestimmungen des Entwurfs, wenn überhaupt, geringfügige Änderun­gen und Konkretisierungen. So ist der präventive Staatstrojaner-Einsatz zur Quellen-Telekommuni­kationsüberwachung nach wie vor enthalten, ebenso Verhaltensscanner, die gesetzlichen Grund­lagen für eine Datenanalyse-Plattform sowie der biometrische Abgleich von Gesichtern und Stim­men mit dem Internet.

Kein Palantir, keine Drohnen gegen Handy-Sünder:innen

Gestrichen wurde vor allem das Filmen in Autos, um Handy-Nutzer:innen am Steuer zu erwi­schen. Diese Vorschrift sollte laut dem ursprünglichen Entwurf sogar mit Drohnen umgesetzt wer­den.

Die sächsische Datenschutzbeauftragte Juliane Hundert hielt das für „offensichtlich verfas­sungswidrig“ und sprach von einer „auf der Hand liegenden Unverhältnismäßigkeit“. Ihrer Empfeh­lung nach einer ersatzlosen Streichung folgte die sächsische Regierung offenbar.

Außerdem setzte die SPD durch, dass Palantir keinen sächsischen Auftrag für eine polizeiliche Da­tenanalyse-Plattform bekommt. Der Verzicht wird vom sächsischen Innenminister bedauert: „Der Vorsprung der Firma Palantir ist mit Händen greifbar“, sagte Schuster. Man führe Gespräche mit anderen Anbietern. Laut Kostenplanung im Entwurf rechnet die Staatsregierung mit einer zentralen Bereitstellung durch den Bund, an der man sich dann finanziell beteiligt.

Das 3-Stufen-Modell der polizeilichen Datenanalyse

Weiterhin enthalten ist die Vorschrift, die ermöglichen soll, dass die Polizei eine Plattform zur automatisierten Datenanalyse nutzt. Inzwischen findet sich im Entwurf dafür ein 3-Stufen-Modell.

Auf der ersten Stufe steht ein einfacher Datenabgleich, bei dem jede:r Polizist:in personenbezogene Daten in den Beständen der Polizei Sachsen suchen kann. Ausgenommen sind Biometrie-Daten, personenbezogene Da­ten von Unbeteiligten aus der Vorgangsbearbeitung sowie Daten aus der Wohnraumüberwachung.

Auf der nächsten Stufe folgt die Befugnis, Daten zur Gewinnung neuer Erkenntnisse automatisiert zusammenzuführen und auszuwerten. Voraussetzung ist ein drohender erheblicher Angriff auf den Staat oder Leib, Leben oder Freiheit einer Person. Für drohende terroristische Straftaten liegt die Gefahrenschwelle niedriger. Anordnen dürfen diese Art der Datenanalyse nur hochrangige Polizist:innen, wie etwa die Präsidentin einer Polizeidi­rektion.

Polizeidaten fürs KI-Training – auch ohne Pseudonymisierung

Nur bei der dritten und letzten Stufe muss die Polizei eine richterliche Erlaubnis einholen. Diese Stufe umfasst den Einsatz von „selbstler­nender KI“ sowie die Bildung von Verhaltensprofilen.

Nach wie vor plant die Staatsregierung, der Polizei auch das Training und Testen von eigenen KI-Anwen­dungen mit echten Polizeidaten zu erlauben. Erlaubt ist außerdem die Weiter­gabe personenbezogener Daten an Drittanbieter, die mit der Polizei zusammenarbeiten.

Vorausset­zung dafür ist, dass die Anonymisierung und Pseudonymisierung sowie die Verarbeitung bei der Polizei „nur mit unverhältnismäßigen Aufwand möglich“ ist. Auch diese Vorschrift wurde, trotz Kritik von der SPD-Fraktion und der Opposition, im Vergleich zum letzten Entwurf aus dem Herbst kaum angepasst.

Gesichtersuche im Netz – im Einklang mit der KI-Verordnung?

Auch der „Klette-Paragraf“, wie ihn Armin Schuster nennt, hat im Gesetzesentwurf weiterhin Bestand. Die RAF-Terro­ristin Daniela Klette war bis zu ihrer Festnahme 2024 mehrere Jahrzehnte untergetaucht. Den­noch fanden zwei Journalisten im Dezember 2023 Hinweise auf Klettes Aufenthaltsort über die Ge­sichtersuchmaschine PimEyes. „Diese Blamage darf so nie wieder passieren“, betonte Schuster in der Pressekonferenz.

Dieser biometrische Abgleich von Gesichtern und Stimmen mit Internetdaten wurde trotz viel Kritik kaum angepasst. Die Polizei soll nun lediglich nach Opfern und potenziellen Täter:innen suchen dürfen.

Doch es gibt Zweifel, ob die von Innenminister Armin Schuster als „Klette-Paragraf“ bezeichnete Vorschrift grundsätzlich mit der KI-Verordung der EU in Einklang zu bringen ist.

Laut einem Gutachten von AlgorithmWatch ist es technisch nicht umsetzbar, frei verfügbare Bilder aus dem Internet für einen Abgleich praktikabel durchsuchbar zu machen, ohne eine Datenbank die­ser Bilder zu erstellen. Das verbietet die KI-Verordnung.

Das sächsische Innenministerium rechtfertigt die Pläne auf Anfrage von netzpolitik.org damit, dass das Gutachten auf die Erstellung einer anlassunabhängigen Datenbank abziele, das vorgeschlagene Gesetz aber „auf den anlassbezogenen Auftragsbereich der Gefahrenabwehr“ fokussiere.

Das Innenministerium schreibt weiter:

Zu OSINT-Recherchen werden sowohl Sachbearbeiter als auch Tools eingesetzt, die sich der grundsätzlichen Datenbankstruktur des Internets bedienen und keine polizeieigene Datenbank für alle Informationen des Internets erstellen. Die Methodik hält sich an die von den Informationsan­bietern gesetzten Grenzen. OSINT-Recherchen sind für einen anlassbe­zogenen Lichtbildvergleich mit Bildern aus dem Internet rechtmäßig unter Wahrung der DSGVO sowie europäischen Datenschutzrichtlinien.

Tatsächlich aber ist es laut KI-Verordnung unerheblich, ob die Polizei selbst eine anlassunabhängige Datenbank mit allen Bildern erstellt oder eine von Drittanbietern nutzt. Konkret verbietet die Verordnung in Ar­tikel 5 (1e) „das Inverkehrbringen, die Inbetriebnahme […] oder die Verwendung von KI-Systemen, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern“.

Videoüberwachung mit Mustererkennung

Auch Verhaltensscanner und Gesichtserkennung in der Videoüberwachung sind weiterhin vorge­sehen. Die Verhaltensscanner sollen Beamt:innen alarmieren, wenn die Software auf den Kamerabildern Bewegungsmuster erkennt, die auf Waffen, gefährliche Gegenstände oder die Begehung einer Straftat hindeuten. Die Beamt:innen sollen dann überprüfen, ob die Software zurecht angeschlagen hat. Sie können daraufhin auch eine auto­matisierte Nachverfolgung des vermeintlich gefährlichen Menschen durch die verschiedenen Kame­ras in die Wege leiten.

Diese Form der Überwachung soll prinzipiell nicht nur an allen Kriminalitätsschwerpunkten möglich sein, sondern etwa auch in Straßenbahnen und Bus­sen, wenn die Polizei annimmt, dass dort künftig Straftaten begangen werden.

Obwohl die SPD-Fraktion sich explizit gegen diese Vorschrift aussprach, ist auch die Möglichkeit eines Live-Gesichtsscans im Gesetzentwurf enthalten. Eingeschränkt wurde hier nur die Menge an Menschen, nach denen die Po­lizei suchen darf, nämlich nach Terrorverdächtigen sowie vermissten Menschen und Opfern von Entführungen und Menschenhandel.

Diese „Echtzeit-biometrische Fernidentifizierung“ muss von Richter:innen angeordnet werden, die auch Umfang und Dauer der Maßnahme absegnen müssen. Obwohl also prinzipiell alle gescannt werden, die durch das Kamerabild laufen, soll die Software nur nach einzelnen Menschen suchen.

Völlig unverändert: Staatstrojaner, Kennzeichenscan und Bodycams

Bei anderen Befugniserweiterungen hat sich nichts verändert.

Der Bodycam-Einsatz in Wohnungen soll weiterhin erlaubt werden. Auch der Einsatz von Staats­trojanern zur Gefahrenabwehr im Rahmen der Quellen-TKÜ soll möglich sein. Der Innenminister wollte zudem die verdeckte Online-Durchsuchung von Computern einführen, hat das aber nicht „durchgekriegt“, wie er bei der Presse­konferenz freimütig zugab. Auch die CDU-Fraktion macht Druck.

Nach wie vor ist das verdeckte automatisierte Scannen von Auto-Kennzeichen geplant. Diese Überwachungsmaßnahme soll in grenznahen Regionen erfolgen. Das Innenministerium begründet die Maßnahme explizit mit der Su­che nach Autodieben und gestohlenen Fahrzeugen. Der verdeckte Scan ist bis zu 30 Kilometer vor der Grenze zu Tschechien oder Polen erlaubt. Das entspricht etwa der Hälfte der Fläche Sach­sens.

Bei den Tasern gibt es einen Kompromiss. SPD- und BSW-Fraktion plädierten auf eine gestaffelte Einführung. Die Staatsregierung schafft nun zwar die Rechts­grundlage, um alle Polizist:innen damit auszustatten. Über die nächsten drei Jahre sollen allerdings nur 120 Stück angeschafft werden. Außerdem ist eine verpflichtende Evaluation im Jahr 2029 vorgesehen.

Minority Report und chinesische Verhältnisse

Auch wenn die Minderheitskoalition den Entwurf im Vergleich zur vorherigen Version in Details verändert hat, bleibt es bei einer massiven Erweiterung der Polizeibefugnisse. Der Dresdener Chaos Computer Club (C3D2) kriti­siert das: „Die Landesregierung will klassische Mittel der Strafverfolgung auf Landesebene einfüh­ren und verschiebt damit die rechtliche Grenze der behördlichen Befugnisse: Gefahrenabwehr ist Sache des Landes, Strafverfolgung des Bundes.“ Als Beispiel nennen sie die Staatstrojaner, deren Einsatz bundesweit durch die Strafprozessordnung geregelt ist.

Der Verein erinnert in seiner Mitteilung an dystopische Welten wie „Minority Report“, in denen Predictive-Policing die Unschuldsvermutung ersetzt. „Sicherheitsbehörden bauen derzeit solche Systeme aus, ungeachtet der juristischen Grenzen und gesellschaftlichen Folgen für die Demokratie und individuelle Freiheiten.“

Der C3D2 warnt insbesondere vor der Einführung ei­ner Plattform zur automatischen Datenanalyse. Diese sei „moderne Rasterfahndung mit Vorhersage­funktion“, so die Sprecherin weiter. „Ob es Palantir wird oder eine andere vergleichbare Lösung, ist letztendlich egal. Solche Systeme funktionieren in der Regel nur, wenn sie an möglichst viele Sensoren und Datenbanken an­geschlossen sind“, heißt es in der Mitteilung. Die Einführung einer solchen Software öffne die Büchse der Pandora.

„Der Chaos Computer Club sieht die Novelle des Sächsischen Polizeigesetzes als einen erneuten Angriff auf die informationelle Selbstbestimmung, die rechtsstaatlich gebotene Gewaltenteilung sowie als Gefahr für eine offene und demokratische Gesellschaft.“

Aus dem Landtag kommt die schärfste Reaktion von der Fraktion Bündnis 90/Die Grünen: „Der massive Einsatz von KI zu Überwachungszwecken, die intelligente Videoüberwachung und die Möglichkeit des Daten­abgriffs aus dem Internet sind keine Lappalien, sondern schwerwiegende Eingriffe in die Bürger­rechte aller Menschen in Sachsen“, sagte der innenpolitische Sprecher der Grünen-Fraktion, Va­lentin Lippmann. Er wiederholte seine Kritik aus dem Herbst, wonach sich der Entwurf eher an chinesischen Überwachungsfantasien orientiere als an dem Grundgesetz.

Grüne und Linke scheiden als Mehrheitsbeschaffer aus

Die Linksfraktion äußerte sich in einer ersten Mitteilung zurückhaltender und verwies darauf, den aktuellen Entwurf noch nicht zu kennen. In der Vergangenheit hatte auch sie die geplanten Befugnisse für die automatisierte Datenanalyse, verdeckte Kennzeichenerkennung und biometrische Suche im Internet zurückgewiesen.

Aufgrund der Mehrheitsverhältnisse im Landtag und die klare Ablehnung der Grünen ist die Positi­on der Linken für die Staatsregierung aber nicht entscheidend. Der schwarz-roten Minder­heitskoalition fehlen zehn Stimmen. AfD (40) und Bündnis Sahra Wagenknecht (15) können den Entwurf durch ihre alleinige Zustimmung über die Ziellinie bringen, Grüne (7) und Linke (6) müssten hingegen gemeinsam mit der Minderheitskoalition votieren.

AfD nicht konstruktiv, BSW sieht noch Änderungsbedarf

Eine Zusammenarbeit mit der AfD haben CDU und SPD in ihrem Koalitionsvertrag ausgeschlossen. Die AfD hat keine Stellungnahme im Konsultationsprozess abgegeben. Als einzig verbleibende Option bleibt der Koalition damit das BSW.

Dessen innenpolitischer Sprecher Bernd Rudolph kündigte Anpassungen im parlamentarischen Ver­fahren an. Besonders bei den Themen automatisierte Datenanalyse, Training von KI-Systemen mit Polizeidaten und Tasern sieht die BSW-Fraktion noch Änderungsbedarf. „Der vorliegende Gesetz-Entwurf enthält sinnvolle Modernisierungen, aber auch gefährliche Überdehnungen.“ Man wolle ein Polizeigesetz, das wirksam schützt, aber nicht überwacht.

Die Uhr tickt

Viel Zeit für Änderungen im Parlament bleibt indes nicht mehr. Wegen eines Urteils des Verfassungsge­richtshofs laufen einige Polizeibefugnisse aus dem aktuellen sächsischen Polizeigesetz bald aus. Grüne und Linke hatten gegen das Gesetz geklagt, der sächsische Verfassungsgerichtshof gab ihnen in Teilen recht und setzte für manche Polizeibefugnisse eine Frist: Bis zum 30. Juni braucht es eine neue Regelung, sonst laufen sie aus.

Den Fraktionen verbleiben damit noch gut vier Monate für den ge­samten parlamentarischen Prozess.

Grüne und Linke kritisie­ren die Regierung für den engen Zeitplan. Selbst Innenminister Schuster räumt ein, dass der Land­tag „jetzt nicht komfortabel“, aber ausreichend Zeit habe. Man habe das durchgerechnet, versicherte Schuster.

Geplant ist, das Gesetz am 24. Juni im Plenum zu beschließen. Damit das alles zeitlich klappt, wurde eine Sondersitzung des Innenausschusses angesetzt. Bereits am 27. März steht die Sachver­ständigenanhörung im Landtag an.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Der Bremer ÖPNV plant KI-gestützte Videoüberwachung in allen Trams und Bussen. Auch die Polizei hat schon ein Auge auf die Technologie geworfen. Zunächst soll ihr aber heimliches Filmen mit Kameradrohnen erlaubt werden.

In Bremen läuft in 14 Tram-Bahnen KI-gestützte Videoüberwachung, ab April soll das System auf die übrigen Bahnen und Busse ausgerollt werden. Das haben die Verkehrsbetriebe (BSAG) vergangene Woche im Rahmen einer Projektvorstellung bekannt gemacht. Das System versucht zu erkennen, wie die abgebildeten Menschen handeln, um so aggressives Verhalten zu detektieren.

80 Prozent der Kosten von 10.000 Euro je Bahn zahlt das Bundesverkehrsministerium, das hier offenbar ein Leuchtturmprojekt sieht. Laut der Verkehrsbetriebe ist Bremen damit das erste Bundesland mit KI-Überwachung im öffentlichen Nahverkehr. Die Bremer Polizei hat ebenfalls Interesse an der Technologie angemeldet, die sie im öffentlichen Raum einsetzen möchte. Zahlreiche Bundesländer bohren dafür gerade ihre Polizeigesetze auf.

Die für die KI-Analyse nötige Videoüberwachung stünde in Bremen bereit. An 40 Standorten wird der öffentliche Raum mit Kameras kontrolliert. Doch die Bremer Polizei wird noch warten müssen. Am Mittwoch soll eine Novelle des Polizeigesetzes in der Bremischen Bürgerschaft debattiert werden. Die Erlaubnis, Verhaltensscanner zu nutzen, beinhaltet sie nicht. Dafür erlaubt der Gesetzentwurf der Polizei aber den heimlichen Einsatz von Videodrohnen.

Bremer Polizei soll heimlich Überwachungsdrohnen einsetzen

Die Überwachung mit Videodrohnen soll in drei Stufen stattfinden: Livestream zur Lagebeurteilung, Aufzeichnung, verdeckter Einsatz – mit jeweils immer höheren Eingriffsschwellen. Dem verdeckten Einsatz muss beispielsweise ein Richter zustimmen – außer es liegt eine Gefahr für „Leib, Leben oder Freiheit“ einer Person vor. Dann darf die Polizei auch freihändig agieren.

Die Entwicklung ist besonders interessant, da Bremen seit 2007 von einer Koalition aus SPD, Grünen und Linken regiert wird, die sich eigentlich ein besonders liberales Polizeigesetz gegeben hatte. In Bremen kann man etwa nach einer Polizeikontrolle eine Quittung verlangen, die den Grund für die Kontrolle verrät und die Polizist*innen im Land tragen eine individuelle Kennzeichnung.

Nun folgt also auch dieses Land zumindest ein Stück weit dem bundesweiten Trend zur Verschärfung der Polizeigesetze. So soll beispielsweise mit dem neuen Polizeigesetz ein Satz wegfallen, der Zivilpolizist*innen im Rahmen einer Maßnahme dazu verpflichtet, sich unaufgefordert auszuweisen.

Präventiver Einsatz von elektronischen Fußfesseln

Primär geht es in dem Entwurf um den Schutz von Opfern häuslicher Gewalt. Dazu soll der Aufenthaltsort der Täter*innen mit elektronischen Fußfesseln überwacht werden. Nach dem „Spanischen Modell“ sollen sich auch die Opfer freiwillig überwachen lassen können, um bei einer Annäherung des Täters gewarnt zu werden.

Das GPS-Tracking darf nicht nur gegen Ausübende häuslicher Gewalt eingesetzt werden, sondern auch gegen Menschen, denen die Polizei zutraut, dass sie einen Terroranschlag begehen. Der Einsatz ist präventiv möglich, ohne dass es vorher zu einer Straftat gekommen sein muss.

Mit dem neuen Polizeigesetz will Bremen auch die Hürden für Videoüberwachung des öffentlichen Raums senken. Während bislang noch eine erhöhte Kriminalitätsbelastung nötig ist, damit ein bestimmtes Areal überwacht werden kann, soll es künftig reichen, dass die örtlichen Verhältnisse Straftaten erwartbar machen. Dann reicht die Annahme, dass dort irgendwann mal etwas passiert, um ein Areal zu überwachen. Das bringt die Legitimation der Videoüberwachung von einer faktischen, zahlenbasierten Grundlage in die freihändige Einschätzung der zuständigen Polizeikräfte.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Unter Hochdruck will die EU Teile ihrer Digitalregulierung überarbeiten. Während der AI Act auf den letzten Metern noch um ein Verbot sexualisierter Deepfakes ergänzt werden könnte, treten beim Datenomnibus zwei wichtige EU-Institutionen auf die Bremse. Die neuesten Entwicklungen im Überblick.

Am 19. November 2025 präsentierte die Europäische Kommission den sogenannten „Digitalen Omnibus“: Mit zwei Gesetzen will die EU ihre Digitalregulierung überarbeiten und auf einen Schlag zahlreiche bestehende Gesetze ändern. Die Kommission will mit dem Paket Regeln vereinfachen, Bürokratie abbauen und so die Wettbewerbsfähigkeit Europas steigern.

Das erste dieser Gesetze, das die Datenschutzgrundverordnung (DSGVO), mehrere Datennutzungsgesetze und die Meldung von Cyber-Vorfällen betrifft, wird „Datenomnibus“ genannt. Das zweite Gesetz, welches die KI-Verordnung ändert, heißt „KI-Omnibus“. Für beide Vorhaben hat die Kommission ein hohes Tempo vorgegeben, die Änderungen sollen so schnell wie möglich beschlossen werden. Während dies beim KI-Omnibus, der unter anderem Teile der europäischen KI-Verordnung aufschieben soll, realistisch erscheint, dürften sich die Verhandlungen um den Datenomnibus deutlich länger hinziehen.

Sollen sexualisierte Deepfakes verboten werden?

Für den KI-Omnibus sind im Parlament zwei Ausschüsse verantwortlich: der Ausschuss für Binnenmarkt und Verbraucherschutz (IMCO) und der Ausschuss für bürgerliche Freiheiten, Justiz und Inneres (LIBE). Daher gibt es in diesem Fall auch zwei federführende Abgeordnete, die sogenannten Berichterstatter:innen: Michael McNamara ist Teil der Fraktion der Liberalen, Arba Kokalari gehört der konservativen EVP an, zu der auch CDU/CSU gehören.

Sie haben am 4. Februar gemeinsam ihren ersten Berichtsentwurf vorgelegt. Dieser beschreibt, wie sie die KI-Verordnung im Vergleich zum Vorschlag der EU-Kommission verändern wollen. Die verantwortlichen Abgeordneten anderer Fraktionen, die sogenannten Schattenberichterstatter:innen, haben bis zum 12. Februar ihre Änderungswünsche vorgelegt. Diese sind noch nicht öffentlich.

Bekannt ist jetzt schon, dass derzeit diskutiert wird, ob die Erstellung von sexualisierten Deepfakes im Rahmen des Omnibusses verboten werden soll – und unter welchen Umständen. Nach dem Skandal um Elon Musks Chatbot Grok, mit dem Nutzer:innen unfreiwillige Nacktbilder von Frauen und Minderjährigen erstellt haben, gibt es dafür gerade viel politischen Willen, sowohl im Parlament als auch unter den Mitgliedstaaten. Wie ein solches Verbot ausgestaltet werden könnte, ist jedoch umstritten.

Bei den Verhandlungen wird auch diskutiert, wer die Verantwortung für KI-Schulungen haben soll – die Anbieter der KI-Systeme oder die Regierungen. Außerdem soll entschieden werden, ob die verschobenen Fristen für Hochrisiko-Systeme fest oder flexibel sein werden. Dass sie überhaupt verschoben werden, scheint unter den Verhandelnden niemand mehr anzufechten. Ein weiteres Thema ist die Zentralisierung der Aufsicht im KI-Büro der EU-Kommission und das KI-Training mit sensiblen Daten, um Verzerrungen zu vermeiden. Ebenfalls besprochen werden mögliche Ausnahmen im Transparenzregister für KI-Systeme.

KI-Omnibus könnte bald schon am Ziel sein

Bereits nächste Woche startet im Parlament die Verhandlung, deren Ziel ein finaler Bericht ist. Es ist vorgesehen, dass die beiden Ausschüsse am 18. März darüber abstimmen. Damit würde dann die Parlamentsposition stehen und wäre bereit für den sogenannten Trilog mit der EU-Kommission und den Mitgliedstaaten.

Letztere erarbeiten im Moment ebenfalls ihre Position im Rat der Europäischen Union. Derzeit finden die Gespräche auf Ebene der Arbeitsgruppe „Vereinfachung“ statt. Es gibt bereits zwei Entwürfe. Wenn der Text final ist, wird er an die Diplomat:innen im „Ausschuss der Ständigen Vertreter“ gegeben. Auf der höchsten Ebene ist der Rat für Allgemeine Angelegenheiten für den KI-Omnibus verantwortlich.

Das Steuer hat dabei die derzeitige Ratspräsidentschaft Zypern in der Hand. Sie hat bereits angekündigt, den KI-Omnibus mit Priorität zu behandeln. Und das nicht ohne Grund: Schließlich sollen im Omnibus die Fristen für Hochrisiko-KI-Systeme angepasst werden, die eigentlich ab dem 2. August 2026 gelten würden. Der Omnibus muss daher spätestens bis zu diesem Datum in Kraft treten.

Insgesamt scheinen sich Rat und Parlament beim KI-Omnibus bisher relativ einig zu sein. Sie tendieren in vielen Punkten dazu, zum ursprünglichen Text der KI-Verordnung zurückzugehen. Unterschiede gibt es selbstverständlich in den Details.

Institutionen warnen vor Datenomnibus

Unübersichtlicher und umstrittener ist die Lage beim Datenomnibus. Während die Zusammenlegung von Datennutzungsgesetzen oder die Vereinfachung der Meldewege bei IT-Sicherheitsvorfällen für relativ wenig Aufregung gesorgt haben, ist um die Datenschutzaspekte des Vorhabens eine heftige Debatte entbrannt.

De EU-Kommission behauptet weiter steif und fest, lediglich technische Änderungen vorgeschlagen zu haben, die das Datenschutzniveau in der EU nicht verändern würden. Inzwischen mehren sich jedoch die Stimmen, die sagen: Vorschläge wie eine erleichterte Nutzbarkeit von Daten für KI, Einschränkungen von Betroffenenrechten oder eine Änderung der Definition personenbezogener Daten würde an Grundpfeilern des Datenschutzes rütteln.

In diesen Chor hat sich vergangene Woche auch der Europäische Datenschutzausschuss (EDSA) eingereiht, in dem die nationalen Datenschutzbehörden der EU zusammenarbeiten. „Einige vorgeschlagene Änderungen geben Anlass zu erheblichen Bedenken, da sie das Schutzniveau für Einzelpersonen beeinträchtigen, Rechtsunsicherheit schaffen und die Anwendung des Datenschutzrechts erschweren können“, heißt es in einer gemeinsamen Erklärung des EDSA mit dem Europäischen Datenschutzbeauftragten Wojciech Wiewiórowski.

Ehemalige Meta-Lobbyistin verhandelt über Datenschutz

Zwar begrüße man einige Vorschläge, die zu tatsächlichen Vereinfachungen führen. Darunter falle etwa eine Anhebung des Risikoschwellenwerts, ab dem eine Datenschutzverletzung der zuständigen Datenschutzbehörde gemeldet werden muss, oder die Verlängerung der Frist für die Meldung von Datenpannen. Auch Vorschläge zu Vereinfachungen bei Cookie-Bannern begrüßen die Datenschützer:innen.

Deutlich länger ist jedoch die Liste der gravierenden Mängel, die die Datenschützer:innen ausmachen. Allen voran kritisieren die Behörden die vorgeschlagene Neudefinition personenbezogener Daten, die pseudonymisierte Daten unter Umständen von der DSGVO ausnehmen würde. Dazu heißt es von der Vorsitzenden des Europäischen Datenschutzausschusses, Anu Talus: „Wir fordern die beiden gesetzgebenden Organe jedoch nachdrücklich auf, die vorgeschlagenen Änderungen der Definition personenbezogener Daten nicht anzunehmen, da sie den Schutz personenbezogener Daten erheblich schwächen könnten.“

Was die beiden angesprochenen Organe, das Europäische Parlament und der Rat der Mitgliedstaaten, mit dem Input der Datenschutz-Expert:innen anfangen werden, ist derzeit noch ziemlich offen. Der Datenomnibus wird zwar in den legislativen Prioritäten für 2026 genannt, auf welche sich die drei EU-Institutionen Ende des Jahres einigten. Das bedeutet: Das Vorhaben soll eigentlich noch in diesem Jahr abgeschlossen werden. Eine Positionierung des Rates ist nach Auskunft von Beobachter:innen in den nächsten Monaten allerdings nicht zu erwarten.

Im Parlament stellt man sich ebenfalls auf langwierige und zähe Verhandlungen ein. Hier teilen sich auch beim Datenomnibus zwei Ausschüsse die Federführung. Während im LIBE-Ausschuss für Bürgerliche Freiheiten die Sozialdemokratin Marina Kaljurand Berichterstatterin für das Thema ist, hat im Industrieausschuss (ITRE) Aura Salla das Ruder übernommen. Die finnische Politikerin von der konservativen Europäischen Volkspartei war von 2020 bis 2023 Chef-Lobbyistin des US-Tech-Konzerns Meta in Brüssel. Mit Blick auf den Datenomnibus sagte sie im Januar auf einer Veranstaltung: „Wir müssen deregulieren, nicht nur vereinfachen.“

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Das Bundesgesundheitsministerium hat in der vergangenen Woche ein Update zur Digitalisierungsstrategie des Gesundheitswesens vorgelegt. Die sogenannte Künstliche Intelligenz spielt darin eine zentrale Rolle. Umso wichtiger ist es, dass wir jetzt die richtigen Fragen stellen.

Die Versprechungen, die mit „Künstlicher Intelligenz“ („KI“) und mit Digitalisierung einhergehen, sind gewaltig. Das ist auch im „Update der Digitalisierungsstrategie für das Gesundheitswesen und die Pflege“ nicht anders, die Bundesgesundheitsministerin Nina Warken (CDU) am 11. Februar vorstellte. Ein „gesünderes und längeres Leben für alle“ soll die Digitalisierung ermöglichen, sie soll die medizinische Versorgung und Pflege „besser und effizienter“ machen, heißt es darin zum Beispiel.

Die Strategie hatte der damalige Minister Karl Lauterbach ursprünglich im Jahr 2023 vorgelegt. Der Aufbau des Europäischen Gesundheitsdatenraums (EHDS), neue Erwartungen im Bereich der „Künstlichen Intelligenz“ sowie der Plan eines neuen Systems für die Erstversorgung machten das nun vorgelegte Update notwendig.

Die wichtigsten Elemente: Die ePA soll zur zentralen Anwendung für Gesundheitsthemen ausgebaut werden, Digitalisierung der Schlüssel zu einem erfolgreichen Primärärzt*innensystem sein und „KI“ soll „sicher, flächendeckend und wirksam“ eingesetzt werden.

Digitalisierung und „KI“ werden das Gesundheitswesen fraglos verändern. Doch es ist wichtig, jetzt die richtigen Fragen zu stellen.

Wie weit hilft „KI“ dem Gesundheitswesen?

Während Digitalisierung und „KI“ durchaus das Potenzial haben, Prozesse im Gesundheitswesen zu vereinfachen und die Versorgung zu verbessern, kommt es auf eine gewissenhafte Abwägung bei der Umsetzung an.

Dabei dürfen wir vor allem nicht vernachlässigen, wie weitreichend die Auswirkungen auf Menschen in Gesundheitsberufen, auf Patient*innen und auf das Verhältnis zwischen ihnen sein können. Dazu braucht es mehr strategische Auseinandersetzung und Debatten.

Den großen Hoffnungen, mit denen der Einsatz von „KI“ derzeit verbunden ist, müssen wir realistisch begegnen. Weder wird „KI“ alle strukturellen Probleme im Gesundheitswesen wie Personalmangel oder Kostenexplosion lösen können. Noch sind die großen Versprechungen medizinischer Spitzenleistungen und Effizienzgewinne bisher eingetreten – oder auch nur auf absehbare Zeit erwartbar.

Die technische Architektur der KI-Systeme gründet auf massenhaften Daten plus Stochastik, also der mathematischen „Kunst des Vermutens“. Das begrenzt diese Systeme dauerhaft. Es gibt keine Garantie dafür, dass Aussagen der „KI“ wahr und richtig sind.

Anders als bei einem Algorithmus, der nach festen Regeln funktioniert und bei gleichen Bedingungen wiederholbare Ergebnisse liefert, ist diese Wiederholbarkeit bei „KI“ gerade nicht gewährleistet. Auch ist es nicht nachvollziehbar, was genau den jeweiligen Antworten zugrunde liegt.

Welche Zwecke soll und kann Dokumentation erfüllen?

„KI“-gestützte Dokumentation soll in wenigen Jahren bei mehr als 70 Prozent der Einrichtungen der Standard sein, heißt es in der Strategie.

Sicherlich: Dokumentation ist oft lästig, aber sie kann auch dabei helfen, ein gemeinsames Verständnis zwischen Patient*in und Ärzt*in herzustellen, Angaben zu überprüfen oder eine wichtige abschließende Reflexion über einen Fall darstellen.

Was bewirkt Automatisierung mit „KI“?

Doch selbst wenn eine Entlastung durch Automatisierung in diesem Fall naheliegt: Schafft sie am Ende tatsächlich mehr qualitativ hochwertige Zeit für die Behandlung von Patient*innen? Oder wird sie am Ende die Arbeit von Menschen in Gesundheitsberufen noch weiter verdichten?

Das ist gerade angesichts des demografischen Wandels erwartbar. Er wird in den nächsten Jahren dazu führen, dass viele ältere Patient*innen größere Behandlungsbedarfe in die Praxen und Krankenhäuser bringen, während zugleich viele Menschen in Gesundheitsberufen in Rente gehen. Weniger Ärzt*innen müssen also künftig mehr Patient*innen behandeln – wenn nicht gegengesteuert wird.

Dabei entscheidet eine gute Beziehung zwischen Ärzt*innen und Patient*innen über den Heilungsverlauf mit, auch bei körperlichen Erkrankungen. Doch dafür braucht es vor allem eines: Zeit.

So umfassend will Warken die Gesundheitsdaten aller Versicherten verknüpfen

Wie wichtig ist uns digitale Souveränität?

Bei der Automatisierung der Dokumentation strebt die Ministerin ein hohes Tempo an. Mit Blick auf die bisher auf dem Markt dominierenden Anbieter könnte das dazu führen, dass schon bald OpenAI, Google Gemini und Co. regelmäßig ebenfalls im Sprechzimmer anwesend sind. Die Abhängigkeit von den US-amerikanischen Tech-Konzernen wächst bei verstärktem Einsatz dieser Dienste also weiter an.

Große Anbieter von Praxisverwaltungssystemen werben bereits mit „KI“-Tools zur Dokumentation und Automatisierung. Schaut man genauer in deren Datenschutzbestimmungen, bestätigt sich diese Vermutung.

Doctolib setzt Anthropic und Google Gemini als „KI“ ein und hostet bei Amazon Web Services. Konkurrent Jameda begrüßt die neue Strategie als „wichtiges Signal für die Branche“ und verweist auf das eigene Dokumentationstool Noa Notes, das ebenfalls auf Amazon Web Services sowie Microsoft Azure setzt und auch OpenAI in seiner Datenschutzerklärung stehen hat.

VIA Health verspricht als „erster virtueller Assistent speziell für die Psychotherapie“ besten Datenschutz. Gleichzeitig weist das Unternehmen in seiner Datenschutzerklärung darauf hin, zur „Transkribierung der Audiospur sowie […] Erstellung der Sitzungsprotokolle“ verschiedene Drittanbieter von „Large Language Models (LLMs)“ einzusetzen.

Das alles spiegelt die gegenwärtige Realität weiter Teile unserer digitalen Infrastruktur wider. Zugleich passt es nicht zusammen mit politischen Forderungen nach mehr digitaler Souveränität, die auch von der Bundesregierung selbst regelmäßig vorgetragen werden.

Wie verändern Sprachmodelle die Beziehung zwischen Ärzt*innen und Patient*innen?

Auch zu „KI“-gestützten Systemen der medizinischen Ersteinschätzung müssen wir uns Gedanken machen. Künftig sollen Symptome in ein Computersystem eingegeben werden, danach erfolgt eine technische Einschätzung.

Dieses Verfahren soll Teil des Erstversorgungssystems werden und so den Zugang ins Gesundheitswesen (mit)regeln. Noch ist nicht klar, ob regelbasierte Algorithmen oder „KI“ die technische Grundlage dafür bilden werden.

Es kann grundsätzlich sinnvoll sein, vor dem Besuch einer Praxis die Symptome in ein technisches System einzugeben und sich gegebenenfalls aufgrund einer besseren Steuerung Wartezeit zu ersparen.

Eines genaueren Blicks bedürfen allerdings Themen, die sensibler und oft schambesetzt sind. Einfühlsam und ohne Vorurteile über Sexualität zu reden, fällt Menschen oft schwer. Viele Patient*innen sprechen das Symptom einer Geschlechtskrankheit daher erst am Ende einer Sprechstunde an. Oder eine psychische Belastungssituation wird erst im Laufe eines Gesprächs deutlich.

Öffnen wir mit digitalen Angeboten also tatsächlich neue Wege für Patient*innen? Oder verlieren wir etwas, wenn wir auf standardisierte digitale Ersteinschätzungen setzen? Und wie können geschützte Räume entstehen für sensible Themen wie Sexualität, Geschlechtskrankheiten, Substanzkonsum oder psychische Störungen, wenn das vertrauliche Gespräch mit einer behandelnden Person von einem „KI“-Tool mitgeschnitten wird?

Wie gut sind Sprachmodelle als Gesundheitsassistenzen wirklich?

„KI“ soll zur ständigen Begleiterin für Patient*innen werden und perspektivisch „individualisierte Gesundheitsempfehlungen“ geben, heißt es in der Strategie. Das Bundesgesundheitsministerium möchte so die Eigenverantwortung der Versicherten stärken.

Dabei hat gerade erst eine in der wissenschaftlichen Zeitschrift „Nature“ veröffentlichte Studie gezeigt, dass „KI“-Systeme faktisch daran scheitern, richtige Ergebnisse hervorzubringen, sobald man sich von theoretischem Lehrbuchwissen verabschiedet und reale Patient*innen auf sie loslässt.

Hinzu kommt: Bei Sprachmodellen, der Grundlage von KI-Systemen, werden die Eingaben nicht über Standardfragen geleitet. Sondern das Verfahren hängt stark von den Eingaben der User*innen ab – und damit die Ausgaben der Systeme.

Weil aber die Anzahl möglicher Nutzer*inneneingaben unbegrenzt ist, lässt sich damit auch nicht verlässlich für alle Anwendungsfälle überprüfen, wie gut ChatGPT und Co. im Einzelfall reagieren. Die Erwartung an Verlässlichkeit von Software-Programmen, die sich aus Zeiten regelbasierter Programmierung speist, ist bei auf Stochastik gründenden Ansätzen nicht haltbar – denn da sind immer Wahrscheinlichkeiten oder sogar der Zufall im Spiel.

Zwar gibt es mittlerweile Beispiele, in denen Menschen sagen: „KI“ hat mir dabei geholfen, dass es mir gesundheitlich wieder besser geht. Gerade bei seltenen Erkrankungen, denen Ärzt*innen in ihrem Berufsalltag nur überaus selten begegnen, wird den Sprachmodellen ein solches Potenzial zugesprochen.

Gleichzeitig gibt es jedoch groteske Beispiele, in denen ChatGPT bei der Bewertung von Daten eines Gesundheitstrackers die Note „ungenügend“ – also kurz vor Herzinfarkt – „erraten“ hat, während zwei Ärzte keine Anhaltspunkte für eine Erkrankung finden konnten.

Menschen handeln als Menschen und sind damit – auch in der Interaktion mit Maschinen und bei der Interpretation „maschineller“ Antworten – oft unberechenbar.

Das wiederum kann weitreichende Auswirkungen für Interaktionen zwischen Mensch und Mensch im Behandlungszimmer haben. Fragen Ärzt*innen in der Sprechstunde künftig mit ab, ob Patient*innen bereits vorab mit „KI“ recherchiert haben? Wie gehen Versicherte damit um, wenn sich Empfehlungen von „KI“-Systemen von denen realer Mediziner*innen unterscheiden? Oder wenn die von der „KI“ vorgeschlagenen Behandlungen nicht von den Kassen gedeckt werden?

Wie bleibt das Gesundheitswesen menschlich?

Wenn sie gut gemacht sind, bieten Technologien die Chance, Medizin besser zu machen. Dafür müssen wir uns allerdings die richtigen Fragen stellen – jenseits von Heilsversprechen und Technikgläubigkeit sowie im Wissen um den hochkomplexen Faktor Mensch.

Der Mensch ist dabei kein „nerviges Beiwerk“. Am Ende sollen es ja wir alle sein, die von den neuen Technologien profitieren – und nicht nur die Tech-Milliardäre, die sie mit den größten Versprechungen bewerben.

Manuel Hofmann ist Referent für Digitalisierung der Deutschen Aidshilfe. Offenlegung: Der Autor hat im vergangenen Jahr auf Einladung der Gematik am Fachforum „Technologien und Anwendungen“ für die Weiterentwicklung der Digitalisierungsstrategie „Gemeinsam Digital“ teilgenommen.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Bundesgesundheitsministerin Nina Warken hat ihre Digitalisierungsstrategie vorgelegt. Darin betont die CDU-Ministerin, die Patient:innensouveränität stärken zu wollen. Tatsächlich aber will sie eine der umfassendsten Gesundheitsdateninfrastrukturen weltweit aufbauen. Nutznießer sind Forschung und Pharma-Unternehmen. Die Rechte der Patient:innen bleiben auf der Strecke.

Rund 75 Millionen gesetzlich Versicherte, ihre Gesundheitsdaten täglich übermittelt an ein nationales Forschungsdatenzentrum, verknüpfbar mit hunderten Medizinregistern und europaweit vernetzt – das ist die Vision von Bundesgesundheitsministerin Nina Warken (CDU).

Die Ministerin präsentierte in der vergangenen Woche ihre „Digitalisierungsstrategie für das Gesundheitswesen und die Pflege“. Darin verspricht Warken eine bessere medizinische Versorgung und mehr Patientensouveränität. Tatsächlich aber zielt ihre Strategie vor allem darauf ab, eine der umfassendsten Gesundheitsdateninfrastrukturen weltweit aufzubauen.

Das knapp 30-seitige Papier legt zugleich die Grundlage für ein umfangreiches „Digitalgesetz“. Den Entwurf will das Bundesgesundheitsministerium (BMG) noch im laufenden Quartal vorlegen. Die Rechte der Patient:innen drohen darin weitgehend auf der Strecke zu bleiben.

Die geplante Dateninfrastruktur ruht auf drei Säulen: die elektronische Patientenakte, das Forschungsdatenzentrum Gesundheit und das geplante Medizinregistergesetz. Das Zusammenspiel aller drei Vorhaben ebnet auch der EU-weiten Vernetzung der Gesundheitsdaten den Weg.

Die ePA soll zur „Gesundheits(daten)plattform“ werden

Alle Versicherten, die nicht widersprochen haben, besitzen seit Januar 2025 eine elektronische Patientenakte (ePA); seit Oktober 2025 sind Behandelnde dazu verpflichtet, sie zu verwenden. Gesundheitsministerin Warken will die ePA nicht nur zum „zentralen Dreh- und Angelpunkt“ der ärztlichen Versorgung machen, sondern auch zur „Gesundheits(daten)plattform“ ausbauen.

Dafür sollen erstens mehr strukturierte Daten in die ePA fließen, die dann „möglichst in Echtzeit für entsprechende Anwendungsfälle nachnutzbar“ sind. Derzeit sind dort vor allem noch PDF-Dateien hinterlegt, die nicht einmal durchsuchbar sind, was den Umgang mit der ePA aus Sicht von Behandelnden deutlich erschwert.

Zweitens soll die ePA weitere Funktionen wie eine digitale Terminvermittlung und elektronische Überweisungen erhalten. Die Patientenakte soll so „auch interessanter werden für diejenigen, die nicht krank sind“, kündigte Warken an. Derzeit nutzen gerade einmal rund 4 Millionen Menschen ihre ePA aktiv. Bis zum Jahr 2030 soll sich ihre Zahl, so das Ziel des BMG, auf 20 Millionen erhöhen.

„Künstliche Intelligenz“ soll Symptome auswerten

Wer sich krank fühlt, soll künftig auch über die ePA-App eine digitale Ersteinschätzung einholen können. Mit Hilfe eines Fragenkatalogs sollen Versicherte dann erfahren, ob ihre Symptome den Gang zur Hausärztin oder gar zur Notfallambulanz rechtfertigen.

Diese Auswertung soll offenbar auch mit Hilfe sogenannter Künstliche Intelligenz erfolgen. Ohnehin soll KI laut Warken „in Zukunft da eingesetzt werden können, wo sie die Qualität der Behandlung erhöht, beim Dokumentationsaufwand entlastet oder bei der Kommunikation unterstützt“. Bis 2028 sollen beispielsweise mehr als 70 Prozent der Einrichtungen in der Gesundheits- und Pflegeversorgung KI-gestützte Dokumentation nutzen – ungeachtet der hohen Risiken etwa für die Patientensicherheit oder die Autonomie der Leistungserbringer.

Dafür will das BMG „unnötigen bürokratischen Aufwand“ für KI-Anbieter reduzieren. Das Ministerium strebt dafür mit Blick auf den Digitalen Omnibus der EU-Kommission „eine gezielte Anpassung der KI-Verordnung“ an. Das umstrittene Gesetzesvorhaben der Kommission zielt darauf ab, Regeln für risikoreiche KI-Systeme hinauszuzögern und den Datenschutz deutlich einzuschränken. Zivilgesellschaftliche Organisationen warnen eindringlich, dass mit dem Omnibus der „größte Rückschritt für digitale Grundrechte in der Geschichte der EU“ drohe.

Forschungsdatenzentrum soll als „Innovationsmotor“ wirken

Die in der ePA hinterlegten Daten sollen aber nicht nur der ärztlichen Versorgung dienen, sondern vor allem auch der Forschung zugutekommen. Sie sollen künftig – sofern Versicherte dem nicht aktiv widersprechen – täglich automatisch an das Forschungsdatenzentrum Gesundheit (FDZ) gehen. Während Warken die ePA als „Dreh- und Angelpunkt“ der Versorgung sieht, beschreibt sie das FDZ als „Innovationsmotor“ der Gesundheitsforschung.

Das FDZ wurde nach jahrelangen Verzögerungen im vergangenen Herbst erst handlungsfähig. Es ist beim Bundesamt für Arzneimittel und Medizinprodukte (BfArM) in Bonn angesiedelt. Forschende können sich bei dem Zentrum registrieren, um mit den dort hinterlegten Daten zu arbeiten. Auch Pharma-Unternehmen können sich bewerben. Eine Voraussetzung für eine Zusage ist, dass die Forschung einem nicht näher definierten „Gemeinwohl“ dient.

Die pseudonymisierten Gesundheitsdaten sollen das FDZ nicht verlassen. Stattdessen erhalten Forschende Zugriff auf einen Datenzuschnitt, der auf ihre Forschungsfrage abgestimmt ist. Die Analysen erfolgen in einer „sicheren Verarbeitungsumgebung“ auf einem virtuellen Desktop, das Forschende übers Internet aufrufen können.

Ob dabei tatsächlich angemessene Schutzstandards bestehen, muss indes bezweifelt werden. Denn das Forschungszentrum verfügte in den vergangenen Jahren nicht einmal über ein IT-Sicherheitskonzept, weshalb auch ein Gerichtsverfahren der Gesellschaft für Freiheitsrechte ruht.

Gemeinsam mit der netzpolitik.org-Redakteurin Constanze Kurz hatte die GFF gegen die zentrale Sammlung sensibler Gesundheitsdaten beim FDZ geklagt. Aus ihrer Sicht sind die gesetzlich vorgesehenen Schutzstandards unzureichend, um die sensiblen Gesundheitsdaten vor Missbrauch zu schützen. Sie verlangt daher für alle Versicherten ein voraussetzungsloses Widerspruchsrecht gegen die Sekundärnutzung der eigenen Gesundheitsdaten. Nachdem das FDZ seit Oktober den aktiven Betrieb aufgenommen hat, dürfte das ruhende Verfahren in Kürze fortgesetzt werden.

„Real-World-Überwachung“ ermöglichen

Dessen ungeachtet haben sich laut BfArM-Präsident Karl Broich bereits 80 Einrichtungen beim FDZ registriert. Die Antragsteller kommen zu gleichen Teilen aus Wirtschaft, Verwaltung und Forschung. Mehr als zwei Drittel von ihnen hätten bereits konkrete Forschungsanträge gestellt, bis zum Ende des Jahres will Warken diese Zahl über die Schwelle von 300 hieven. Alle positiv beschiedenen Anträge sollen künftig in einem öffentlichen Antragsregister einsehbar sein.

Zum Jahreswechsel wird das FDZ wohl auch über weit mehr Daten verfügen als derzeit. Bislang übermitteln die gesetzlichen Krankenkassen die Abrechnungsdaten all ihrer Versicherten an das Forschungszentrum. Diese geben bereits Auskunft darüber, welche Leistungen und Diagnosen die Versicherungen in Rechnung gestellt bekommen haben.

Ab dem vierten Quartal dieses Jahres sollen dann nach und nach die Behandlungsdaten aus der ePA hinzukommen. Den Anfang machen Daten aus der elektronischen Medikationsliste, anschließend folgen die Laborfunde, dann weitere Inhalte.

Der baldige Datenreichtum gibt dem FDZ aus Sicht von BfArM-Chef Broich gänzlich neue Möglichkeiten. Er geht davon aus, dass seine Behörde in zehn Jahren bundesweit „einer der großen Daten-Hubs“ ist. Mit den vorliegenden Daten könnten Forschende dann umfassende „Lifecycle-Beobachtungen“ durchführen – „eine Real-World-Überwachung also, die klassische klinische Prüfungen so nicht abdecken können“.

Auch im FDZ soll „Künstliche Intelligenz“ mitwirken. Zum einen in der Forschung selbst: „Dafür arbeiten wir an Konzepten, die Datenschutz, Sicherheit und wissenschaftliche Nutzbarkeit von Beginn an zusammendenken“, sagt Broich. Zum anderen soll das FDZ Datensätze etwa für das Training von Sprachmodellen bereitstellen, wie die Digitalisierungsstrategie des BMG ausführt und auch bereits gesetzlich festgeschrieben ist. Sowohl Training als auch Validierung und Testen von KI-Systemen sind eine zulässige Nutzungsmöglichkeiten. Das bedeutet konkret: Die sensiblen Gesundheitsdaten von Millionen Versicherten können zum Training von Sprachmodellen verwendet werden.

Wie „Künstliche Intelligenz“ unser Gesundheitswesen verändern soll – und welche Fragen das aufwirft

Warken will Medizinregister miteinander verknüpfen

Ab 2028 könnten Trainingsdaten dann auch detaillierte Daten zu Krebserkrankungen enthalten. Denn in knapp zwei Jahren sollen die FDZ-Datenbestände mit Krebsregistern sowie dem Projekt genomDE verknüpft werden, das Erbgutinformationen von Patient:innen sammelt.

Die Datenfülle beim FDZ dürfte damit noch einmal ordentlich zunehmen. Allein die Krebsregister der Länder Bayern, Nordrhein-Westfalen und Rheinland-Pfalz halten Daten von insgesamt mehr als drei Millionen Patient:innen vor. Wer nicht möchte, dass etwa die eigenen Krebsdaten mit den Genomdaten verknüpft werden, muss mindestens einem der Register komplett widersprechen.

Im Gegensatz etwa zu den Krebsregistern der Länder, die auf Basis spezieller rechtlicher Grundlagen arbeiten, bewegen sich die meisten anderen Medizinregister dem BMG zufolge derzeit „in einem heterogenen Normengeflecht von EU-, Bundes- und Landesrecht“, was „die Schaffung einer validen Datenbasis“ behindere.

Das Ministerium hat daher bereits im Oktober das „Gesetz zur Stärkung von Medizinregistern und zur Verbesserung der Medizinregisterdatennutzung“ auf den Weg gebracht. Der Referentenentwurf sieht vor, einheitliche rechtliche Vorgaben und Qualitätsstandards für Medizinregister zu schaffen.

Ein Zentrum für Medizinregister (ZMR), das ebenfalls am BfArM angesiedelt wäre, soll demnach bestehende Medizinregister nach festgelegten Vorgaben etwa hinsichtlich Datenschutz und Datenqualität bewerten. Qualifizierte Register werden dann in einem Verzeichnis aufgeführt, dürfen zu einem festgelegten Zweck kooperieren und auch anlassbezogen Daten zusammenführen. Die personenbezogenen Daten, die dort gespeichert sind, können für die Dauer von bis zu 100 Jahren in den Registern gespeichert werden.

Derzeit gibt es bundesweit rund 350 Medizinregister. Zu den größten zählen das „Deutsche Herzschrittmacher Register“, das die Daten von mehr als einer Million Patient:innen enthält, und das „TraumaRegister DGU“ mit Daten von mehr als 100.000 Patient:innen. Das Gesundheitsministerium geht davon aus, dass etwa drei Viertel der bestehenden Medizinregister Interesse daran haben könnten, in das Verzeichnis des ZMR aufgenommen zu werden.

Verbraucher- und Datenschützer:innen mahnen Schutzvorkehrungen an

Gesundheitsdaten, die dem ZMR vorliegen, sollen ebenfalls pseudonymisiert oder anonymisiert der Forschung bereitstehen. Das geplante Medizinregistergesetz sieht außerdem vor, dass die Daten qualifizierter Register ebenfalls miteinander verknüpft werden können.

Zu diesem Zweck sollen Betreiber von Medizinregistern und die meldenden Gesundheitseinrichtungen registerübergreifende Pseudonyme erstellen dürfen. Als Grundlage dafür soll der unveränderbare Teil der Krankenversichertennummer von Versicherten (KVNR) dienen.

Fachleute weisen darauf hin, dass eine Pseudonymisierung insbesondere bei Gesundheitsdaten keinen ausreichenden Schutz vor Re-Identifikation bietet. Das Risiko wächst zudem, wenn ein Datensatz mit weiteren Datensätzen zusammengeführt wird, wenn diese weitere personenbezogene Daten der gleichen Person enthält.

Das Netzwerk Datenschutzexpertise warnt zudem davor, die Krankenversichertennummer in einer Vielzahl von Registern vorzuhalten. Weil im Gesetzentwurf notwendige Schutzvorkehrungen fehlen würden, sei „das Risiko der Reidentifizierung bei derart pseudonymisierten Datensätzen massiv erhöht“.

Der Verbraucherzentrale Bundesverband kritisiert die Menge an personenbezogenen Daten, die laut Gesetzentwurf an qualifizierte Medizinregister übermittelt werden dürfen. Dazu zählen neben sozialdemographischen Informationen auch Angaben zu Lebensumständen und Gewohnheiten sowie „zu einem Migrationshintergrund oder einer ethnischen Zugehörigkeit, der Familienstand oder die Haushaltsgröße“.

Um die Patient:innendaten besser zu schützen, forderte der Verband bereits im November vergangenen Jahres, eindeutig identifizierende Daten vom Kerndatensatz eines Medizinregisters getrennt aufzubewahren.

Gesundheitsministerium schafft Schnittstellen in die EU

Das Gesundheitsministerium lässt sich davon jedoch nicht beirren und strebt weitere Datenverknüpfungen an. Laut seiner Digitalisierungsstrategie will das BMG das Forschungspseudonym auch dazu nutzen, um die Gesundheits- und Pflegedaten „mit Sozialdaten und Todesdaten zu Forschungszwecken“ sowie „mit Abrechnungs- und ePA-Daten“ zu verbinden. Ob Versicherte dieser umfangreichen Datenverknüpfung überhaupt noch effektiv und transparent widersprechen können, ist derzeit zweifelhaft. Sicher aber ist: Der Aufwand dürfte immens sein.

Die Digitalisierungsstrategie macht ebenfalls deutlich, dass das Ministerium die geplanten Maßnahmen auch in Vorbereitung auf den Europäischen Gesundheitsdatenraum (EHDS) ergreift. Der EHDS ist der erste sektorenspezifische Datenraum in der EU und soll als Blaupause für weitere sogenannte Datenräume dienen. Schon in wenigen Jahren sollen hier die Gesundheitsdaten von rund 450 Millionen EU-Bürger:innen zusammenlaufen und grenzüberschreitend ausgetauscht werden.

Konkret bedeutet das: In gut drei Jahren, ab Ende März 2029, können auch Forschende aus der EU beim FDZ Gesundheitsdaten beantragen. Und das Zentrum für Medizinregister soll dem BMG zufolge ebenfalls Teil der europäischen Gesundheitsdateninfrastruktur werden.

Der größte Brückenschlag in der Gesundheitsdateninfrastruktur steht also erst noch bevor. Und auch hier bleibt die Ministerin eine überzeugende Antwort schuldig, was die Versicherten davon haben.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Eine Fachkommission der Bundesregierung hat Empfehlungen vorgelegt, die den Sozialstaat bürgernäher und digitaler machen sollen. Dafür will sie den Datenschutz aufweichen und Verfahren mit Hilfe sogenannter Künstlicher Intelligenz automatisieren. Wohlfahrtsverbände warnen vor zusätzlicher Diskriminierung.

Der Sozialstaat stehe vor einem „digitalen Neustart“. Das verkündete Bundesarbeitsministerin Bärbel Bas (SPD), als sie am Dienstag den Abschlussbericht der „Kommission zur Sozialstaatsreform“ entgegennahm.

Die Kommission empfiehlt insgesamt 26 Maßnahmen, um den Sozialstaat zu „modernisieren“. Sie sollen das Sozialleistungssystem vereinheitlichen, mehr „Erwerbsanreize“ für Leistungsbeziehende schaffen und rechtliche Vorgaben vereinfachen.

Das Schutzniveau des Sozialstaats werde dadurch nicht gesenkt, betonte Bas. Stattdessen zielten die Empfehlungen darauf ab, den Leistungsvollzug effizienter zu machen. Vor allem die Empfehlungen zur Verwaltungsdigitalisierung wertet die Ministerin dahingehend als „Quantensprung“.

Tatsächlich droht aber gerade hier ein Abbau elementarer Schutzvorkehrungen. Denn die Kommission will unter anderem den Datenschutz aufweichen und Verfahren weitgehend automatisiert „auch unter Nutzung von Künstlicher Intelligenz“ beschleunigen. Wohlfahrtsverbände befürchten, dass ohnehin benachteiligte Menschengruppen zusätzlich diskriminiert werden.

Plattformbasierte Modernisierung mit Sozialportal

Der Kommission gehörten Vertreter:innen des Bundes, der Länder und der Kommunen an. Vertreter:innen aus der Wissenschaft oder der Zivilgesellschaft waren in dem Gremium nicht vertreten. Es führte aber Gespräche mit insgesamt 90 Expert:innen und Interessenvertreter:innen unterschiedlicher Verbände und Sozialpartner.

Für eine „konsequente Ende-zu-Ende-Digitalisierung“ strebt die Kommission quasi im Backend eine „technisch sichere und souveräne Technologieplattform für Bund, Länder und Kommunen“ mit einheitlichen Standards und Schnittstellen an. Die Basiskomponenten dafür soll der Deutschland-Stack liefern, das Prestigeprojekt des Bundesdigitalministeriums.

Im Frontend sollen Bürger:innen alle Leistungen gebündelt über ein zentrales „Sozialportal“ einsehen sowie Anträge stellen und Bescheide abrufen können. Der Sozialstaat soll für sie so „transparenter und leichter zugänglich“ werden.

Behördenübergreifender Datenaustausch

Damit Verwaltungen leichter untereinander Daten austauschen können, sollen sie behördenübergreifend die steuerliche Identifikationsnummer nutzen. Diese lebenslang gültige Personenkennziffer erhalten alle Bürger:innen vom Bundeszentralamt für Steuern bei Geburt.

Schon die Ampel-Regierung hatte geplant, die Steuer-ID dazu zu nutzen, um Verwaltungsdaten zusammenzuführen. Jurist:innen und Datenschützer:innen kritisieren die Einführung einer solchen Personenkennzahl unter anderem mit Bezug auf das Volkszählungsurteils des Bundesverfassungsgerichts als verfassungswidrig.

Darüber hinaus spricht sich die Kommission dafür aus, das sogenannte Once-Only-Prinzip konsequent umzusetzen. Es sieht vor, dass Bürger:innen ihre Antragsdaten nur noch einer Behörde mitteilen, die diese dann an andere Behörden weitergeben kann.

Der „komplexe“ Sozialdatenschutz

Dafür müsse der Gesetzgeber aber zum einen den „komplexen Sozialdatenschutz“ aufweichen. Konkret empfiehlt die Kommission, entsprechende Regelungen im Ersten und im Zehnten Buch Sozialgesetzbuch zusammenzuführen. Zum anderen müsse dafür der Ersterhebungsgrundsatz reformiert oder gar gestrichen werden – sofern dies „mit dem verfassungsrechtlich verankerten Recht auf informationelle Selbstbestimmung vereinbar wäre“.

Der Ersterhebungsgrundsatz sieht vor, dass personenbezogene Sozialdaten grundsätzlich direkt bei der betroffenen Person selbst erhoben werden müssen und nicht etwa beim Arbeitgeber. Betroffene Person können so derzeit selbst darüber entscheiden, ob und wie ihre Daten preis- und weitergegeben werden.

Mehr KI, weniger Kontrolle

Darüber hinaus will die Kommission Verwaltungsverfahren mit dem Einsatz sogenannter Künstlicher Intelligenz beschleunigen. Auf diese Weise will sie auch den „sich verschärfenden Fachkräfteengpässen“ begegnen.

So sollen „rein regelgebundene Prozesse ohne Ermessens- und Beurteilungsspielraum“ künftig „weitgehend automatisiert ablaufen“. Damit sind Verwaltungsprozesse gemeint, bei denen ein Sachverhalt formal auf klare Voraussetzungen geprüft wird – also etwa ob eine Frist eingehalten wurde oder ein:e Antragssteller:in ein bestimmtes Alter erreicht hat.

Aber auch bei Ermessensentscheidungen soll KI verstärkt zum Einsatz kommen – allerdings nur „unterstützend“, wie der Bericht betont. Die Entscheidungen müssten „in menschlicher Hand“ verbleiben. Zugleich spricht sich die Kommission dafür aus, das sogenannte Vier-Augen-Prinzip einzuschränken. Es sieht vor, dass mindestens zwei Behördenmitarbeitende gemeinsam einen Sachverhalt prüfen.

Wohlfahrtsverbände warnen vor KI-Einsatz

Der Paritätische Wohlfahrtsverband sieht diese Empfehlungen „überaus kritisch“. „Auch ‚unterstützende‘ KI kann systematische Benachteiligung verstärken“, schreibt der Verband auf Anfrage von netzpolitik.org. „Besonders gravierend ist die fehlende Transparenz vieler KI‑Modelle und die Gefahr, soziale Feinheiten auszublenden.“ Das Vier-Augen-Prinzip sei „ein unverzichtbarer Schutzmechanismus im Sozialstaat“ und insbesondere bei KI-gestützten Verfahren wichtig. „Hier brauchen wir mehr Kontrolle, nicht weniger“, so der Verband.

„Nachvollziehbarkeit und Transparenz müssen zu jeder Zeit gewährleistet sein“, mahnt auch der Arbeiterwohlfahrt Bundesverband. Er verweist auf Forschungsergebnisse, wonach Algorithmen dazu neigen, ohnehin benachteiligte Menschengruppen weiter zu diskriminieren. „Sofern der Ermessensspielraum nicht zugunsten der Bürgerinnen und Bürger genutzt wird, muss deshalb immer durch eine qualifizierte Person entschieden werden“, schreibt die Arbeiterwohlfahrt.

Selbst dann seien die Risiken aber noch immer hoch, sagt die Bundestagsabgeordnete Sonja Lemke (Die Linke). Diverse Studien und Umfragen hätten gezeigt, dass Menschen KI-Ergebnissen recht blind vertrauten. „Daher besteht die Gefahr, dass Ermessensentscheidungen, die von der KI unterstützt werden, am Ende faktisch allein von der KI getroffen werden – mit allem Bias, rassistischen und sexistischen Vorurteilen, die in ihr stecken“, so Lemke gegenüber netzpolitik.org. „Das ist Politik auf Kosten derjenigen, die existenziell von Sozialleistungen abhängig sind.“

„Commitment“ oder Grundgesetzänderung

Die Kommission drängt auf eine rasche und einheitliche Umsetzung ihrer Empfehlungen. Bund, Länder und Kommunen müssten bundesweit geltende Vorgaben festlegen. Dazu zählen einheitliche Datenformate, Schnittstellen und IT-Dienste.

Dafür brauche es insbesondere ein „Commitment“ der Kommunen, betonte die Arbeitsministerin am Dienstag im ARD-Morgenmagazin. Nicht jede Kommune könne künftig ihre eigene Software behalten, so Bas.

Gelingt eine solche Einigung nicht, spricht sich die Kommission dafür aus, Artikel 91c des Grundgesetzes so anzupassen, dass „durch zustimmungspflichtige Bundesgesetze Standards, Sicherheitsanforderungen und Komponenten verbindlich festgelegt werden können“. Dafür braucht die schwarz-rote Koalition allerdings mindestens eine Zwei-Drittel-Mehrheit im Bundestag – und damit die Unterstützung der Linkspartei oder der AfD.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Der sächsische Landesverband der Gewerkschaft der Polizei nutzt ein KI-generiertes Bild mit einem blutenden Polizisten, um eine Pressemitteilung zu illustrieren. Begründet wird dies mit Persönlichkeitsrechten und laufenden Ermittlungen, das Bild sei eine „symbolische Illustration“.

Beim einem Zweitligaspiel der Fußball-Männerteams des 1. FC Magdeburg und Dynamo Dresden am vergangenen Samstag gab es Ausschreitungen. Nach Polizeiangaben soll es 70 verletzte Polizisten gegeben haben. Der sächsische Landesverband der Gewerkschaft der Polizei (GdP) gab dazu eine Pressemitteilung heraus und bebilderte sie mit einem KI-generierten fotorealistischen Bild. Darauf zu sehen: ein blutender Polizist, der von zwei Kollegen gestützt wird.

Dieses Bild war klein mit dem Hinweis „KI: ChatGPT“ gekennzeichnet, erweckt aber auf den ersten Blick den Eindruck, dass dies ein echtes Bild sei. In sozialen Medien sorgte die Bebilderung für Empörung. So kritisierte der Forscher Daniel Mullis auf Bluesky: „Es ist das erste Mal, dass ich solche Bilder von seriösen Stellen sehe, die Ereignisse so darstellen, dass sie besser ins eigene Bild passen.“ Das sei nicht gut, der Deutsche Gewerkschaftsbund, in dem die Gewerkschaft Mitglied ist, dürfe hier nicht schweigen.

Polizeigewerkschaft: „Symbolische Illustration“

Auf Nachfrage, warum die Gewerkschaft hier ein solches Bild einsetze, hat der GdP-Landesvorsitzende Jan Krumlovsky netzpolitik.org geantwortet, dass das KI-generierte Bild als „symbolische Illustration“ eingesetzt worden sei. „Diese Entscheidung erfolgte bewusst, um auf das Thema Gewalt gegen Einsatzkräfte im Zusammenhang mit dem Fußballspiel aufmerksam zu machen, ohne reale Einsatzkräfte, Beteiligte oder konkrete Einsatzsituationen abzubilden“, so Krumlovsky weiter. Als Begründungen nennt der Polizeigewerkschafter den Schutz von Persönlichkeitsrechten, laufende Ermittlungen sowie den respektvollen Umgang mit betroffenen Kolleginnen und Kollegen.

Krumlovsky betont, dass das Bild als KI-generiert gekennzeichnet ist. „Es sollte keine dokumentarische Abbildung eines realen Ereignisses darstellen, sondern der thematischen Einordnung dienen“, so der Gewerkschafter weiter. Für die Gewerkschaft sei entscheidend, dass der Einsatz von Illustrationen – unabhängig davon, ob sie KI-generiert oder auf andere Weise erstellt sind – transparent erfolge und keinen dokumentarischen Anspruch erheben würde.

DJV: „Immer ein Grund, hellhörig zu werden“

Unabhängig davon würde die GdP Sachsen die internen Abläufe im Umgang mit KI-generierten Inhalten „weiter präzisieren“, insbesondere bezüglich Kennzeichnung und Kontextualisierung. Nach unserer Presseanfrage hat die Polizeigewerkschaft noch einen weiteren Hinweis auf das generierte Foto unter dem Text angebracht und expliziter in der Quellenangabe den Zusatz „KI-generiert“ ergänzt. Das Bild selbst nutzt sie weiter.

Der Bundesvorsitzende des Deutschen Journalisten-Verbands Mika Beuster kommentiert gegenüber netzpolitik.org: „KI-Fotos sind immer ein Grund, hellhörig zu werden.“ Journalist:innen, aber auch die Öffentlichkeit, sollten sich immer kritisch fragen, warum auf KI-Material zurückgegriffen wird, so Beuster weiter. Der Verband spreche sich zudem bei der Nutzung von KI-generierten Bildern für größtmögliche Transparenz aus.

Der Fotojournalist Kai Schwerdt kritisierte bei Bluesky: „Auch wenn das Bild als KI-generiert gekennzeichnet ist, finde ich es bedenklich, wenn die Gewerkschaft der Polizei (GdP) solche Bilder zu dramaturgischen Zwecken einsetzt. Es ist eine bewusste Abkehr von der Realität. Als wäre die nicht schon übel genug.“

Update 29.1.26:
Die GdP Sachsen hat das Bild ausgetauscht.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Zwischen dem aktuellen KI-Hype und der ersten Industrialisierung gibt es Parallelen, das zeigt sich besonders in der drohenden Entfremdung, analysiert unsere Kolumnistin. Aber es gibt Wege, die gleichen Fehler nicht nochmals zu machen.

Unsere Erfindungen sind meistens niedliche Spielsachen, die unsere Aufmerksamkeit von ernsten Dingen ablenken. Sie sind nur verbesserte Mittel zu einem unverbesserten Zweck – zu einem Zweck, der auf die einfachste Weise von vornherein hätte erreicht werden können.

Sparsamkeit, Walden oder Leben in den Wäldern, Henry D. Thoreau

Die heutige Degitalisierung wird sich in dieser Zeit mit dem tieferen Sinn hinter allerlei Digitalisierungsbemühungen, im Speziellen sogenannter Künstlicher Intelligenz, beschäftigen müssen. Dass KI jetzt wieder Thema sein muss, ist auch mir inzwischen selbst nervig, aber genau diese permanente Durchsetzung in jeglichen Bereichen des Arbeits- und inzwischen auch Privatlebens braucht leider immer eine klare Thematisierung. Im Wesentlichen soll es aber auch um die Entfremdung gehen, die wir gerade durchleben.

Den Ton für diese Kolumne setzt dazu ein gewisser Henry Thoreau, der in Walden die einleitenden Worte in einer Blockhütte ab 1845 im Wald ersann. Quasi als eine Art Aussteiger oder Einsiedler, der sich schon im 19. Jahrhundert vom Fortschritt der Industrialisierung eine Auszeit nahm und im Wald über die Welt nachdachte.

Im 19. Jahrhundert befand sich Thoreau inmitten des ersten Maschinenzeitalters und brauchte eine Pause im Wald. Ein emotionales Bedürfnis, das allzu viele im Bereich der Informationstechnologie in den letzten Jahren immer wieder selbst verspürt haben dürften. Denn heute befinden wir uns quasi im zweiten Maschinenzeitalter, dem der Künstlichen Intelligenz, das auch kognitive Arbeitskontexte erfassen wird.

Üblicherweise sind solche Momente in der Geschichte aber auch weitere Gelegenheiten zur Entfremdung. Zur Entfremdung von sinnvollen Zwecken, für die all diese neue Technik genutzt werden könnte. Zur Entfremdung vor allem für „einfache“ Arbeitende. Nicht zum ersten Mal.

Marx und Manchesterkapitalismus

Entfremdung bzw. entfremdete Arbeit ist ein zentrales Konzept im Werk von Karl Marx. In der Zeit der ersten Industrialisierung hat Marx eine vierfache Entfremdung des arbeitenden Individuums in Bezug auf seine Arbeit attestiert. Nach Marx geschieht diese Entfremdung zwischen dem arbeitenden Individuum und dem Kapitalisten zum einen auf Ebene des Produkts der eigenen Arbeit, weil das Produkt der Arbeit ja gar nicht mehr dem Individuum selbst gehört, sondern anderen. Die Entfremdung geschieht auch auf der Ebene der Tätigkeit, die keine eigenen Bedürfnisse mehr befriedigt und auch keine freie und bewusste Tätigkeit mit der Umwelt oder Gesellschaft ermöglicht. Letztlich entfremdet sich der Mensch vom Menschen selbst.

In die Zeit der Industrialisierung und von Marx fällt auch eine Phase des besonders auf die Interessen von Unternehmen ausgerichteten Kapitalismus, des sogenannten Manchesterkapitalismus. Eine Zeit, in der vor allem in Großbritannien, aber nicht nur dort, Kinderarbeit, lange Arbeitszeiten von bis zu 14 Stunden, Hungerlöhne, Armut und das Fehlen jeglicher sozialer und gesundheitlicher Schutzmaßnahmen etwa bei Arbeitsunfällen vollkommen normal waren. Gewerkschaften oder politische Interessenvertretungen wurden lange Zeit unterdrückt. Die Lage trotz all des vermeintlichen technischen Fortschritts für einen Großteil der Bevölkerung elend.

Gebessert hat sich die Lage ein wenig erst durch Gesetze zum Arbeitsschutz, etwa durch das Festlegen von maximalen Arbeitszeiten und durch das schrittweise Verbot von Kinderarbeit, zumindest für Kinder unter 12.

Nur scheint sich im zweiten Maschinenzeitalter vieles, was wir eigentlich aus der Geschichte gelernt haben sollten, wiederholen zu müssen. Denn im modernen Techkapitalismus droht sich sowohl die Entfremdung als auch das Elend auf die gleiche, wenn auch an diese Zeit angepasste, Art und Weise zu wiederholen. In beiden Industrialisierungen geht es auch immer um Maschinen, in der Industrialisierung etwa um Dampfmaschinen und Webstühle, in der KI-Industrialisierung um massive Rechenzentren.

Musk und Techkapitalismus

Eines der ersten wirklich riesigen, auf KI spezialisierten Rechenzentren, ist Colossus von xAI, einem Unternehmen, das von Elon Musk gegründet wurde. Colossus war zu seiner Eröffnung Mitte 2024 der damals wohl schnellste Supercomputer der Welt.

Im Hype um KI wird immer wieder von den weltverändernden Möglichkeiten von Künstlicher Intelligenz gesprochen. Medikamente können schneller entwickelt werden, indem Proteine besser modelliert werden können. Wetter kann besser vorhergesagt werden. Das wäre vielleicht sogar ein sinnhafter Einsatz von KI. Nur forciert Musk den „vermeintlich freien“ Einsatz von KI für ganz andere Zwecke und damit auch von Supercomputern wie Colossus.

Grok, der Chatbot von xAI, flutet seit einiger Zeit den ehemals relevanten Kurznachrichtendienst Twitter, jetzt unter Musks Eigentümerschaft X genannt, mit massenhaft sexualisierten Deepfakes. Die Diskussion nahm in den letzten Tagen zu. Der selbst nicht ganz widerspruchsarme Kulturstaatsminister Wolfram Weimer bezeichnete das als eine „Industrialisierung der sexuellen Belästigung“. Die ansonsten eher seriös aufbereitete Financial Times illustrierte die Plattform X wegen der Ereignisse als eine Deepfake-Pornoseite, deren Mitarbeitende dort als eine Ansammlung von Clowns in einem Zirkuszelt dargestellt wurden.

Der typische techkapitalistische Einsatz dieser Tage führt also ebenfalls zu einer mehrfachen Entfremdung. Menschen oder Künstler*innen, die ihrer Werke und möglichen Einnahmen daraus beraubt werden, sei es bei Texten, Bildern, Illustrationen, Musik oder Filmen. Menschen, die im Sinne von digitalem Kolonialismus für KI-Modelle abartigen Content labeln und sortieren müssen. Menschen, die sich bei dieser Tätigkeit fühlen, als würde ihr Leben enden. Gigantomanische Rechenzentren, die in den nächsten Jahren Musks Colossus locker um das fast Zehnfache übertreffen werden und sich dabei in keinster Weise um die Auswirkungen auf Umwelt und Gesellschaft scheren. Energiebedarfe, die bis in den Gigawattbereich reichen, was dem Energiebedarf US-amerikanischer Großstädte wie Los Angeles entspricht. Ein Energiehunger, der mit zusätzlichen fossilen Energiequellen oder Atomreaktoren gestillt werden muss – bei denen aber die Entsorgung des Atommülls vollkommen unklar sind.

Dazu entfremdet sich auch noch das Finanzsystem immer weiter von der Realität überhaupt noch tragbarer Geschäftsmodelle. Moral ist dabei sowieso egal: Musks xAI sammelt weiter fleißig Geld ein und verbrennt es gleich wieder. Zuletzt fremdeln Anbieter von KI-Lösungen mit dem Konzept von Verantwortung für ihr eigenes Handeln. Hersteller von Chatbots zahlen lieber stillschweigend bei Gerichtsverfahren im Hintergrund Vergleiche, um nicht öffentlich in der Verantwortung für die Konsequenzen ihrer Produkte haften zu müssen.

Auf der anderen Seite starten Akteure wie OpenAI aber KI-Assistenten für die eigene Gesundheit – natürlich auf eigene Gefahr der Nutzenden.

Währenddessen wachsen die Rechenaufwände und die dafür notwendigen Rechenzentren in ihren Anforderungen immer weiter. Anwendungsfälle, die für die Menschheit von irgendeinem nachhaltigen Nutzen wären, werden aber damit kaum umgesetzt. Der Großteil der Rechenleistung wandert in Sprachmodelle, Videogeneratoren und Vision-Modelle. Eingesetzt als eher niedliche Spielsachen, ohne sich aber um ernste Dinge wie den Klimawandel oder die gesellschaftliche Ungleichheit zu scheren.

Grenzen und Wachstum

In manchen Momenten muss die fortschreitende KI-Industrialisierung aber immer wieder mit erstrebenswerten Zukunftsvisionen dargestellt werden, um sie weiter am Leben zu halten, teils geradezu mit marxistisch anmutenden Elementen.

Sam Altman, CEO von OpenAI, versprach etwa 2024 ein Grundeinkommen für alle – wenn denn bald GPT-7 superintelligent sein solle. 2024 veröffentlichte OpenResearch eine von Altman mitfinanzierte Studie zur Wirkung eines bedingungslosen Grundeinkommens, deren Erkenntnisse durchaus unterschiedlich interpretiert wurden.

Altmans Einsatz für ein Grundeinkommen sollte aber nicht ohne seine eigenen Hintergedanken interpretiert werden. Aufgrund des geradezu kannibalistischen Verbrauchs von Ressourcen, die Systeme wie die von OpenAI aufweisen, muss Altman zumindest irgendeine Vision anbieten, die seine Maschinerie am Leben halten kann. Aber Altman ist ein Betrüger, immer wieder.

Das Wachstum der KI-Branche wird aktuell gerade etwas gebremst durch das Erreichen des Limits von produzierbaren Rechenressourcen wie Arbeitsspeicher oder aus dem Internet aufgesaugten Inhalten. LLMs auf der anderen Seite zerstören gerade aktiv ihre eigenen aufgesogenen Inhalte, wie etwa im aktuellen Beispiel des Open Source CSS-Frameworks Tailwind, das in dieser Woche massive Entlassungen wegen KI offenlegte.

In der finanziellen Realität ist aber auch der KI-Primus OpenAI bei seinem Geschäftsmodell schon längst bei Überlegungen zu Erotikinhalten und Werbung angekommen. Dabei sind in die KI-Branche bereits bis 2024 Investitionen gesteckt worden, von denen mehrere Mondprogramme und Manhattan-Projekte finanziert hätten werden könnten.

Bei all diesen Anlässen für Entfremdung ist aber die Frage: Was sind die Alternativen? KI als Teil des Rentensystems? Das ist bei techkapitalistischen Unternehmen, die von der EU geradezu mit Samthandschuhen angefasst werden, schwerlich vorstellbar.

Entfremdung und Rebellion

Ein möglicher Weg aus dieser Entfremdung ist in Thoreaus Worten vom Anfang zu finden. KI in der heutigen Form sind oftmals nur verschlimmbesserte Mittel zu einem kapitalistischen Zweck mit all den schlimmen negativen Konsequenzen.

Politisch wird jetzt vielleicht gefordert, dass es „europäische KI“ brauche mit „europäischen Werten“. Im Wesen von aktuellen KI-Systemen sind aber, ganz gleich welcher Herkunft diese sind, Elemente angelegt, die sich nicht von dieser Technologie trennen lassen. KI ist eine konservative Technologie, sie begünstigt wenige Kapitalisten oder Faschisten immens, bringt einer Mehrheit nur wenige Vorteile und diskriminiert Minderheiten, sei es durch Bias oder schweren Zugang zu aktueller digitaler Technik. Darüber hinaus bleibt die erratische Art des Handelns ein Wesensbestandteil dieser Systeme.

Der Weg aus der Entfremdung ist zuallererst die Erkenntnis, dass KI und die Versprechungen, die sie bringen soll, oftmals aus einer überaus beschränkten Sichtweise kommen. Häufig findet das mittlere oder obere Management in den niedlichen KI-Spielzeugen die vermeintliche Lösung für viele Probleme.

Zu wenig Pflegepersonal im Krankenhaus? Lässt sich bestimmt mit KI-unterstützten Apps für Schichtplanung und Gig Economy „lösen“. Macht die Situation aber nur schlimmer. Zu wenig Geld im Gesundheitssystem? Muss nur mit digitalen Tools besser geleitet werden, am liebsten noch mit Kontaktgebühren. Am besten wäre es doch, gleich die Krankenkassen mit KI tagesaktuell auf Behandlungsdaten agieren zu lassen.

All diese durch KI unterstützten Lösungsvorschläge sind oftmals nur elitäre Projektionen. Lösungen, die nur für einen Teil von Problemen eines Themenbereichs funktionieren und aus Sicht des Managements damit die Lösung für alle Probleme sein müssten, es aber nicht sind.

Die technologische Entfremdung entsteht nicht durch diejenigen, die unrealistische Versprechungen mittels KI machen und verkaufen wollen. Versprechungen wie die einer Superintelligenz, die jetzt 2026 nur noch ein Problem entfernt sei, was eigentlich 2024 schon hätte kommen sollen.

Die technologische Entfremdung des digitalen Maschinenzeitalters entsteht durch zu viele Käufer*innen im Management von Unternehmen, im Gesundheitswesen oder in Verwaltungen [€], die diesen Versprechungen trotz ihrer überzogenen Vorhersagen und trotz ihrer negativen Konsequenzen weiter hinterherlaufen.

Die Frage ist nicht, ob KI in aktueller Form sinnvolle Anwendungen hat. Die Frage ist, ob wir uns als Gesellschaft erst noch einmal jahrelang entfremden müssen, um dann zu erkennen, dass wir vieles aus den Verheißungen von Digitalisierung und KI auch auf einfache oder andere Weise hätten erreichen können – ganz ohne die destruktiven Einflüsse des aktuellen Techkapitalismus.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Nachdem sein Chatbot Grok weiterhin sexualisierte Bilder von prominenten Frauen und Minderjährigen erstellt, sieht sich Elon Musk mit möglichen rechtlichen Konsequenzen konfrontiert. Den Trend zu KI-generierten sexuellen Inhalten und digitaler Gewalt gegen weibliche Personen wird das wohl nicht aufhalten.

Seit Ende Dezember flutet Elon Musks KI-Chatbot Grok die Kurznachrichtenplattform X mit sexualisierten Deepfakes. User*innen haben das Programm aufgefordert, Bilder von bekannten Frauen und Minderjährigen mit nur minimaler Bekleidung und in sexualisierten Posen darzustellen. Inzwischen kursieren auch KI-generierte Bilder von bekannten Frauen in Hakenkreuz-Bikinis.

Auf den weltweiten Aufschrei folgte zunächst nur eine Reaktion des Chatbots selbst, der von „Schwachstellen in den Sicherheitsvorkehrungen“ schrieb, die behoben werden müssten. Elon Musk hatte sich über die Vorwürfe zuerst amüsiert, indem er ein Bild von sich selbst im Bikini postete. Dann kündigte ein Sprecher von X jedoch an, dass das Generieren und Verbreiten „illegaler Inhalte“ die gleichen Konsequenzen für Accounts haben werde, als würden sie die Inhalte selbst hochladen.

Zwar wurden inzwischen einzelne Inhalte gelöscht, weitere Konsequenzen erfolgten bisher jedoch nicht. Entsprechende Bilder kursieren zudem weiter auf der Plattform.

Betroffen sind vor allem Frauen und Kinder

Die Möglichkeit zur Erstellung sexualisierter Fake-Bilder hatte Musks KI-Unternehmen xAI kürzlich mit einem Update für den Chatbot geschaffen. Seit Dezember 2025 kann Grok durch den „Image Generation Release“ auch bestehende Bilder bearbeiten, die Nutzer*innen hochladen. Letzten Sommer hatte das Unternehmen bereits einen „Spicy Mode“ für pornographische Inhalte veröffentlicht, den das neue Feature ergänzt.

Die Bildbearbeitungsfunktion ist auch auf X verfügbar. Wollen User*innen damit Deepfakes erstellen, zum Beispiel von Menschen im Bikini, benötigt der KI-Chatbot dafür weder eine Zustimmung der Urheber*innen, noch erfahren diese von der Manipulation. Opfer der sogenannten Deepnudes sind – nicht nur in diesem Fall digitaler Gewalt – vor allem Frauen und junge Mädchen.

Auch die rechte Influencerin Ashley St. Clair, mit der Elon Musk ein gemeinsames Kind hat, gehört zu den Zielen. Ihre öffentliche Kritik an Musks Chatbot hat den Missbrauch jedoch nur verstärkt. Nutzer*innen hatten unter anderem Bilder von ihr als 14-Jährige, im Bikini und in nach vorne gebeugter Pose erstellen lassen. Wie St. Clair berichtet, habe es nach ihrer Beschwerde bei der Plattform zwölf Stunden gedauert, bis X das gefakte Kinderbild entfernt hat.

Ein Fall für den Digital Services Act

Nach eigenen Angaben will Ashley St. Clair nun ein kürzlich verabschiedetes US-Gesetz nutzen, um sich zu schützen. Der Take it Down Act soll Menschen helfen, gegen die nicht-einvernehmliche Verbreitung sexualisierter Bilder vorzugehen.

Einem Bericht von heise online zufolge prüfen in Frankreich derweil bereits Staatsanwälte, wie man mit dem Digital Services Act der EU auf die Fälle reagieren kann. Auch die Europäische Kommission sieht in den sexualisierten Bildern einen Fall für den Digital Services Act. Das Vorgehen reiht sich in laufende Untersuchungen gegen X wegen Verstößen gegen europäische Plattformgesetze ein.

Auch die britische Kommunikationsaufsicht Offcom verlangt Antworten von xAI zu der Thematik. Ebenso haben sich Regierungen von Malaysia und Indien kritisch geäußert.

Auch Meta und OpenAI setzten auf erotische Inhalte

KI-generierte Erotikinhalte sind inzwischen kein Nischenphänomen mehr. Vielmehr setzen KI-Firmen im großen Stil auf romantische und sexuelle Inhalte, um ihre Bots zu vermarkten. So kündigte Sam Altman, Vorstandschef von Open AI, im Oktober 2025 einen Erotik-Modus für ChatGPT an. Das Add-on ist noch nicht verfügbar und soll nach einer Altersprüfung nutzbar sein.

Meta wiederrum stand kürzlich in der Kritik, weil sein Chatbot Meta AI auf Facebook, WhatsApp und Instagram auch Minderjährigen romantische Interaktionen ermöglichte.

Im Fall eines Rentners aus New York führte eine romantische Konversation sogar zu einem tödlichen Unfall. Der 76-Jährige hatte sich in den Meta-Chatbot „Big Sis Billie“ verliebt und wurde von diesem aufgefordert, ihn an einer bestimmten Adresse zu besuchen. Der Chatbot beteuerte mehrmals, wirklich real zu sein. Auf dem Weg zu dem vermeintlichen Date stürzte und verstarb der Rentner.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die Wirtschaftssenatorin Franziska Giffey nutzt die Notfallsituation in Berlin, um sich mit der Forderung nach mehr Videoüberwachung zu profilieren. Sie will auch „Künstliche Intelligenz“ einsetzen. Doch mehr Kameras helfen nicht, wenn es eigentlich andere Maßnahmen braucht. Ein Kommentar.

Nach dem mehrtägigen und noch anhaltenden Stromausfall im Südwesten von Berlin wegen eines Brandanschlags hat die Berliner Wirtschaftssenatorin Franziska Giffey (SPD) mehr Videoüberwachung gefordert. Offenbar geht sie davon aus, dass mehr Kameras eine sinnvolle Konsequenz aus dem viele tausend Haushalte und Unternehmen betreffenden Krisenfall sein oder einen solchen gar verhindern könnten. Der Regierende Bürgermeister Kai Wegner von der CDU sekundierte eilig.

Giffey kündigt zugleich an, die vermehrte Videoüberwachung durch „Künstliche Intelligenz“ ergänzen zu wollen, etwa zur Wärmeerkennung. Vielleicht hat sie sich Kameras vorgestellt, die Wärmebilder aufzeichnen, unterstützt durch eine Software, die solche Bilder analysiert: eine automatische Menschenerkennung gewissermaßen, die auf magische Weise böse Absichten sichtbar macht.

Nun könnte sich die Wirtschaftssenatorin für die Notfallhilfe und die bessere Versorgung, Unterbringung und Aufklärung von stromlosen frierenden Menschen einsetzen, denn der Stromausfall betrifft auch die Fernwärmeversorgung. Sie könnte sich mehr vorsorgende Gedanken machen, wie künftig bei Katastrophen oder absichtlichen Zerstörungen der Schaden für die betroffenen Menschen und die Wirtschaft minimiert werden kann.

Oder sie kann sich mitten in der Notfallsituation einfallsarm, aber vorhersehbar für mehr Videoüberwachung starkmachen. Schon nach kurzem Nachdenken erscheint das jedoch als keine schlaue Idee. Denn von Stromausfällen sind zumeist auch Kameras und auswertende Computer betroffen. Im Krisengebiet in Berlin waren auch Internet- und Telefonverbindungen gestört.

Videoüberwachung nicht sinnvoll

Videoüberwachung ist nicht geeignet, Anschläge zu erschweren oder gar zu verhindern. Denn die bloße filmende Kamera führt bekanntlich weder zu mehr Sicherheit noch zu mehr Resilienz. Zwar wird zuweilen behauptet, Kameras mit Mustererkennungssoftware könnten Gefährdungssituationen zuverlässig identifizieren oder gar durch ein schnelles Eingreifen nach Alarmierung verhindern. Die Realität sieht aber anders aus: unwissenschaftliche Schönfärberei in Hamburg, auch das Vorzeigebeispiel Mannheim ist keine Erfolgsgeschichte. Es bleiben doch nur Computer, die auf Menschen starren.

Interview zur Videoüberwachung: Computer, die auf Menschen starren

Die Sinnhaftigkeit der Forderung nach Videoüberwachung kann also nur darin liegen, bei absichtlichen Sabotagen die Tätersuche zu unterstützen. Allerdings können sich auch nur mäßig begabte Kriminelle sehr leicht unkenntlich machen.

Beim Berliner Stromnetz seien bereits drei Viertel der Leitungen vom Netzbetreiber oder anderen Privaten kameraüberwacht, sagte Giffey. „Was nicht videoüberwacht ist, ist auf öffentlichem Straßenland“. So sei das auch bei der am Samstag sabotierten Kabelbrücke in Berlin, meint die Senatorin. Allerdings wissen ortskundige Berliner, dass dort ein großes Heizkraftwerk an der Wasserkanalseite liegt. Das ist umzäunt und auch bewacht und wäre damit kein öffentliches Straßenland. Und an „gefährdeten Objekten“ ist es ohnehin geltendes Recht, dass Videoüberwachung möglich ist. Denn an solchen „gefährdeten Objekten“ dürfen Bildaufnahmen gemacht und auch aufgezeichnet werden.

Schlechtes Notfallmanagement

Mit fragwürdigen Maßnahmen wie Videoüberwachung kann der Berliner Senat nicht von der Tatsache ablenken, dass die Verwaltung nur ein schlechtes Notfallmanagement zeigte. Die Hilfen seien zu langsam und unvollständig gekommen, der Regierende Bürgermeister hätte sich rar gemacht.

Wer vom Stromausfall betroffen ist, dem nützt eben kein Bild eines Täters, der bei einer Sabotage gefilmt wird. Natürlich muss nach dem Ende der Krisensituation die Tätersuche priorisiert werden. Aber eine große Krise mit vielen betroffenen Menschen verlangt erstmal nach gut organisierter Hilfe und Notfallmaßnahmen, danach nach sinnvoller und bezahlbarer Vorsorge, zumal nicht nur Absicht, sondern auch Katastrophen und Unfälle ein ebenso großes Schadensbild erzeugen könnten.

Politiker neigen dazu, sich in Krisensituationen mit „Gummistiefel-Fotos“ und starken und einfachen Forderungen profilieren zu wollen. Genau das macht Giffey hier. Und eine Großkrise mit Stromausfall bei zehntausenden Haushalten bietet sich für ehrgeizige Politiker einfach an, selbst wenn die Forderung nicht so recht ins eigene Ressort passt und keinen Sinn ergibt. Videoüberwachung, gar mit „Künstlicher Intelligenz“, klingt aber immerhin modern. Bezahlbarer Bevölkerungsschutz und Krisenvorsorge sind hingegen die dicken Bretter, die eigentlich zu bohren wären.

Die halbe Stadt nun kameraüberwachen zu wollen, ist allerdings gar nichts Neues. Denn zur Wahrheit gehört, dass die Berliner Koalition ohnehin seit dem Sommer plant, die Anzahl der festinstallierten Videoüberwachungskameras dauerhaft auszubauen. Auch die automatische Verhaltenserkennung mit „Künstlicher Intelligenz“ war in dem Plan zur Ausweitung der Polizeibefugnisse schon enthalten.

Aktionismus statt solide Politik hat in Berlin eben Tradition. Wie sagte Joseph Weizenbaum so treffend: „Früher hat man dem Computer ein Problem übergeben, wenn man es verstanden hatte, heute ist es andersrum.“

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Manche Nutzer:innen lassen sich Wikipedia-Artikel von Sprachmodellen generieren, inklusive erfundener Referenzen. Ein Wikipedia-Urgestein stolperte zufällig über die halluzinierten Artikel – ausgerechnet mit der Hilfe von einem Sprachmodell.

Eigentlich wollte Mathias Schindler nur eine kleine Sache in der Wikipedia korrigieren. Doch dann baute der Wikipedianer versehentlich einen Detektor für bestimmte KI-generierte Inhalte in der Enzyklopädie. Auf dem 39C3 berichtet er, warum die halluzinierten Texte auch ein Problem für die Anbieter großer Sprachmodelle werden könnte und warum er den Autor:innen keine guten Absichten unterstellt.

Die kleine Sache, die Schindler korrigieren wollte, waren fehlerhafte ISBNs. Mit diesen 10 oder 13-stelligen Nummern werden Bücher identifiziert und finden sich oft in Quellenangaben von Wikipedia-Einträgen. Dabei sind die Zahlenkombinationen nicht vollkommen zufällig, erklärt Schindler im Talk. Die letzte Ziffer ist eine Prüfziffer, sie lässt sich aus den neun beziehungsweise zwölf vorherigen Ziffern berechnen. Ursprünglich wollte Schindler falsche ISBNs in der Wikipedia aufspüren und ausbessern, auch damit Nutzer:innen die richtigen Bücher finden, die als Referenzen in den Artikeln angegeben wurden.

Zufallsfund dank falscher ISBNs

„Referenzen auf Wikipedia sind nicht nur wichtig, sondern ein integraler Teil der Wikipedia“, sagt Schindler und verweist in seinem Vortrag auf den alten Spruch: „Wikimedia mag ein guter Ort sein, um eine Recherche zu starten, aber es ist ein schlechter Ort, um dort die Recherche zu beenden.“ (Alle Zitate aus dem Talk haben wir ins Deutsche übersetzt.) Schindler muss es wissen. Er ist Mitbegründer von Wikimedia Deutschland und Wikipedia-Autor seit 2003.

Um die inkorrekten ISBNs zu finden, schrieb Schindler ein Skript, lud die gesamte deutschsprachige Wikipedia herunter und durchsuchte sie nach ISBNs mit einer faulen Prüfziffer, erzählt er in seinem Vortrag. Doch er stieß nicht nur auf falsch eingegebene ISBNs oder von den Verlagen falsch ausgegebene ISBNs, sondern fand auch Artikel, bei denen zwei oder mehr Bücher fehlerhafte ISBNs hatten. Diese Bücher schienen zwar plausible Titel und Autor:innen zu haben, aber Schindler konnte sie nirgendwo sonst finden. Sie waren halluziniert.

Offenbar hatten sich Menschen ganze Artikel von einem Large Language Model (LLM) wie ChatGPT schreiben lassen, welches sich dann auch einen Abschnitt mit Einzelnachweisen ausdachte.

Noch ist es ein Nischenphänomen

Im Gespräch mit netzpolitik.org erzählt Schindler, dass er mit seiner Methode etwa 150 Artikel gefunden habe, bei denen man Sorge haben müsse, dass sie zumindest teilweise KI-generiert und frei erfunden seien. Allerdings seien die fehlerhaften Einträge nicht ausschließlich auf KI-Chatbots zurückzuführen, manchmal gebe es andere Gründe für mehrfach falsche ISBNs, sagt Schindler. Außerdem gibt es über drei Millionen deutschsprachige Wikipedia-Artikel, die 150 Auffälligen machen also nur ein äußerst geringen Anteil von 0,005 Prozent aus.

Andererseits erfasst Schindlers Methode auch nicht alle Halluzinationen, dafür war es schließlich nicht gedacht. „Dieses Werkzeug ist nicht das Universaltool zum Erkennen von ChatGPT-generierten Artikeln.“ Andere Möglichkeiten, solche Inhalte zu enttarnen, seien etwa systematische Abweichungen von der Syntax von „Media Wiki“ (der Software hinter Wikipedia). Oder wenn Autor:innen viele Adjektive verwenden: „Kein Wikipedianer, der was auf sich hält, wird den Fernsehturm als ‚großartig‘ oder ‚herausragend‘ bezeichnen.“

LLM generierter Text „Anti-These zu Wikipedia“

Doch auch wenn das Erstellen von Wikipedia-Artikeln mit LLMs noch nicht so verbreitet sein sollte, geht es für Wikipedia um Grundsätzliches: Die Kontamination mit Inhalten, die auf den ersten Blick wahr erscheinen könnten und sich als Fakten tarnen. Schindler sagt: „Man könnte es auch als Anti-These zu einem Enzyklopädie-Projekt wie Wikipedia beschreiben.“

Die Gefahren? Zum einen können sich falsche Infos verselbstständigen, wenn eine andere Veröffentlichung den vermeintlichen Fakt von Wikipedia abschreibt und die Wikipedia diese Veröffentlichungen hinterher als Beleg für genau diesen Fakt aufführen. Schindler weist in seinem Vortrag auf diesen Teufelskreis hin, der bereits vor LLMs ein Problem darstellte.

Glaubwürdigkeit in Gefahr – und die Qualität von LLMs

Zum anderen verschlingen LLM-generierte Quellen zunehmend die Ressourcen unterschiedlichster Einrichtungen. Nicht nur die der Online-Enzyklopädie: Irregeleitete Nutzer:innen fragen etwa Bibliothekar:innen nach ausgedachten Büchern, berichtete 404 Media im Herbst. Beim Internationalen Komitee des Roten Kreuzes (ICRC) wurde die Situation offenbar so schlimm, dass es sich mit einer „wichtigen Mitteilung“ an die Öffentlichkeit wandte.

„Wenn eine Referenz nicht gefunden werden kann, heißt das nicht, dass das ICRC Informationen zurückhält. Verschiedene Situationen können das erklären, wie etwa unvollständige Zitationen, Dokumente, die in andere Institutionen lagern, oder – zunehmend – KI-generierte Halluzinationen“, warnte das ICRC Anfang Dezember.

Auch für die Entwickler von Large Language Models hätten halluzinierte Wikipedia-Artikel Nachteile, argumentiert Schindler. Denn ihre Modelle werden oft mit Wikipedia-Artikeln trainiert. „Die KI-Firmen profitieren von hochwertigen Daten und leiden unter dem Verlust von Quellen, die frei von synthetischen Texten sind“, sagt im Schindler im Gespräch mit netzpolitik.org. Oder wie er es im Vortrag formuliert: „LLM-Provider vergiften damit auf eine Art den Fluss, aus dem sie selber trinken“, sagt Schindler.

Wer macht sowas?

Doch wer stellt eigentlich LLM-generierte Inhalte in die Wikipedia? „Bunt gemischt“, erzählt Mathias Schindler im Gespräch mit netzpolitik.org. Von Wikipedia-Neulingen über langjährige Autor:innen bis zu einer Werbeagentur sei alles dabei gewesen. Er habe versucht, möglichst viele Autor:innen von verdächtigen Artikeln zu kontaktieren. Manche hätten ihn ignoriert, andere alles geleugnet oder den Einsatz einer LLM heruntergespielt.

„Eine Erklärung ist, dass Menschen LLMs tatsächlich als Recherchewerkzeug ansehen, das magischen Zugang zu wissenschaftlichen Datenbanken und Literatur hat und belastbare Belege liefert“, sagt Schindler zu netzpolitik.org. Bisher habe er aber noch keine solche Person unter den verdächtigen Autor:innen getroffen. Stattdessen vermutet Schindler eher persönlichen Geltungsdrang oder dass Personen eine Agenda verfolgen, die Enzyklopädie in ihrem Sinne umzuschreiben.

In seinem Vortrag erzählt Schindler, er habe alle verdächtigen Autor:innen, um den Prompt gebeten, mit dem diese den Artikel generiert hätten. „Das ist mein persönlicher ‚Litmus‘-Test, ob die Menschen ehrliche Absichten haben“, sagt Schindler. Nur eine einzige Person habe den Prompt nach vielen Nachfragen privat geteilt.

Die Herausforderung bleibt

Laut Schindler wurden alle gemeldeten Artikel gelöscht, bei denen die Autor:innen die Zweifel nicht ausräumen konnten, dass sie KI-generiert waren. In vielen Fällen wurden auch die Autor:innen gesperrt. In einem Richtlinien-Artikel der deutschsprachigen Wikipedia heißt es dazu: „Sprach-KI sind derzeit nicht in der Lage, korrekt belegte Beiträge zu erstellen. Beiträge, die damit erstellt werden, verstoßen daher unter anderem gegen WP:Keine Theoriefindung, WP:Belege, WP:Urheberrechtsverletzung, WP:Neutraler Standpunkt; ihre Verwendung ist daher derzeit generell unerwünscht.“

Für Schindler bleibt es eine Herausforderung für die Wikipedia-Community, halluzinierte Texte aufzudecken, zumal Chatbots künftig ISBNs mit einer korrekt berechneten letzten Stelle erfinden könnten. Er hofft auf einen konstruktiven Dialog mit den KI-Firmen. „Mein persönlicher Wunsch wäre, dass man durch Austausch und vielleicht Kompetenztransfer mit den KI-Firmen erreicht, dass man KI-generierte Texte leichter erkennt, wenn jemand versucht, sie in die Wikipedia zu stellen.“

Am Ende ist die Geschichte der KI-generierten ISBNs auch eine über falschen und vielleicht besseren KI-Einsatz. Denn den Code für seinen ISBN-Checker hat Schindler auch mithilfe von Large Language Models geschrieben.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Louisa Specht-Riemenschneider erklärt, warum KI und Datenschutz so schlecht zusammengehen und die Datenpolitik ein gesellschaftspolitisches Ziel braucht. Außerdem nennt sie eine überraschend niedrige Zahl neuer Mitarbeitender, falls ihre Behörde die zentrale Wirtschaftsaufsicht erhält.

Seit gut einem Jahr ist Louisa Specht-Riemenschneider Bundesbeauftragte für den Datenschutz und die Informationsfreiheit (BfDI). Nicht nur die schwarz-rote Bundesregierung hat sich mittlerweile weitreichende Reformen beim Datenschutz vorgenommen, sondern auch die EU-Kommission will die Datenschutzgrundverordnung erstmalig schleifen.

Wir haben Specht-Riemenschneider in ihrem Berliner Büro getroffen und sie gefragt, wo sie in der hitzig geführten Reformdebatte steht. Sie kritisiert Teile der Pläne der EU-Kommission, spricht sich aber auch selbst entschieden für eine Reform aus. Der datenschutzrechtliche Rahmen erfülle seine Funktion nicht, allerdings laufe die aktuelle Debatte in die falsche Richtung. Vor Veränderungen in der Datenpolitik müsse eine gesellschaftspolitische Zielsetzung stehen, so die Forderung der Datenschutzbeauftragten.

Auch zu den umstrittenen Themen Gesundheitsdigitalisierung und Reform der Datenschutzaufsicht in Deutschland haben wir die Juristin befragt.

„An jeder Ecke fehlen Daten für gemeinwohlorientierte Zwecke“

netzpolitik.org: Sie haben als Rechtswissenschaftlerin immer die Bedeutung von Daten für Innovation betont und einen Ausgleich zwischen Datennutzung und Datenschutz gesucht. Für viele bedeutet das momentan vor allem, den Datenschutz zurückzubauen. Auf dem Digitale-Souveränitäts-Gipfel in Berlin lautete die neue Leitlinie „Product First, Regulation Second“. Ihre Behörde soll den Zusatz „Beauftragte für Datennutzung“ erhalten. Geht die Entwicklung also in die richtige Richtung?

Louisa Specht-Riemenschneider: Für mich stand nie zur Debatte, ob Datenschutz und Datennutzung zusammengehen. Die DSGVO soll genau das erreichen. Sie will ja nicht Datennutzung um jeden Preis verhindern, sondern gewährleisten, dass dabei Grundrechte gewahrt bleiben. Gleichzeitig gibt es andere Grundrechte wie den Schutz der Gesundheit, die es notwendig machen, dass Daten verarbeitet werden. Beides muss man in Einklang bringen.

In der öffentlichen Debatte wird derzeit allerdings versucht, diese zwei Positionen gegeneinander auszuspielen. Wir sind an einem Punkt, wo wir eine entscheidende Weichenstellung machen können. Und ich würde mir eine viel stärker gesellschaftspolitische Diskussion darüber wünschen, wo wir eigentlich hin wollen.

netzpolitik.org: Also für welche Zwecke Daten genutzt werden sollen und für welche nicht?

Louisa Specht-Riemenschneider: Ja, wollen wir als Gesellschaft etwa Daten für verbesserte Krebstherapien nutzen? Oder wollen wir verbesserte Datennutzbarkeit für rein kommerzielle Interessen? Das beantwortet mir momentan politisch niemand.

Wir haben zwar 1.000 Strategien, aber es fehlt ein Leitbild, an dem wir die Datenpolitik und auch die Regulierung ausrichten. Gerade jetzt wäre die Gelegenheit, in der wir in Europa – anders als die USA oder China – eine Datennutzungsagenda entwickeln könnten, die Grundrechte, Demokratie und Freiheit mitdenkt.

netzpolitik.org: Bei der Gesundheitsdigitalisierung heißt es, der Datenschutz gefährde Leben. In der Wirtschaft gefährde er Europas Wettbewerbsfähigkeit. Spüren Sie diesen Gegenwind?

Louisa Specht-Riemenschneider: Ja, und ich finde es unheimlich schade, dass die Diskussion in die falsche Richtung geht. Der Rechtsrahmen für Datenschutz und Datennutzung funktioniert offensichtlich nicht so, wie er eigentlich funktionieren sollte. Einerseits haben wir eine unglaubliche Masse an Daten, die rechtswidrig genutzt werden, wie etwa die „Databroker Files“ gezeigt haben. Andererseits fehlen an jeder Ecke Daten für gemeinwohlorientierte Zwecke.

Diese Gemengelage führt dazu, dass der Datenschutz zum Buhmann für alles gemacht wird. Vergangenes Jahr habe ich gelesen, dass in einem Seniorenheim keine Weckmänner verteilt werden konnten, wegen des Datenschutzes. Das ist natürlich großer Quatsch, aber diese Missverständnisse werden unter anderem dadurch hervorgerufen, dass der Rechtsrahmen sehr komplex ist.

„Es gibt im Omnibus auch Aspekte, die ich begrüße“

netzpolitik.org: Mit ihrem „Digitalen Omnibus“ fährt die EU-Kommission aktuell in die andere Richtung. Sie schlägt erstmals weitreichende Änderungen an der DSGVO vor. Verbraucher- und Datenschutzorganisationen sowie Teile des EU-Parlaments sprechen von einem Angriff auf die Grundlagen des europäischen Datenschutzes.

Louisa Specht-Riemenschneider: Ich halte nichts davon, die Welt in Schwarz und Weiß einzuteilen. Die Kommission schlägt Regelungen vor, von denen einige datenschutzrechtlich ganz klar kritisch zu werten sind. Wenn ich zum Beispiel meine Betroffenenrechte nur noch für datenschutzrechtliche Zwecke ausüben darf, dann schränkt mich das in meinen Rechten elementar ein. Gegen einen Missbrauchseinwand spricht nichts, aber er muss richtig formuliert sein.

Es gibt im Omnibus jedoch auch Aspekte, die ich begrüße. Die Vereinheitlichung von Digitalrechtsakten zum Beispiel, also die Zusammenfassung von Datennutzungsgesetzen im Data Act. Auch die Vorschläge zu Cookie-Bannern sind in ihrer Grundrichtung zu begrüßen.

netzpolitik.org: Für Kritik sorgt auch der Plan, die Definition personenbezogener Daten deutlich enger zu fassen und pseudonymisierte Daten unter bestimmten Umständen von der DSGVO auszunehmen. Man folge da nur der Rechtsprechung des Europäischen Gerichtshofs, heißt es von der Kommission. Der Jurist und Datenschutzexperte Max Schrems und andere sagen, das geht weit darüber hinaus. Wer hat Recht?

Louisa Specht-Riemenschneider: Man kann das Urteil so oder so lesen. Ich frage mich, ob die geplanten Änderungen – wenn man genau hinschaut – tatsächlich eine Abweichung vom derzeitigen Standard darstellen. Dazu berate ich mich gerade noch mit meinen Kolleg:innen in der Datenschutzkonferenz und möchte dem ungern vorgreifen.

Was plant die EU-Kommission bei KI und Datenschutz?

„Datenschutz und KI gehen ganz schlecht zusammen“

netzpolitik.org: Ein weiterer Streitpunkt sind KI-Systeme. Die Kommission will klarstellen, dass diese auch ohne Einwilligung, auf Basis des legitimen Interesses, mit personenbezogenen Daten trainiert und betrieben werden dürfen.

Louisa Specht-Riemenschneider: Die Kommission folgt hier einer Empfehlung des Europäischen Datenschutzausschusses, bei der jedoch leider nicht genau ausformuliert wurde, unter welchen Bedingungen KI auf das berechtigte Interesse gestützt werden kann. Der Omnibus unterscheidet hier leider auch nicht zwischen KI-Training zu kommerziellen oder zu gemeinwohlorientierten Zwecken oder zur Ausübung anderer Grundrechte.

netzpolitik.org: Sie ist offenbar getrieben von der Sorge, Europa könne im sogenannten KI-Wettrennen verlieren. Gehen Datenschutz und KI einfach nicht zusammen?

Louisa Specht-Riemenschneider: Ja, der geltende Datenschutz-Rechtsrahmen und KI gehen ganz schlecht zusammen. Das Hauptproblem ist, dass unklar ist, wie man Betroffenenrechte geltend machen soll, wenn KI-Systeme sich einzelne Daten merken. Wie sollen Löschansprüche ausgeübt werden? Wie soll der Berichtigungsanspruch praktisch umgesetzt werden? Diese Fragen beantwortet auch der Digitale Omnibus nicht. Es wäre klug, wenn sich der europäische Gesetzgeber die Zeit nehmen würde, über diese Frage etwas intensiver nachzudenken.

Da sind wir auch wieder bei der Gretchenfrage: Für welche Zwecke wollen wir als Gesellschaft KI und für welche nicht? Das scheint mir wirklich eine Grundsatzdiskussion zu sein, die wir dringend führen und dann gesetzgeberisch entsprechend handeln müssen. Entwicklung und Einsatz von KI für gemeinwohlorientierte Zwecke oder zur Ausübung von Grundrechten würde ich gern gesetzlich privilegiert sehen, für andere Zwecke ist das meines Erachtens weniger erforderlich. Große Player, die kommerzielle KI-Modelle anbieten, können mit der Rechtsunsicherheit gut umgehen.

Wo eine Reform ansetzen sollte

netzpolitik.org: Viele Datenschützer:innen warnen davor, im aktuellen politischen Klima solche Grundsatzfragen zu stellen und das große Fass DSGVO überhaupt aufzumachen.

Louisa Specht-Riemenschneider: Ich möchte eine Grundsatzdebatte sogar vehement einfordern. Der bestehende Rechtsrahmen funktioniert nicht so, wie er funktionieren soll. Natürlich will ich die DSGVO nicht insgesamt nochmal zur Abstimmung stellen. Aber wir sollten über Nachbesserungen im geltenden Rechtsrahmen sprechen. Das Interessante am Omnibus ist ja nicht nur das, was drinsteht, sondern vor allem das, was nicht drin steht.

netzpolitik.org: Was fehlt Ihnen?

Louisa Specht-Riemenschneider: Wie bekomme ich zum Beispiel eine Databroker-Regelung in die DSGVO? Wie schaffen wir es, dass Selbstbestimmung nicht nur auf dem Papier existiert?

Das Grundproblem ist die Einwilligung. Wir hatten in den 1960er- und 1970er-Jahren eine ähnliche Diskussion zu Selbstbestimmung im Verbraucherschutzrecht. Schon damals war klar, dass Verbraucher:innen Entscheidungen treffen, die manchmal nicht selbstbestimmt sind, weil es Machtasymmetrien gibt. Also müssen wir dafür sorgen, dass wir die Vertragsparteien auf Augenhöhe bekommen, damit Verbraucher:innen gleichberechtigt entscheiden können.

Warum führen wir diese Diskussion nicht auch bei der DSGVO? Dafür müssen wir deren Grundsätze nicht anfassen, sondern an die Frage der Einwilligung ran. Und wir müssen dafür sorgen, dass die DSGVO besser in der Praxis umgesetzt wird. Das ist nur vordergründig eine Frage des Bürokratieabbaus.

netzpolitik.org: Sondern?

Louisa Specht-Riemenschneider: Ich höre oft von Unternehmer:innen, dass sie Datenschutz beachten wollen, aber nicht wissen, wie sie dabei am besten vorgehen. Wenn wir also am Ende mehr Rechtsklarheit in die Verordnung hineinbekommen, dann ist das auch ein Weg, um Betroffene besser zu schützen, weil die Regeln besser umgesetzt können. Auch der risikobasierte Ansatz der DSGVO sollte weiter ausdifferenziert werden. Also dass nicht alle die gleichen Pflichten haben, sondern ähnlich wie bei der KI-Verordnung die Verantwortung größer ist, wenn das Risiko der Datenverarbeitung zunimmt.

Datenhändler verkaufen metergenaue Standortdaten von EU-Personal

Wie man das Problem der Databroker lösen könnte

netzpolitik.org: Erst kürzlich konnten wir mit den gerade schon angesprochenen Databroker-Recherchen zeigen, wie sich selbst hochrangiges EU-Personal ausspionieren lässt – mit Daten aus dem Ökosystem der Online-Werbung, die wir kostenfrei von Databrokern bekommen haben. Wie löst man dieses Problem?

Louisa Specht-Riemenschneider: Das ist nicht trivial, weil Werbe-Tracking mit Einwilligung zulässig sein kann, in vielen Fällen wohl aber Zweifel an der Rechtsgültigkeit der Einwilligungen bestehen. Deshalb müssen wir uns zunächst anschauen, wie die Datenströme verlaufen: Ich habe ein Endgerät mit der Werbe-ID, von dem Daten an einen Databroker gehen, der häufig in einem Drittstaat sitzt, beispielsweise in den USA. Und dann habe ich einen Datenankäufer, der etwa in einem anderen europäischen Staat sitzt.

Den Databroker in den USA kriegt man aufsichtsrechtlich sehr schwer zu fassen, da bräuchte man Amtshilfe von US-Behörden. Beim Datenankäufer ist es einfacher, wenn er in einem EU-Mitgliedstaat sitzt. Er ist aber das letzte Glied in der Kette. Selbst wenn wir nachweisen können, dass er sich datenschutzwidrig verhält, beendet das noch nicht den Datenhandel.

Daher wäre es am sinnvollsten, die Apps ins Visier zu nehmen, die die Werbe-ID weitergeben. Wir sollten darüber nachdenken, ob die Ausleitung der Werbe-ID grundsätzlich beschränkt werden sollte – auch wenn Nutzer:innen „einwilligen“. Das könnte man übrigens auch in einem Omnibus regeln.

netzpolitik.org: Um die Komplexität noch zu erhöhen, gibt es auch noch das Teilproblem der Datenmarktplätze. Das sind die Plattformen, auf denen Interessierte und Anbieter von Daten zusammenkommen. Der größte Marktplatz hat seinen Sitz in Berlin, die Berliner Datenschutzaufsicht kam zu dem Schluss, dass die DSGVO nicht anwendbar ist, weil er nur Kontakte vermittelt und selbst die Datensätze nicht verarbeitet.

Louisa Specht-Riemenschneider: Wir hatten eine ähnliche Situation schon mal beim geistigen Eigentum. Filesharing-Clients hatten einst auch argumentiert, dass sie nur den Kontakt zwischen Person A und Person B herstellen, die dann Musikstücke austauschen. Damals haben die Gerichte die Vermittlungsplattform mit dem Täter quasi gleichgestellt. Eine solche Störerhaftung könnte man auch im Datenschutzrecht vorsehen.

Ich weiß, dass es die Rechtsauffassung gibt, dass die Tätigkeiten von Datenmarktplätzen heute schon eine Verarbeitungstätigkeit sind. Aber selbst dann wäre es hilfreich, dies explizit ins Gesetz zu schreiben, um Rechtsklarheit zu schaffen. Das könnte man gegebenenfalls sogar auf nationaler Ebene lösen, ohne den Weg über die EU.

„Eine Verpflichtung wäre eine großer Schritt“

netzpolitik.org: Überraschenderweise hat die EU-Kommission auch einen neuen Rechtsrahmen für Consent-Manager für Cookies in den Omnibus aufgenommen, obwohl dieser ja eigentlich nur eine technische Anpassung sein sollte. In Deutschland gibt es die Möglichkeit schon länger, Ihre Behörde hat neulich den ersten Cookie-Manager für Deutschland anerkannt. Würde das das Databroker-Problem lösen?

Louisa Specht-Riemenschneider: Nein, aber es löst ein anderes Problem.

Wenn ich das Ziel verfolge, Cookie-Banner zu reduzieren, dann habe ich dafür verschiedene Möglichkeiten. Eine besteht darin, den Verbraucher:innen die Möglichkeit zu geben, vorab generell zu erklären, für welche Zwecke Cookies bei ihnen gesetzt werden dürfen und für welche nicht. Und die Website-Betreiber zugleich dazu zu verpflichten, diese Entscheidung auch zu akzeptieren.

Das ist auch der Punkt, den ich beim Omnibus einigermaßen positiv sehe. Da steht drin, dass Website-Betreiber die Cookie-Einstellung akzeptieren sollten. Wenn die Vorgabe so zu lesen ist, dass sie dazu verpflichtet sind, dann wäre das ein großer Schritt. Denn diese Pflicht sieht die deutsche Rechtslage derzeit nicht vor. Das ist ja der große Kritikpunkt an den Einwilligungsmanagementsystemen, wie sie in Deutschland gegenwärtig vorgesehen sind.

„Hundertprozentige Sicherheit gibt es nicht“

netzpolitik.org: Sie sprachen eingangs das Grundrecht auf Schutz der Gesundheit an. Die elektronische Patientenakte hat ein ereignisreiches Jahr hinter sich. Auf Sicherheitslücken in der ePA angesprochen, haben Sie mal den Vergleich gezogen, dass in ein Haus auch eingebrochen werden kann – „ganz gleich, wie gut die Alarmanlage ist“. Ist das nicht eine schräge Analogie?

Das gebrochene Versprechen

Louisa Specht-Riemenschneider: Was ich damit sagen wollte, ist, dass wir nie eine hundertprozentige Sicherheit im technischen System haben können. Eine solche Sicherheit gibt es nicht.

Wir müssen allerdings alles tun, um Sicherheitslücken so früh wie möglich zu erkennen, zu schließen und deren Zahl so gering wie möglich zu halten. Das sind die drei Dinge, die wahnsinnig wichtig sind.

Allerdings ist bei der Sicherheit der ePA das Bundesamt für Sicherheit in der Informationstechnik (BSI) der primäre Ansprechpartner. Wir als Datenschutzaufsicht schauen uns vor allem die Datenverarbeitung an, die in der ePA stattfindet. Das BSI ist dafür zuständig, im Dialog mit dem Bundesgesundheitsministerium und der Gematik, die Sicherheitslücken zu schließen. Wir werden dann darüber informiert und dürfen uns dazu äußern.

netzpolitik.org: Das war ja mal anders.

Louisa Specht-Riemenschneider: Früher mussten Spezifikation der Gematik von uns „freigeben“ werden, sie musste also Einvernehmen mit uns herstellen. Jetzt muss sie uns nur noch ins Benehmen setzen. Ich darf jetzt zwar etwas sagen, aber man muss mir theoretisch nicht mehr zuhören.

netzpolitik.org: In ihren Vorversionen verfügte die ePA noch über zahlreiche Möglichkeiten, mit denen Versicherte genauer einstellen konnten, welche Dokumente Behandelnde sehen dürfen und welche nicht. Davon ist heute nicht mehr viel übrig. Ist das Versprechen einer patientenzenterierten ePA überhaupt noch zu halten?

Louisa Specht-Riemenschneider: Es kommt darauf an, was man als patientenzentriert definiert. Die Einstellungen in der ePA 2.0 waren dokumentengenauer. Das wurde ein Stück weit zurückgeschraubt. Wir werden allerdings mit dem Europäischen Gesundheitsdatenraum (EHDS) bald eine Rechtslage bekommen, die möglicherweise wieder feinere Einstellungen vorsieht. Die Details dazu werden derzeit noch ausgearbeitet.

Ein großes Problem in der ePA war, dass Leistungserbringer immer auch die Abrechnungsdaten zu sehen bekamen, die die Krankenkasse in die Patientenakte einstellt. Selbst wenn ich eingestellt hatte, dass bestimmte Leistungserbringer Dokumente nicht sehen sollen. Ärzte hätten dann trotzdem sehen können, dass man schon bei einem anderen Arzt war und wie die Diagnose lautete. Das ist zumindest abgestellt worden und das ist ein Fortschritt.

„Für eine patientenztentrierte ePA ist es noch nicht zu spät“

netzpolitik.org: Dennoch bleibt die Frage, ob die Chance vertan wurde, ein großes Digitalisierungsprojekt datenschutzorientiert auf die Beine zu stellen?

Louisa Specht-Riemenschneider: Ich muss selbst entscheiden können, welche Daten in meine ePA hineinkommen. Das kann ich aber nur tun, wenn ich vernünftig informiert werde. Bislang wird äußerst wenig dafür getan, dass Informationen auch bei den Menschen ankommen.

Und das vor allem deswegen, weil das Gesetz überall Informationserteilungspflichten vorsieht, aber nicht fordert, dass die Information von den Patient:innen auch wahrgenommen wird. Erst jetzt startet eine breit angelegte Werbekampagne des BMG. Insgesamt wurde aus meiner Sicht viel zu spät und mit viel zu geringer Priorität informiert. Wir haben dazu gerade eine große Umfrage durchgeführt und veröffentlichen die Ergebnisse bald in unserem Datenschutzbarometer.

Wir haben unzählige Beratungsschreiben an die Krankenkassen geschrieben, damit die Informationen möglichst gut verstanden werden. Damit Menschen sich wirklich befähigt fühlen, informierte Entscheidungen zu treffen, muss ich anders informieren als in einem fünfseitigen Brief, den Versicherte bekommen und dann achtlos in den Müll schmeißen, weil sie denken, das es eine weitere Beitragsanpassung ist. Ich sehe die Verantwortung aber hier wie gesagt auch beim Gesetzgeber.

Ist die Chance vertan, dass die ePA dem Anspruch an Information und Selbstbestimmung gerecht wird? Ich glaube nicht. Aber es ist verdammt spät.

„Das würde meine Behörde und mich sehr schmerzen“

netzpolitik.org: Lassen Sie uns zum Schluss über eine weitere Datenschutz-Baustelle sprechen: die Verteilung der Aufsichtskompetenz in Deutschland. Ihre Behörde könnte die Aufsicht über die Geheimdienste verlieren.

Louisa Specht-Riemenschneider: Das ist für mich eine ganz schwierige Situation. Der Verlust der Aufsicht über die Nachrichtendienste würde meine Behörde und mich sehr schmerzen. Nicht weil wir dann zwanzig Mitarbeiter weniger hätten. Sondern weil wir die einzige Stelle sind, die eine komplette Übersicht über die Sicherheitsbehörden insgesamt hat und darüber, wie sie Daten von Bürgerinnen und Bürgern nutzen.

Die aktuelle politische Diskussion geht klar in die Richtung, dass Nachrichtendienste mehr Befugnisse erhalten sollen. Ein solcher Machtzuwachs lässt sich aber nur dann rechtfertigen, wenn gleichzeitig ein vernünftiges Aufsichtsregime gewährleistet wird.

netzpolitik.org: Die Pläne kämen einer Entmachtung Ihrer Behörde gleich.

Louisa Specht-Riemenschneider: Teile der Aufsicht, die wir bisher ausgeübt haben, sollen in einen unabhängigen Kontrollrat verlagert werden. Das wäre eine Zerfaserung der Aufsicht, die Gesamtübersicht über die Sicherheitsbehörden wäre nicht mehr gegeben. Das finde ich bedenklich. Wir sind nämlich auch die einzige Stelle, die die Gesamtheit des Überwachungsdrucks im Blick behalten kann.

Wir haben derzeit eine Haushaltssituation, wo alle sparen sollen. Ich frage mich, wieso da eine neue Stelle geschaffen werden soll, die Aufgaben übernimmt, für die eine andere Behörde jahrelang Kompetenz aufgebaut hat. Haben wir vielleicht zu genau hingeschaut in den vergangenen Jahren?

netzpolitik.org: An anderer Stelle könnte Ihre Behörde an Bedeutung gewinnen. Der Koalitionsvertrag sieht eine Bündelung der Zuständigkeiten und Kompetenzen bei der Aufsicht über Wirtschaft und Vereine bei Ihnen vor. Dafür kursieren unterschiedliche Modelle.

Louisa Specht-Riemenschneider: Auch diese Situation ist für mich persönlich nicht ganz leicht, weil ich meine Kolleg:innen aus der Datenschutzkonferenz (DSK) sehr schätze. Die Landesdatenschutzaufsichtsbehörden machen hervorragende Arbeit.

Gleichwohl glaube ich, dass 18 Aufsichtsbehörden zwangsläufig auch mal unterschiedliche Rechtsauffassungen vertreten. Wir können nicht alles auf DSK-Ebene diskutieren und gemeinsam entscheiden. Es gibt daher gute Argumente für eine Bündelung. Ich glaube auch, dass man Aufsicht und Beratung dann besser skalieren könnte.

Unabhängig davon, welches Modell es am Ende wird, muss die Datenschutzkonferenz für die Aufsicht über öffentliche Stellen eine eigene Geschäftsstelle bekommen, weil durch den wechselnden Vorsitz zu viele Kapazitäten in Organisationsfragen gebunden werden.

netzpolitik.org: Zum Abschluss die Preisfrage: Wie viele neue Stellen bräuchten Sie, wenn es zu einer Zentralisierung kommen sollte, also einer vollständigen Verlagerung der Wirtschaftsaufsicht von den Länderbehörden zu Ihnen?

Louisa Specht-Riemenschneider: Wir gehen je nach Ausgestaltung von einer hohen zweistelligen bis niedrigen dreistelligen Zahl aus.

netzpolitik.org: Ihre Länderkolleg:innen rechnen mit deutlich höheren Zahlen.

Louisa Specht-Riemenschneider: Wir haben das intern durchgerechnet und gehen von Skalierungseffekten aus. Insofern kommen wir mit deutlich weniger Stellen aus, als derzeit in der öffentlichen Diskussion angenommen wird.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die Bundesregierung will Deutschland zur „KI-Nation“ machen, die EU verfolgt eine „AI-First“-Mentalität. Eine Umfrage in mehreren europäischen Ländern zeigt nun, dass die Mehrheit der Befragten diesen Hype nicht mitträgt. Ihr bereitet vor allem der wachsende Strom- und Wasserverbrauch Sorge. Und sie wünscht sich eine strengere Regulierung.

Ich öffne mein Bahn-Ticket. “Dieses Dokument scheint lang zu sein. Spare Zeit und lies eine Zusammenfassung”, empfiehlt mir prompt mein PDF-Reader. Ein Paradebeispiel dafür, wie immer mehr Anwendungen den Nutzer*innen KI-Tools aufdrängen, in den meisten Fällen, ohne dass sich ein Nutzen daraus ergibt.

Weltweit versuchen Regierungen und große IT-Firmen, sich im KI-Wettbewerb zu überbieten. Dabei benötigen die zugrunde liegenden Systeme immer mehr Rechenleistung, für die irgendwo Computer laufen müssen, die Strom und Wasser verbrauchen. Doch während das Thema Rechenzentren längst in der politischen Debatte und bei Fachleuten angekommen ist, wusste man bislang kaum etwas darüber, wie die Bevölkerung diese Entwicklung einschätzt.

Aus diesem Grund hat AlgorithmWatch in mehreren europäischen Ländern eine repräsentative Umfrage zu Rechenzentren und ihren Auswirkungen durchführen lassen. Gemeinsam mit internationalen Partnerorganisationen wie der spanischen Initiative Tu Nube Seca mi Rio, Friends of the Earth Ireland und der europäischen Klimaschutzallianz Beyond Fossil Fuels wurden Menschen in Deutschland, der Schweiz, Spanien, Irland und dem Vereinigen Königreich befragt.

Wunsch nach mehr Transparenz und mehr Regulierung

Die Ergebnisse sind überraschend deutlich: In allen beteiligten Ländern spricht sich jeweils eine große Mehrheit der Befragten für eine stärkere Regulierung und mehr Transparenz von Rechenzentren aus. In einigen Ländern ist die Zustimmung dabei besonders hoch, so zum Beispiel in Spanien und Irland. Dort ist der Wasser- beziehungsweise Stromverbrauch der KI- und Cloud-Fabriken schon länger Gegenstand öffentlicher Diskussionen und Proteste. Denn sowohl im grünen Irland als auch im trockenen Spanien wirken sich die Rechenzentren bereits spürbar auf Energiepreise und Wasserverfügbarkeit aus. In Spanien befürchten knapp 90 Prozent der Befragten, dass der Wasserverbrauch der Einrichtungen ihre eigene Versorgung beeinträchtigen könnten.

Auch beim Blick auf die Gesamtergebnisse sprechen die Zahlen eine eindeutige Sprache: Drei Viertel der Befragten aller Länder sorgen sich, dass der Wasserverbrauch die umliegenden Ökosysteme beeinträchtigen könnte. Fast genauso viele befürchten Auswirkungen auf den eigenen Wasserverbrauch und immerhin nahezu zwei Drittel denken, dass der Energieverbrauch von Rechenzentren bereits heute einen relevanten Anteil des Stromverbrauchs in den jeweiligen Ländern ausmacht.

Groß ist aber nicht nur der Anteil derer, die sich Sorgen machen, sondern auch die Unterstützung für politische Forderungen, die Betreiber stärker in die Verantwortung nehmen. Mehr als sieben von zehn Befragten wollen, dass der Bau neuer Rechenzentren nur dann erlaubt ist, wenn der zusätzliche Strombedarf durch zusätzliche Kapazitäten an erneuerbaren Energien gedeckt wird. Ebenso viele wollen klare Kriterien, nach denen Energie verteilt wird – wobei die Befragten Rechenzentren und KI-Modelle konsequent als unwichtig bewerten.

Bei der Verteilung der Energie sollten gemäß der Umfrage vor allem die Sektoren priorisiert werden, die erneuerbare Energien zur Umstellung auf eine klimafreundliche Produktion benötigen. Rechenzentren gehören nicht dazu – ihr Stromverbrauch entsteht ja gerade zusätzlich. Häufig werden diese aktuell direkt mit Strom aus fossilen Brennstoffen betrieben. Vielerorts werden sogar Gaskraftwerke neu errichtet, um den Bedarf zu decken. Aber selbst wenn neue Rechenzentren mit erneuerbaren Energien betrieben werden, wie es in Deutschland ab 2027 für größere Einrichtungen vorgeschrieben ist, fehlt ohne weiteren Ausbau diese Energie dann in anderen Sektoren und verlangsamt dort die Dekarbonisierung. Ob direkt oder indirekt: Der Strombedarf für Rechenzentren und KI-Anwendungen gefährdet die Klimaziele.

Verbräuche steigen an, verlässliche Zahlen fehlen

Der Blick auf die Zahlen zeigt: Die in der Umfrage deutlich werdenden Sorgen sind mehr als berechtigt. In Irland verbrauchen Rechenzentren mittlerweile 22 Prozent des gesamten Stroms und tragen erheblich zu den teils enormen Strompreissteigerungen bei. Auch in Deutschland entfallen aktuell mehr als vier Prozent des gesamten Stromverbrauchs auf Rechenzentren. Schätzungen zufolge sind es in Frankfurt am Main bereits jetzt 40 Prozent des Stromverbrauchs, in Dublin sogar 80 Prozent. In der gesamten EU sind es mehr als drei Prozent – Tendenz stark steigend.

Hinzu kommt das für die Kühlung benötigte Wasser: In Spanien werden die größten KI-Fabriken ausgerechnet in den trockensten Regionen gebaut. Auch in Deutschland könnte laut einer Studie der Gesellschaft für Informatik der Wasserverbrauch von Rechenzentren zu Problemen führen – beispielsweise im Rhein-Main-Gebiet und in Brandenburg.

Während die Politik und Betreiberunternehmen offensiv für einen starken Ausbau von Rechenzentren und KI-Infrastruktur werben, mehren sich die Proteste der lokalen Bevölkerung. In Deutschland konzentrieren sich diese bislang vor allem auf Frankfurt und Umgebung. In Irland oder Spanien, wo bereits länger protestiert wird, sind die Bürgerinitiativen weiter verbreitet und dauerhafter organisiert, beispielsweise in der Initiative Tu Nube Seca Mi Rio – “Deine Cloud trocknet meinen Fluss aus”.

Vielerorts ist die mangelnde Transparenz ein großes Problem. Selbst offizielle Stellen müssen größtenteils auf Schätzungen zurückgreifen, wie viel Wasser und Strom die Rechenzentren tatsächlich verbrauchen. Sind valide Daten vorhanden, bleiben diese meist geheim. Zwar sollen Betreiber größerer Rechenzentren die Verbräuche mittlerweile an nationale Stellen wie dem deutschen Energieeffizienzregister für Rechenzentren und die EU melden – aber auch diese Daten werden nur aggregiert veröffentlicht. Hinzu kommt der Unwillen der Betreiber, diese Informationen bereitzustellen. Ein aktueller Bericht der Europäischen Kommission schätzt für das Jahr 2024, dass nur gut ein Drittel aller Rechenzentren in der gesamten EU dies tun. Selbst die Gesamtzahl aller Rechenzentren kann sie dabei nur mutmaßen.

Ein ähnliches Bild zeigt sich auch in Deutschland

In der Bundesrepublik wird der Strom- und Wasserverbrauch von Rechenzentren erst in der jüngsten Zeit stärker thematisiert. Hier liegt der Anteil der Menschen, die sich Sorgen machen, noch etwas niedriger als in anderen europäischen Ländern. Die Betonung liegt hier auf dem „noch“, denn auch in Deutschland nimmt die Zahl der Rechenzentren stark zu – und soll nach dem Willen der Bundesregierung noch stärker wachsen.

Wie drastisch die Entwicklungen sind, zeigen beispielsweise die Zahlen der Bundesnetzagentur. Diese hatte erst vor kurzem die Schätzungen bezüglich des zukünftigen Stromverbrauchs stark nach oben korrigiert: Die im April 2025 veröffentlichten Szenarien gehen davon aus, dass bis zum Jahr 2037 Rechenzentren 78 bis 116 Terawattstunde (TWh) Strom verbrauchen – doppelt bis viermal so viel, wie es die ursprünglichen Abfragen ergeben hatten. Zur Einordnung: Der gesamte Bruttostromverbrauch lag in Deutschland im Jahr 2023 bei gut 550 TWh.

Da die Bundesnetzagentur nur die Rechenzentren berücksichtigt, die sich aktuell in der Planung befinden, könnten die tatsächlichen Zahlen sogar noch weiter ansteigen. Damit würde der Gesamtbedarf der Rechenzentren 2037 nicht nur bis zu 10 Prozent des deutschen Stromverbrauchs betragen. Der Zuwachs an Rechenzentren sorgt vor allem dafür, dass große Mengen Strom zusätzlich bereitgestellt werden müssen, dass fossile Kraftwerke länger laufen und dass wahrscheinlich auch die Strompreise steigen.

Angesichts dieser Zahlen überraschen die Umfrageergebnisse in Deutschland nicht: Auch hier unterstützen zwei Drittel der Befragten die Auflage, dass Rechenzentren nur gebaut werden dürfen, wenn dafür entsprechend auch weitere Kapazitäten erneuerbarer Energien geschaffen werden. Mehr als drei Viertel der Befragten fordern, dass Betreiber von Rechenzentren ihren Energieverbrauch (76 Prozent), ihre Energiequellen (77 Prozent) und ihre Umweltauswirkungen (81 Prozent) offenlegen.

Die Umfrageergebnisse offenbaren damit auch eine Kluft zwischen der Mehrheitsmeinung in der Bevölkerung und dem Kurs der Bundesregierung. Digitalminister Karsten Wildberger (CDU) hatte erst Ende September gegenüber der Süddeutschen Zeitung angegeben, dass es für ihn “erst einmal primär um das Rechnen” gehe und Nachhaltigkeit demgegenüber nachrangig sei. Die Mehrheit der Befragten sieht das offensichtlich anders.

Und noch eines wird deutlich: Es reicht nicht aus, nur etwas an der Effizienz zu schrauben oder die Nutzung der Abwärme zu optimieren. Angesichts der Größe des erwarteten Wachstums muss es auch darum gehen, den Verbrauch von Rechenzentren absolut zu begrenzen – und dort, wo er unvermeidbar ist, durch zusätzliche erneuerbare Energien zu decken.

KI-Hype begrenzen – Rechenzentren nachhaltig gestalten

Rechenzentren sind zweifelsfrei wichtige Infrastrukturen und werden in Zukunft weiter an Bedeutung gewinnen. Umso wichtiger ist es, diese Infrastruktur nachhaltig zu gestalten und die Fehler der Vergangenheit nicht zu wiederholen. Dazu gehört auch die Frage: Wie viele solcher Rechenzentren brauchen wir eigentlich? Welche der neuerdings überall eingebauten KI-Anwendungen haben einen gesellschaftlichen Nutzen – und welche nicht?

Wie auch in anderen Bereichen darf sich die Debatte um den nachhaltigen Einsatz von KI nicht in erster Linie auf der Ebene von individuellen Konsum- beziehungsweise Nutzungsentscheidungen abspielen. Es braucht vielmehr eine politische Diskussion und Regulierung.

Aktuell wird einem bei jeder noch so kleinen PDF-Datei eine algorithmische Zusammenfassung aufgedrängt, führt jede Google-Anfrage zum Aufruf von Sprachmodellen und soll auch die staatliche Verwaltung nach dem Willen der Bundesregierung an so vielen Stellen wie möglich KI-Systeme benutzen. Hier bringt es wenig, nur an das Individuum zu appellieren. Stattdessen braucht es politische Entscheidungen, die sowohl bei KI-Systemen als auch bei Rechenzentren die ökologischen Folgen mitdenken. Statt der „KI-Nation“, zu der sich Deutschland laut dem Koalitionsvertrag entwickeln soll, braucht es – wenn man schon von Nation sprechen will – eine „KI-sensible Nation“, die neben dem Nutzen auch die Nebenwirkungen und häufig leeren Versprechungen solcher Anwendungen im Auge behält.

Mein Bahnticket jedenfalls drucke ich mir weder aus, noch lasse ich es mir zusammenfassen. Gar nicht so selten ist der Nicht-Einsatz von KI nämlich ihr bester Einsatz.

Julian Bothe ist als Senior Policy Manager bei der gemeinnützigen NGO AlgorithmWatch verantwortlich für das Thema „KI und Klimaschutz“. An der Schnittstelle von Digital- und Energiepolitik arbeitet er daran, den Ressourcenverbrauch und den Klimaschaden des aktuellen KI-Booms in Grenzen zu halten. Promoviert hat er zur Akzeptanz der Energiewende.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.