Zwischen dem aktuellen KI-Hype und der ersten Industrialisierung gibt es Parallelen, das zeigt sich besonders in der drohenden Entfremdung, analysiert unsere Kolumnistin. Aber es gibt Wege, die gleichen Fehler nicht nochmals zu machen.

Unsere Erfindungen sind meistens niedliche Spielsachen, die unsere Aufmerksamkeit von ernsten Dingen ablenken. Sie sind nur verbesserte Mittel zu einem unverbesserten Zweck – zu einem Zweck, der auf die einfachste Weise von vornherein hätte erreicht werden können.

Sparsamkeit, Walden oder Leben in den Wäldern, Henry D. Thoreau

Die heutige Degitalisierung wird sich in dieser Zeit mit dem tieferen Sinn hinter allerlei Digitalisierungsbemühungen, im Speziellen sogenannter Künstlicher Intelligenz, beschäftigen müssen. Dass KI jetzt wieder Thema sein muss, ist auch mir inzwischen selbst nervig, aber genau diese permanente Durchsetzung in jeglichen Bereichen des Arbeits- und inzwischen auch Privatlebens braucht leider immer eine klare Thematisierung. Im Wesentlichen soll es aber auch um die Entfremdung gehen, die wir gerade durchleben.

Den Ton für diese Kolumne setzt dazu ein gewisser Henry Thoreau, der in Walden die einleitenden Worte in einer Blockhütte ab 1845 im Wald ersann. Quasi als eine Art Aussteiger oder Einsiedler, der sich schon im 19. Jahrhundert vom Fortschritt der Industrialisierung eine Auszeit nahm und im Wald über die Welt nachdachte.

Im 19. Jahrhundert befand sich Thoreau inmitten des ersten Maschinenzeitalters und brauchte eine Pause im Wald. Ein emotionales Bedürfnis, das allzu viele im Bereich der Informationstechnologie in den letzten Jahren immer wieder selbst verspürt haben dürften. Denn heute befinden wir uns quasi im zweiten Maschinenzeitalter, dem der Künstlichen Intelligenz, das auch kognitive Arbeitskontexte erfassen wird.

Üblicherweise sind solche Momente in der Geschichte aber auch weitere Gelegenheiten zur Entfremdung. Zur Entfremdung von sinnvollen Zwecken, für die all diese neue Technik genutzt werden könnte. Zur Entfremdung vor allem für „einfache“ Arbeitende. Nicht zum ersten Mal.

Marx und Manchesterkapitalismus

Entfremdung bzw. entfremdete Arbeit ist ein zentrales Konzept im Werk von Karl Marx. In der Zeit der ersten Industrialisierung hat Marx eine vierfache Entfremdung des arbeitenden Individuums in Bezug auf seine Arbeit attestiert. Nach Marx geschieht diese Entfremdung zwischen dem arbeitenden Individuum und dem Kapitalisten zum einen auf Ebene des Produkts der eigenen Arbeit, weil das Produkt der Arbeit ja gar nicht mehr dem Individuum selbst gehört, sondern anderen. Die Entfremdung geschieht auch auf der Ebene der Tätigkeit, die keine eigenen Bedürfnisse mehr befriedigt und auch keine freie und bewusste Tätigkeit mit der Umwelt oder Gesellschaft ermöglicht. Letztlich entfremdet sich der Mensch vom Menschen selbst.

In die Zeit der Industrialisierung und von Marx fällt auch eine Phase des besonders auf die Interessen von Unternehmen ausgerichteten Kapitalismus, des sogenannten Manchesterkapitalismus. Eine Zeit, in der vor allem in Großbritannien, aber nicht nur dort, Kinderarbeit, lange Arbeitszeiten von bis zu 14 Stunden, Hungerlöhne, Armut und das Fehlen jeglicher sozialer und gesundheitlicher Schutzmaßnahmen etwa bei Arbeitsunfällen vollkommen normal waren. Gewerkschaften oder politische Interessenvertretungen wurden lange Zeit unterdrückt. Die Lage trotz all des vermeintlichen technischen Fortschritts für einen Großteil der Bevölkerung elend.

Gebessert hat sich die Lage ein wenig erst durch Gesetze zum Arbeitsschutz, etwa durch das Festlegen von maximalen Arbeitszeiten und durch das schrittweise Verbot von Kinderarbeit, zumindest für Kinder unter 12.

Nur scheint sich im zweiten Maschinenzeitalter vieles, was wir eigentlich aus der Geschichte gelernt haben sollten, wiederholen zu müssen. Denn im modernen Techkapitalismus droht sich sowohl die Entfremdung als auch das Elend auf die gleiche, wenn auch an diese Zeit angepasste, Art und Weise zu wiederholen. In beiden Industrialisierungen geht es auch immer um Maschinen, in der Industrialisierung etwa um Dampfmaschinen und Webstühle, in der KI-Industrialisierung um massive Rechenzentren.

Musk und Techkapitalismus

Eines der ersten wirklich riesigen, auf KI spezialisierten Rechenzentren, ist Colossus von xAI, einem Unternehmen, das von Elon Musk gegründet wurde. Colossus war zu seiner Eröffnung Mitte 2024 der damals wohl schnellste Supercomputer der Welt.

Im Hype um KI wird immer wieder von den weltverändernden Möglichkeiten von Künstlicher Intelligenz gesprochen. Medikamente können schneller entwickelt werden, indem Proteine besser modelliert werden können. Wetter kann besser vorhergesagt werden. Das wäre vielleicht sogar ein sinnhafter Einsatz von KI. Nur forciert Musk den „vermeintlich freien“ Einsatz von KI für ganz andere Zwecke und damit auch von Supercomputern wie Colossus.

Grok, der Chatbot von xAI, flutet seit einiger Zeit den ehemals relevanten Kurznachrichtendienst Twitter, jetzt unter Musks Eigentümerschaft X genannt, mit massenhaft sexualisierten Deepfakes. Die Diskussion nahm in den letzten Tagen zu. Der selbst nicht ganz widerspruchsarme Kulturstaatsminister Wolfram Weimer bezeichnete das als eine „Industrialisierung der sexuellen Belästigung“. Die ansonsten eher seriös aufbereitete Financial Times illustrierte die Plattform X wegen der Ereignisse als eine Deepfake-Pornoseite, deren Mitarbeitende dort als eine Ansammlung von Clowns in einem Zirkuszelt dargestellt wurden.

Der typische techkapitalistische Einsatz dieser Tage führt also ebenfalls zu einer mehrfachen Entfremdung. Menschen oder Künstler*innen, die ihrer Werke und möglichen Einnahmen daraus beraubt werden, sei es bei Texten, Bildern, Illustrationen, Musik oder Filmen. Menschen, die im Sinne von digitalem Kolonialismus für KI-Modelle abartigen Content labeln und sortieren müssen. Menschen, die sich bei dieser Tätigkeit fühlen, als würde ihr Leben enden. Gigantomanische Rechenzentren, die in den nächsten Jahren Musks Colossus locker um das fast Zehnfache übertreffen werden und sich dabei in keinster Weise um die Auswirkungen auf Umwelt und Gesellschaft scheren. Energiebedarfe, die bis in den Gigawattbereich reichen, was dem Energiebedarf US-amerikanischer Großstädte wie Los Angeles entspricht. Ein Energiehunger, der mit zusätzlichen fossilen Energiequellen oder Atomreaktoren gestillt werden muss – bei denen aber die Entsorgung des Atommülls vollkommen unklar sind.

Dazu entfremdet sich auch noch das Finanzsystem immer weiter von der Realität überhaupt noch tragbarer Geschäftsmodelle. Moral ist dabei sowieso egal: Musks xAI sammelt weiter fleißig Geld ein und verbrennt es gleich wieder. Zuletzt fremdeln Anbieter von KI-Lösungen mit dem Konzept von Verantwortung für ihr eigenes Handeln. Hersteller von Chatbots zahlen lieber stillschweigend bei Gerichtsverfahren im Hintergrund Vergleiche, um nicht öffentlich in der Verantwortung für die Konsequenzen ihrer Produkte haften zu müssen.

Auf der anderen Seite starten Akteure wie OpenAI aber KI-Assistenten für die eigene Gesundheit – natürlich auf eigene Gefahr der Nutzenden.

Währenddessen wachsen die Rechenaufwände und die dafür notwendigen Rechenzentren in ihren Anforderungen immer weiter. Anwendungsfälle, die für die Menschheit von irgendeinem nachhaltigen Nutzen wären, werden aber damit kaum umgesetzt. Der Großteil der Rechenleistung wandert in Sprachmodelle, Videogeneratoren und Vision-Modelle. Eingesetzt als eher niedliche Spielsachen, ohne sich aber um ernste Dinge wie den Klimawandel oder die gesellschaftliche Ungleichheit zu scheren.

Grenzen und Wachstum

In manchen Momenten muss die fortschreitende KI-Industrialisierung aber immer wieder mit erstrebenswerten Zukunftsvisionen dargestellt werden, um sie weiter am Leben zu halten, teils geradezu mit marxistisch anmutenden Elementen.

Sam Altman, CEO von OpenAI, versprach etwa 2024 ein Grundeinkommen für alle – wenn denn bald GPT-7 superintelligent sein solle. 2024 veröffentlichte OpenResearch eine von Altman mitfinanzierte Studie zur Wirkung eines bedingungslosen Grundeinkommens, deren Erkenntnisse durchaus unterschiedlich interpretiert wurden.

Altmans Einsatz für ein Grundeinkommen sollte aber nicht ohne seine eigenen Hintergedanken interpretiert werden. Aufgrund des geradezu kannibalistischen Verbrauchs von Ressourcen, die Systeme wie die von OpenAI aufweisen, muss Altman zumindest irgendeine Vision anbieten, die seine Maschinerie am Leben halten kann. Aber Altman ist ein Betrüger, immer wieder.

Das Wachstum der KI-Branche wird aktuell gerade etwas gebremst durch das Erreichen des Limits von produzierbaren Rechenressourcen wie Arbeitsspeicher oder aus dem Internet aufgesaugten Inhalten. LLMs auf der anderen Seite zerstören gerade aktiv ihre eigenen aufgesogenen Inhalte, wie etwa im aktuellen Beispiel des Open Source CSS-Frameworks Tailwind, das in dieser Woche massive Entlassungen wegen KI offenlegte.

In der finanziellen Realität ist aber auch der KI-Primus OpenAI bei seinem Geschäftsmodell schon längst bei Überlegungen zu Erotikinhalten und Werbung angekommen. Dabei sind in die KI-Branche bereits bis 2024 Investitionen gesteckt worden, von denen mehrere Mondprogramme und Manhattan-Projekte finanziert hätten werden könnten.

Bei all diesen Anlässen für Entfremdung ist aber die Frage: Was sind die Alternativen? KI als Teil des Rentensystems? Das ist bei techkapitalistischen Unternehmen, die von der EU geradezu mit Samthandschuhen angefasst werden, schwerlich vorstellbar.

Entfremdung und Rebellion

Ein möglicher Weg aus dieser Entfremdung ist in Thoreaus Worten vom Anfang zu finden. KI in der heutigen Form sind oftmals nur verschlimmbesserte Mittel zu einem kapitalistischen Zweck mit all den schlimmen negativen Konsequenzen.

Politisch wird jetzt vielleicht gefordert, dass es „europäische KI“ brauche mit „europäischen Werten“. Im Wesen von aktuellen KI-Systemen sind aber, ganz gleich welcher Herkunft diese sind, Elemente angelegt, die sich nicht von dieser Technologie trennen lassen. KI ist eine konservative Technologie, sie begünstigt wenige Kapitalisten oder Faschisten immens, bringt einer Mehrheit nur wenige Vorteile und diskriminiert Minderheiten, sei es durch Bias oder schweren Zugang zu aktueller digitaler Technik. Darüber hinaus bleibt die erratische Art des Handelns ein Wesensbestandteil dieser Systeme.

Der Weg aus der Entfremdung ist zuallererst die Erkenntnis, dass KI und die Versprechungen, die sie bringen soll, oftmals aus einer überaus beschränkten Sichtweise kommen. Häufig findet das mittlere oder obere Management in den niedlichen KI-Spielzeugen die vermeintliche Lösung für viele Probleme.

Zu wenig Pflegepersonal im Krankenhaus? Lässt sich bestimmt mit KI-unterstützten Apps für Schichtplanung und Gig Economy „lösen“. Macht die Situation aber nur schlimmer. Zu wenig Geld im Gesundheitssystem? Muss nur mit digitalen Tools besser geleitet werden, am liebsten noch mit Kontaktgebühren. Am besten wäre es doch, gleich die Krankenkassen mit KI tagesaktuell auf Behandlungsdaten agieren zu lassen.

All diese durch KI unterstützten Lösungsvorschläge sind oftmals nur elitäre Projektionen. Lösungen, die nur für einen Teil von Problemen eines Themenbereichs funktionieren und aus Sicht des Managements damit die Lösung für alle Probleme sein müssten, es aber nicht sind.

Die technologische Entfremdung entsteht nicht durch diejenigen, die unrealistische Versprechungen mittels KI machen und verkaufen wollen. Versprechungen wie die einer Superintelligenz, die jetzt 2026 nur noch ein Problem entfernt sei, was eigentlich 2024 schon hätte kommen sollen.

Die technologische Entfremdung des digitalen Maschinenzeitalters entsteht durch zu viele Käufer*innen im Management von Unternehmen, im Gesundheitswesen oder in Verwaltungen [€], die diesen Versprechungen trotz ihrer überzogenen Vorhersagen und trotz ihrer negativen Konsequenzen weiter hinterherlaufen.

Die Frage ist nicht, ob KI in aktueller Form sinnvolle Anwendungen hat. Die Frage ist, ob wir uns als Gesellschaft erst noch einmal jahrelang entfremden müssen, um dann zu erkennen, dass wir vieles aus den Verheißungen von Digitalisierung und KI auch auf einfache oder andere Weise hätten erreichen können – ganz ohne die destruktiven Einflüsse des aktuellen Techkapitalismus.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Nachdem sein Chatbot Grok weiterhin sexualisierte Bilder von prominenten Frauen und Minderjährigen erstellt, sieht sich Elon Musk mit möglichen rechtlichen Konsequenzen konfrontiert. Den Trend zu KI-generierten sexuellen Inhalten und digitaler Gewalt gegen weibliche Personen wird das wohl nicht aufhalten.

Seit Ende Dezember flutet Elon Musks KI-Chatbot Grok die Kurznachrichtenplattform X mit sexualisierten Deepfakes. User*innen haben das Programm aufgefordert, Bilder von bekannten Frauen und Minderjährigen mit nur minimaler Bekleidung und in sexualisierten Posen darzustellen. Inzwischen kursieren auch KI-generierte Bilder von bekannten Frauen in Hakenkreuz-Bikinis.

Auf den weltweiten Aufschrei folgte zunächst nur eine Reaktion des Chatbots selbst, der von „Schwachstellen in den Sicherheitsvorkehrungen“ schrieb, die behoben werden müssten. Elon Musk hatte sich über die Vorwürfe zuerst amüsiert, indem er ein Bild von sich selbst im Bikini postete. Dann kündigte ein Sprecher von X jedoch an, dass das Generieren und Verbreiten „illegaler Inhalte“ die gleichen Konsequenzen für Accounts haben werde, als würden sie die Inhalte selbst hochladen.

Zwar wurden inzwischen einzelne Inhalte gelöscht, weitere Konsequenzen erfolgten bisher jedoch nicht. Entsprechende Bilder kursieren zudem weiter auf der Plattform.

Betroffen sind vor allem Frauen und Kinder

Die Möglichkeit zur Erstellung sexualisierter Fake-Bilder hatte Musks KI-Unternehmen xAI kürzlich mit einem Update für den Chatbot geschaffen. Seit Dezember 2025 kann Grok durch den „Image Generation Release“ auch bestehende Bilder bearbeiten, die Nutzer*innen hochladen. Letzten Sommer hatte das Unternehmen bereits einen „Spicy Mode“ für pornographische Inhalte veröffentlicht, den das neue Feature ergänzt.

Die Bildbearbeitungsfunktion ist auch auf X verfügbar. Wollen User*innen damit Deepfakes erstellen, zum Beispiel von Menschen im Bikini, benötigt der KI-Chatbot dafür weder eine Zustimmung der Urheber*innen, noch erfahren diese von der Manipulation. Opfer der sogenannten Deepnudes sind – nicht nur in diesem Fall digitaler Gewalt – vor allem Frauen und junge Mädchen.

Auch die rechte Influencerin Ashley St. Clair, mit der Elon Musk ein gemeinsames Kind hat, gehört zu den Zielen. Ihre öffentliche Kritik an Musks Chatbot hat den Missbrauch jedoch nur verstärkt. Nutzer*innen hatten unter anderem Bilder von ihr als 14-Jährige, im Bikini und in nach vorne gebeugter Pose erstellen lassen. Wie St. Clair berichtet, habe es nach ihrer Beschwerde bei der Plattform zwölf Stunden gedauert, bis X das gefakte Kinderbild entfernt hat.

Ein Fall für den Digital Services Act

Nach eigenen Angaben will Ashley St. Clair nun ein kürzlich verabschiedetes US-Gesetz nutzen, um sich zu schützen. Der Take it Down Act soll Menschen helfen, gegen die nicht-einvernehmliche Verbreitung sexualisierter Bilder vorzugehen.

Einem Bericht von heise online zufolge prüfen in Frankreich derweil bereits Staatsanwälte, wie man mit dem Digital Services Act der EU auf die Fälle reagieren kann. Auch die Europäische Kommission sieht in den sexualisierten Bildern einen Fall für den Digital Services Act. Das Vorgehen reiht sich in laufende Untersuchungen gegen X wegen Verstößen gegen europäische Plattformgesetze ein.

Auch die britische Kommunikationsaufsicht Offcom verlangt Antworten von xAI zu der Thematik. Ebenso haben sich Regierungen von Malaysia und Indien kritisch geäußert.

Auch Meta und OpenAI setzten auf erotische Inhalte

KI-generierte Erotikinhalte sind inzwischen kein Nischenphänomen mehr. Vielmehr setzen KI-Firmen im großen Stil auf romantische und sexuelle Inhalte, um ihre Bots zu vermarkten. So kündigte Sam Altman, Vorstandschef von Open AI, im Oktober 2025 einen Erotik-Modus für ChatGPT an. Das Add-on ist noch nicht verfügbar und soll nach einer Altersprüfung nutzbar sein.

Meta wiederrum stand kürzlich in der Kritik, weil sein Chatbot Meta AI auf Facebook, WhatsApp und Instagram auch Minderjährigen romantische Interaktionen ermöglichte.

Im Fall eines Rentners aus New York führte eine romantische Konversation sogar zu einem tödlichen Unfall. Der 76-Jährige hatte sich in den Meta-Chatbot „Big Sis Billie“ verliebt und wurde von diesem aufgefordert, ihn an einer bestimmten Adresse zu besuchen. Der Chatbot beteuerte mehrmals, wirklich real zu sein. Auf dem Weg zu dem vermeintlichen Date stürzte und verstarb der Rentner.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die Wirtschaftssenatorin Franziska Giffey nutzt die Notfallsituation in Berlin, um sich mit der Forderung nach mehr Videoüberwachung zu profilieren. Sie will auch „Künstliche Intelligenz“ einsetzen. Doch mehr Kameras helfen nicht, wenn es eigentlich andere Maßnahmen braucht. Ein Kommentar.

Nach dem mehrtägigen und noch anhaltenden Stromausfall im Südwesten von Berlin wegen eines Brandanschlags hat die Berliner Wirtschaftssenatorin Franziska Giffey (SPD) mehr Videoüberwachung gefordert. Offenbar geht sie davon aus, dass mehr Kameras eine sinnvolle Konsequenz aus dem viele tausend Haushalte und Unternehmen betreffenden Krisenfall sein oder einen solchen gar verhindern könnten. Der Regierende Bürgermeister Kai Wegner von der CDU sekundierte eilig.

Giffey kündigt zugleich an, die vermehrte Videoüberwachung durch „Künstliche Intelligenz“ ergänzen zu wollen, etwa zur Wärmeerkennung. Vielleicht hat sie sich Kameras vorgestellt, die Wärmebilder aufzeichnen, unterstützt durch eine Software, die solche Bilder analysiert: eine automatische Menschenerkennung gewissermaßen, die auf magische Weise böse Absichten sichtbar macht.

Nun könnte sich die Wirtschaftssenatorin für die Notfallhilfe und die bessere Versorgung, Unterbringung und Aufklärung von stromlosen frierenden Menschen einsetzen, denn der Stromausfall betrifft auch die Fernwärmeversorgung. Sie könnte sich mehr vorsorgende Gedanken machen, wie künftig bei Katastrophen oder absichtlichen Zerstörungen der Schaden für die betroffenen Menschen und die Wirtschaft minimiert werden kann.

Oder sie kann sich mitten in der Notfallsituation einfallsarm, aber vorhersehbar für mehr Videoüberwachung starkmachen. Schon nach kurzem Nachdenken erscheint das jedoch als keine schlaue Idee. Denn von Stromausfällen sind zumeist auch Kameras und auswertende Computer betroffen. Im Krisengebiet in Berlin waren auch Internet- und Telefonverbindungen gestört.

Videoüberwachung nicht sinnvoll

Videoüberwachung ist nicht geeignet, Anschläge zu erschweren oder gar zu verhindern. Denn die bloße filmende Kamera führt bekanntlich weder zu mehr Sicherheit noch zu mehr Resilienz. Zwar wird zuweilen behauptet, Kameras mit Mustererkennungssoftware könnten Gefährdungssituationen zuverlässig identifizieren oder gar durch ein schnelles Eingreifen nach Alarmierung verhindern. Die Realität sieht aber anders aus: unwissenschaftliche Schönfärberei in Hamburg, auch das Vorzeigebeispiel Mannheim ist keine Erfolgsgeschichte. Es bleiben doch nur Computer, die auf Menschen starren.

Interview zur Videoüberwachung: Computer, die auf Menschen starren

Die Sinnhaftigkeit der Forderung nach Videoüberwachung kann also nur darin liegen, bei absichtlichen Sabotagen die Tätersuche zu unterstützen. Allerdings können sich auch nur mäßig begabte Kriminelle sehr leicht unkenntlich machen.

Beim Berliner Stromnetz seien bereits drei Viertel der Leitungen vom Netzbetreiber oder anderen Privaten kameraüberwacht, sagte Giffey. „Was nicht videoüberwacht ist, ist auf öffentlichem Straßenland“. So sei das auch bei der am Samstag sabotierten Kabelbrücke in Berlin, meint die Senatorin. Allerdings wissen ortskundige Berliner, dass dort ein großes Heizkraftwerk an der Wasserkanalseite liegt. Das ist umzäunt und auch bewacht und wäre damit kein öffentliches Straßenland. Und an „gefährdeten Objekten“ ist es ohnehin geltendes Recht, dass Videoüberwachung möglich ist. Denn an solchen „gefährdeten Objekten“ dürfen Bildaufnahmen gemacht und auch aufgezeichnet werden.

Schlechtes Notfallmanagement

Mit fragwürdigen Maßnahmen wie Videoüberwachung kann der Berliner Senat nicht von der Tatsache ablenken, dass die Verwaltung nur ein schlechtes Notfallmanagement zeigte. Die Hilfen seien zu langsam und unvollständig gekommen, der Regierende Bürgermeister hätte sich rar gemacht.

Wer vom Stromausfall betroffen ist, dem nützt eben kein Bild eines Täters, der bei einer Sabotage gefilmt wird. Natürlich muss nach dem Ende der Krisensituation die Tätersuche priorisiert werden. Aber eine große Krise mit vielen betroffenen Menschen verlangt erstmal nach gut organisierter Hilfe und Notfallmaßnahmen, danach nach sinnvoller und bezahlbarer Vorsorge, zumal nicht nur Absicht, sondern auch Katastrophen und Unfälle ein ebenso großes Schadensbild erzeugen könnten.

Politiker neigen dazu, sich in Krisensituationen mit „Gummistiefel-Fotos“ und starken und einfachen Forderungen profilieren zu wollen. Genau das macht Giffey hier. Und eine Großkrise mit Stromausfall bei zehntausenden Haushalten bietet sich für ehrgeizige Politiker einfach an, selbst wenn die Forderung nicht so recht ins eigene Ressort passt und keinen Sinn ergibt. Videoüberwachung, gar mit „Künstlicher Intelligenz“, klingt aber immerhin modern. Bezahlbarer Bevölkerungsschutz und Krisenvorsorge sind hingegen die dicken Bretter, die eigentlich zu bohren wären.

Die halbe Stadt nun kameraüberwachen zu wollen, ist allerdings gar nichts Neues. Denn zur Wahrheit gehört, dass die Berliner Koalition ohnehin seit dem Sommer plant, die Anzahl der festinstallierten Videoüberwachungskameras dauerhaft auszubauen. Auch die automatische Verhaltenserkennung mit „Künstlicher Intelligenz“ war in dem Plan zur Ausweitung der Polizeibefugnisse schon enthalten.

Aktionismus statt solide Politik hat in Berlin eben Tradition. Wie sagte Joseph Weizenbaum so treffend: „Früher hat man dem Computer ein Problem übergeben, wenn man es verstanden hatte, heute ist es andersrum.“

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Manche Nutzer:innen lassen sich Wikipedia-Artikel von Sprachmodellen generieren, inklusive erfundener Referenzen. Ein Wikipedia-Urgestein stolperte zufällig über die halluzinierten Artikel – ausgerechnet mit der Hilfe von einem Sprachmodell.

Eigentlich wollte Mathias Schindler nur eine kleine Sache in der Wikipedia korrigieren. Doch dann baute der Wikipedianer versehentlich einen Detektor für bestimmte KI-generierte Inhalte in der Enzyklopädie. Auf dem 39C3 berichtet er, warum die halluzinierten Texte auch ein Problem für die Anbieter großer Sprachmodelle werden könnte und warum er den Autor:innen keine guten Absichten unterstellt.

Die kleine Sache, die Schindler korrigieren wollte, waren fehlerhafte ISBNs. Mit diesen 10 oder 13-stelligen Nummern werden Bücher identifiziert und finden sich oft in Quellenangaben von Wikipedia-Einträgen. Dabei sind die Zahlenkombinationen nicht vollkommen zufällig, erklärt Schindler im Talk. Die letzte Ziffer ist eine Prüfziffer, sie lässt sich aus den neun beziehungsweise zwölf vorherigen Ziffern berechnen. Ursprünglich wollte Schindler falsche ISBNs in der Wikipedia aufspüren und ausbessern, auch damit Nutzer:innen die richtigen Bücher finden, die als Referenzen in den Artikeln angegeben wurden.

Zufallsfund dank falscher ISBNs

„Referenzen auf Wikipedia sind nicht nur wichtig, sondern ein integraler Teil der Wikipedia“, sagt Schindler und verweist in seinem Vortrag auf den alten Spruch: „Wikimedia mag ein guter Ort sein, um eine Recherche zu starten, aber es ist ein schlechter Ort, um dort die Recherche zu beenden.“ (Alle Zitate aus dem Talk haben wir ins Deutsche übersetzt.) Schindler muss es wissen. Er ist Mitbegründer von Wikimedia Deutschland und Wikipedia-Autor seit 2003.

Um die inkorrekten ISBNs zu finden, schrieb Schindler ein Skript, lud die gesamte deutschsprachige Wikipedia herunter und durchsuchte sie nach ISBNs mit einer faulen Prüfziffer, erzählt er in seinem Vortrag. Doch er stieß nicht nur auf falsch eingegebene ISBNs oder von den Verlagen falsch ausgegebene ISBNs, sondern fand auch Artikel, bei denen zwei oder mehr Bücher fehlerhafte ISBNs hatten. Diese Bücher schienen zwar plausible Titel und Autor:innen zu haben, aber Schindler konnte sie nirgendwo sonst finden. Sie waren halluziniert.

Offenbar hatten sich Menschen ganze Artikel von einem Large Language Model (LLM) wie ChatGPT schreiben lassen, welches sich dann auch einen Abschnitt mit Einzelnachweisen ausdachte.

Noch ist es ein Nischenphänomen

Im Gespräch mit netzpolitik.org erzählt Schindler, dass er mit seiner Methode etwa 150 Artikel gefunden habe, bei denen man Sorge haben müsse, dass sie zumindest teilweise KI-generiert und frei erfunden seien. Allerdings seien die fehlerhaften Einträge nicht ausschließlich auf KI-Chatbots zurückzuführen, manchmal gebe es andere Gründe für mehrfach falsche ISBNs, sagt Schindler. Außerdem gibt es über drei Millionen deutschsprachige Wikipedia-Artikel, die 150 Auffälligen machen also nur ein äußerst geringen Anteil von 0,005 Prozent aus.

Andererseits erfasst Schindlers Methode auch nicht alle Halluzinationen, dafür war es schließlich nicht gedacht. „Dieses Werkzeug ist nicht das Universaltool zum Erkennen von ChatGPT-generierten Artikeln.“ Andere Möglichkeiten, solche Inhalte zu enttarnen, seien etwa systematische Abweichungen von der Syntax von „Media Wiki“ (der Software hinter Wikipedia). Oder wenn Autor:innen viele Adjektive verwenden: „Kein Wikipedianer, der was auf sich hält, wird den Fernsehturm als ‚großartig‘ oder ‚herausragend‘ bezeichnen.“

LLM generierter Text „Anti-These zu Wikipedia“

Doch auch wenn das Erstellen von Wikipedia-Artikeln mit LLMs noch nicht so verbreitet sein sollte, geht es für Wikipedia um Grundsätzliches: Die Kontamination mit Inhalten, die auf den ersten Blick wahr erscheinen könnten und sich als Fakten tarnen. Schindler sagt: „Man könnte es auch als Anti-These zu einem Enzyklopädie-Projekt wie Wikipedia beschreiben.“

Die Gefahren? Zum einen können sich falsche Infos verselbstständigen, wenn eine andere Veröffentlichung den vermeintlichen Fakt von Wikipedia abschreibt und die Wikipedia diese Veröffentlichungen hinterher als Beleg für genau diesen Fakt aufführen. Schindler weist in seinem Vortrag auf diesen Teufelskreis hin, der bereits vor LLMs ein Problem darstellte.

Glaubwürdigkeit in Gefahr – und die Qualität von LLMs

Zum anderen verschlingen LLM-generierte Quellen zunehmend die Ressourcen unterschiedlichster Einrichtungen. Nicht nur die der Online-Enzyklopädie: Irregeleitete Nutzer:innen fragen etwa Bibliothekar:innen nach ausgedachten Büchern, berichtete 404 Media im Herbst. Beim Internationalen Komitee des Roten Kreuzes (ICRC) wurde die Situation offenbar so schlimm, dass es sich mit einer „wichtigen Mitteilung“ an die Öffentlichkeit wandte.

„Wenn eine Referenz nicht gefunden werden kann, heißt das nicht, dass das ICRC Informationen zurückhält. Verschiedene Situationen können das erklären, wie etwa unvollständige Zitationen, Dokumente, die in andere Institutionen lagern, oder – zunehmend – KI-generierte Halluzinationen“, warnte das ICRC Anfang Dezember.

Auch für die Entwickler von Large Language Models hätten halluzinierte Wikipedia-Artikel Nachteile, argumentiert Schindler. Denn ihre Modelle werden oft mit Wikipedia-Artikeln trainiert. „Die KI-Firmen profitieren von hochwertigen Daten und leiden unter dem Verlust von Quellen, die frei von synthetischen Texten sind“, sagt im Schindler im Gespräch mit netzpolitik.org. Oder wie er es im Vortrag formuliert: „LLM-Provider vergiften damit auf eine Art den Fluss, aus dem sie selber trinken“, sagt Schindler.

Wer macht sowas?

Doch wer stellt eigentlich LLM-generierte Inhalte in die Wikipedia? „Bunt gemischt“, erzählt Mathias Schindler im Gespräch mit netzpolitik.org. Von Wikipedia-Neulingen über langjährige Autor:innen bis zu einer Werbeagentur sei alles dabei gewesen. Er habe versucht, möglichst viele Autor:innen von verdächtigen Artikeln zu kontaktieren. Manche hätten ihn ignoriert, andere alles geleugnet oder den Einsatz einer LLM heruntergespielt.

„Eine Erklärung ist, dass Menschen LLMs tatsächlich als Recherchewerkzeug ansehen, das magischen Zugang zu wissenschaftlichen Datenbanken und Literatur hat und belastbare Belege liefert“, sagt Schindler zu netzpolitik.org. Bisher habe er aber noch keine solche Person unter den verdächtigen Autor:innen getroffen. Stattdessen vermutet Schindler eher persönlichen Geltungsdrang oder dass Personen eine Agenda verfolgen, die Enzyklopädie in ihrem Sinne umzuschreiben.

In seinem Vortrag erzählt Schindler, er habe alle verdächtigen Autor:innen, um den Prompt gebeten, mit dem diese den Artikel generiert hätten. „Das ist mein persönlicher ‚Litmus‘-Test, ob die Menschen ehrliche Absichten haben“, sagt Schindler. Nur eine einzige Person habe den Prompt nach vielen Nachfragen privat geteilt.

Die Herausforderung bleibt

Laut Schindler wurden alle gemeldeten Artikel gelöscht, bei denen die Autor:innen die Zweifel nicht ausräumen konnten, dass sie KI-generiert waren. In vielen Fällen wurden auch die Autor:innen gesperrt. In einem Richtlinien-Artikel der deutschsprachigen Wikipedia heißt es dazu: „Sprach-KI sind derzeit nicht in der Lage, korrekt belegte Beiträge zu erstellen. Beiträge, die damit erstellt werden, verstoßen daher unter anderem gegen WP:Keine Theoriefindung, WP:Belege, WP:Urheberrechtsverletzung, WP:Neutraler Standpunkt; ihre Verwendung ist daher derzeit generell unerwünscht.“

Für Schindler bleibt es eine Herausforderung für die Wikipedia-Community, halluzinierte Texte aufzudecken, zumal Chatbots künftig ISBNs mit einer korrekt berechneten letzten Stelle erfinden könnten. Er hofft auf einen konstruktiven Dialog mit den KI-Firmen. „Mein persönlicher Wunsch wäre, dass man durch Austausch und vielleicht Kompetenztransfer mit den KI-Firmen erreicht, dass man KI-generierte Texte leichter erkennt, wenn jemand versucht, sie in die Wikipedia zu stellen.“

Am Ende ist die Geschichte der KI-generierten ISBNs auch eine über falschen und vielleicht besseren KI-Einsatz. Denn den Code für seinen ISBN-Checker hat Schindler auch mithilfe von Large Language Models geschrieben.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Louisa Specht-Riemenschneider erklärt, warum KI und Datenschutz so schlecht zusammengehen und die Datenpolitik ein gesellschaftspolitisches Ziel braucht. Außerdem nennt sie eine überraschend niedrige Zahl neuer Mitarbeitender, falls ihre Behörde die zentrale Wirtschaftsaufsicht erhält.

Seit gut einem Jahr ist Louisa Specht-Riemenschneider Bundesbeauftragte für den Datenschutz und die Informationsfreiheit (BfDI). Nicht nur die schwarz-rote Bundesregierung hat sich mittlerweile weitreichende Reformen beim Datenschutz vorgenommen, sondern auch die EU-Kommission will die Datenschutzgrundverordnung erstmalig schleifen.

Wir haben Specht-Riemenschneider in ihrem Berliner Büro getroffen und sie gefragt, wo sie in der hitzig geführten Reformdebatte steht. Sie kritisiert Teile der Pläne der EU-Kommission, spricht sich aber auch selbst entschieden für eine Reform aus. Der datenschutzrechtliche Rahmen erfülle seine Funktion nicht, allerdings laufe die aktuelle Debatte in die falsche Richtung. Vor Veränderungen in der Datenpolitik müsse eine gesellschaftspolitische Zielsetzung stehen, so die Forderung der Datenschutzbeauftragten.

Auch zu den umstrittenen Themen Gesundheitsdigitalisierung und Reform der Datenschutzaufsicht in Deutschland haben wir die Juristin befragt.

„An jeder Ecke fehlen Daten für gemeinwohlorientierte Zwecke“

netzpolitik.org: Sie haben als Rechtswissenschaftlerin immer die Bedeutung von Daten für Innovation betont und einen Ausgleich zwischen Datennutzung und Datenschutz gesucht. Für viele bedeutet das momentan vor allem, den Datenschutz zurückzubauen. Auf dem Digitale-Souveränitäts-Gipfel in Berlin lautete die neue Leitlinie „Product First, Regulation Second“. Ihre Behörde soll den Zusatz „Beauftragte für Datennutzung“ erhalten. Geht die Entwicklung also in die richtige Richtung?

Louisa Specht-Riemenschneider: Für mich stand nie zur Debatte, ob Datenschutz und Datennutzung zusammengehen. Die DSGVO soll genau das erreichen. Sie will ja nicht Datennutzung um jeden Preis verhindern, sondern gewährleisten, dass dabei Grundrechte gewahrt bleiben. Gleichzeitig gibt es andere Grundrechte wie den Schutz der Gesundheit, die es notwendig machen, dass Daten verarbeitet werden. Beides muss man in Einklang bringen.

In der öffentlichen Debatte wird derzeit allerdings versucht, diese zwei Positionen gegeneinander auszuspielen. Wir sind an einem Punkt, wo wir eine entscheidende Weichenstellung machen können. Und ich würde mir eine viel stärker gesellschaftspolitische Diskussion darüber wünschen, wo wir eigentlich hin wollen.

netzpolitik.org: Also für welche Zwecke Daten genutzt werden sollen und für welche nicht?

Louisa Specht-Riemenschneider: Ja, wollen wir als Gesellschaft etwa Daten für verbesserte Krebstherapien nutzen? Oder wollen wir verbesserte Datennutzbarkeit für rein kommerzielle Interessen? Das beantwortet mir momentan politisch niemand.

Wir haben zwar 1.000 Strategien, aber es fehlt ein Leitbild, an dem wir die Datenpolitik und auch die Regulierung ausrichten. Gerade jetzt wäre die Gelegenheit, in der wir in Europa – anders als die USA oder China – eine Datennutzungsagenda entwickeln könnten, die Grundrechte, Demokratie und Freiheit mitdenkt.

netzpolitik.org: Bei der Gesundheitsdigitalisierung heißt es, der Datenschutz gefährde Leben. In der Wirtschaft gefährde er Europas Wettbewerbsfähigkeit. Spüren Sie diesen Gegenwind?

Louisa Specht-Riemenschneider: Ja, und ich finde es unheimlich schade, dass die Diskussion in die falsche Richtung geht. Der Rechtsrahmen für Datenschutz und Datennutzung funktioniert offensichtlich nicht so, wie er eigentlich funktionieren sollte. Einerseits haben wir eine unglaubliche Masse an Daten, die rechtswidrig genutzt werden, wie etwa die „Databroker Files“ gezeigt haben. Andererseits fehlen an jeder Ecke Daten für gemeinwohlorientierte Zwecke.

Diese Gemengelage führt dazu, dass der Datenschutz zum Buhmann für alles gemacht wird. Vergangenes Jahr habe ich gelesen, dass in einem Seniorenheim keine Weckmänner verteilt werden konnten, wegen des Datenschutzes. Das ist natürlich großer Quatsch, aber diese Missverständnisse werden unter anderem dadurch hervorgerufen, dass der Rechtsrahmen sehr komplex ist.

„Es gibt im Omnibus auch Aspekte, die ich begrüße“

netzpolitik.org: Mit ihrem „Digitalen Omnibus“ fährt die EU-Kommission aktuell in die andere Richtung. Sie schlägt erstmals weitreichende Änderungen an der DSGVO vor. Verbraucher- und Datenschutzorganisationen sowie Teile des EU-Parlaments sprechen von einem Angriff auf die Grundlagen des europäischen Datenschutzes.

Louisa Specht-Riemenschneider: Ich halte nichts davon, die Welt in Schwarz und Weiß einzuteilen. Die Kommission schlägt Regelungen vor, von denen einige datenschutzrechtlich ganz klar kritisch zu werten sind. Wenn ich zum Beispiel meine Betroffenenrechte nur noch für datenschutzrechtliche Zwecke ausüben darf, dann schränkt mich das in meinen Rechten elementar ein. Gegen einen Missbrauchseinwand spricht nichts, aber er muss richtig formuliert sein.

Es gibt im Omnibus jedoch auch Aspekte, die ich begrüße. Die Vereinheitlichung von Digitalrechtsakten zum Beispiel, also die Zusammenfassung von Datennutzungsgesetzen im Data Act. Auch die Vorschläge zu Cookie-Bannern sind in ihrer Grundrichtung zu begrüßen.

netzpolitik.org: Für Kritik sorgt auch der Plan, die Definition personenbezogener Daten deutlich enger zu fassen und pseudonymisierte Daten unter bestimmten Umständen von der DSGVO auszunehmen. Man folge da nur der Rechtsprechung des Europäischen Gerichtshofs, heißt es von der Kommission. Der Jurist und Datenschutzexperte Max Schrems und andere sagen, das geht weit darüber hinaus. Wer hat Recht?

Louisa Specht-Riemenschneider: Man kann das Urteil so oder so lesen. Ich frage mich, ob die geplanten Änderungen – wenn man genau hinschaut – tatsächlich eine Abweichung vom derzeitigen Standard darstellen. Dazu berate ich mich gerade noch mit meinen Kolleg:innen in der Datenschutzkonferenz und möchte dem ungern vorgreifen.

Was plant die EU-Kommission bei KI und Datenschutz?

„Datenschutz und KI gehen ganz schlecht zusammen“

netzpolitik.org: Ein weiterer Streitpunkt sind KI-Systeme. Die Kommission will klarstellen, dass diese auch ohne Einwilligung, auf Basis des legitimen Interesses, mit personenbezogenen Daten trainiert und betrieben werden dürfen.

Louisa Specht-Riemenschneider: Die Kommission folgt hier einer Empfehlung des Europäischen Datenschutzausschusses, bei der jedoch leider nicht genau ausformuliert wurde, unter welchen Bedingungen KI auf das berechtigte Interesse gestützt werden kann. Der Omnibus unterscheidet hier leider auch nicht zwischen KI-Training zu kommerziellen oder zu gemeinwohlorientierten Zwecken oder zur Ausübung anderer Grundrechte.

netzpolitik.org: Sie ist offenbar getrieben von der Sorge, Europa könne im sogenannten KI-Wettrennen verlieren. Gehen Datenschutz und KI einfach nicht zusammen?

Louisa Specht-Riemenschneider: Ja, der geltende Datenschutz-Rechtsrahmen und KI gehen ganz schlecht zusammen. Das Hauptproblem ist, dass unklar ist, wie man Betroffenenrechte geltend machen soll, wenn KI-Systeme sich einzelne Daten merken. Wie sollen Löschansprüche ausgeübt werden? Wie soll der Berichtigungsanspruch praktisch umgesetzt werden? Diese Fragen beantwortet auch der Digitale Omnibus nicht. Es wäre klug, wenn sich der europäische Gesetzgeber die Zeit nehmen würde, über diese Frage etwas intensiver nachzudenken.

Da sind wir auch wieder bei der Gretchenfrage: Für welche Zwecke wollen wir als Gesellschaft KI und für welche nicht? Das scheint mir wirklich eine Grundsatzdiskussion zu sein, die wir dringend führen und dann gesetzgeberisch entsprechend handeln müssen. Entwicklung und Einsatz von KI für gemeinwohlorientierte Zwecke oder zur Ausübung von Grundrechten würde ich gern gesetzlich privilegiert sehen, für andere Zwecke ist das meines Erachtens weniger erforderlich. Große Player, die kommerzielle KI-Modelle anbieten, können mit der Rechtsunsicherheit gut umgehen.

Wo eine Reform ansetzen sollte

netzpolitik.org: Viele Datenschützer:innen warnen davor, im aktuellen politischen Klima solche Grundsatzfragen zu stellen und das große Fass DSGVO überhaupt aufzumachen.

Louisa Specht-Riemenschneider: Ich möchte eine Grundsatzdebatte sogar vehement einfordern. Der bestehende Rechtsrahmen funktioniert nicht so, wie er funktionieren soll. Natürlich will ich die DSGVO nicht insgesamt nochmal zur Abstimmung stellen. Aber wir sollten über Nachbesserungen im geltenden Rechtsrahmen sprechen. Das Interessante am Omnibus ist ja nicht nur das, was drinsteht, sondern vor allem das, was nicht drin steht.

netzpolitik.org: Was fehlt Ihnen?

Louisa Specht-Riemenschneider: Wie bekomme ich zum Beispiel eine Databroker-Regelung in die DSGVO? Wie schaffen wir es, dass Selbstbestimmung nicht nur auf dem Papier existiert?

Das Grundproblem ist die Einwilligung. Wir hatten in den 1960er- und 1970er-Jahren eine ähnliche Diskussion zu Selbstbestimmung im Verbraucherschutzrecht. Schon damals war klar, dass Verbraucher:innen Entscheidungen treffen, die manchmal nicht selbstbestimmt sind, weil es Machtasymmetrien gibt. Also müssen wir dafür sorgen, dass wir die Vertragsparteien auf Augenhöhe bekommen, damit Verbraucher:innen gleichberechtigt entscheiden können.

Warum führen wir diese Diskussion nicht auch bei der DSGVO? Dafür müssen wir deren Grundsätze nicht anfassen, sondern an die Frage der Einwilligung ran. Und wir müssen dafür sorgen, dass die DSGVO besser in der Praxis umgesetzt wird. Das ist nur vordergründig eine Frage des Bürokratieabbaus.

netzpolitik.org: Sondern?

Louisa Specht-Riemenschneider: Ich höre oft von Unternehmer:innen, dass sie Datenschutz beachten wollen, aber nicht wissen, wie sie dabei am besten vorgehen. Wenn wir also am Ende mehr Rechtsklarheit in die Verordnung hineinbekommen, dann ist das auch ein Weg, um Betroffene besser zu schützen, weil die Regeln besser umgesetzt können. Auch der risikobasierte Ansatz der DSGVO sollte weiter ausdifferenziert werden. Also dass nicht alle die gleichen Pflichten haben, sondern ähnlich wie bei der KI-Verordnung die Verantwortung größer ist, wenn das Risiko der Datenverarbeitung zunimmt.

Datenhändler verkaufen metergenaue Standortdaten von EU-Personal

Wie man das Problem der Databroker lösen könnte

netzpolitik.org: Erst kürzlich konnten wir mit den gerade schon angesprochenen Databroker-Recherchen zeigen, wie sich selbst hochrangiges EU-Personal ausspionieren lässt – mit Daten aus dem Ökosystem der Online-Werbung, die wir kostenfrei von Databrokern bekommen haben. Wie löst man dieses Problem?

Louisa Specht-Riemenschneider: Das ist nicht trivial, weil Werbe-Tracking mit Einwilligung zulässig sein kann, in vielen Fällen wohl aber Zweifel an der Rechtsgültigkeit der Einwilligungen bestehen. Deshalb müssen wir uns zunächst anschauen, wie die Datenströme verlaufen: Ich habe ein Endgerät mit der Werbe-ID, von dem Daten an einen Databroker gehen, der häufig in einem Drittstaat sitzt, beispielsweise in den USA. Und dann habe ich einen Datenankäufer, der etwa in einem anderen europäischen Staat sitzt.

Den Databroker in den USA kriegt man aufsichtsrechtlich sehr schwer zu fassen, da bräuchte man Amtshilfe von US-Behörden. Beim Datenankäufer ist es einfacher, wenn er in einem EU-Mitgliedstaat sitzt. Er ist aber das letzte Glied in der Kette. Selbst wenn wir nachweisen können, dass er sich datenschutzwidrig verhält, beendet das noch nicht den Datenhandel.

Daher wäre es am sinnvollsten, die Apps ins Visier zu nehmen, die die Werbe-ID weitergeben. Wir sollten darüber nachdenken, ob die Ausleitung der Werbe-ID grundsätzlich beschränkt werden sollte – auch wenn Nutzer:innen „einwilligen“. Das könnte man übrigens auch in einem Omnibus regeln.

netzpolitik.org: Um die Komplexität noch zu erhöhen, gibt es auch noch das Teilproblem der Datenmarktplätze. Das sind die Plattformen, auf denen Interessierte und Anbieter von Daten zusammenkommen. Der größte Marktplatz hat seinen Sitz in Berlin, die Berliner Datenschutzaufsicht kam zu dem Schluss, dass die DSGVO nicht anwendbar ist, weil er nur Kontakte vermittelt und selbst die Datensätze nicht verarbeitet.

Louisa Specht-Riemenschneider: Wir hatten eine ähnliche Situation schon mal beim geistigen Eigentum. Filesharing-Clients hatten einst auch argumentiert, dass sie nur den Kontakt zwischen Person A und Person B herstellen, die dann Musikstücke austauschen. Damals haben die Gerichte die Vermittlungsplattform mit dem Täter quasi gleichgestellt. Eine solche Störerhaftung könnte man auch im Datenschutzrecht vorsehen.

Ich weiß, dass es die Rechtsauffassung gibt, dass die Tätigkeiten von Datenmarktplätzen heute schon eine Verarbeitungstätigkeit sind. Aber selbst dann wäre es hilfreich, dies explizit ins Gesetz zu schreiben, um Rechtsklarheit zu schaffen. Das könnte man gegebenenfalls sogar auf nationaler Ebene lösen, ohne den Weg über die EU.

„Eine Verpflichtung wäre eine großer Schritt“

netzpolitik.org: Überraschenderweise hat die EU-Kommission auch einen neuen Rechtsrahmen für Consent-Manager für Cookies in den Omnibus aufgenommen, obwohl dieser ja eigentlich nur eine technische Anpassung sein sollte. In Deutschland gibt es die Möglichkeit schon länger, Ihre Behörde hat neulich den ersten Cookie-Manager für Deutschland anerkannt. Würde das das Databroker-Problem lösen?

Louisa Specht-Riemenschneider: Nein, aber es löst ein anderes Problem.

Wenn ich das Ziel verfolge, Cookie-Banner zu reduzieren, dann habe ich dafür verschiedene Möglichkeiten. Eine besteht darin, den Verbraucher:innen die Möglichkeit zu geben, vorab generell zu erklären, für welche Zwecke Cookies bei ihnen gesetzt werden dürfen und für welche nicht. Und die Website-Betreiber zugleich dazu zu verpflichten, diese Entscheidung auch zu akzeptieren.

Das ist auch der Punkt, den ich beim Omnibus einigermaßen positiv sehe. Da steht drin, dass Website-Betreiber die Cookie-Einstellung akzeptieren sollten. Wenn die Vorgabe so zu lesen ist, dass sie dazu verpflichtet sind, dann wäre das ein großer Schritt. Denn diese Pflicht sieht die deutsche Rechtslage derzeit nicht vor. Das ist ja der große Kritikpunkt an den Einwilligungsmanagementsystemen, wie sie in Deutschland gegenwärtig vorgesehen sind.

„Hundertprozentige Sicherheit gibt es nicht“

netzpolitik.org: Sie sprachen eingangs das Grundrecht auf Schutz der Gesundheit an. Die elektronische Patientenakte hat ein ereignisreiches Jahr hinter sich. Auf Sicherheitslücken in der ePA angesprochen, haben Sie mal den Vergleich gezogen, dass in ein Haus auch eingebrochen werden kann – „ganz gleich, wie gut die Alarmanlage ist“. Ist das nicht eine schräge Analogie?

Das gebrochene Versprechen

Louisa Specht-Riemenschneider: Was ich damit sagen wollte, ist, dass wir nie eine hundertprozentige Sicherheit im technischen System haben können. Eine solche Sicherheit gibt es nicht.

Wir müssen allerdings alles tun, um Sicherheitslücken so früh wie möglich zu erkennen, zu schließen und deren Zahl so gering wie möglich zu halten. Das sind die drei Dinge, die wahnsinnig wichtig sind.

Allerdings ist bei der Sicherheit der ePA das Bundesamt für Sicherheit in der Informationstechnik (BSI) der primäre Ansprechpartner. Wir als Datenschutzaufsicht schauen uns vor allem die Datenverarbeitung an, die in der ePA stattfindet. Das BSI ist dafür zuständig, im Dialog mit dem Bundesgesundheitsministerium und der Gematik, die Sicherheitslücken zu schließen. Wir werden dann darüber informiert und dürfen uns dazu äußern.

netzpolitik.org: Das war ja mal anders.

Louisa Specht-Riemenschneider: Früher mussten Spezifikation der Gematik von uns „freigeben“ werden, sie musste also Einvernehmen mit uns herstellen. Jetzt muss sie uns nur noch ins Benehmen setzen. Ich darf jetzt zwar etwas sagen, aber man muss mir theoretisch nicht mehr zuhören.

netzpolitik.org: In ihren Vorversionen verfügte die ePA noch über zahlreiche Möglichkeiten, mit denen Versicherte genauer einstellen konnten, welche Dokumente Behandelnde sehen dürfen und welche nicht. Davon ist heute nicht mehr viel übrig. Ist das Versprechen einer patientenzenterierten ePA überhaupt noch zu halten?

Louisa Specht-Riemenschneider: Es kommt darauf an, was man als patientenzentriert definiert. Die Einstellungen in der ePA 2.0 waren dokumentengenauer. Das wurde ein Stück weit zurückgeschraubt. Wir werden allerdings mit dem Europäischen Gesundheitsdatenraum (EHDS) bald eine Rechtslage bekommen, die möglicherweise wieder feinere Einstellungen vorsieht. Die Details dazu werden derzeit noch ausgearbeitet.

Ein großes Problem in der ePA war, dass Leistungserbringer immer auch die Abrechnungsdaten zu sehen bekamen, die die Krankenkasse in die Patientenakte einstellt. Selbst wenn ich eingestellt hatte, dass bestimmte Leistungserbringer Dokumente nicht sehen sollen. Ärzte hätten dann trotzdem sehen können, dass man schon bei einem anderen Arzt war und wie die Diagnose lautete. Das ist zumindest abgestellt worden und das ist ein Fortschritt.

„Für eine patientenztentrierte ePA ist es noch nicht zu spät“

netzpolitik.org: Dennoch bleibt die Frage, ob die Chance vertan wurde, ein großes Digitalisierungsprojekt datenschutzorientiert auf die Beine zu stellen?

Louisa Specht-Riemenschneider: Ich muss selbst entscheiden können, welche Daten in meine ePA hineinkommen. Das kann ich aber nur tun, wenn ich vernünftig informiert werde. Bislang wird äußerst wenig dafür getan, dass Informationen auch bei den Menschen ankommen.

Und das vor allem deswegen, weil das Gesetz überall Informationserteilungspflichten vorsieht, aber nicht fordert, dass die Information von den Patient:innen auch wahrgenommen wird. Erst jetzt startet eine breit angelegte Werbekampagne des BMG. Insgesamt wurde aus meiner Sicht viel zu spät und mit viel zu geringer Priorität informiert. Wir haben dazu gerade eine große Umfrage durchgeführt und veröffentlichen die Ergebnisse bald in unserem Datenschutzbarometer.

Wir haben unzählige Beratungsschreiben an die Krankenkassen geschrieben, damit die Informationen möglichst gut verstanden werden. Damit Menschen sich wirklich befähigt fühlen, informierte Entscheidungen zu treffen, muss ich anders informieren als in einem fünfseitigen Brief, den Versicherte bekommen und dann achtlos in den Müll schmeißen, weil sie denken, das es eine weitere Beitragsanpassung ist. Ich sehe die Verantwortung aber hier wie gesagt auch beim Gesetzgeber.

Ist die Chance vertan, dass die ePA dem Anspruch an Information und Selbstbestimmung gerecht wird? Ich glaube nicht. Aber es ist verdammt spät.

„Das würde meine Behörde und mich sehr schmerzen“

netzpolitik.org: Lassen Sie uns zum Schluss über eine weitere Datenschutz-Baustelle sprechen: die Verteilung der Aufsichtskompetenz in Deutschland. Ihre Behörde könnte die Aufsicht über die Geheimdienste verlieren.

Louisa Specht-Riemenschneider: Das ist für mich eine ganz schwierige Situation. Der Verlust der Aufsicht über die Nachrichtendienste würde meine Behörde und mich sehr schmerzen. Nicht weil wir dann zwanzig Mitarbeiter weniger hätten. Sondern weil wir die einzige Stelle sind, die eine komplette Übersicht über die Sicherheitsbehörden insgesamt hat und darüber, wie sie Daten von Bürgerinnen und Bürgern nutzen.

Die aktuelle politische Diskussion geht klar in die Richtung, dass Nachrichtendienste mehr Befugnisse erhalten sollen. Ein solcher Machtzuwachs lässt sich aber nur dann rechtfertigen, wenn gleichzeitig ein vernünftiges Aufsichtsregime gewährleistet wird.

netzpolitik.org: Die Pläne kämen einer Entmachtung Ihrer Behörde gleich.

Louisa Specht-Riemenschneider: Teile der Aufsicht, die wir bisher ausgeübt haben, sollen in einen unabhängigen Kontrollrat verlagert werden. Das wäre eine Zerfaserung der Aufsicht, die Gesamtübersicht über die Sicherheitsbehörden wäre nicht mehr gegeben. Das finde ich bedenklich. Wir sind nämlich auch die einzige Stelle, die die Gesamtheit des Überwachungsdrucks im Blick behalten kann.

Wir haben derzeit eine Haushaltssituation, wo alle sparen sollen. Ich frage mich, wieso da eine neue Stelle geschaffen werden soll, die Aufgaben übernimmt, für die eine andere Behörde jahrelang Kompetenz aufgebaut hat. Haben wir vielleicht zu genau hingeschaut in den vergangenen Jahren?

netzpolitik.org: An anderer Stelle könnte Ihre Behörde an Bedeutung gewinnen. Der Koalitionsvertrag sieht eine Bündelung der Zuständigkeiten und Kompetenzen bei der Aufsicht über Wirtschaft und Vereine bei Ihnen vor. Dafür kursieren unterschiedliche Modelle.

Louisa Specht-Riemenschneider: Auch diese Situation ist für mich persönlich nicht ganz leicht, weil ich meine Kolleg:innen aus der Datenschutzkonferenz (DSK) sehr schätze. Die Landesdatenschutzaufsichtsbehörden machen hervorragende Arbeit.

Gleichwohl glaube ich, dass 18 Aufsichtsbehörden zwangsläufig auch mal unterschiedliche Rechtsauffassungen vertreten. Wir können nicht alles auf DSK-Ebene diskutieren und gemeinsam entscheiden. Es gibt daher gute Argumente für eine Bündelung. Ich glaube auch, dass man Aufsicht und Beratung dann besser skalieren könnte.

Unabhängig davon, welches Modell es am Ende wird, muss die Datenschutzkonferenz für die Aufsicht über öffentliche Stellen eine eigene Geschäftsstelle bekommen, weil durch den wechselnden Vorsitz zu viele Kapazitäten in Organisationsfragen gebunden werden.

netzpolitik.org: Zum Abschluss die Preisfrage: Wie viele neue Stellen bräuchten Sie, wenn es zu einer Zentralisierung kommen sollte, also einer vollständigen Verlagerung der Wirtschaftsaufsicht von den Länderbehörden zu Ihnen?

Louisa Specht-Riemenschneider: Wir gehen je nach Ausgestaltung von einer hohen zweistelligen bis niedrigen dreistelligen Zahl aus.

netzpolitik.org: Ihre Länderkolleg:innen rechnen mit deutlich höheren Zahlen.

Louisa Specht-Riemenschneider: Wir haben das intern durchgerechnet und gehen von Skalierungseffekten aus. Insofern kommen wir mit deutlich weniger Stellen aus, als derzeit in der öffentlichen Diskussion angenommen wird.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die Bundesregierung will Deutschland zur „KI-Nation“ machen, die EU verfolgt eine „AI-First“-Mentalität. Eine Umfrage in mehreren europäischen Ländern zeigt nun, dass die Mehrheit der Befragten diesen Hype nicht mitträgt. Ihr bereitet vor allem der wachsende Strom- und Wasserverbrauch Sorge. Und sie wünscht sich eine strengere Regulierung.

Ich öffne mein Bahn-Ticket. “Dieses Dokument scheint lang zu sein. Spare Zeit und lies eine Zusammenfassung”, empfiehlt mir prompt mein PDF-Reader. Ein Paradebeispiel dafür, wie immer mehr Anwendungen den Nutzer*innen KI-Tools aufdrängen, in den meisten Fällen, ohne dass sich ein Nutzen daraus ergibt.

Weltweit versuchen Regierungen und große IT-Firmen, sich im KI-Wettbewerb zu überbieten. Dabei benötigen die zugrunde liegenden Systeme immer mehr Rechenleistung, für die irgendwo Computer laufen müssen, die Strom und Wasser verbrauchen. Doch während das Thema Rechenzentren längst in der politischen Debatte und bei Fachleuten angekommen ist, wusste man bislang kaum etwas darüber, wie die Bevölkerung diese Entwicklung einschätzt.

Aus diesem Grund hat AlgorithmWatch in mehreren europäischen Ländern eine repräsentative Umfrage zu Rechenzentren und ihren Auswirkungen durchführen lassen. Gemeinsam mit internationalen Partnerorganisationen wie der spanischen Initiative Tu Nube Seca mi Rio, Friends of the Earth Ireland und der europäischen Klimaschutzallianz Beyond Fossil Fuels wurden Menschen in Deutschland, der Schweiz, Spanien, Irland und dem Vereinigen Königreich befragt.

Wunsch nach mehr Transparenz und mehr Regulierung

Die Ergebnisse sind überraschend deutlich: In allen beteiligten Ländern spricht sich jeweils eine große Mehrheit der Befragten für eine stärkere Regulierung und mehr Transparenz von Rechenzentren aus. In einigen Ländern ist die Zustimmung dabei besonders hoch, so zum Beispiel in Spanien und Irland. Dort ist der Wasser- beziehungsweise Stromverbrauch der KI- und Cloud-Fabriken schon länger Gegenstand öffentlicher Diskussionen und Proteste. Denn sowohl im grünen Irland als auch im trockenen Spanien wirken sich die Rechenzentren bereits spürbar auf Energiepreise und Wasserverfügbarkeit aus. In Spanien befürchten knapp 90 Prozent der Befragten, dass der Wasserverbrauch der Einrichtungen ihre eigene Versorgung beeinträchtigen könnten.

Auch beim Blick auf die Gesamtergebnisse sprechen die Zahlen eine eindeutige Sprache: Drei Viertel der Befragten aller Länder sorgen sich, dass der Wasserverbrauch die umliegenden Ökosysteme beeinträchtigen könnte. Fast genauso viele befürchten Auswirkungen auf den eigenen Wasserverbrauch und immerhin nahezu zwei Drittel denken, dass der Energieverbrauch von Rechenzentren bereits heute einen relevanten Anteil des Stromverbrauchs in den jeweiligen Ländern ausmacht.

Groß ist aber nicht nur der Anteil derer, die sich Sorgen machen, sondern auch die Unterstützung für politische Forderungen, die Betreiber stärker in die Verantwortung nehmen. Mehr als sieben von zehn Befragten wollen, dass der Bau neuer Rechenzentren nur dann erlaubt ist, wenn der zusätzliche Strombedarf durch zusätzliche Kapazitäten an erneuerbaren Energien gedeckt wird. Ebenso viele wollen klare Kriterien, nach denen Energie verteilt wird – wobei die Befragten Rechenzentren und KI-Modelle konsequent als unwichtig bewerten.

Bei der Verteilung der Energie sollten gemäß der Umfrage vor allem die Sektoren priorisiert werden, die erneuerbare Energien zur Umstellung auf eine klimafreundliche Produktion benötigen. Rechenzentren gehören nicht dazu – ihr Stromverbrauch entsteht ja gerade zusätzlich. Häufig werden diese aktuell direkt mit Strom aus fossilen Brennstoffen betrieben. Vielerorts werden sogar Gaskraftwerke neu errichtet, um den Bedarf zu decken. Aber selbst wenn neue Rechenzentren mit erneuerbaren Energien betrieben werden, wie es in Deutschland ab 2027 für größere Einrichtungen vorgeschrieben ist, fehlt ohne weiteren Ausbau diese Energie dann in anderen Sektoren und verlangsamt dort die Dekarbonisierung. Ob direkt oder indirekt: Der Strombedarf für Rechenzentren und KI-Anwendungen gefährdet die Klimaziele.

Verbräuche steigen an, verlässliche Zahlen fehlen

Der Blick auf die Zahlen zeigt: Die in der Umfrage deutlich werdenden Sorgen sind mehr als berechtigt. In Irland verbrauchen Rechenzentren mittlerweile 22 Prozent des gesamten Stroms und tragen erheblich zu den teils enormen Strompreissteigerungen bei. Auch in Deutschland entfallen aktuell mehr als vier Prozent des gesamten Stromverbrauchs auf Rechenzentren. Schätzungen zufolge sind es in Frankfurt am Main bereits jetzt 40 Prozent des Stromverbrauchs, in Dublin sogar 80 Prozent. In der gesamten EU sind es mehr als drei Prozent – Tendenz stark steigend.

Hinzu kommt das für die Kühlung benötigte Wasser: In Spanien werden die größten KI-Fabriken ausgerechnet in den trockensten Regionen gebaut. Auch in Deutschland könnte laut einer Studie der Gesellschaft für Informatik der Wasserverbrauch von Rechenzentren zu Problemen führen – beispielsweise im Rhein-Main-Gebiet und in Brandenburg.

Während die Politik und Betreiberunternehmen offensiv für einen starken Ausbau von Rechenzentren und KI-Infrastruktur werben, mehren sich die Proteste der lokalen Bevölkerung. In Deutschland konzentrieren sich diese bislang vor allem auf Frankfurt und Umgebung. In Irland oder Spanien, wo bereits länger protestiert wird, sind die Bürgerinitiativen weiter verbreitet und dauerhafter organisiert, beispielsweise in der Initiative Tu Nube Seca Mi Rio – “Deine Cloud trocknet meinen Fluss aus”.

Vielerorts ist die mangelnde Transparenz ein großes Problem. Selbst offizielle Stellen müssen größtenteils auf Schätzungen zurückgreifen, wie viel Wasser und Strom die Rechenzentren tatsächlich verbrauchen. Sind valide Daten vorhanden, bleiben diese meist geheim. Zwar sollen Betreiber größerer Rechenzentren die Verbräuche mittlerweile an nationale Stellen wie dem deutschen Energieeffizienzregister für Rechenzentren und die EU melden – aber auch diese Daten werden nur aggregiert veröffentlicht. Hinzu kommt der Unwillen der Betreiber, diese Informationen bereitzustellen. Ein aktueller Bericht der Europäischen Kommission schätzt für das Jahr 2024, dass nur gut ein Drittel aller Rechenzentren in der gesamten EU dies tun. Selbst die Gesamtzahl aller Rechenzentren kann sie dabei nur mutmaßen.

Ein ähnliches Bild zeigt sich auch in Deutschland

In der Bundesrepublik wird der Strom- und Wasserverbrauch von Rechenzentren erst in der jüngsten Zeit stärker thematisiert. Hier liegt der Anteil der Menschen, die sich Sorgen machen, noch etwas niedriger als in anderen europäischen Ländern. Die Betonung liegt hier auf dem „noch“, denn auch in Deutschland nimmt die Zahl der Rechenzentren stark zu – und soll nach dem Willen der Bundesregierung noch stärker wachsen.

Wie drastisch die Entwicklungen sind, zeigen beispielsweise die Zahlen der Bundesnetzagentur. Diese hatte erst vor kurzem die Schätzungen bezüglich des zukünftigen Stromverbrauchs stark nach oben korrigiert: Die im April 2025 veröffentlichten Szenarien gehen davon aus, dass bis zum Jahr 2037 Rechenzentren 78 bis 116 Terawattstunde (TWh) Strom verbrauchen – doppelt bis viermal so viel, wie es die ursprünglichen Abfragen ergeben hatten. Zur Einordnung: Der gesamte Bruttostromverbrauch lag in Deutschland im Jahr 2023 bei gut 550 TWh.

Da die Bundesnetzagentur nur die Rechenzentren berücksichtigt, die sich aktuell in der Planung befinden, könnten die tatsächlichen Zahlen sogar noch weiter ansteigen. Damit würde der Gesamtbedarf der Rechenzentren 2037 nicht nur bis zu 10 Prozent des deutschen Stromverbrauchs betragen. Der Zuwachs an Rechenzentren sorgt vor allem dafür, dass große Mengen Strom zusätzlich bereitgestellt werden müssen, dass fossile Kraftwerke länger laufen und dass wahrscheinlich auch die Strompreise steigen.

Angesichts dieser Zahlen überraschen die Umfrageergebnisse in Deutschland nicht: Auch hier unterstützen zwei Drittel der Befragten die Auflage, dass Rechenzentren nur gebaut werden dürfen, wenn dafür entsprechend auch weitere Kapazitäten erneuerbarer Energien geschaffen werden. Mehr als drei Viertel der Befragten fordern, dass Betreiber von Rechenzentren ihren Energieverbrauch (76 Prozent), ihre Energiequellen (77 Prozent) und ihre Umweltauswirkungen (81 Prozent) offenlegen.

Die Umfrageergebnisse offenbaren damit auch eine Kluft zwischen der Mehrheitsmeinung in der Bevölkerung und dem Kurs der Bundesregierung. Digitalminister Karsten Wildberger (CDU) hatte erst Ende September gegenüber der Süddeutschen Zeitung angegeben, dass es für ihn “erst einmal primär um das Rechnen” gehe und Nachhaltigkeit demgegenüber nachrangig sei. Die Mehrheit der Befragten sieht das offensichtlich anders.

Und noch eines wird deutlich: Es reicht nicht aus, nur etwas an der Effizienz zu schrauben oder die Nutzung der Abwärme zu optimieren. Angesichts der Größe des erwarteten Wachstums muss es auch darum gehen, den Verbrauch von Rechenzentren absolut zu begrenzen – und dort, wo er unvermeidbar ist, durch zusätzliche erneuerbare Energien zu decken.

KI-Hype begrenzen – Rechenzentren nachhaltig gestalten

Rechenzentren sind zweifelsfrei wichtige Infrastrukturen und werden in Zukunft weiter an Bedeutung gewinnen. Umso wichtiger ist es, diese Infrastruktur nachhaltig zu gestalten und die Fehler der Vergangenheit nicht zu wiederholen. Dazu gehört auch die Frage: Wie viele solcher Rechenzentren brauchen wir eigentlich? Welche der neuerdings überall eingebauten KI-Anwendungen haben einen gesellschaftlichen Nutzen – und welche nicht?

Wie auch in anderen Bereichen darf sich die Debatte um den nachhaltigen Einsatz von KI nicht in erster Linie auf der Ebene von individuellen Konsum- beziehungsweise Nutzungsentscheidungen abspielen. Es braucht vielmehr eine politische Diskussion und Regulierung.

Aktuell wird einem bei jeder noch so kleinen PDF-Datei eine algorithmische Zusammenfassung aufgedrängt, führt jede Google-Anfrage zum Aufruf von Sprachmodellen und soll auch die staatliche Verwaltung nach dem Willen der Bundesregierung an so vielen Stellen wie möglich KI-Systeme benutzen. Hier bringt es wenig, nur an das Individuum zu appellieren. Stattdessen braucht es politische Entscheidungen, die sowohl bei KI-Systemen als auch bei Rechenzentren die ökologischen Folgen mitdenken. Statt der „KI-Nation“, zu der sich Deutschland laut dem Koalitionsvertrag entwickeln soll, braucht es – wenn man schon von Nation sprechen will – eine „KI-sensible Nation“, die neben dem Nutzen auch die Nebenwirkungen und häufig leeren Versprechungen solcher Anwendungen im Auge behält.

Mein Bahnticket jedenfalls drucke ich mir weder aus, noch lasse ich es mir zusammenfassen. Gar nicht so selten ist der Nicht-Einsatz von KI nämlich ihr bester Einsatz.

Julian Bothe ist als Senior Policy Manager bei der gemeinnützigen NGO AlgorithmWatch verantwortlich für das Thema „KI und Klimaschutz“. An der Schnittstelle von Digital- und Energiepolitik arbeitet er daran, den Ressourcenverbrauch und den Klimaschaden des aktuellen KI-Booms in Grenzen zu halten. Promoviert hat er zur Akzeptanz der Energiewende.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Canonical announce beta DeepSeek and Qwen AI inference snaps for Ubuntu, both optimised to deliver better performance on Intel and ARM Ampere systems.

You're reading DeepSeek and Qwen AI Models Now Available as Ubuntu Snaps, a blog post from OMG! Ubuntu. Do not reproduce elsewhere without permission.

Tech-Gigant Meta will Daten, die Nutzer*innen in seinen Chatbot eingeben, künftig auslesen und speichern. Damit sollen Anzeigen treffsicherer personalisiert werden. Es gibt nur einen Weg, sich der Datensammlung zu entziehen.

Den Meta-Chatbot können Menschen über Instagram, Whatsapp und Facebook ansprechen. Laut Meta nutzen ihn monatlich mehr als eine Milliarde Menschen. Viele davon teilen intime Informationen mit der Software.

Die Gespräche, die Menschen mit der sogenannten Künstlichen Intelligenz führen, will Meta künftig auslesen und speichern. Damit sollen Anzeigen treffsicherer personalisiert werden und die Daten sollen auch beeinflussen, welche Posts Nutzer*innen in den Sozialen Netzwerken angezeigt bekommen. Das erklärte Meta gestern in einem Blogpost. Der Konzern behält sich dabei vor, die Informationen aus den Gesprächen in allen seinen Produkten zu nutzen.

Ein Beispiel nannte der Konzern direkt: Wer sich mit der KI etwa übers Wandern unterhalte, bekomme danach womöglich Empfehlungen für Wandergruppen, Wanderstrecken von Bekannten und Werbung für Wanderschuhe angezeigt.

Auch sensible Konversationen werden ausgelesen

Meta gibt zwar an, sensible Konversationen über religiöse Ansichten, die sexuelle Orientierung, politische Meinungen, Gesundheit und ethnische Herkunft nicht für personalisierte Werbung nutzen zu wollen, die Daten werden aber dennoch mit ausgelesen.

Die neue Regelung will Meta ab dem 16. Dezember umsetzen, allerdings zunächst nicht in der EU und Großbritannien. Dort solle das Feature später ausgerollt werden, weil die hiesigen Datenschutzbestimmungen strenger seien. Für das KI-Training werden die Chatprotokolle in Europa wohl schon genutzt.

Seit Juni ist bereits bekannt, dass Meta mit Hilfe von KI Anzeigen erstellen will. Werbetreibende müssen dann nur ein Produktbild und ein Budget vorgeben. Meta möchte durch diese Investitionen die größte Einnahmequelle Werbung noch rentabler machen. Hier bieten sich auch Spielräume für individuelle Personalisierung von Anzeigen – anhand der mit dem Chatbot erhobenen Daten.

Nutzer*innen teilten unbewusst Chatprotokolle

Meta hat den Chatbot für seine Messenger erst vor wenigen Monaten in Europa eingeführt. Er stand schon mehrfach in der Kritik, etwa weil ihm erlaubt war, „sinnliche“ und „romantische“ Konversationen mit Minderjährigen zu führen. Ein anderes Mal, weil viele Nutzer*innen ihre teils sehr persönlichen Chatprotokolle scheinbar unbewusst veröffentlicht hatten.

Die Nutzer*innen können einstellen, in welchem Ausmaß die ihnen ausgespielte Werbung personalisiert werden soll, aber es gibt keine Möglichkeit, sich gegen die Datenerfassung zur Personalisierung zu wehren – außer, den Chatbot nicht zu nutzen. In Whatsapp kann es allerdings sein, dass andere Nutzer*innen ihn zu einer Konversation hinzuziehen. Das lässt sich mit der Funktion „erweiterter Chat-Datenschutz“ verhindern. Oder mit dem Verzicht auf die datensammelwütige App zugunsten von datensparsamen Alternativen.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Siegeszug eines futuristischen Überwachungswerkzeugs: Die Überwachungs-KI, die in Mannheim und Hamburg das Verhalten von Passant*innen scannt, soll jetzt auch in Berlin zum Einsatz kommen. Das bestätigte der Berliner Senat heute in einer Anhörung im Innenausschuss.

Diese Software erkennt, was du tust. Sie bestimmt anhand von Videobildern, was auf dem überwachten Areal gerade passiert. Sie untersucht, ob jemand steht, sitzt, kniet, läuft, rennt, tanzt, taumelt, liegt, kämpft, würgt, etwas trägt, zieht oder schiebt, Fahrrad- und Roller fährt, eine andere Person umarmt oder festhält. Und in Zukunft soll die Liste noch erweitert werden.

Die Technologie ist in Mannheim seit sieben Jahren und in Hamburg seit Anfang September im testweisen Einsatz und noch fern davon, wirklich praktischen Nutzen zu entfalten. Weiterhin müssen Menschen die Bildschirme kontrollieren und die Alarme der KI werden hauptsächlich zu ihrer Weiterentwicklung genutzt, so die Mannheimer Polizei auf netzpolitik.org-Anfrage.

Dennoch zieht das System deutschlandweit das Begehren zahlreicher Kommunen auf sich. Berlin will sich ebenfalls der Runde der testenden Städte anschließen, das bekannte der Senat gerade in einer Anhörung des Innenausschusses. Dort hieß es mit Bezug auf Mannheim und Hamburg: „Wir hoffen, in das Kooperationsprojekt einsteigen zu können, um das System mit den anderen Partnern zu entwickeln.“

KI-Kameras am Görlitzer Park

Dabei bieten die beteiligten Städte nur die Testumgebung und die Laborratten – meist arglose Passant*innen der Überwachungskameras. Entwickelt wird das System vom Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung. Dieses hat auch das alleinige Recht zur kommerziellen Vermarktung der Verhaltenserkennungs-KI, sich allerdings dazu bereit erklärt, vorläufig noch darauf zu verzichten.

Nach dem neuen Berliner Polizeigesetz, das unter anderem die rechtliche Grundlage für das KI-Training liefern und noch dieses Jahr im Abgeordnetenhaus beschlossen werden soll, kann die KI mit verschiedenen Arten von Videobildern gefüttert werden. Vor allem wären da Bilder von Überwachungskameras, die Berlin künftig an sogenannten kriminalitätsbelasteten Orten – wie zum Beispiel dem Görlitzer Park – erlauben will. Dazu können aber auch Videos von öffentlichen Veranstaltungen und Ansammlungen und Aufnahmen von gefährdeten Gebäuden und Objekten, sowie Übersichtsaufnahmen zur Vorbereitung, Lenkung und Leitung von Einsätzen, wie sie aktuell aus Hubschraubern und künftig auch aus Drohnen aufgenommen werden können, per Algorithmus nach bestimmten Verhaltensmustern durchsucht werden dürfen.

„Die Gefahr ist nicht von der Hand zu weisen, dass dann große Teile der Berliner Innenstadt nicht mehr unüberwacht passiert werden können“, sagte Meike Kamp, Berliner Datenschutzbeauftragte bei der Sachverständigenanhörung im Berliner Abgeordnetenhaus. David Werdermann, Jurist von der Gesellschaft für Freiheitsrechte (GFF) fügte hinzu: „Es ist zu befürchten, dass Menschen, die sich atypisch im öffentlichen Raum verhalten – wie wohnungslose oder körperlich eingeschränkte – von der Software als gefährlich erkannt werden und damit erhöhtem Überwachungsdruck ausgesetzt sind.“

„Lieber einmal zuviel“

Die Polizeipräsidentin Barbara Slowik Meisel verteidigte den geplanten KI-Einsatz. Ihr Hauptargument: Effizienz. Die Aufgaben der Polizei würden wachsen, während die Nachwuchsgewinnung schwierig sei. „Ohne technologische Unterstützung werden wir die Sicherheit der Stadt nur noch immer begrenzter gewährleisten können.“ Deshalb wünsche sie sich das „Mannheimer System“, „das bestimmte Szenarien erkennt um dann Internventionskräfte zu alarmieren. Das ist deutlich ressourcenschonender.“

Dabei übersieht Slowik Meisel, dass die Technologie in Mannheim aktuell keinerlei Arbeitserleichterung bringt, sondern eher Kräfte bindet. Slowik Meisel würde die KI zudem so kalibrieren, dass sie viele falschpositive Ergebnisse liefern, die dann gegebenenfalls zu erhöhtem Arbeitsaufwand und Überwachungsdruck auf Unschuldige führen. „Lieber kommen wir einmal zu viel, wenn das System zu schnell anschlägt, als einmal zu wenig“, sagte sie.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

In Berlin trafen sich vergangene Woche Arbeitskräfte zur Vernetzung, die für den Erfolg von KI-Anwendungen und Sozialen Medien unverzichtbar sind. Sie streiten für bessere Arbeitsbedingungen und fordern Politik und Gewerkschaften auf, sich endlich ihrer Sache anzuschließen.

Sie wollen nicht länger unsichtbar bleiben: In Berlin haben sich vergangene Woche Datenarbeiter:innen und Content-Moderator:innen aus den USA, Kenia, Nigeria, Deutschland, Venezuela und Spanien für eine zweitägige Versammlung getroffen. Die Arbeiter:innen sind Fachleute für Daten-Aufbereitung und Online-Sicherheit. Ihre Arbeit spielt für den Erfolg von Künstlicher Intelligenz und Sozialen Medien eine unverzichtbare Rolle, trotzdem weiß kaum jemand von ihnen.

Beschäftigt sind die Arbeiter:innen häufig über Outsourcing-Firmen. Sie erhalten oft mickrige Gehälter. Am Arbeitsplatz werden sie konstant überwacht und sind permanentem Erfolgsdruck ausgesetzt. Die Tech-Konzerne, deren Probleme sie lösen, profitieren von ihrer Ausbeutung und nehmen in Kauf, dass sie alleingelassen werden, auch wenn sie potenziell traumatisierende Tätigkeiten wie die Moderation gewalttätiger Inhalte übernehmen müssen.

Das wollen die Arbeiter:innen nicht länger hinnehmen. In Berlin tauschten sie Erfahrungen aus, vernetzten sich und schmiedeten Pläne.

Große Lohnunterschiede

Sprechen dürfen die Arbeiter:innen über ihre Tätigkeit eigentlich nicht. Sie mussten Knebelverträge unterschreiben, um die Jobs zu erhalten, die ihr Überleben sichern. Deshalb bleiben alle, deren Statements wir wiedergeben, in diesem Artikel anonym.

Etwa die Person, die von den jüngsten Maßnahmen des Social-Media-Konzerns Tiktok berichtet, der seine Arbeiter:innen in Europa feuere, um woanders günstigere Arbeitskräfte anstellen zu können. So etwa in Casablanca, wo ein neues Moderationszentrum geplant werde. In anderen Fällen würden die Moderator:innen durch KI-Systeme ersetzt, die sie selbst trainieren mussten.

Eine weitere Person berichtet von den unterschiedlichen Gehältern, die global für die gleiche Arbeit gezahlt werden. Das sei auch innerhalb Europas der Fall: „Der Unterschied zwischen Ländern wie Spanien und den nordischen Ländern ist enorm“, sagt die Person, die in Barcelona bei einem Outsourcing-Unternehmen arbeitet. Dort könnten sich Datenarbeiter:innen oft kaum noch die Miete leisten, während Arbeiter:innen in Skandinavien sich von ihrem Gehalt eine eigene Wohnung kaufen könnten.

Kritik an Gewerkschaften

Organisiert wurde das Treffen vom Forschungszentrum Weizenbaum-Institut und der Nichtregierungsorganisation superrr lab. „Die zwei Tage waren für uns etwas Besonderes, weil sie von transnationaler Solidarität geprägt waren“, schreiben Milagros Miceli und Julia Kloiber im Anschluss. „Die Arbeiter*innen schließen sich über Landesgrenzen hinweg zusammen, um den tückischen Taktiken von Big Tech entgegenzutreten, die darauf abzielen, Arbeiter:innen gegeneinander auszuspielen und sich ihrer rechtlichen Verantwortung zu entziehen.“

In den nächsten Jahren gehe es darum, etablierte Gewerkschaften und politische Vertreter:innen zu gewinnen, „damit sie diesen Kampf endlich unterstützen“, so die beiden Organisatorinnen. Dass das notwendig ist, zeigt auch Kritik der Arbeiter:innen vor Ort.

„Weil die Gewerkschaften sich nicht an unseren neuen Sektor angepasst haben, gibt es nichts, was sie für uns tun können, wofür wir nicht als Betriebsrat selbst kämpfen könnten“, sagte eine Person. Zu häufig würden Gewerkschaften Beschäftigte nur als Zahlen sehen. So sei es in der Vergangenheit vorgekommen, dass die deutsche Gewerkschaft ver.di Moderator:innen als Callcenter-Agenten dargestellt habe. „Das ist falsch und verschafft uns nicht die Anerkennung, die wir verdienen.“

Gemeinsamer Kampf für bessere Bedingungen

Anerkennung für ihre Leistungen ist schon lange ein großes Thema für die Arbeitskräfte, die oft lapidar als „Klickarbeiter:innen“ bezeichnet werden. Tatsächlich aber braucht es für viele ihrer Tätigkeiten intensives Training – ohne ihre Arbeit würden heute weder KI-Anwendungen noch Soziale Medien funktionieren. Zu ihrer Vision der kollektiven Emanzipation gehöre es, „unsere Arbeit als qualifizierte Arbeit anzuerkennen“, sagt deshalb eine:r der Arbeiter:innen. Außerdem müsse man Druck auf Arbeitgeber ausüben, damit sie betroffenen Arbeitnehmern angemessene psychologische Unterstützung bieten und diese auch bezahlen.

„Was wir brauchen, ist eine solide, transnationale und branchenübergreifende Vernetzung der Arbeitnehmer:innen in Form einer neuen repräsentativen Gewerkschaft“, sagte eine andere Person vor Ort. Daran wollen gemeinsam mit den Arbeiter:innen auch Kloiber und Miceli in den kommenden Jahren arbeiten. Außerdem wollen sie gemeinsam Anforderungen an ein maßgeschneidertes Mental-Health-Programm entwickeln und Wissenstransfer rund um Arbeitskämpfe verbessern.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Autonome Waffensysteme treffen zunehmend eigenständig Entscheidungen. Nicht zuletzt der Ukrainekrieg dient dabei als Experimentierfeld für militärische KI-Systeme. Welche Folgen das hat und welche Regulierung es braucht, erläutert der Technikforscher Jens Hälterlein im Gespräch mit netzpolitik.org.

Drohnen, die von sogenannter Künstlicher Intelligenz gesteuert werden, gewinnen an Bedeutung. Gerade der Ukrainekrieg dient als Testfeld für neue militärische KI-Anwendungen. Sie ermöglichen nicht nur technologische Fortschritte, sondern werfen auch grundlegende ethische und geopolitische Fragen auf.

Jens Hälterlein ist Technik- und Wissenschaftsforscher an der Universität Paderborn. Er forscht im Projekt Meaningful Human Control zur Regulierung autonomer Waffensysteme. Ein Fokus seiner Arbeit liegt auf Drohnenschwärmen und bestehenden Ansätzen zur ethischen Regulierung KI-basierter Militärtechnologien. Wir haben mit ihm über die Auswirkungen von KI-Anwendungen im Krieg gesprochen.

netzpolitik.org: In Ihrer Forschung beschäftigen sie sich intensiv mit der Entwicklung und dem Einsatz von KI im militärischen Kontext. Der Ukrainekrieg wird zunehmend als „Experimentierfeld“ für militärische KI-Anwendungen beschrieben. Wie schauen Sie auf diese Entwicklung?

Jens Hälterlein: Der Krieg in der Ukraine ermöglicht es – wie im Prinzip jeder Krieg –, neue militärische Entwicklungen unter realen Einsatzbedingungen zu testen. Für die Entwicklung militärischer KI-Anwendungen besteht ein weiterer Vorteil darin, dass auf den Schlachtfeldern der Ukraine große Mengen an Trainingsdaten erzeugt werden. Sie sind für maschinelle Lernprozesse notwendig. Daraus ergeben sich ganz neue Möglichkeiten. Die Ukraine wurde daher auch als „Living Lab“ für militärische KI bezeichnet, also eine Art „Reallabor“.

Nicht ohne Grund hat das US-amerikanische Unternehmen Palantir seine Datenanalyse-Software gleich zu Beginn des Krieges der Ukraine angeboten. Obwohl diese Software zuvor nur für wirtschaftliche und polizeiliche Analysen genutzt wurde, stellte sie schon nach kurzer Zeit ein zentrales Element für die Entscheidungsfindungsprozesse des ukrainischen Militärs dar.

Daten verhelfen der KI zum Druchbruch

netzpolitik.org: Zu Beginn des Ukrainekrieges spielten KI-Systeme bei Drohnen offenbar eine eher unterstützende Rolle. Das verändert sich aus Ihrer Sicht. Können Sie die technologischen Fortschritte und ihre Bedeutung genauer erläutern?

Jens Hälterlein: Am Anfang des Ukrainekrieges wurden die eingesetzten Drohnen noch größtenteils ferngesteuert. KI hat nur in einigen sogenannten „nicht-kritischen“ Funktionen eine Rolle gespielt, beispielsweise im Sinne eines Autopiloten. Das ändert sich derzeit aber anscheinend. Sowohl die Systeme ukrainischer Start-ups als auch die dort eingesetzten westlichen Systeme entsprechen zunehmend dem, was in der internationalen Debatte als tödliche Autonome Waffensysteme (LAWS) bezeichnet wird. Damit sind Systeme gemeint, die kritische Funktionen – also Zielfindung, Zielauswahl und Angriff – ohne menschliches Zutun vollziehen können.

Die in diesen Waffensystemen verwendeten Hardwarekomponenten und Algorithmen sind im Prinzip nicht neu. Aber lange Zeit wurden militärische Innovationen in diesem Bereich durch einen Mangel an Daten ausgebremst. Das ist vergleichbar mit der Entwicklung von Gesichtserkennungssystemen, die erst durch die massenhafte Verfügbarkeit von gelabelten Fotos in sozialen Medien einen Durchbruch erfahren haben.

netzpolitik.org: Über die russischen Systeme, wie etwa die neue Variante der Lancet-Kamikaze-Drohne, ist weit weniger bekannt.

Jens Hälterlein: Im Prinzip sind wir bei allen Kriegsparteien auf die Aussagen von Militärs und Waffenherstellern angewiesen. Und die sind natürlich grundsätzlich mit Vorsicht zu genießen, ganz gleich, ob es sich um westliche oder nicht-westliche Akteure handelt. Seit dem Krieg ist unsere Informationslage zu russischen Systemen allerdings noch eingeschränkter als zuvor. Aber da eine russische KI beziehungsweise eine russische KI-basierte Kampfdrohne grundsätzlich ähnlich funktioniert wie eine US-amerikanische oder eine deutsche sollten auch der jeweilige Kontext ähnlich sein. Auch auf russischer Seite werden diese Waffensysteme daher wohl autonomer werden. Und mit diesem Anspruch wird ja auch das neue Modell der Lancet-Drohne beworben.

Blindes Vertrauen

netzpolitik.org: Wenn militärische KI-Systeme und Autonome Waffensysteme in einem Konflikt wie in der Ukraine getestet werden, wirft dies ethische oder politische Fragen auf. Welche sind das aus Ihrer Sicht?

Jens Hälterlein: Es gibt zahlreiche Probleme. Zum einen ist militärische KI – wie jede KI – notorisch fehleranfällig und vorurteilsbehaftet. Fehler und Vorurteile können hier aber tödliche Folgen haben. Ein System könnte etwa Zivilisten als Kombattanten identifizieren, weil es Daten fehlinterpretiert oder weil es für die Unterscheidung relevante Faktoren übersieht.

Zum anderen droht es durch den Einsatz hochkomplexer Systeme zu einer Verantwortungsdiffusion zu kommen. Formal muss zwar immer ein Mensch als Letztinstanz zustimmen, wenn es zur Tötung von Menschen kommen kann. Allerdings können Bediener*innen nicht im Detail nachvollziehen, wie ein KI-basiertes System seinen Output erzeugt hat. Gleichzeitig kommen sie nicht umhin, auf dessen Basis Entscheidungen zu treffen, und das meist unter Zeitdruck. Auch deshalb könnten sie dazu tendieren, dem Output der Systeme nahezu blind zu vertrauen, was sie angesichts der Fehleranfälligkeit dieser Systeme jedoch keineswegs tun sollten.

Kriegstreiber KI

netzpolitik.org: Ein weiteres Risiko ist die globale Verbreitung dieser Technologien. Wie realistisch ist es, dass in Zukunft immer mehr Staaten autonome Waffensysteme einsetzen – möglicherweise auch im Globalen Süden?

Jens Hälterlein: Drohnen sind wesentlich preisgünstiger als Kampfjets. Gerade kleine Drohnen mit relativ kurzer Flugzeit und geringer Nutzlast sind nicht teuer. In der Ukraine werden sogar kommerzielle Modelle, die wenige hundert Euro kosten, verwendet. Sie werden quasi „in Heimarbeit“ mit Granaten und anderen Kampfmitteln bestückt.

Teuer wird es vor allem dann, wenn besondere Softwarekomponenten entwickelt werden. Aber auch diese Kosten sind kaum mit den Gesamtkosten für die Entwicklung der F-35 oder des Future Combat Air Systems vergleichbar. Es ist also davon auszugehen, dass Finanzen einen zunehmend geringen Faktor bei der globalen Verbreitung KI-basierter Militärtechnologien darstellen. Das türkische Unternehmen Baykar hat beispielsweise seine KI-Kampfdrohe Bayraktar TB2 eben nicht nur in die Ukraine exportiert, sondern auch in zahlreiche afrikanische und asiatische Staaten, wo sie bereits in mehreren Kriegen zum Einsatz gekommen ist.

Unzureichende Regulierung

netzpolitik.org: Mit Blick auf die politische Regulierung von autonomen Waffensystemen und KI-Drohnen sagen Sie, dass wir zunehmend vor vollendete Tatsachen gestellt werden. Gibt es überhaupt noch Chancen auf international verbindliche Regeln?

Jens Hälterlein: Da sehe ich leider wenig Grund zu Optimismus. Im Rahmen der UN-Rüstungskontrolle gibt es seit mehr als zehn Jahren Bemühungen, verbindliche Regulierungen für LAW zu erwirken – bisher ohne Erfolg. Und zwar in erster Linie deshalb, weil solche Regulierungen nicht im Interesse der Nationen liegen, die LAWS entwickeln, einsetzen oder es in Zukunft beabsichtigen. Das sind neben den militärischen Großmächten USA, Großbritannien, Russland und China auch militärische Exportnationen wie Israel, die Türkei und Deutschland.

Deutschland hat sich zwar zusammen mit Frankreich für ein Verbot sogenannter vollautonomer Waffensystemen ausgesprochen. Gleichzeitig aber soll der Einsatz von sogenannten teilautonomen Waffensystemen erlaubt sein. Wenn aber für deren Einstufung bereits ausreichen soll, dass ein Mensch dem Output des Systems final zustimmen muss, halte ich diesen Ansatz aus den genannten Gründen für ungenügend.

Ethik ist kein Ersatz für Recht

netzpolitik.org: Was muss aus Ihrer Sicht passieren, um die unkontrollierte Verbreitung und den Missbrauch solcher Technologien noch zu verhindern?

Jens Hälterlein: Eine Patentlösung habe ich leider nicht. Es benötigt mehr kritische Debatten und zivilgesellschaftliches Engagement. Außerdem müssen wir stärker die Perspektiven der Opfer solcher Technologien in den Blick nehmen. Aber letzten Endes dürften die gegenwärtige globale Polarisierung und Militarisierung ein Klima erzeugen, in dem für Waffenkontrolle wenig Raum ist. Das sehen wir derzeit auch im Bereich der Regulierung von Atomwaffen.

Was aus meiner Perspektive definitiv keine ausreichende Lösung darstellt, ist die Ethik. Mittlerweile gibt es in eine ganze Reihe von Militärstrategien – vor allem westlicher Staaten -, die ein freiwilliges Bekenntnis zum Leitbild eines verantwortungsvollen, erklärbaren und verlässlichen Einsatzes von KI vorsehen. Es ist aber weiterhin unklar, wie die ethischen Prinzipien im Kontext von LAWS eingehalten sowie umgesetzt und kontrolliert werden können.

Vor allem aber sollte Ethik nicht an die Stelle des Rechts treten. Genau diese Gefahr besteht aber. Wir sehen aktuell eine Delegitimierung etablierter internationaler Rechtsnormen seitens westlicher Staaten. Gleichzeitig beziehen sie sich auf Konzepte wie die „regelbasierte internationale Ordnung“, die sich je nach Interessenlage mit Inhalt füllen lassen. In diesem Kontext sollten wir auch die Rhetorik einer „Responsible AI in the Military Domain“ verstehen. Ethik wirkt hier eher ermöglichend als einschränkend.

Erika Dornbusch hat Politikwissenschaften studiert, einige Monate in Syrien gelebt und dort hauptsächlich über den IS geschrieben. Zurzeit arbeitet sie im Bevölkerungsschutz, kommt mit Ordnung jedoch schlechter als mit Chaos zurecht.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Chatkontrolle, mehr Daten für die Polizei, KI-freundliches Urheberrecht, eine Überarbeitung des Datenschutzes: Das wünscht sich die ab 1. Juli amtierende dänische Ratspräsidentschaft für die Digitalpolitik der EU. Nutzer*innen- und Freiheitsrechte finden – wenn überhaupt – nur als Randnotiz statt.

„Der sexuelle Missbrauch und die Ausbeutung von Minderjährigen, die online stattfindet und verbreitet wird, nimmt zu.“ Das schreibt Dänemark im Programm zur EU-Ratspräsidentschaft, die das Land am 1. Juli von Polen übernimmt. Dänemark liefert eine Lösung mit: die Chatkontrolle.

Die EU-Ratspräsidentschaft wechselt alle sechs Monate von einem Mitgliedsland zum nächsten. Zwischen Juli und Dezember werden dänische Politiker*innen den Gremien des EU-Rats vorstehen. Das Amt bringt keine direkten Befugnisse mit sich, aber Dänemark kann die Agenda setzen. Wie möchte das Land diese Macht für Digitalpolitik nutzen?

Der Chatkontrollen-Zombie

Auf das digitalpolitische Banner schreibt sich Dänemark die Regulierung zur Verhinderung von sexuellem Missbrauch von Kindern (CSAR), hinter der sich die Chatkontrolle versteckt. Es benötige „klare und harmonisierte Gesetze“, um Missbrauch und Missbrauchsdarstellungen zu verhindern und zu bekämpfen, so das Programm. Ende Mai hatte der Vorgänger Polen eine Einigung bei der Chatkontrolle noch aufgegeben.

Zudem möchte die neue Ratspräsidentschaft Polizeibehörden dabei helfen, „die Digitalisierung beim Kampf gegen Schwerverbrecher zu nutzen“. Dafür brauche man die notwendigen Werkzeuge wie beispielsweise Zugang zu Daten. Zudem sei es notwendig, „Kooperationen zum Datenaustausch mit internationalen Organisationen und Drittländern zu stärken“. Was damit konkret gemeint ist, bleibt unklar.

Sorgen um die Demokratie

Dänemark sorgt sich um die Standhaftigkeit der Demokratie. Gerade für den Kampf gegen Falschinformationen, „genauso wie beim Online-Schutz von Kindern und jungen Menschen“, möchte Dänemark die Tech-Giganten regulieren. Meta und Co sollen laut Programm mehr Verantwortung übernehmen und für die Inhalte auf ihren Plattformen zur Rechenschaft gezogen werden.

Während der Ratspräsidentschaft möchte Dänemark die Demokratie mit einer freien und vertrauenswürdigen Presse sowie der Erhöhung der Digitalkompetenz der Unionsbürger stärken. Daneben plant das Land, alltägliche digitale Herausforderungen wie unter anderem unethische Geschäftsmodelle und die umfangreiche Datenerfassung anzugehen. Hier verweist das Programm erneut auf „schädliche Online-Inhalte für Kinder und junge Menschen“ – diesmal als zu lösendes Alltagsproblem.

Wirtschaftsfreundliche „Vereinfachungen“

Auch die Digitale Souveränität hat es auf die Agenda geschafft. Für eine digitale Wettbewerbsfähigkeit seien bessere Rahmenbedingungen notwendig. Die dänische Ratspräsidentschaft möchte unter anderem an der Datenschutzgrundverordnung schrauben, um „Firmen Rechtssicherheit zu gewährleisten, unnötige Bürokratie abzubauen und die Transparenzpflicht gegenüber Investoren zu erhöhen“. Laut Programm möchte Dänemark den Datenschutz vereinfachen und Regulierungsaufsicht reduzieren.

Neue Möglichkeiten sieht das Dänemark darin, dass Künstliche Intelligenz kreative Inhalte generieren könne. Nun müsse sich die Gesetzgebung zum Urheberrecht weiterentwickeln, um „einen fairen und effizienten Markt zu ermöglichen“.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Ab Ende Februar will der IT-Dienstleister Doctolib die Daten seiner Nutzer:innen für das Training sogenannter Künstlicher Intelligenz einsetzen. Wenn sie einwilligen, sollen auch ihre Gesundheitsdaten dafür genutzt werden. Das geht aus den aktualisierten Datenschutzhinweisen hervor.

Der IT-Dienstleister Doctolib will künftig Daten seiner Nutzer:innen für das Trainieren von KI-Modellen verwenden. So steht es in den aktualisierten Datenschutzhinweisen des Anbieters, die ab dem 22. Februar wirksam werden. Doctolib beruft sich auf sein berechtigtes Interesse bei Daten wie Geschlecht, Geburtmonat und -jahr oder Antworten auf freiwillige Umfragen. Ob auch Gesundheitsdaten verwendet werden, dürfen die Nutzer:innen entscheiden.

Laut einer E-Mail, die an Account-Inhaber:innen verschickt wurde, entwickle Doctolib „fortlaufend neue daten- und KI-gestützte Produkte“. Als Beispiele nennt das Unternehmen „Erinnerungen an erforderliche Rezepterneuerungen und neue Funktionen bei den Patientennachrichten“. Nutzer:innen sollen zeitnah weitere Informationen in ihren Accounts angezeigt bekommen. „Dort haben Sie auch die Möglichkeit, Ihre Einwilligung zu erteilen. Selbstverständlich entscheiden Sie frei, ob Sie uns Ihre Einwilligung geben möchten. Diese können Sie jederzeit in Ihren Einstellungen anpassen.“

In den künftigen Datenschutzhinweisen wird klarer, um welche Art von Gesundheitsdaten es gehen könnte. In einer Liste sind etwa „Suchdaten, Terminhistorie, Dokumente, medizinische Notizen, vom Nutzer auf der Plattform eingegebene medizinische Informationen“ angeführt. Aber auch Informationen, die von den Praxen erhoben und bei Doctolib eingespeist werden, sollen dazuzählen.

Doctolibs KI-Strategie

Doctolib hatte im vergangenen Jahr einen immer größeren Fokus auf KI-Entwicklung gelegt. Im Mai verkündete das Unternehmen die Übernahme von Aaron.ai, einem KI-gestützten Telefonassistenten und bietet seitdem eine automatisierte Anrufentgegennahme als Produkt an. Nur einen Monat später übernahm Doctolib auch Typeless, das auf Spracherkennung im medizinischen Kontext spezialisiert ist. Bis Ende 2024 wollte Doctolib dann eigentlich einen „medizinischen Assistenten“ vorstellen.

Das aus Frankreich stammende Start-up Doctolib gilt als sogenanntes „Unicorn“ und ist die weitverbreiteteste Plattform für Online-Arzttermine in Deutschland. Laut eigener Aussage nutzen hierzulande 20 Millionen Patient:innen den Dienst, zudem bediene es über 100.000 Gesundheitsfachkräfte.

Doctolib war in der Vergangenheit wiederholt in die Kritik geraten. So hatte es laut einer Recherche von mobilsicher.de zeitweise sensible Gesundheitsdaten an Facebook und die Werbeplattform Outbrain übertragen. Auch sammelte es bei der Vermittlung von Arztterminen unnötig viele Daten und nutzte sie für Marketingzwecke.

Ein weiteres Problem kommt durch die Praxen, die Doctolib nutzen: Es gibt immer wieder Beschwerden von Patient:innen über Praxen, die eine Terminbuchung via Doctolib voraussetzen. In diesen Fällen werden diese praktisch von einer Behandlung ausgeschlossen, wenn sie das Portal nicht nutzen wollen.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Sollen Polizeibehörden Gesichtserkennung einsetzen können, wenn sie mit einem Schild davor gewarnt haben? Macht es für Empfänger:innen von Sozialhilfe einen Unterschied, ob sie mit einem KI-System Probleme kriegen oder mit klassischer Software? Die Zivilgesellschaft hätte dazu gerne mehr Klarheit von der EU-Kommission.

Die EU-Kommission soll dafür sorgen, dass die Verbote aus der europäischen KI-Verordnung möglichst umfangreich ausgelegt werden. Das fordert eine Koalition aus zivilgesellschaftlichen Organisationen in einer heute veröffentlichten Stellungnahme. Sie bezieht sich auf Leitlinien, an denen die Kommission momentan noch arbeitet.

Diese Leitlinien sollen dafür sorgen, dass auch „einfachere“ Systeme von den Regeln der KI-Verordnung betroffen sind, fordern die Organisationen. Die Kommission soll auch klarstellen, welche Arten von Systemen die verbotenen „inakzeptablen“ Risiken für Grundrechte haben. Außerdem sollen Grundrechte die zentrale Basis dafür sein, wie die KI-Verordnung praktisch umgesetzt wird.

Arbeit an Details läuft weiter

Die Europäische Union hat lange an ihren Regeln für Künstliche Intelligenz gefeilt. Intensiv diskutiert wurde etwa die Frage, welche Einsätze von KI in Europa ganz verboten werden sollten. Dabei ging es etwa um die biometrische Gesichtserkennung oder das sogenannte „Predictive Policing“. Die fertige KI-Verordnung schränkt beide Praktiken zwar ein, verbietet sie aber nicht ganz.

Die Verordnung selbst ist seit bald einem Jahr beschlossen und trat auch schon vor einigen Monaten in Kraft. Aber Obacht: Bei EU-Gesetzen heißt das nicht, dass alle ihre Regeln auch direkt gelten.

Zuvor gibt es noch einiges fertigzustellen. Zum Beispiel die sogenannten „Praxisleitfäden“, die genaue Regeln für KI-Modelle mit allgemeinem Verwendungszweck wie GPT-4 festlegen sollen. An denen arbeiten gerade die Anbieter solcher Modelle, andere Unternehmen und Vertreter:innen der Zivilgesellschaft unter Aufsicht der EU-Kommission. Bis April soll es einen fertigen Text geben.

Die Verbote gelten ab dem 2. Februar. Bis dahin will die EU-Kommission noch Leitlinien veröffentlichen, die Unternehmen dabei helfen sollen, sie einzuhalten. Außerdem will sie noch klarstellen, was genau denn ein KI-System überhaupt ist – und welche Systeme deshalb von der KI-Verordnung betroffen sein werden.

Ergebnis soll zählen, nicht die Art der Software

Auf diese Leitlinien bezieht sich nun die zivilgesellschaftliche Koalition, an der unter anderem European Digital Rights (EDRi), Access Now, AlgorithmWatch und Article 19 beteiligt sind. Caterina Rodelli von Access Now hält die Leitlinien für ein „zentrales Werkzeug“, um mangelhafte Menschenrechtsregeln der Verordnung noch auszubessern.

Die erste Forderung der Koalition bezieht sich auf „einfachere“ Software. „Wir sind besorgt, dass Entwickler:innen vielleicht die Definition von KI und die Einstufung von Hochrisiko-KI-Systemen ausnutzen können, um die Verpflichtungen der KI-Verordnung zu umgehen“, schreiben die Organisation. Unternehmen könnten ihre KI-Systeme zu normaler, regelbasierter Software umwandeln und so nicht mehr vom Gesetz betroffen sein, obwohl es die gleichen Risiken geben würde.

Die Organisationen fordern deshalb, dass sich Gesetze an möglichem Schaden orientieren sollten, nicht an den genutzten technischen Mitteln. Sie beziehen sich auf das Beispiel des niederländischen SyRI-Systems. Dieses System beschuldigte Empfänger:innen von Sozialhilfe fälschlicherweise des Betrugs und beeinträchtigte so Tausende von Familien. Der Skandal führte 2021 zum Sturz der damaligen niederländischen Regierung.

Dabei wirkte das zugrundeliegende System einfach und erklärbar, betont das Statement. Die Auswirkungen auf eine Vielzahl an Personen waren trotzdem verheerend.

Mehr Systeme einbeziehen

Die Koalition fordert außerdem, dass die Leitlinien marginalisierte Gruppen besser schützen sollen. Dafür soll die Kommission ausdehnen, welche Fälle unter die verbotenen „inakzeptablen“ Risiken für die Grundrechte fallen.

So soll das Verbot von „Social Scoring“ etwa auf Anwendungen ausgedehnt werden, die heute in Europa schon gang und gäbe sind: Etwa für Empfänger:innen von Sozialhilfe, wie im niederländischen Fall, oder für Migrant:innen. Die Leitlinien sollten deshalb etwa Daten schützen, die über Bande Informationen wie die Ethnie oder den sozioökonomischen Status preisgeben könnten, wie zum Beispiel die Postleitzahl.

Das Verbot für „Predictive Policing“ soll eine weite Bandbreite an Systemen einbeziehen, die kriminalisiertes Verhalten vorhersagen sollen. Im Verbot des allgemeinen Scrapens von Gesichtsbildern sehen die Organisationen einige Schlupflöcher, die sie gerne geschlossen haben würden. Außerdem soll eine Definition einer Gesichtsbild-Datenbank gelöscht werden, weil durch diese Anbieter wie Pimeyes oder Clearview außen vor bleiben würden.

Löcher schließen bei der Gesichtserkennung

Bei den Verhandlungen zur KI-Verordnung wollte das Europäische Parlament ein umfassendes Verbot von Systemen zur Emotionserkennung durchsetzen, ist damit aber gescheitert. Die Leitlinien sollen nun zumindest klar zwischen echten medizinischen Geräten wie Herzmonitoren und Geräten wie „Aggressionsdetektoren“ unterscheiden, fordern die Organisationen – denn medizinische Geräte sind von den Verboten ausgenommen.

Außerdem sollen die Leitlinien die Regeln für automatisierte Gesichtserkennung verschärfen. Auch in Deutschland gab es schon Forderungen, einige der in der KI-Verordnung dafür offen gelassenen Schlupflöcher zu schließen. Auf europäischer Ebene fordert die zivilgesellschaftliche Koalition nun, dass die Entwicklung von Gesichtserkennungssystemen für den Export unter das Verbot fallen soll. Zudem soll es nicht ausreichen, wenn Behörden nur mit einem Schild auf Zonen hinweisen, in denen Gesichtserkennung genutzt wird. Videoaufzeichnungen sollen erst nach 24 Stunden biometrisch ausgewertet werden dürfen.

In Zukunft bitte mehr Zeit

Eine Menge Wünsche für die Leitlinien – die Koalition hat aber auch noch einige Kritik für deren Entstehen übrig. Der Prozess sei nicht vorher angekündigt worden, habe kurze Fristen gelassen, es sei kein Entwurf veröffentlicht worden, schreiben sie. Außerdem seien manche der Fragen suggestiv formuliert gewesen. So habe die Kommission etwa nur nach Systemen gefragt, die aus der Definition von KI ausgeschlossen werden sollten, und nicht nach Systemen, für die die Regeln gelten sollten, bemängeln die Organisationen.

Das Statement fordert deshalb die Kommission auf, in Zukunft die Zivilgesellschaft besser einzubeziehen. „Die EU-Kommission muss Interessengruppen mit begrenzten Ressourcen eine Stimme geben, und dafür muss sie längere Zeiträume für so umfassende Befragungen vorsehen“, so Nikolett Aszodi von AlgorithmWatch.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die britische Labour-Regierung plant einen drastischen Umbau des öffentlichen Sektors. Ein Aktionsplan soll sogenannte Künstliche Intelligenz priorisieren und die Insel zum KI-Weltmarktführer machen – mit tatkräftiger Einbindung der Industrie.

Die britische Labour-Regierung wirft sich mit aller Wucht hinter sogenannte Künstliche Intelligenz (KI). Ein heute vorgestellter KI-Aktionsplan soll eine „Dekade der nationalen Erneuerung“ befeuern und KI-Anwendungen in möglichst vielen gesellschaftlichen Bereichen ausrollen. Die Regierung erhofft sich davon Zuwächse bei Produktivität, Wirtschaftsleistung und beim Lebensstandard.

Glaubt man der Ankündigung, sind von der Technik wahre Wunder zu erwarten. Sie habe das Potenzial, Bauvorhaben zu beschleunigen, Lehrer:innen lästige Administrationsarbeit abzunehmen oder Schlaglöcher auf Straßen automatisch zu erkennen, heißt es im Aktionsplan.

Schon heute würde KI-Technik etwa im notorisch überlasteten Gesundheitswesen helfen, sagt die Regierung – und will dies deutlich ausweiten. Wie der Guardian berichtet, sollen anonymisierte Daten britischer Bürger:innen, Gesundheitsdaten inklusive, die KI-Modelle füttern. Missbrauch sollen „starke Maßnahmen zum Schutz der Privatsphäre“ verhindern, verspricht die Regierung.

„Transformierte öffentliche Dienste“

„Unser Plan wird Großbritannien zum Weltmarktführer machen“, sagt Premierminister Keir Starmer. Umgesetzt werden soll das in enger Kooperation mit der KI-Industrie: Diese brauche „eine Regierung auf ihrer Seite, die nicht tatenlos zusieht und Chancen verstreichen lässt“, so Starmer. Der Aktionsplan werde der Industrie die Grundlage geben, um den „Plan für den Wandel“ ankurbeln. „Das bedeutet mehr Arbeitsplätze und Investitionen in Großbritannien, mehr Geld in den Taschen der Menschen und transformierte öffentliche Dienste.“

Der Plan, der „KI in die Venen der Nation“ spritzen soll, besteht aus drei Säulen. Zunächst sollen sogenannte KI-Wachstumszonen eingerichtet werden. Dort sollen möglichst schnell Rechenzentren mit bevorzugter Anbindung ans Stromnetz gebaut werden. Die erste dieser Zonen soll in Culham, Oxfordshire, entstehen, wo zugleich zu Atomkraft geforscht wird. Bis zum Jahr 2030 soll so die verfügbare Rechenleistung für KI-Anwendungen um das 20-fache ansteigen, so die Zielvorgabe.

Mit der zweiten Säule will die Regierung die Akzeptanz der Technik im öffentlichen und privaten Sektor vorantreiben. Im Technologieministerium (DSIT) soll ein neues Digitalzentrum nach neuen Ideen suchen, diese im öffentlichen Sektor pilotieren und sie dann so weit wie möglich skalieren. Jedes Ministerium soll die Adoption von KI-Technik zur Hauptpriorität machen, so Premier Starmer.

Und schließlich soll ein neues Team dafür sorgen, dass sich das Vereinigte Königreich im KI-Bereich nicht nur an die Spitze setzt, sondern dort auch bleibt. Das soll die derzeitige Dominanz US-amerikanischer und chinesischer Unternehmen brechen. „Dieses Team wird die Macht des Staates nutzen, um Großbritannien zum besten Standort für Unternehmen zu machen. Dazu könnte gehören, den Unternehmen Zugang zu Daten und Energie zu garantieren“, verheißt der Aktionsplan.

KI-Industrie begrüßt den Plan

Entsprechend begeistert zeigt sich die Industrie. Die KI-Ambitionen der Regierung seien „genau das, was nötig ist, um das Wirtschaftswachstum anzukurbeln, öffentliche Dienste umzugestalten und neue Chancen für alle zu schaffen“, zitiert der Aktionsplan etwa den britischen Microsoft-Chef Darren Hardman. Das Unternehmen setze sich mit vollem Einsatz dafür ein, „dass diese Vision Wirklichkeit wird“. Ähnlich lobende Worte kommen von anderen KI-Unternehmen wie Darktrace, Anthropic oder OpenAI.

Die Entfesselung des KI-Sektors und die starke Einbindung der Industrie steht in bemerkenswertem Kontrast zu früheren Positionen der Labour-Partei. Im Jahr 2023 hatte die damals oppositionelle Partei noch auf starke Regulierung vor allem hochriskanter KI-Anwendungen gedrängt. Zugleich droht die fortschreitende Privatisierung und Automatisierung des öffentlichen Sektors, das ohnehin angeschlagene Vertrauen der Bürger:innen in den Staat weiter zu beschädigen.

Starmer sieht dies indes umgekehrt und weist in einem Gastbeitrag für die Financial Times auf die erhofften Zeitgewinne hin: „Das ist die wunderbare Ironie der KI im öffentlichen Sektor. Sie bietet die Möglichkeit, Dienstleistungen menschlicher zu gestalten“, schreibt der politisch nominell Mitte-Links stehende Premier. Nur wenige Tage nach der Wahl im Juli 2024 habe er den Wagniskapitalgeber Matt Clifford beauftragt, einen Plan zu entwickeln, um das „unbegrenzte Potenzial“ von KI zu heben. Der heute präsentierte Aktionsplan sei das Ergebnis der Bemühungen und werde „ein goldenes Zeitalter der Reform des öffentlichen Dienstes einläuten“.

Gefährliche Technik in Kinderschuhen

Ohne Zweifel kann Machine Learning, welches oft hinter dem vielversprechenden Begriff der sogenannten Künstlichen Intelligenz steckt, in manchen Bereichen helfen, etwa beim Falten von Proteinen. Das Gefahrenpotenzial der Technik steigt jedoch dramatisch an, sobald Menschen unmittelbar von automatisiert gefällten Entscheidungen betroffen sind.

So erinnert die Juristin Susie Alegre gegenüber dem Guardian an den britischen Post-Office-Skandal, bei dem eine fehlerhafte Finanzsoftware hunderten Menschen fälschlicherweise Korruption unterstellte – und Gerichte die von der Software in die Welt gesetzte Erzählung kritiklos übernahmen und rund 900 Menschen verurteilten. Neben zerstörten Existenzen hinterließ der Skandal auch eine Milliarde Pfund an Entschädigungszahlungen für Betroffene.

Zudem tendieren KI-Algorithmen dazu, vorhandene Muster sowie Vorurteile zu replizieren und etwa rassistische Diskriminierung fortzuschreiben. Das hat beispielsweise in den Niederlanden zur Kindergeldaffäre geführt, bei der von zehntausenden Eltern aufgrund ihrer Nationalität fälschlicherweise Rückzahlungen des Kindergeldes gefordert wurden.

Ob KI-Tools die hochgesteckten Erwartungen des gegenwärtigen Hypes rund um Chatbots erfüllen können, bleibt vorerst offen – auch auf wirtschaftlicher Ebene. Alexander Clarkson vom King’s College in London weist auf Bluesky etwa auf die „gefährlichen Marktblasen und unrealistischen kurzfristigen Wachstums- und Rentabilitätswetten“ des Sektors hin. Polemischer formuliert das die Journalistin Carole Cadwalladr: Starmer habe einen tech-utopischen KI-Plan angekündigt, der sich lese, als sei er von ChatGPT geschrieben worden. „Schockierend naive und verzweifelte Übernahme der britischen Regierung durch Unternehmensinteressen“, resümiert Cadwalladr.

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Chinesische Wissenschaftler:innen haben einen „Staatsanwalt mit Künstlicher Intelligenz“ entwickelt, berichtet die South China Morning Post. Die Software könne mit 97-prozentiger Zuverlässigkeit Anklage erheben und sei auf die Erkennung der acht gängigsten Straftaten in Shanghai spezialisiert.

Schon heute setzen chinesische Strafverfolger auf automatisierte Unterstützung, besonders verbreitet ist seit dem Jahr 2019 das sogenannte „System 206“. Dieses transkribiert unter anderem Vernehmungsprotokolle, digitalisiert Akten und soll widersprüchliche Beweise identifizieren. Selbstständige Entscheidungen trifft es allerdings bislang nicht.

Umfangreiches Trainingsmaterial

Das nun vorgestellte System wurde in Shanghai entwickelt und getestet, der größten Staatsanwaltschaft in China. Als Trainingsmaterial dienten mehr als 17.000 Fälle aus den Jahren 2015 bis 2020. Aus den von Menschen erstellen Akten könne das System anhand von 1.000 „Eigenschaften“ Verdächtigte bewerten, so die Zeitung.

Zu den gängigen Straftaten sollen Kreditkartenbetrug und Diebstahl, aber auch Widerstand gegen die Staatsgewalt und Störung der öffentlichen Ordnung zählen. Letzteres werde oft eingesetzt, um abweichende Meinungen zu ersticken, schreibt die Post. Ein Upgrade des Systems sei bereits in Vorbereitung. Dieses könne weitere Straftaten erkennen und mehrere Anklagen gegen einen einzelnen Verdächtigten erheben.

Ganz ohne Kritik dürfte eine Einführung des Systems jedoch nicht ablaufen. „Die Zuverlässigkeit von 97 Prozent klingt vielleicht hoch, von einer technologischen Warte aus gesehen, aber es wird immer das Risiko von Fehlern geben“, zitiert die Post einen ungenannten menschlichen Staatsanwalt aus Guangzhou. „Wer übernimmt dann in solchen Fällen die Verantwortung? Der Staatsanwalt, die Maschine oder die Entwickler des Algorithmus?“ Zudem könne das System nur auf vorhergegangene Fälle aufbauen und dementsprechend neue soziale Entwicklungen nicht berücksichtigen.

Globaler Wettlauf um Künstliche intelligenz

China hatte 2017 einen ambitionierten Entwicklungsplan rund um Künstliche Intelligenz vorgestellt, bis 2030 will das Land zum internationalen Spitzenreiter beim Einsatz der Technik werden. Seitdem geht es rasant voran: Bereits 2020 wurden in China die weltweit meisten wissenschaftlichen Arbeiten und Patente zu Künstlicher Intelligenz eingereicht, schreibt der Wissenschaftliche Dienst des Europäischen Parlaments.

Im Unterschied zu Europa müsse sich China hierbei keine großen Sorgen um Datenschutz und Privatsphäre machen, zudem helfe der riesige heimische Markt bei der Entwicklung. So ist Videoüberwachung mit Gesichtserkennung inzwischen Alltag geworden, seine Überwachungstechnik exportiert das Land zunehmend ins Ausland.

Als Labor für neuartige Repressionstechniken gilt die mehrheitlich muslimische Provinz Xinjiang. Dort verfolgt der chinesische Apparat die Volksgruppe der Uiguren unter anderem mit Videoüberwachung und künstlicher Intelligenz für Racial Profiling, auch Lügendetektoren mit Gefühlserkennung sind im Einsatz. Rund eine Million Uiguren sollen in sogenannten Umerziehungslagern sitzen, wo massive Menschenrechtsverletzungen und Zwangsarbeit an der Tagesordnung sind.

Kritik aus dem Ausland verbittet sich China: Nachdem sich die neue deutsche Außenministerin Annalena Baerbock für einen härteren Kurs gegenüber autoritär regierten Staaten ausgesprochen hatte, mahnte China, die „chinesisch-deutschen Beziehungen objektiv und ganzheitlich“ zu betrachten. Kürzlich hatte Baerbock angekündigt, angesichts der Menschenrechtslage nicht zu den Olympischen Spielen in China zu reisen.

---

Hilf mit! Mit Deiner finanziellen Hilfe unterstützt Du unabhängigen Journalismus.