Endloses Scrollen, mehrstündige Screentime und ständiges Öffnen der App: Die EU-Kommission nimmt an, dass TikTok nicht genug macht, um die negativen Effekte seiner Plattform zu beschränken, und verlangt drastische Änderungen.

Das Gesetz für digitale Dienste (Digital Services Act, DSA) verpflichtet sehr große Plattformen wie die chinesische Video-App TikTok dazu, ihre Risiken zu bewerten und sie zu mindern. Vor zwei Jahren hat die Europäische Kommission ein Verfahren gegen TikTok gestartet, um spezifisch das süchtig machende Design zu analysieren.

Heute hat die Behörde das vorläufige Ergebnis der Untersuchung geteilt: TikTok geht nicht effektiv genug gegen die Risiken vor. Diese Feststellung ist ein Schritt vor einer möglichen Strafe.

Besonders dramatisch bewertet die Kommission die Risiken für die mentale Gesundheit von Kindern und Jugendlichen, die ihre TikTok-Nutzung noch nicht so gut selbst steuern könnten. Viele Studien aus verschiedenen europäischen Ländern zeigten die stundenlange TikTok-Nutzung von Minderjährigen, die Öffnung der App etwa 20 Mal am Tag und die Nutzung nach Mitternacht, sagte ein Kommissionsbeamter heute gegenüber Journalist:innen. Allerdings seien auch andere Altersgruppen von der problematischen Nutzung betroffen.

Natürlich hätten Erziehungsberechtigte eine Verantwortung, auf die Social-Media-Nutzung von Kindern zu achten, sagte eine zweite Kommissionsbeamte. Doch auch Plattformen hätten eine Sorgfaltspflicht.

Tools zur Kontrolle der Bildschirmzeit sind nicht effektiv genug

Mittlerweile habe TikTok schon Optionen zur Kontrolle der eigenen Nutzungszeit eingeführt, doch diese sind laut der Kommission nicht effektiv genug. Pausen könnten sehr einfach durch die Eingabe des Codes „1234“ weggeklickt werden. Und auch das Tool für Eltern lasse zu wünschen übrig.

Die Kommission verlangt daher Änderungen in drei Bereichen: Erstens sollen Nutzer:innen dazu in der Lage sein, Push-Benachrichtigungen einfacher abzustellen. Ebenso soll das Design der Plattform bezüglich des Scrollings geändert werden. Zweitens soll das Empfehlungssystem von TikTok auch explizite Wünsche der Nutzer:innen anerkennen, anstatt nur implizit durch das Engagement gesteuert zu werden.

Der dritte Aspekt ist vielleicht der gravierendste. Die Kommission wünscht sich strengere Schutzmaßnahmen, darunter verpflichtende Begrenzungen der Bildschirmzeit, verpflichtende Pausen und eine nächtliche Sperre. Das würde bedeuten, dass die App nach einer bestimmten Zeit und zu gewissen Uhrzeiten nicht mehr genutzt werden kann. Diese Maßnahmen würden nicht nur Minderjährige treffen, sondern alle Nutzer:innen.

TikTok war bisher „kooperativ“

Diese Änderungen gehen an den Kern des App-Designs, das gibt auch die Kommission zu. Gleichzeitig betonen die Beamten, wie kooperativ TikTok in den letzten zwei Jahren gewesen sei. Sie erinnern daran, dass die neue App „TikTok Lite“ damals in der EU zurückgezogen wurde, nachdem die Kommission vor dem Belohnungssystem warnte. „In unserer Erfahrung können wir durch Diskussionen Fortschritte erzielen“, sagte die Kommissionsbeamte.

TikTok hat nun die Gelegenheit, auf die Vorwürfe zu antworten und das System entsprechend anzupassen. Eine genaue Frist dafür gibt es nicht. Sollte die Kommission nicht mit TikToks Reaktion zufrieden sein, könnte sie im letzten Schritt einen Verstoß feststellen und eine Strafe verhängen. Das geschah im Dezember mit X zum ersten Mal in der Laufbahn des Gesetzes für digitale Dienste.

Wegen ähnlichen Vorwürfen laufen auch Verfahren gegen Facebook und Instagram. Die TikTok-Untersuchung sei lediglich zuerst gekommen und kein Zeichen, dass Plattformen unterschiedlich behandelt würden, sagte ein Kommissionsbeamter auf Nachfrage von Journalist:innen.

Als Teil der Untersuchung zum süchtig machenden Design von TikTok schaut die Kommission auch darauf, wie sicher Minderjährige auf der Plattform sind. Außerdem läuft noch ein paralleles Verfahren gegen TikTok zur Desinformation und Einmischung in Wahlen, welches im Anschluss an die Wahlen in Rumänien eröffnet wurde.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die 2. Kalenderwoche geht zu Ende. Wir haben 9 neue Texte mit insgesamt 72.901 Zeichen veröffentlicht. Willkommen zum netzpolitischen Wochenrückblick.

Liebe Leser*innen,

in der zweiten Woche des Jahres hat uns unter anderem die anhaltende Tatenlosigkeit zum Chatbot Grok beschäftigt. Seit wir am Mittwoch über Musks polemische Reaktion und die leeren Worte der Sprecher*innen von X berichtet haben, geht die Woche ohne nennenswerte Reaktion der dort Verantwortlichen zu Ende.

Dafür hielt der Freitag ein Update des Chatbots bereit: Die Bildgenerierung von Grok ist nun nur noch zahlenden Abonnent*innen vorbehalten und steht nicht mehr allen Menschen auf der Plattform X zur Verfügung. Laut den Medienberichten ist das Tool aber noch über die Grok-App und -Website verfügbar. In Zukunft heißt es dann einfach: Wer in Musks dicke Tasche einzahlt oder einen kleinen Umweg nimmt, kann weiter sexualisierte Deepfakes verbreiten.

Die Frage bleibt, wie lange Regulierungsbehörden noch bei so etwas zusehen oder ob sie doch irgendwann in Aktion treten.

In den vergangenen Tagen war besonders Kritik aus Frankreich und Großbritannien gegenüber X laut zu hören. Der britischen Kommunikationsbehörde Ofcom steht inzwischen frei, Sanktionen gegen xAI und Grok zu verhängen. Laut des britischen Online Safety Act ist als letzter Schritt sogar eine Sperre von X möglich.

Die EU-Kommission geht einen anderen Weg. Sie hat am Donnerstag bei Musks Unternehmen angewiesen, dass dieses interne Dokumente und Daten zu Grok bis Ende 2026 aufbewahren muss. Zu einem späteren Zeitpunkt könnte dann eine Untersuchung beginnen.

Politiker*innen hängen zu sehr an der Plattform

Das eigentlich Verwunderliche an dieser neuen Episode des Absturzes der einstigen Informationsplattform ist jedoch die eher achselzuckende Reaktion von Abgeordneten, Bundesministerien und auch der EU-Kommission. Sie posten einfach weiter auf der Plattform X, als sei in den vergangenen Jahren, Monaten und Wochen nichts passiert.

Sie tun so, als habe Musk nicht X um eine funktionierende Moderation beraubt, als habe es keine Eingriffe des Milliardärs in Wahlkämpfe zu Gunsten rechter Parteien gegeben, als sei X noch eine normale Plattform und nicht ein Instrument zum Pushen rechtsradikaler Narrative geworden. Nun kommt also sexualisierte digitale Gewalt direkt aus Musks Chatbot dazu – und Ministerien und Abgeordnete berufen sich auf eine angebliche Informationspflicht, die sie quasi zum Bleiben auf der Plattform zwinge. Dabei gibt es seit Musks Plattformübernahme zahlreiche bekannte Stimmen und Institutionen, die einfach Schluss mit X gemacht haben.

Wir haben Bundestagsabgeordnete, zwei deutsche Ministerien und die EU-Kommission gefragt, warum sie immer noch auf X aktiv sind: Mehr Lavieren als in diesen Antworten geht kaum.

Euch ein schönes Wochenende mit Schneespaziergängen statt X

Laura

Trugbild: Nur hier für die Kommentare

Rezensions- und Kommentarspalten sind kleine Oasen des Internets. Denn überall dort, wo Menschen ins Netz schreiben können, entsteht Leben. Von Vincent Först –
Artikel lesen

Datenzugang für Nutzer:innen und Forschung: „Wir haben das Recht auf unserer Seite“

Zwei Forschende haben verschiedene Wege genutzt, um an die Daten großer Plattformen zu kommen. In einem Vortrag auf dem 39. Chaos Communication Congress berichten sie von Hindernissen, aber auch davon, wie wertvoll das Recht auf Datenzugang ist. Von Anna Biselli –
Artikel lesen

Argentinien: Per Dekret in die dunkle Vergangenheit

Der argentinische Präsident Javier Milei baut die Demokratie ab und die Online-Überwachung aus. Jetzt hat die Regierung per Dekret buchstäblich über Nacht den Geheimdienst in eine Super-Überwachungsbehörde umgewandelt. Journalist*innen und Aktivist*innen sind alarmiert. Von Gastbeitrag, Nina Galla –
Artikel lesen

Vorhersehbare Forderung: Gegen Stromausfall helfen keine Überwachungskameras

Die Wirtschaftssenatorin Franziska Giffey nutzt die Notfallsituation in Berlin, um sich mit der Forderung nach mehr Videoüberwachung zu profilieren. Sie will auch „Künstliche Intelligenz“ einsetzen. Doch mehr Kameras helfen nicht, wenn es eigentlich andere Maßnahmen braucht. Ein Kommentar. Von Constanze –
Artikel lesen

Hacken & Kunst: „Kunst allein reicht nicht aus“

Helena Nikonole hat Kameras in Russland gehackt und Anti-Kriegsbotschaften verbreitet. Nun entwickelt die Künstlerin ein winziges Gerät, um ohne Internet Nachrichten zu verschicken. Mit kreativen und praktischen Lösungen will sich Nikonole einer zusammenbrechenden Welt entgegenstellen. Von Timur Vorkul –
Artikel lesen

Hacking & Art: „Art alone is not enough“

Helena Nikonole hacked cameras in Russia and spread anti-war messages. Now the artist is developing a tiny device to send messages without using the internet. With creative and practical solutions, Nikonole aims to confront a collapsing world. Von Timur Vorkul –
Artikel lesen

Digitale Gewalt: Musks Chatbot Grok verbreitet weiter sexualisierte Deepfakes

Nachdem sein Chatbot Grok weiterhin sexualisierte Bilder von prominenten Frauen und Minderjährigen erstellt, sieht sich Elon Musk mit möglichen rechtlichen Konsequenzen konfrontiert. Den Trend zu KI-generierten sexuellen Inhalten und digitaler Gewalt gegen weibliche Personen wird das wohl nicht aufhalten. Von Laura Jaruszewski –
Artikel lesen

Chatbot-inspirierte Gewalt: KI-Hersteller entschädigen Familien

Immer wieder wird Chatbot-Herstellern vorgeworfen, die Sicherheit von Kindern und Jugendlichen zu gefährden. In fünf Fällen wollen Character Industries und Alphabet die Klagen mit Geld aus der Welt schaffen. Damit sorgen die Unternehmen dafür, dass es weiterhin keinen Präzedenzfall gibt, nach dem Techunternehmen für ihre KI-Chatbots rechtliche Konsequenzen tragen müssen. Von Laura Jaruszewski –
Artikel lesen

Digitale Gewalt: Abgeordnete, Ministerien und EU-Kommission bleiben auf Deepfake-Plattform X

X hat sich in den letzten Jahren nicht nur zur rechten Propagandaschleuder entwickelt, die Plattform erlaubte seit Ende Dezember auch das Generieren von sexualisierten Deepfake-Bildern. Wir haben Politiker, Ministerien und EU-Kommission gefragt, warum sie trotzdem auf der degenerierten Plattform bleiben. Von Markus Reuter –
Artikel lesen

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die US-amerikanische Auswanderungsbehörde ICE kauft immer mehr Überwachungssoftware. Jetzt arbeitet ICE mit einem Unternehmen zusammen, mit dessen Software das Militär soziale Medien in Echtzeit observiert.

Die US-Abschiebebehörde ICE (Immigration and Customs Enforcement) baut ihre Überwachungskapazitäten weiter aus. Wie The Lever kürzlich berichtete, hat die Behörde im September einen Vertrag über potenziell knapp 6 Millionen US-Dollar mit dem IT-Dienstleister Carahsoft Technology unterzeichnet. Das soll ICE „Datenanalysen in Echtzeit für strafrechtliche Ermittlungen“ ermöglichen, wie aus dem Vertrag hervorgeht.

Carahsoft Technology ist dabei nur der Mittelsmann, die Software für die Überwachung und Auswertung sozialer Medien stellt das IT-Unternehmen Zignal Labs. Die Big-Data-Firma bietet an, aus jeglichen öffentlich zugänglichen Informationen mithilfe von Künstlicher Intelligenz sogenannte „Erkennungs-Feeds“ zusammenstellen zu können. Auf seiner Website sowie in einer Werbebroschüre wirbt das Unternehmen etwa damit, mehr als acht Milliarden Beiträge täglich zu durchsuchen und automatisiert auszuwerten.

In der Broschüre verweist der Hersteller unter anderem auf seine Zusammmenarbeit mit dem US-Militär, weiteren US-Diensten sowie internationalen Partnern. So beschreibt der Flyer etwa einen israelischen Militäreinsatz im Gazastreifen, bei dem das Unternehmen geholfen haben soll.

Zignal Labs arbeitete außerdem bereits 2019 mit ICEs übergeordneter Behörde zusammen, dem Department of Homeland Security (DHS). Dabei ging es um Lizenzen und Dienstleistungen für den U.S. Secret Service, auch damals stand die Überwachung sozialer Medien auf dem Programm.

ICE im Kaufwahn

Neben Software von Zignal Labs kaufte ICE für sieben Millionen US-Dollar auch Software von SOS International LLC, auch SOSi, die laut The Lever „den Aufenthaltsort einer Person verfolgt“. Im Frühjahr zahlte die Migrationsbehörde außerdem knapp 30 Millionen US-Dollar für die Software ImmigrationOS von Palantir, welche unter anderem überzogene Visa und Selbstausweisungen trackt.

Letzte Woche wurde bekannt, dass ICE weitflächig nach IT-Dienstleistern sucht, die Daten aus Quellen unterschiedlichster Art zusammenführen und auswerten können, darunter auch aus sozialen Medien. Dabei kann die umstrittene Behörde aus dem Vollen schöpfen: Schon vor Jahren hat sie damit begonnen, ein engmaschiges Überwachungssystem zu errichten.

Im vergangenen Sommer hat der US-Kongress das ohnehin milliardenschwere Budget der Abschiebebehörde weiter aufgestockt. Ihr stehen nun jährlich 28 Milliarden US-Dollar zur Verfügung, um die vom US-Präsidenten Donald Trump geforderten Massenabschiebungen umzusetzen. Kritiker:innen warnen vor einem „industriellen Deportations-Komplex“, der sich zunehmend jeglicher rechtsstaatlicher Kontrolle entzieht.

„Wir beobachten einen Anstieg bei den Verträgen von ICE, die Überwachung erleichtern“, sagt Julie Mao, Juristin bei der liberalen Nichtregierungsorganisation Just Futures Law, gegenüber The Lever. Diese Möglichkeiten setzt die Behörde in die Tat um, inzwischen wurden zahlreiche Migrant:innen oder Student:innen mit gültigen Aufenthaltsgenehmigungen, aber ohne US-Staatsangehörigkeit, nach regierungskritischen Äußerungen des Landes verwiesen. Mit dem Entzug eines Visa müssen auch Menschen rechnen, die in sozialen Medien etwa die Ermordung des rechtsextremen Influencers Charlie Kirk kommentiert hatten.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Influencer „helfen“ wohnungslosen Menschen vor laufender Kamera, oftmals ohne deren Einverständnis. Die Bahnhofsmission Essen macht auf das Phänomen aufmerksam und tritt dem problematischen Content entgegen. Mit Stickern und Aufklärungsarbeit will sie die Privatsphäre von Obdachlosen schützen.

Immer häufiger sieht man sie: Bilder und Videos von Influencern, die Essen, Kleidung oder Spenden an Obdachlose verteilen. Was vermeintlich gut gemeint ist, nützt in erster Linie dem Content-Creator und kann problematische Nebenwirkungen haben. Denn oft filmen sie die Gesichter der Obdachlosen, ohne diese zu fragen. Mit ihrer Kampagne „Mein Gesicht gehört mir!“ geht die Bahnhofsmission Essen auf Instagram und auf der Straße gegen das Phänomen vor.

„Je mehr ich die Menschen in die Öffentlichkeit ziehe, desto mehr stigmatisiere ich sie“, beschreibt der Leiter der Bahnhofsmission, Martin Lauscher, das Problem in einem Interview mit dem Datenschutz-Blog Artikel91. „Menschen werden so zum Objekt einer angeblichen Hilfe gemacht und bezahlen das auch noch mit ihrer Privatsphäre.“

Denn die Aufnahmen der vermeintlich guten Taten werden im Internet verbreitet und bleiben dort. Oft geben die Influencer auch den Standort, die Lebensumstände und den Namen der Gefilmten preis. „Nur, weil Menschen im öffentlichen Raum sind, weil sie eben kaum Rückzugsmöglichkeiten haben, geben sie ja nicht alle Rechte an ihrer Privatsphäre auf“, so Lauscher weiter. Um sich gegen diesen Trend zu wehren, können Obdachlose Sticker mit der Aufschrift „Mein Gesicht gehört mir!“ und einer durchgestrichenen Kamera von der Bahnhofsmission erhalten. Diese entlarven unfreiwillige Videos.

Zu der Aktion der Bahnhofsmission, die zum katholischen Hilfsverband Caritas gehört, zählt auch Aufklärungsarbeit unter Betroffenen. Diese können sich beim Streetwork-Team melden, um Unterstützung beim Durchsetzen ihres Rechts auf Privatsphäre zu erhalten.

In allen Großstädten zu beobachten

Genaue Zahlen zu dem Phänomen habe er nicht sagt Martin Lauscher im Interview mit Artikel91. Doch mittlerweile gebe es in allen größeren deutschen Städten Content-Creator, die die fragwürdigen Inhalte produzieren.

Auch in Essen habe es kürzlich einen Fall gegeben, bei dem ein Influencer für einen obdachlosen Mann Spenden sammelte, welche laut diesem nicht vollständig ankamen. Eine juristische Klärung steht noch aus. Eine Einladung der Bahnhofsmission und anderer Caritas Einrichtungen wollte der Creator nur mit Kamera annehmen. Als das Filmen untersagt wurde, sagte er kurz vor dem Termin ab.

Sozialarbeiter Lauscher empfiehlt, dass Menschen aktiv werden, wenn sie auf der Straße beobachten, wie eine obdachlose Person gegen ihren Willen gefilmt wird. „Aufmerksam sollte man auch sein, wenn eine Kamera so gehalten wird, dass die gefilmte Person es nicht merken soll, dass sie gefilmt wird.“ Wenn man das Gefühl habe, dass auf der Straße jemand etwas mit einem Menschen tue, der das offensichtlich nicht wolle, „dann sollte man eingreifen und die bedrängte Person unterstützen“.

Menschlichkeit verkauft sich

Auf TikTok tritt das Phänomen auch immer wieder unter dem Namen „random acts of kindness“ auf, einem Hashtag unter dem Menschen Videos posten, in denen sie „zufällige gute Taten“ vollbringen. Doch sind diese Taten meist weder zufällig noch ausschließlich gut für die Personen, gegenüber welchen sie erbracht werden. Auch viele Videos von Obdachlosen lassen sich unter dem Hashtag finden.

Das Phänomen sei über die Sozialen Medien aus dem anglo-amerikanischen Raum nach Deutschland gekommen, erzählt Lauscher. Gefragt, warum die Videos so beliebt sind, antwortet der Leiter der Bahnhofsmission:

Mein Bauchgefühl ist, dass der Zuspruch von Menschen kommt, die eine sehr idealisierte Sicht von Hilfe haben, die aber mit der Realität der sozialen Arbeit nichts zu tun haben. Da gibt es gar kein Gefühl dafür, was eine Wohnungslosigkeit für einen Menschen bedeutet. Da sieht man dann, wie jemand einmal eine Spende übergibt oder auch nur einen warmen Tee ausschenkt und denkt dann, damit wäre schon geholfen. Aber wenn man jeden Tag Kontakt hat mit wohnungslosen Menschen, dann weiß man, dass es mit solchen punktuellen Aktionen nicht getan ist.

Hilfeleistungen sollten jedoch niemals an eine Gegenleistung geknüpft sein sollen, so Lauscher weiter. „Das ist unsere fachliche Haltung, wie wir Menschen unterstützen, und das ist etwas, was auch für alle anderen gelten sollte – alles andere verzweckt die Menschen, denen man angeblich helfen will.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.