David Chiu, der Staatsanwalt von San Francisco, fragt nicht nett.
Er fordert, dass Apple und Google 13 bestimmte Apps aus ihren Stores löschen. Die Apps? Sie tauschen Gesichter. Noch wichtiger ist, dass sie mithilfe von KI nicht einvernehmliche Nacktbilder generieren. Die Tech-Welt nennt es „Nacktmachung“. Chiu nennt es sexuellen Missbrauch. Er möchte, dass die Giganten aufhören, zu profitieren. Er möchte, dass sie aufhören zu helfen. Und er möchte, dass sie die Verbindung zu den Entwicklern vollständig abbrechen.
Dies ist keine Bitte. Es handelt sich um eine Unterlassungsverfügung.
Die Rechtsgrundlage
Das kalifornische Recht ist in diesem Punkt eindeutig.
Das Erstellen oder Unterstützen von Diensten, die Deepfake-Pornografie herstellen, ist verboten. In den von WIRED eingesehenen Briefen wird argumentiert, dass Apple und Google durch die Zulassung von In-App-Zahlungen einen Teil des Schadens in Kauf nehmen. Möglicherweise Gebühren in Millionenhöhe. Das ist kein passives Hosting. Das ist Partizipation.
„Die Tatsache, dass einige der etabliertesten Technologieunternehmen dies ermöglichen, ist völlig inakzeptabel“, sagte Chiu.
Er spricht nicht nur von politischen Lücken. Er spricht von Haftung. Wenn Sie von einem Verbrechen profitieren, machen Sie sich mitschuldig. Die Position der Stadt ist, dass Moderation nicht funktioniert und dass es sofort besser werden muss.
Ein durchsichtiges Durcheinander
Es sollte niemanden in Cupertino oder Mountain View schockieren.
Seit Jahren machen Forscher auf diese Tools aufmerksam. Das Problem ist nicht neu. Es ist hartnäckig. Apps, die Face-Swapping versprechen, verbergen ihren wahren Zweck oft erst, nachdem Sie sie heruntergeladen haben. Eine App mit über einer Million Downloads listet Styles wie „Bikini Queen“ und „Calm Busty“ direkt auf ihrer Landingpage auf. Ein anderer prahlt mit „unzensierten“ Inhalten.
Sie verkleiden sich als gütig. Dual-Use-Werkzeuge nennen es die Wissenschaftler.
Oberflächlich betrachtet harmlos. Darunter gefährlich.
Eine Studie von Cornell und Georgetown im Mai ergab, dass 420 Face-Swap-Apps in beiden großen Geschäften Nacktbilder generieren könnten. In 70 Prozent der Tests wiesen die Apps keine Sicherheitsmaßnahmen auf. Keiner. Sie vermarkteten sich nicht als Nacktmachungstool, also schlüpften sie durch die Ritzen von Inhaltsmoderationsalgorithmen und suchten nach expliziten Schlüsselwörtern in Beschreibungen.
Ist das Zufall? Oder einfach nur praktisch für das Endergebnis?
Die Skala ist erschreckend
Wir haben die Zahlen schon einmal gesehen. Das Tech Transparency Project hat Anfang des Jahres etwa 100 solcher Apps gefunden. Sie wurden insgesamt fast eine halbe Milliarde Mal heruntergeladen. Sie haben wahrscheinlich 120 Millionen Dollar erwirtschaftet.
Eine halbe Milliarde Downloads.
Der Schaden ist real. Die Opfer leiden unter Demütigung, Mobbing und schwerwiegenden Auswirkungen auf die psychische Gesundheit. Einige haben über Selbstmord nachgedacht. Die Bilder erscheinen in Schulen – 90 Vorfälle wurden in früheren Berichten dokumentiert – und zielen auf Minderjährige ab. Es handelt sich um ein industrialisiertes Ausmaß an Verstößen.
„Diese Branche hat schreckliche Auswirkungen“, sagte Chiu. „Es gab Opfer, die Selbstmord begangen haben. Es ist absolut schrecklich.“
Interessiert es die Plattformen?
Dan Jackson von Google behauptet, Hunderte von Apps gelöscht zu haben, die gegen das Urheberrecht verstoßen. Er sagt, dass sie Suchbegriffe wie „nudify“ einschränken und schnell handeln, wenn Verstöße gemeldet werden. Sie behaupten Proaktivität. Sie behaupten Sicherheit.
Apple äußerte sich nicht.
Katie Paul vom Tech Transparency Project ist weniger optimistisch. Sie sagt, das Problem sei immer wieder aufgetreten. Jedes Mal schlimmer.
„Wir hätten nach der ersten Woche nicht gedacht, dass wir das noch einmal sehen würden“, sagte sie. „Apple und Google versprechen Vertrauen und Sicherheit in ihrem Marketing. Doch das entspricht einfach nicht der Realität.“
Chiu wartet nicht auf den nächsten vierteljährlichen Rückblick. Er sagt, sein Büro werde alle rechtlichen Optionen prüfen, wenn die Apps nicht verschwinden.
Er hofft, dass die Technologieriesen das Richtige tun. Das tut er wirklich. Aber angesichts des Geldes, das auf dem Spiel steht, und der bisherigen Erfolgsbilanz erscheint diese Hoffnung gering. Die Apps sind noch da. Die Einnahmen fließen weiterhin. Und die Gesetze holen endlich mit der Technologie auf und stellen die Plattformen vor die einfache Wahl: Gewinne kürzen oder sich vor Gericht stellen.
Wer möchte wetten, welchen Weg er wählt?
