David Chiu, de stadsadvocaat van San Francisco, vraagt het niet vriendelijk.
Hij eist dat Apple en Google dertien specifieke apps uit hun winkels verwijderen. De apps? Ze wisselen van gezicht. Wat nog belangrijker is, is dat ze met behulp van AI naaktbeelden zonder wederzijdse toestemming genereren. De technische wereld noemt het ‘nudificatie’. Chiu noemt het seksueel misbruik. Hij wil dat de reuzen stoppen met profiteren. Hij wil dat ze stoppen met helpen. En hij wil dat ze de banden met de ontwikkelaars volledig verbreken.
Dit is geen verzoek. Het is een bevel tot staakt-en-ophouden.
De wettelijke basis
De Californische wet is op dit punt duidelijk.
Het creëren of ondersteunen van diensten die deepfake-pornografie maken, is verboden. In de brieven die WIRED heeft gezien, wordt betoogd dat Apple en Google, door in-app-betalingen toe te staan, de schade beperken. Miljoenen dollars, mogelijk, aan vergoedingen. Dat is geen passieve hosting. Dat is participatie.
“Het feit dat enkele van de meest gevestigde technologiebedrijven dit faciliteren is volkomen onaanvaardbaar”, zei Chiu.
Hij heeft het niet alleen over beleidslacunes. Hij heeft het over aansprakelijkheid. Als je profiteert van een misdrijf, ben je medeplichtig. Het standpunt van de stad is dat gematigdheid niet werkt en dat het onmiddellijk beter moet.
Een transparante puinhoop
Het zou voor niemand bij Cupertino of Mountain View een schok moeten zijn.
Jarenlang hebben onderzoekers deze hulpmiddelen gemarkeerd. Het probleem is niet nieuw. Het is volhardend. Apps die face-swapping beloven, verbergen vaak hun ware doel pas nadat u ze hebt gedownload. Eén app, met meer dan een miljoen downloads, vermeldt stijlen als ‘bikinikoningin’ en ‘kalm rondborstig’ direct op de landingspagina. Een ander schept op over “ongecensureerde” inhoud.
Ze verkleden zich als goedaardig. Tools voor tweeërlei gebruik, noemen de academici het.
Goedaardig aan de oppervlakte. Gevaarlijk van onderen.
Uit een onderzoek van Cornell en Georgetown in mei bleek dat 420 face-swap-apps in beide grote winkels naaktfoto’s konden genereren. In 70 procent van de tests hadden de apps geen enkele beveiliging. Geen. Ze brachten zichzelf niet op de markt als nudificatietools, dus glipten ze door de kieren van algoritmen voor inhoudsmoderatie, op zoek naar expliciete trefwoorden in beschrijvingen.
Is dat per ongeluk? Of gewoon handig voor het eindresultaat?
De schaal is angstaanjagend
We hebben de cijfers eerder gezien. Het Tech Transparency Project vond eerder dit jaar ongeveer 100 van dergelijke apps. Ze zijn gezamenlijk bijna een half miljard keer gedownload. Ze hebben waarschijnlijk $120 miljoen gegenereerd.
Een half miljard downloads.
De schade is reëel. Slachtoffers worden vernederd, gepest en hebben ernstige gevolgen voor hun geestelijke gezondheid. Sommigen hebben zelfmoord overwogen. De beelden verschijnen op scholen – 90 incidenten gedocumenteerd in eerdere berichtgeving – en zijn gericht op minderjarigen. Het is een geïndustrialiseerde schaal van overtreding.
“Deze industrie heeft een verschrikkelijke impact,” zei Chiu. “Er zijn slachtoffers geweest die suïcidaal zijn geweest. Het is absoluut gruwelijk.”
Kan het de platforms schelen?
Dan Jackson van Google beweert dat ze honderden schendende apps hebben verwijderd. Hij zegt dat ze zoektermen als ‘nudify’ beperken en snel handelen als er overtredingen worden gemeld. Ze claimen proactiviteit. Ze claimen veiligheid.
Apple gaf geen commentaar.
Katie Paul van het Tech Transparency Project is minder optimistisch. Ze zegt dat het probleem steeds terugkwam. Elke keer erger.
“We hadden na de eerste film niet gedacht dat we dit nog een keer zouden zien”, zei ze. “Apple en Google beloven vertrouwen en veiligheid in hun marketing. Maar dat komt in de werkelijkheid gewoon niet uit.”
Chiu wacht niet op de volgende kwartaalevaluatie. Hij zegt dat zijn kantoor alle juridische opties zal overwegen als de apps niet verdwijnen.
Hij hoopt dat de technologiegiganten het juiste zullen doen. Dat doet hij echt. Maar gezien het geld dat op het spel staat en de staat van dienst tot nu toe, lijkt die hoop dun. De apps zijn er nog steeds. De inkomsten stromen nog steeds. En de wetten halen eindelijk de technologie in, waardoor de platforms een simpele keuze hebben: de winst verlagen of naar de rechter stappen.
Wie wil wedden welk pad ze kiezen?
