David Chiu, o procurador municipal de São Francisco, não está pedindo com educação.
Ele está exigindo que a Apple e o Google excluam 13 aplicativos específicos de suas lojas. Os aplicativos? Eles trocam de rosto. Mais importante ainda, eles geram imagens de nudez não consensuais usando IA. O mundo da tecnologia chama isso de “nudificação”. Chiu chama isso de abuso sexual. Ele quer que os gigantes parem de lucrar. Ele quer que eles parem de ajudar. E ele quer que eles rompam totalmente os laços com os desenvolvedores.
Isto não é um pedido. É uma ordem de cessar e desistir.
A base jurídica
A lei da Califórnia é clara neste ponto.
É proibido criar ou apoiar serviços que façam pornografia deepfake. As cartas vistas pela WIRED argumentam que, ao permitir pagamentos no aplicativo, a Apple e o Google estão sofrendo uma parte dos danos. Milhões de dólares, potencialmente, em taxas. Isso não é hospedagem passiva. Isso é participação.
“O facto de algumas das empresas de tecnologia mais estabelecidas estarem a facilitar isto é completamente inaceitável”, disse Chiu.
Ele não está falando apenas sobre lacunas políticas. Ele está falando sobre responsabilidade. Se você lucra com um crime, você é cúmplice. A posição da cidade é que a moderação não está funcionando e precisa melhorar imediatamente.
Uma bagunça transparente
Isso não deveria ser um choque para ninguém em Cupertino ou Mountain View.
Durante anos, os pesquisadores sinalizaram essas ferramentas. O problema não é novo. É persistente. Aplicativos que prometem troca de rosto muitas vezes escondem seu verdadeiro propósito até depois de baixá-los. Um aplicativo, com mais de um milhão de downloads, lista estilos como “rainha do biquíni” e “peituda calma” diretamente em sua página inicial. Outro se vangloria de conteúdo “sem censura”.
Eles se vestem de benignos. Ferramentas de dupla utilização, dizem os acadêmicos.
Benigno na superfície. Perigoso por baixo.
Um estudo de Cornell e Georgetown em maio descobriu que 420 aplicativos de troca de rosto em ambas as principais lojas poderiam gerar nus. Em 70% dos testes, os aplicativos não tinham nenhuma proteção. Nenhum. Eles não se comercializavam como ferramentas de nudificação, então escaparam das frestas dos algoritmos de moderação de conteúdo em busca de palavras-chave explícitas nas descrições.
Isso é acidental? Ou apenas conveniente para os resultados financeiros?
A escala é assustadora
Já vimos os números antes. O Tech Transparency Project encontrou cerca de 100 desses aplicativos no início deste ano. Eles foram baixados coletivamente quase meio bilhão de vezes. Eles provavelmente geraram US$ 120 milhões.
Meio bilhão de downloads.
O dano é real. As vítimas sofrem humilhação, intimidação e graves impactos na saúde mental. Alguns pensaram em suicídio. As imagens aparecem nas escolas – 90 incidentes documentados por reportagens anteriores – tendo como alvo menores. É uma escala industrializada de violação.
“Esta indústria tem um impacto terrível”, disse Chiu. “Houve vítimas que cometeram suicídio. É absolutamente horrível.”
As plataformas se importam?
Dan Jackson, do Google, afirma ter excluído centenas de aplicativos violadores. Ele diz que eles restringem termos de pesquisa como “nudificar” e agem rapidamente quando violações são denunciadas. Eles reivindicam proatividade. Eles reivindicam segurança.
A Apple não comentou.
Katie Paul, do Tech Transparency Project, é menos otimista. Ela diz que o problema continuou voltando. Pior cada vez.
“Não pensávamos depois da primeira semana que veríamos isso novamente”, disse ela. “A Apple e o Google prometem confiança e segurança em seu marketing. Mas isso simplesmente não está acontecendo na realidade.”
Chiu não está esperando pela próxima revisão trimestral. Ele diz que seu escritório considerará todas as opções legais se os aplicativos não desaparecerem.
Ele espera que os gigantes da tecnologia façam a coisa certa. Ele realmente quer. Mas dado o dinheiro em jogo e o histórico até agora, essa esperança parece fraca. Os aplicativos ainda estão lá. A receita ainda está fluindo. E as leis estão finalmente a acompanhar a tecnologia, deixando às plataformas uma escolha simples: cortar os lucros ou enfrentar os tribunais.
Quem quer apostar qual caminho escolherá?
