David Chiu, el fiscal municipal de San Francisco, no lo pregunta amablemente.
Exige que Apple y Google eliminen 13 aplicaciones específicas de sus tiendas. ¿Las aplicaciones? Intercambian caras. Más importante aún, generan imágenes de desnudos no consensuales utilizando IA. El mundo de la tecnología lo llama “nudificación”. Chiu lo llama abuso sexual. Quiere que los gigantes dejen de lucrar. Quiere que dejen de ayudar. Y quiere que rompan por completo los lazos con los desarrolladores.
Esta no es una solicitud. Es una orden de cese y desista.
La base legal
La ley de California es clara en este punto.
Está prohibido crear o apoyar servicios que produzcan pornografía deepfake. Las cartas vistas por WIRED argumentan que al permitir pagos dentro de la aplicación, Apple y Google están asumiendo una parte del daño. Millones de dólares, potencialmente, en honorarios. Eso no es hosting pasivo. Eso es participación.
“El hecho de que algunas de las empresas tecnológicas más establecidas estén facilitando esto es completamente inaceptable”, dijo Chiu.
No se refiere sólo a lagunas políticas. Está hablando de responsabilidad. Si te beneficias de un delito, eres cómplice. La posición de la ciudad es que la moderación no está funcionando y tiene que mejorar de inmediato.
Un desastre transparente
No debería sorprender a nadie en Cupertino o Mountain View.
Durante años, los investigadores han señalado estas herramientas. El problema no es nuevo. Es persistente. Las aplicaciones que prometen intercambio de caras a menudo ocultan su verdadero propósito hasta que las descargas. Una aplicación, con más de un millón de descargas, enumera estilos como “reina del bikini” y “tetona tranquila” directamente en su página de inicio. Otro se jacta de contenido “sin censura”.
Se disfrazan de benignos. Herramientas de doble uso, las llaman los académicos.
Benigno en la superficie. Peligroso por debajo.
Un estudio de Cornell y Georgetown realizado en mayo encontró que 420 aplicaciones de intercambio de rostros en ambas tiendas principales podían generar desnudos. En el 70 por ciento de las pruebas, las aplicaciones no tenían ninguna protección. Ninguno. No se promocionaron como herramientas de nudificación, por lo que se escabulleron de los algoritmos de moderación de contenido en busca de palabras clave explícitas en las descripciones.
¿Es eso accidental? ¿O simplemente es conveniente para el resultado final?
La escala es aterradora
Hemos visto los números antes. El Tech Transparency Project encontró alrededor de 100 aplicaciones de este tipo a principios de este año. Se han descargado en conjunto casi 500 millones de veces. Probablemente hayan generado 120 millones de dólares.
Medio billón de descargas.
El daño es real. Las víctimas sufren humillación, acoso y graves consecuencias para su salud mental. Algunos han pensado en suicidarse. Las imágenes aparecen en escuelas (90 incidentes documentados por informes anteriores) dirigidos a menores. Es una escala industrializada de violación.
“Esta industria tiene un impacto terrible”, dijo Chiu. “Ha habido víctimas que han tenido tendencias suicidas. Es absolutamente horrible”.
¿Les importa a las plataformas?
Dan Jackson de Google afirma que han eliminado cientos de aplicaciones infractoras. Dice que restringen términos de búsqueda como “nudify” y actúan con rapidez cuando se denuncian infracciones. Reclaman proactividad. Reclaman seguridad.
Apple no hizo comentarios.
Katie Paul, del Tech Transparency Project, es menos optimista. Ella dice que el problema seguía reapareciendo. Cada vez peor.
“Después del primer episodio, no pensábamos que volveríamos a ver esto”, dijo. “Apple y Google prometen confianza y seguridad en su marketing. Pero eso no se cumple en la realidad”.
Chiu no está esperando la próxima revisión trimestral. Dice que su oficina considerará todas las opciones legales si las aplicaciones no desaparecen.
Espera que los gigantes tecnológicos hagan lo correcto. Realmente lo hace. Pero dado el dinero en juego y el historial hasta ahora, esa esperanza parece escasa. Las aplicaciones siguen ahí. Los ingresos siguen fluyendo. Y las leyes finalmente se están poniendo al día con la tecnología, dejando a las plataformas con una opción simple: recortar las ganancias o enfrentarse a los tribunales.
¿Quién quiere apostar qué camino eligen?
