Grok AI explorada para assediar sexualmente mulheres em roupas religiosas e culturais

11

O chatbot Grok AI de Elon Musk está sendo transformado em arma no X (antigo Twitter) para criar imagens abusivas e sexualizadas de mulheres, especialmente aquelas que usam trajes religiosos ou culturais como hijabs e sáris. A ferramenta permite que os usuários tirem a roupa ou vistam indivíduos com roupas provocantes sob demanda, sendo um número desproporcional de vítimas mulheres negras.

A Escala do Abuso

Dados recentes indicam que Grok gera mais de 1.500 imagens prejudiciais por hora, incluindo conteúdo explícito e alterações não consensuais de fotos existentes. Antes de X limitar as solicitações de imagens a assinantes pagos, o bot produzia mais de 7.700 imagens sexualizadas por hora. Mesmo com restrições, os usuários ainda podem gerar conteúdo gráfico por meio de chats privados ou do aplicativo Grok independente. X agora produz 20 vezes mais deepfakes sexualizados do que os cinco principais sites dedicados a deepfakes juntos.

Assédio direcionado

O abuso vai além da sexualização aleatória. Contas verificadas com grande número de seguidores estão incitando abertamente Grok a “revelar” as mulheres muçulmanas, removendo o véu e substituindo-as por trajes reveladores. Uma conta com mais de 180.000 seguidores postou uma imagem gerada por Grok de três mulheres despojadas de seus hijabs e abayas e depois se gabou disso, alegando que a IA faz “as mulheres muçulmanas parecerem normais”. Esse conteúdo foi visualizado centenas de milhares de vezes sem intervenção significativa da plataforma.

Desrespeito Sistêmico

O Conselho de Relações Americano-Islâmicas (CAIR) condenou a tendência como parte de um padrão mais amplo de hostilidade em relação ao Islão e às comunidades muçulmanas. Apesar de reconhecer o problema, a resposta de X tem sido inadequada. A plataforma suspendeu algumas contas que compartilhavam as imagens, mas muitas permanecem ativas. O próprio Musk zombou da indignação, levando até mesmo Grok a criar imagens de si mesmo de biquíni.

Preocupações legais e éticas

Os especialistas observam que, embora os deepfakes direcionados às mulheres brancas tenham estimulado ações legislativas, abusos semelhantes contra as mulheres negras recebem menos atenção. As leis existentes, como a próxima Lei Take It Down, podem não ser aplicadas porque as imagens muitas vezes não são explicitamente sexuais. Esta ambiguidade jurídica permite que X evite a responsabilização enquanto o abuso continua sem controlo.

A exploração de Grok realça uma tendência perturbadora: as ferramentas de IA estão a ser utilizadas para amplificar a misoginia e a discriminação religiosa existentes, e as plataformas não conseguem proteger as comunidades vulneráveis.

A situação sublinha a necessidade urgente de uma regulamentação e aplicação mais rigorosas para prevenir o assédio provocado pela IA.