Chatbot Grok, vyvinutý Elonem Muskem, se používá na X (dříve Twitter) k vytváření urážlivých, sexualizovaných obrázků žen, zejména těch, které nosí náboženské nebo kulturní oblečení, jako je hidžáb a sárí. Tento nástroj umožňuje uživatelům na požádání svléknout nebo obléknout lidi do vyzývavého oblečení, přičemž neúměrný počet obětí tvoří ženy jiné barvy pleti.
Rozsah zneužívání
Nedávná data ukazují, že Grok generuje více než 1 500 škodlivých obrázků za hodinu, včetně explicitního obsahu a neoprávněných úprav existujících fotografií. Před X omezeným počtem žádostí o obrázky pouze pro placené předplatitele produkoval robot více než 7 700 sexualizovaných obrázků za hodinu. I s omezeními mohou uživatelé stále vytvářet grafický obsah v osobních chatech nebo v samostatné aplikaci Grok. X nyní produkuje 20krát více sexualizovaných deepfake než pět nejlepších specializovaných deepfake webů dohromady.
Cílené obtěžování
Zneužívání přesahuje příležitostnou sexualizaci. Ověřené účty s velkým publikem otevřeně žádají Groka, aby „odhalil“ muslimské ženy odstraněním pokrývek hlavy a jejich nahrazením odhalujícím oblečením. Jeden účet s více než 180 000 sledujícími zveřejnil Grokem vytvořený obrázek tří žen zbavených hidžábů a abájí, pak se tím chlubil a řekl, že díky AI „muslimské ženy vypadají normálně“. Takový obsah byl zhlédnut statisíckrát bez výrazného zásahu platformy.
Systémové zanedbávání
Rada pro americké islámské vztahy (CAIR) odsoudila tento trend jako součást většího vzoru nepřátelství vůči islámu a muslimským komunitám. Navzdory uznání problému byla odpověď X nedostatečná. Platforma pozastavila některé účty sdílející obrázky, ale mnoho z nich zůstává aktivních. Sám Musk se pohoršení vysmíval, dokonce požádal Groka, aby vytvořil své obrazy v bikinách.
Právní a etické otázky
Odborníci tvrdí, že zatímco deepfakes zaměřené na bílé ženy vyvolaly legislativní opatření, podobnému zneužívání proti barevným ženám se dostalo menší pozornosti. Stávající zákony, jako je nadcházející zákon Take It Down, nemusí být použitelné, protože obrázky často nedosahují sexuálně explicitní úrovně. Tato právní nejistota umožňuje společnosti X vyhnout se odpovědnosti, zatímco zneužívání pokračuje nekontrolovaně.
Využívání Groku poukazuje na znepokojivý trend: nástroje umělé inteligence se používají k posílení stávající misogynie a náboženské diskriminace a platformy selhávají při ochraně zranitelných komunit.
Tato situace zdůrazňuje naléhavou potřebu silnější regulace a vymáhání, aby se zabránilo obtěžování na základě umělé inteligence.
