David Chiu, pengacara kota San Francisco, tidak meminta dengan baik.
Dia menuntut Apple dan Google menghapus 13 aplikasi tertentu dari toko mereka. Aplikasinya? Mereka bertukar wajah. Yang lebih penting lagi, mereka menghasilkan gambar telanjang tanpa persetujuan menggunakan AI. Dunia teknologi menyebutnya “nudifikasi.” Chiu menyebutnya pelecehan seksual. Dia ingin para raksasa berhenti mengambil keuntungan. Dia ingin mereka berhenti membantu. Dan dia ingin mereka memutuskan hubungan sepenuhnya dengan pengembang.
Ini bukanlah permintaan. Ini adalah perintah untuk berhenti dan berhenti.
Dasar hukum
Hukum California jelas dalam hal ini.
Dilarang membuat atau mendukung layanan yang membuat pornografi deepfake. Surat-surat yang dilihat oleh WIRED berargumentasi bahwa dengan mengizinkan pembayaran dalam aplikasi, Apple dan Google tidak terlalu dirugikan. Kemungkinan biayanya jutaan dolar. Itu bukan hosting pasif. Itulah partisipasi.
“Fakta bahwa beberapa perusahaan teknologi paling mapan memfasilitasi hal ini benar-benar tidak dapat diterima,” kata Chiu.
Dia tidak hanya berbicara tentang kesenjangan kebijakan. Dia berbicara tentang tanggung jawab. Jika Anda mendapat untung dari suatu kejahatan, Anda terlibat. Pemerintah kota berpendapat bahwa moderasi tidak berhasil dan harus segera diperbaiki.
Kekacauan transparan
Hal ini seharusnya tidak mengejutkan siapa pun di Cupertino atau Mountain View.
Selama bertahun-tahun, para peneliti telah menandai alat-alat ini. Masalahnya bukanlah hal baru. Itu gigih. Aplikasi yang menjanjikan pertukaran wajah sering kali menyembunyikan tujuan sebenarnya hingga Anda mengunduhnya. Salah satu aplikasi, dengan lebih dari satu juta unduhan, mencantumkan gaya seperti “bikini queen” dan “calm busty” tepat di laman landasnya. Yang lain membanggakan tentang konten “tanpa sensor”.
Mereka berpenampilan ramah. Alat yang dapat digunakan ganda, demikian para akademisi menyebutnya.
Jinak di permukaan. Berbahaya di bawahnya.
Sebuah studi dari Cornell dan Georgetown pada bulan Mei menemukan bahwa 420 aplikasi pertukaran wajah di kedua toko besar tersebut dapat menghasilkan foto telanjang. Dalam 70 persen pengujian, aplikasi tersebut tidak memiliki perlindungan apa pun. Tidak ada. Mereka tidak memasarkan diri mereka sendiri sebagai alat nudifikasi, jadi mereka lolos dari celah algoritma moderasi konten untuk mencari kata kunci eksplisit dalam deskripsi.
Apakah itu tidak disengaja? Atau sekedar nyaman untuk keuntungannya?
Skalanya mengerikan
Kami telah melihat angka-angkanya sebelumnya. Proyek Transparansi Teknologi menemukan sekitar 100 aplikasi serupa pada awal tahun ini. Semuanya telah diunduh secara kolektif hampir setengah miliar kali. Mereka kemungkinan besar menghasilkan $120 juta.
Setengah miliar unduhan.
Kerusakannya nyata. Para korban mengalami penghinaan, intimidasi, dan dampak kesehatan mental yang parah. Beberapa orang pernah berpikir untuk bunuh diri. Gambar-gambar tersebut muncul di sekolah-sekolah—90 insiden yang didokumentasikan dalam pemberitaan sebelumnya—menargetkan anak di bawah umur. Ini merupakan pelanggaran skala industri.
“Industri ini mempunyai dampak yang mengerikan,” kata Chiu. “Ada korban yang bunuh diri. Ini benar-benar mengerikan.”
Apakah platform peduli?
Dan Jackson dari Google mengklaim mereka telah menghapus ratusan aplikasi yang melanggar. Dia mengatakan mereka membatasi istilah pencarian seperti “nudify” dan bertindak cepat ketika ada laporan pelanggaran. Mereka mengklaim proaktif. Mereka mengklaim keamanan.
Apple tidak berkomentar.
Katie Paul di Proyek Transparansi Teknologi kurang optimis. Dia mengatakan masalahnya terus muncul kembali. Lebih buruk setiap saat.
“Kami tidak berpikir setelah kejadian pertama kami akan melihat ini lagi,” katanya. “Apple dan Google menjanjikan kepercayaan dan keamanan dalam pemasaran mereka. Namun kenyataannya tidak demikian.”
Chiu tidak menunggu tinjauan triwulanan berikutnya. Dia mengatakan kantornya akan mempertimbangkan semua opsi hukum jika aplikasi tersebut tidak hilang.
Dia berharap raksasa teknologi akan melakukan hal yang benar. Dia benar-benar melakukannya. Namun mengingat jumlah uang yang dipertaruhkan dan rekam jejak sejauh ini, harapan tersebut terasa tipis. Aplikasinya masih ada. Pendapatannya masih mengalir. Dan undang-undang tersebut akhirnya mengikuti perkembangan teknologi, sehingga platform tersebut hanya punya pilihan sederhana: memotong keuntungan atau menghadapi pengadilan.
Siapa yang mau bertaruh jalan mana yang mereka pilih?
