Trending, Bot Telegram Manipulasi Foto Deepfake Telanjang

JAKARTA - Kecerdasan buatan kerap disalahgunakan untuk memanipulasi foto atau video alias aksi deepfake . Hal ini pun merambah aplikasi Telegram.

Pada awal 2020, ahli deepfake Henry Ajder menemukan salah satu bot Telegram pertama yang menghasilkan lebih dari 100.000 foto anak-anak. Temuan ini menandai momen aksi serupa yang makin masif serta meluas. Sejak itu, aksi deepfakes menjadi lebih umum, lebih merusak, dan mudah diproduksi.

Laman Wired melansir, Jumat (18/10/2024) komunitas Telegram yang terlibat dengan konten eksplisit non-konsensual mengidentifikasi 50 bot yang mengklaim dapat membuat foto atau video eksplisit dari orang dengan hanya beberapa klik. Bot-bot ini bervariasi kemampuannya, mulai dari menghilangkan pakaian dari area obyek foto hingga menggambarkan obyek dalam berbagai tindakan seksual.

Puluhan bot tersebut mencantumkan lebih dari 4 juta pengguna bulanan secara akumulatif. Sebanyak dua bot mencantumkan lebih dari 400.000 pengguna bulanan masing-masing, sementara 14 lainnya mencantumkan lebih dari 100.000 anggota.

Temuan ini menggambarkan seberapa luas alat pembuatan deepfake eksplisit telah menjadi dan memperkuat tempat Telegram sebagai salah satu lokasi paling menonjol. Namun, snapshot, yang sebagian besar mencakup bot berbahasa Inggris, kemungkinan merupakan sebagian kecil dari keseluruhan bot deepfake di Telegram.

"Kita berbicara tentang peningkatan yang signifikan, urutan besarnya dalam jumlah orang yang jelas-jelas secara aktif menggunakan dan membuat jenis konten ini," kata Ajder tentang bot Telegram.



Ia mengkhawatirkan bot ini merusak kehidupan dan menciptakan skenario yang sangat mengerikan terutama bagi perempuan.

Konten deepfake non-konsensual eksplisit, yang sering disebut sebagai penyalahgunaan gambar intim non-konsensual (NCII) pertama kali muncul pada akhir 2017, dengan kemajuan AI generatif. Di seluruh internet, sejumlah situs web dengan pencarian "nudify" dan "undress" berada di samping alat yang lebih canggih dan bot Telegram, dan digunakan untuk menargetkan ribuan wanita dan gadis di seluruh dunia.

Dalam survei terbaru, dilaporkan 40 persen siswa AS mengetahui deepfakes yang terkait dengan sekolah K-12 mereka dalam setahun terakhir.

Bot Telegram yang diidentifikasi oleh Wired didukung oleh 25 saluran Telegram. Saluran Telegram memberi tahu orang tentang fitur baru yang disediakan oleh bot dan penawaran khusus untuk token yang dapat dibeli untuk mengoperasikannya.

Setelah menghubungi Telegram dengan pertanyaan tentang apakah perusahaan tersebut mengizinkan pembuatan konten deepfake di platformnya, perusahaan tersebut menghapus 75 bot dan saluran. Perusahaan tidak menanggapi serangkaian pertanyaan atau mengomentari alasan di balik penghapusan saluran tersebut.

Bot tadi pada dasarnya berupa aplikasi kecil di dalam aplikasi Telegram. Para pemilik saluran menyiarkan pesan ke jumlah pelanggan yang tidak terbatas. Satu grup diisi hingga 200.000 orang yang dapat berinteraksi. Pengembang membuat bot yang membuat orang bermain kuis trivia, menerjemahkan pesan, membuat peringatan, atau memulai rapat Zoom.

Banyak dari bot deepfake memiliki nama dan deskripsi bot yang mengacu pada ketelanjangan dan menghilangkan pakaian perempuan. "Saya dapat melakukan apa saja yang Anda inginkan tentang wajah atau pakaian foto yang Anda berikan kepada saya," tulis pencipta salah satu bot.



Hampir semua bot mengharuskan orang membeli token untuk membuat gambar, dan tidak jelas apakah mereka beroperasi dengan cara yang mereka klaim. Seiring dengan berkembangnya ekosistem di sekitar generasi deepfake dalam beberapa tahun terakhir, hal ini telah menjadi sumber pendapatan yang berpotensi menguntungkan bagi mereka yang membuat situs web, aplikasi, dan bot.

Begitu banyak orang yang mencoba menggunakan situs web "nudify" sehingga penjahat dunia maya Rusia, sebagaimana dilaporkan oleh 404Media, telah mulai membuat situs web palsu untuk menginfeksi orang dengan malware.

Sementara bot Telegram pertama, yang diidentifikasi beberapa tahun lalu, relatif sederhana, teknologi yang diperlukan untuk membuat gambar yang dihasilkan AI lebih realistis telah meningkat—dan beberapa bot bersembunyi di depan mata.

Satu bot dengan lebih dari 300.000 pengguna bulanan tidak merujuk pada materi eksplisit apapun dalam nama atau halaman arahannya. Namun, setelah pengguna mengklik untuk menggunakan bot, ia mengklaim memiliki lebih dari 40 opsi untuk gambar, banyak di antaranya bersifat sangat seksual.

"Jenis gambar palsu ini dapat membahayakan kesehatan dan kesejahteraan seseorang dengan menyebabkan trauma psikologis dan perasaan terhina, takut, malu, dan malu," kata Emma Pickering, kepala penyalahgunaan dan pemberdayaan ekonomi yang difasilitasi teknologi di Refuge, organisasi pelecehan domestik terbesar di Inggris.

Seiring dengan semakin mudahnya membuat dan semakin meluasnya deepfakes, para pembuat undang-undang dan perusahaan teknologi dianggap lambat menghentikan gelombang tersebut. Di seluruh AS, 23 negara bagian telah mengeluarkan undang-undang untuk mengatasi deepfakes non-konsensual, dan perusahaan teknologi telah memperkuat beberapa kebijakan.

Namun, aplikasi yang dapat membuat deepfakes eksplisit telah ditemukan di toko aplikasi Apple dan Google, deepfakes eksplisit Taylor Swift dibagikan secara luas di X pada bulan Januari, dan infrastruktur masuk Big Tech telah memungkinkan orang untuk dengan mudah membuat akun di situs web deepfake.

Kate Ruane, direktur proyek kebebasan berekspresi Pusat Demokrasi dan Teknologi mengatakan, sebagian besar platform teknologi utama sekarang memiliki kebijakan yang melarang distribusi gambar intim non-konsensual, dengan banyak yang terbesar menyetujui prinsip-prinsip untuk mengatasi deepfakes.

"Saya akan mengatakan bahwa sebenarnya tidak jelas apakah pembuatan atau distribusi gambar intim non-konsensual dilarang di platform tersebut," kata Ruane tentang syarat layanan Telegram, yang kurang rinci dibandingkan platform teknologi utama lainnya.

Pendekatan Telegram terhadap penghapusan konten berbahaya telah lama dikritik oleh kelompok-kelompok masyarakat sipil, dengan platform tersebut secara historis menampung scammer, kelompok sayap kanan ekstrem, dan konten terkait terorisme. Sejak CEO dan pendiri Telegram Pavel Durov ditangkap dan didakwa di Prancis pada bulan Agustus terkait dengan serangkaian pelanggaran potensial, Telegram telah mulai membuat beberapa perubahan pada syarat layanannya dan memberikan data kepada lembaga penegak hukum.