Character.AI Dituding Dorong Pengguna Lakukan Kejahatan
Minggu, 22 Desember 2024 - 17:36 WIB
Beberapa pengguna telah melaporkan bot yang menyamar sebagai korban penembakan di sekolah.
Bot-bot ini digambarkan sebagai “hantu” atau “malaikat”, yang sering kali menyertakan detail pribadi tentang korban dan kematian mereka.
Pakar kesehatan mental memperingatkan untuk berhati-hati tentang interaksi tersebut karena dapat menurunkan hambatan psikologis bagi individu yang berjuang dengan pikiran kekerasan.
Platform ini didakwa dengan banyak tuntutan hukum atas kegagalannya melindungi penggunanya dari konten berbahaya.
Platform ini memiliki aturan yang menyatakan bahwa pengguna harus berusia 13 tahun ke atas (16 tahun ke atas di Uni Eropa), meskipun aturan ini mudah dilanggar. Aplikasi ini juga dinilai untuk panduan orang tua di Google Play dan 17 tahun ke atas di toko aplikasi Apple. Namun, ini menimbulkan kekhawatiran karena tidak ada cara yang ketat untuk mematuhinya, yang memungkinkan anak di bawah umur mengakses beberapa konten yang berbahaya.
Menanggapi kritik, Character.AI telah menghapus beberapa bot yang rumit dan menjanjikan fitur keamanan baru. Perusahaan tersebut juga berjanji untuk bekerja sama dengan para ahli keamanan daring guna menyoroti masalah ini. Pada saat yang sama, banyak bot bermasalah yang masih aktif, dan para kritikus berpendapat bahwa upaya platform tersebut tidak memadai.
Banyak yang menyerukan verifikasi usia yang lebih ketat, peningkatan moderasi konten, dan pedoman etika untuk mencegah eksploitasi tragedi di dunia nyata. Seiring dengan semakin intensifnya investigasi, masa depan Character.AI masih harus dilihat, mencari beberapa perubahan yang berarti dan aman dalam platform tersebut.
Bot-bot ini digambarkan sebagai “hantu” atau “malaikat”, yang sering kali menyertakan detail pribadi tentang korban dan kematian mereka.
Pakar kesehatan mental memperingatkan untuk berhati-hati tentang interaksi tersebut karena dapat menurunkan hambatan psikologis bagi individu yang berjuang dengan pikiran kekerasan.
Platform ini didakwa dengan banyak tuntutan hukum atas kegagalannya melindungi penggunanya dari konten berbahaya.
Platform ini memiliki aturan yang menyatakan bahwa pengguna harus berusia 13 tahun ke atas (16 tahun ke atas di Uni Eropa), meskipun aturan ini mudah dilanggar. Aplikasi ini juga dinilai untuk panduan orang tua di Google Play dan 17 tahun ke atas di toko aplikasi Apple. Namun, ini menimbulkan kekhawatiran karena tidak ada cara yang ketat untuk mematuhinya, yang memungkinkan anak di bawah umur mengakses beberapa konten yang berbahaya.
Menanggapi kritik, Character.AI telah menghapus beberapa bot yang rumit dan menjanjikan fitur keamanan baru. Perusahaan tersebut juga berjanji untuk bekerja sama dengan para ahli keamanan daring guna menyoroti masalah ini. Pada saat yang sama, banyak bot bermasalah yang masih aktif, dan para kritikus berpendapat bahwa upaya platform tersebut tidak memadai.
Banyak yang menyerukan verifikasi usia yang lebih ketat, peningkatan moderasi konten, dan pedoman etika untuk mencegah eksploitasi tragedi di dunia nyata. Seiring dengan semakin intensifnya investigasi, masa depan Character.AI masih harus dilihat, mencari beberapa perubahan yang berarti dan aman dalam platform tersebut.
(wbs)
Lihat Juga :
tulis komentar anda