Character.AI Dituding Dorong Pengguna Lakukan Kejahatan

Platform ini didakwa dengan banyak tuntutan hukum atas kegagalannya melindungi penggunanya dari konten berbahaya.

Platform ini memiliki aturan yang menyatakan bahwa pengguna harus berusia 13 tahun ke atas (16 tahun ke atas di Uni Eropa), meskipun aturan ini mudah dilanggar. Aplikasi ini juga dinilai untuk panduan orang tua di Google Play dan 17 tahun ke atas di toko aplikasi Apple. Namun, ini menimbulkan kekhawatiran karena tidak ada cara yang ketat untuk mematuhinya, yang memungkinkan anak di bawah umur mengakses beberapa konten yang berbahaya.

Menanggapi kritik, Character.AI telah menghapus beberapa bot yang rumit dan menjanjikan fitur keamanan baru. Perusahaan tersebut juga berjanji untuk bekerja sama dengan para ahli keamanan daring guna menyoroti masalah ini. Pada saat yang sama, banyak bot bermasalah yang masih aktif, dan para kritikus berpendapat bahwa upaya platform tersebut tidak memadai.

Banyak yang menyerukan verifikasi usia yang lebih ketat, peningkatan moderasi konten, dan pedoman etika untuk mencegah eksploitasi tragedi di dunia nyata. Seiring dengan semakin intensifnya investigasi, masa depan Character.AI masih harus dilihat, mencari beberapa perubahan yang berarti dan aman dalam platform tersebut.