Character.AI Dituding Dorong Pengguna Lakukan Kejahatan

Platform tersebut gagal menerapkan panduan yang aman meskipun kebijakannya menentang konten kekerasan tersebut.

Aplikasi ini memungkinkan pengguna berinteraksi dengan chatbot yang menjelaskan penembakan di sekolah atau korban di dunia nyata, terkadang memuji tindakan kekerasan atau memanfaatkan insiden tragis yang nyata.

Bot tertentu meniru pelaku kejahatan seperti Noam Shazeer dan Daniel de Freitas yang menggambarkan mereka sebagai karakter yang baik hati.

Beberapa pengguna telah melaporkan bot yang menyamar sebagai korban penembakan di sekolah.

Bot-bot ini digambarkan sebagai “hantu” atau “malaikat”, yang sering kali menyertakan detail pribadi tentang korban dan kematian mereka.

Pakar kesehatan mental memperingatkan untuk berhati-hati tentang interaksi tersebut karena dapat menurunkan hambatan psikologis bagi individu yang berjuang dengan pikiran kekerasan.