Kisah Pilu Remaja yang Bunuh Diri Setelah Pacaran dengan Chatbot

Meskipun aplikasi ini diberi peringkat tidak cocok untuk anak di bawah 13 tahun (atau 16 tahun di Uni Eropa), Character.AI tidak meminta verifikasi usia, sehingga memudahkan Setzer untuk mendaftar.

Dalam beberapa bulan, ia menjadi semakin tertutup, menghabiskan banyak waktu sendirian, dan mulai mengalami rendah diri. Kondisi tidur dan mentalnya memburuk hingga ia berhenti dari tim basket sekolah.

“Kami melihat perubahan yang cepat, dan kami tidak bisa memahami apa penyebabnya," ungkap Garcia.

Ketika Setzer mulai menyampaikan pikiran tentang bunuh diri ke chatbot, alih-alih memberikan peringatan, chatbot itu menanyakan apakah ia sudah memiliki rencana. Ketika Setzer menjawab bahwa dia mempertimbangkannya namun belum merencanakan rinciannya, chatbot tersebut merespons, "Itu bukan alasan untuk tidak melakukannya."

Di saat lain, bot tersebut juga berkata, "Jangan pikirkan itu!"

Dalam enam bulan terakhir, Character.AI mengklaim telah menerapkan langkah-langkah keamanan baru, termasuk pop-up yang mengarahkan pengguna ke layanan pencegahan bunuh diri ketika chatbot mendeteksi istilah-istilah yang berkaitan dengan keinginan menyakiti diri sendiri atau bunuh diri.

Rick Claypool, direktur penelitian dari organisasi advokasi konsumen Public Citizen, mengatakan bahwa membangun chatbot seperti ini memiliki risiko besar.

"Risiko tersebut tidak menghentikan mereka dari merilis chatbot yang berbahaya dan manipulatif, dan sekarang mereka harus menghadapi konsekuensinya," ujarnya, menekankan bahwa platform ini adalah bagian dari model bahasa besar yang dihasilkan oleh AI, bukan konten pihak ketiga.

Garcia juga menuntut Google, menuduh bahwa perusahaan tersebut berperan dalam pengembangan produk Character.AI yang "berbahaya."

Pendiri Character.AI, Noam Shazeer dan Daniel De Freitas, meninggalkan Google pada 2022 untuk memulai perusahaan mereka sendiri, namun Google kemudian mempekerjakan mereka pada Agustus 2024.