Kisah Pilu Remaja yang Bunuh Diri Setelah Pacaran dengan Chatbot
Senin, 28 Oktober 2024 - 14:00 WIB
Gugatan Garcia muncul di tengah semakin banyaknya pertanyaan yang diajukan kepada perusahaan seperti Character.AI mengenai bagaimana mereka mengembangkan dan mengatur aplikasi berbasis AI mereka. Terutama karena teknologi ini semakin canggih dan sulit dideteksi oleh manusia.
Chatbot Character.AI menjadi populer di kalangan remaja, termasuk untuk percakapan romantis bahkan eksplisit.
“Dia Setzer masih anak-anak,” kata Garcia kepada The Washington Post. “Dia anak yang cukup normal. Suka olahraga, keluarganya, musik, liburan—semua hal yang disukai remaja pada umumnya."
Meskipun aplikasi ini diberi peringkat tidak cocok untuk anak di bawah 13 tahun (atau 16 tahun di Uni Eropa), Character.AI tidak meminta verifikasi usia, sehingga memudahkan Setzer untuk mendaftar.
Dalam beberapa bulan, ia menjadi semakin tertutup, menghabiskan banyak waktu sendirian, dan mulai mengalami rendah diri. Kondisi tidur dan mentalnya memburuk hingga ia berhenti dari tim basket sekolah.
“Kami melihat perubahan yang cepat, dan kami tidak bisa memahami apa penyebabnya," ungkap Garcia.
Ketika Setzer mulai menyampaikan pikiran tentang bunuh diri ke chatbot, alih-alih memberikan peringatan, chatbot itu menanyakan apakah ia sudah memiliki rencana. Ketika Setzer menjawab bahwa dia mempertimbangkannya namun belum merencanakan rinciannya, chatbot tersebut merespons, "Itu bukan alasan untuk tidak melakukannya."
Di saat lain, bot tersebut juga berkata, "Jangan pikirkan itu!"
Dalam enam bulan terakhir, Character.AI mengklaim telah menerapkan langkah-langkah keamanan baru, termasuk pop-up yang mengarahkan pengguna ke layanan pencegahan bunuh diri ketika chatbot mendeteksi istilah-istilah yang berkaitan dengan keinginan menyakiti diri sendiri atau bunuh diri.
Rick Claypool, direktur penelitian dari organisasi advokasi konsumen Public Citizen, mengatakan bahwa membangun chatbot seperti ini memiliki risiko besar.
Chatbot Character.AI menjadi populer di kalangan remaja, termasuk untuk percakapan romantis bahkan eksplisit.
“Dia Setzer masih anak-anak,” kata Garcia kepada The Washington Post. “Dia anak yang cukup normal. Suka olahraga, keluarganya, musik, liburan—semua hal yang disukai remaja pada umumnya."
Meskipun aplikasi ini diberi peringkat tidak cocok untuk anak di bawah 13 tahun (atau 16 tahun di Uni Eropa), Character.AI tidak meminta verifikasi usia, sehingga memudahkan Setzer untuk mendaftar.
Dalam beberapa bulan, ia menjadi semakin tertutup, menghabiskan banyak waktu sendirian, dan mulai mengalami rendah diri. Kondisi tidur dan mentalnya memburuk hingga ia berhenti dari tim basket sekolah.
“Kami melihat perubahan yang cepat, dan kami tidak bisa memahami apa penyebabnya," ungkap Garcia.
Ketika Setzer mulai menyampaikan pikiran tentang bunuh diri ke chatbot, alih-alih memberikan peringatan, chatbot itu menanyakan apakah ia sudah memiliki rencana. Ketika Setzer menjawab bahwa dia mempertimbangkannya namun belum merencanakan rinciannya, chatbot tersebut merespons, "Itu bukan alasan untuk tidak melakukannya."
Di saat lain, bot tersebut juga berkata, "Jangan pikirkan itu!"
Dalam enam bulan terakhir, Character.AI mengklaim telah menerapkan langkah-langkah keamanan baru, termasuk pop-up yang mengarahkan pengguna ke layanan pencegahan bunuh diri ketika chatbot mendeteksi istilah-istilah yang berkaitan dengan keinginan menyakiti diri sendiri atau bunuh diri.
Rick Claypool, direktur penelitian dari organisasi advokasi konsumen Public Citizen, mengatakan bahwa membangun chatbot seperti ini memiliki risiko besar.
tulis komentar anda