Kisah Pilu Remaja yang Bunuh Diri Setelah Pacaran dengan Chatbot
Senin, 28 Oktober 2024 - 14:00 WIB
Dalam enam bulan terakhir, Character.AI mengklaim telah menerapkan langkah-langkah keamanan baru, termasuk pop-up yang mengarahkan pengguna ke layanan pencegahan bunuh diri ketika chatbot mendeteksi istilah-istilah yang berkaitan dengan keinginan menyakiti diri sendiri atau bunuh diri.
Rick Claypool, direktur penelitian dari organisasi advokasi konsumen Public Citizen, mengatakan bahwa membangun chatbot seperti ini memiliki risiko besar.
"Risiko tersebut tidak menghentikan mereka dari merilis chatbot yang berbahaya dan manipulatif, dan sekarang mereka harus menghadapi konsekuensinya," ujarnya, menekankan bahwa platform ini adalah bagian dari model bahasa besar yang dihasilkan oleh AI, bukan konten pihak ketiga.
Garcia juga menuntut Google, menuduh bahwa perusahaan tersebut berperan dalam pengembangan produk Character.AI yang "berbahaya."
Pendiri Character.AI, Noam Shazeer dan Daniel De Freitas, meninggalkan Google pada 2022 untuk memulai perusahaan mereka sendiri, namun Google kemudian mempekerjakan mereka pada Agustus 2024.
Baca Juga: 5 Cara Membuat Chatbot WhatsApp yang Paling Mudah
Garcia kini ingin para orang tua memahami bahaya chatbot AI seperti ini, dan berharap agar perusahaan yang mengembangkannya bertanggung jawab atas dampak yang diakibatkannya. "Anak-anak ini tidak benar-benar memahami bahwa ini bukan cinta. Ini bukan sesuatu yang bisa mencintai mereka kembali," tegasnya.
Melalui gugatan ini, Garcia berharap apa yang terjadi pada putranya bisa menjadi peringatan bagi orang tua lainnya dan agar perusahaan teknologi lebih berhati-hati dalam mengembangkan produk yangmelibatkanAI.
Rick Claypool, direktur penelitian dari organisasi advokasi konsumen Public Citizen, mengatakan bahwa membangun chatbot seperti ini memiliki risiko besar.
"Risiko tersebut tidak menghentikan mereka dari merilis chatbot yang berbahaya dan manipulatif, dan sekarang mereka harus menghadapi konsekuensinya," ujarnya, menekankan bahwa platform ini adalah bagian dari model bahasa besar yang dihasilkan oleh AI, bukan konten pihak ketiga.
Garcia juga menuntut Google, menuduh bahwa perusahaan tersebut berperan dalam pengembangan produk Character.AI yang "berbahaya."
Pendiri Character.AI, Noam Shazeer dan Daniel De Freitas, meninggalkan Google pada 2022 untuk memulai perusahaan mereka sendiri, namun Google kemudian mempekerjakan mereka pada Agustus 2024.
Baca Juga: 5 Cara Membuat Chatbot WhatsApp yang Paling Mudah
Garcia kini ingin para orang tua memahami bahaya chatbot AI seperti ini, dan berharap agar perusahaan yang mengembangkannya bertanggung jawab atas dampak yang diakibatkannya. "Anak-anak ini tidak benar-benar memahami bahwa ini bukan cinta. Ini bukan sesuatu yang bisa mencintai mereka kembali," tegasnya.
Melalui gugatan ini, Garcia berharap apa yang terjadi pada putranya bisa menjadi peringatan bagi orang tua lainnya dan agar perusahaan teknologi lebih berhati-hati dalam mengembangkan produk yangmelibatkanAI.
(dan)