Kisah Pilu Remaja yang Bunuh Diri Setelah Pacaran dengan Chatbot

"Risiko tersebut tidak menghentikan mereka dari merilis chatbot yang berbahaya dan manipulatif, dan sekarang mereka harus menghadapi konsekuensinya," ujarnya, menekankan bahwa platform ini adalah bagian dari model bahasa besar yang dihasilkan oleh AI, bukan konten pihak ketiga.

Garcia juga menuntut Google, menuduh bahwa perusahaan tersebut berperan dalam pengembangan produk Character.AI yang "berbahaya."

Pendiri Character.AI, Noam Shazeer dan Daniel De Freitas, meninggalkan Google pada 2022 untuk memulai perusahaan mereka sendiri, namun Google kemudian mempekerjakan mereka pada Agustus 2024.



Garcia kini ingin para orang tua memahami bahaya chatbot AI seperti ini, dan berharap agar perusahaan yang mengembangkannya bertanggung jawab atas dampak yang diakibatkannya. "Anak-anak ini tidak benar-benar memahami bahwa ini bukan cinta. Ini bukan sesuatu yang bisa mencintai mereka kembali," tegasnya.

Melalui gugatan ini, Garcia berharap apa yang terjadi pada putranya bisa menjadi peringatan bagi orang tua lainnya dan agar perusahaan teknologi lebih berhati-hati dalam mengembangkan produk yangmelibatkanAI.