Character.AI Dituding Dorong Pengguna Lakukan Kejahatan

LONDON - Di era chatbot, Character.AI, platform chatbot yang didukung oleh Google, sedang ditinjau dan menghadapi kritik karena melibatkan pengguna dalam konten kekerasan yang mengganggu dan vulgar, termasuk penembakan di sekolah.

BACA JUGA- Cara Menggunakan Character AI untuk Chatbot

Chatbot menempatkan pengguna dalam skenario penembakan palsu yang menggambarkan beberapa momen mengerikan. Insiden semacam itu telah menimbulkan kemarahan karena platform tersebut mengizinkan anak di bawah umur untuk menggunakan konten tersebut.

Character.AI hadir pada tahun 2022, dengan pendiri Noam Shazeer dan Daniel de Freitas. Aplikasi ini memungkinkan pengguna membuat dan berinteraksi dengan chatbot. Pengguna dapat mempersonalisasi kepribadian dan suara bot mereka.

Platform ini dirancang sedemikian rupa sehingga pengguna dapat mendesain karakter untuk obrolan, bertukar pikiran, dan bahkan bermain game.

Namun, platform tersebut telah terungkap karena kurangnya keamanan yang efektif, yang akhirnya menjadikannya tempat berkembangnya sejumlah konten yang berbahaya dan tidak pantas. Pengguna yang berusia 13 tahun pun dapat mendaftar, tetapi tidak ada cara untuk mengautentikasi verifikasi usia guna mencegah anak-anak yang lebih muda berbohong tentang usia mereka.

Platform tersebut gagal menerapkan panduan yang aman meskipun kebijakannya menentang konten kekerasan tersebut.

Aplikasi ini memungkinkan pengguna berinteraksi dengan chatbot yang menjelaskan penembakan di sekolah atau korban di dunia nyata, terkadang memuji tindakan kekerasan atau memanfaatkan insiden tragis yang nyata.

Bot tertentu meniru pelaku kejahatan seperti Noam Shazeer dan Daniel de Freitas yang menggambarkan mereka sebagai karakter yang baik hati.

Beberapa pengguna telah melaporkan bot yang menyamar sebagai korban penembakan di sekolah.

Bot-bot ini digambarkan sebagai “hantu” atau “malaikat”, yang sering kali menyertakan detail pribadi tentang korban dan kematian mereka.

Pakar kesehatan mental memperingatkan untuk berhati-hati tentang interaksi tersebut karena dapat menurunkan hambatan psikologis bagi individu yang berjuang dengan pikiran kekerasan.

Platform ini didakwa dengan banyak tuntutan hukum atas kegagalannya melindungi penggunanya dari konten berbahaya.

Platform ini memiliki aturan yang menyatakan bahwa pengguna harus berusia 13 tahun ke atas (16 tahun ke atas di Uni Eropa), meskipun aturan ini mudah dilanggar. Aplikasi ini juga dinilai untuk panduan orang tua di Google Play dan 17 tahun ke atas di toko aplikasi Apple. Namun, ini menimbulkan kekhawatiran karena tidak ada cara yang ketat untuk mematuhinya, yang memungkinkan anak di bawah umur mengakses beberapa konten yang berbahaya.

Menanggapi kritik, Character.AI telah menghapus beberapa bot yang rumit dan menjanjikan fitur keamanan baru. Perusahaan tersebut juga berjanji untuk bekerja sama dengan para ahli keamanan daring guna menyoroti masalah ini. Pada saat yang sama, banyak bot bermasalah yang masih aktif, dan para kritikus berpendapat bahwa upaya platform tersebut tidak memadai.

Banyak yang menyerukan verifikasi usia yang lebih ketat, peningkatan moderasi konten, dan pedoman etika untuk mencegah eksploitasi tragedi di dunia nyata. Seiring dengan semakin intensifnya investigasi, masa depan Character.AI masih harus dilihat, mencari beberapa perubahan yang berarti dan aman dalam platform tersebut.