Riset Terbaru, ChatGPT Ternyata Sering Buat Kesalahan

WASHINGTON - Penelitian terbaru yang dilakukan oleh Purdue University mengungkap bahwa chatbot bertenaga AI ChatGPT sering melakukan kesalahan. Membuat kode pemrograman menggunakan teknologi tersebut dinilai bukan ide yang bagus.

Para peneliti menguji kemampuan ChatGPT dengan menggunakan sejumlah pertanyaan pemrograman perangkat lunak. Hasilnya, setengah dari hasil yang direkomendasikan ChatGPT salah.

Mereka juga menganalisis gaya linguistik dan sentimen tanggapan, terungkap bahwa ChatGPT belum menunjukkan hasil yang bagus. Produk buatan OpenAI itu hanya menjawab 48% pertanyaan dengan benar, sementara 77% jawabannya sangat berbelit-belit.



“Selama penelitian kami mengamati bahwa kesalahan dalam jawaban ChatGPT terlihat jelas. Pengguna dapat mengidentifikasi kesalahan tersebut,” kata tim peneliti yang dipimpin asisten profesor Tianyi Zhang, dikutip SINDOnews dari laman Techspot, Rabu (9/8/2023).

Banyak jawaban yang salah disebabkan oleh ketidakmampuan ChatGPT untuk memahami konteks yang mendasari pertanyaan yang diajukan. Temuan terbaru ini jelas membuka pikiran banyak orang bahwa tidak semua yang keluar dari ChatGPT merupakan sebuah kebenaran.

“Ketika kesalahan tidak siap diverifikasi atau membutuhkan dokumentasi eksternal, pengguna sering gagal mengidentifikasi ketidaktepatan atau meremehkan tingkat kesalahan dalam jawaban,” lanjut para peneliti.



Bahkan raksasa teknologi Google telah memperingatkan karyawannya tentang bahaya chatbot, termasuk Bard buatannya sendiri, untuk menghindari penggunaan langsung kode yang dihasilkan oleh layanan ini. Ketika ditanya mengapa, perusahaan tersebut mengatakan bahwa Bard dapat membuat saran kode yang tidak diinginkan.