ChatGPT Terdeteksi Belum Mampu Membuat Makalah Ilmiah Sebaik Manusia

WASHINGTON - Chatbot kecerdasan buatan (Artificial Intelligence/AI) ChatGPT mungkin dalam beberapa bidang dapat meniru pekerja manusia dengan baik. Namun, kemampuan AI belum bisa menghasilkan tulisan sains atau penelitian sebaik manusia.

Dalam studi baru yang diterbitkan di jurnal Cell Reports Physical Science pada 7 Juni 2023, para peneliti membuat program pembelajaran komputer baru untuk mengetahui perbedaan antara makalah ilmiah asli dan contoh palsu yang ditulis oleh ChatGPT. Para ilmuwan melatih program untuk mengidentifikasi perbedaan utama antara 64 studi asli yang diterbitkan dalam jurnal Science dan 128 makalah yang dibuat oleh ChatGPT.

Tim kemudian menguji seberapa baik model mereka dapat membedakan antara subset yang berbeda dari karya tulis asli dan tulisan yang dihasilkan ChatGPT. Hasilnya program komputer Ini mampu membedakan 60 karya tulis asli dari jurnal Science dan 120 karya tulis palsu yang dihasilkan AI.



Program ini menandai makalah yang ditulis AI lebih dari 99% dan dapat dengan benar membedakan antara paragraf yang ditulis manusia dan yang ditulis oleh chatbot 92%. Makalah yang dihasilkan ChatGPT berbeda dari teks manusia dalam empat hal utama, yaitu kerumitan paragraf, panjang keragaman tingkat kalimat, tanda baca, dan kata-kata populer.

Diketahui, manusia menulis paragraf yang lebih panjang dan kompleks, sedangkan makalah AI menggunakan tanda baca yang tidak ditemukan di makalah asli, seperti tanda seru. Program peneliti juga melihat banyak kesalahan faktual yang mencolok di makalah AI.

“Salah satu masalah terbesar adalah (ChatGPT) mengumpulkan teks dari banyak sumber dan tidak ada pemeriksaan akurasi apa pun," kata Heather Desaire, ahli kimia analitik di University of Kansas dikutip SINDOnews dari laman Live Science, Minggu (11/6/2023).

Hasil penelitian ini menyimpulkan bahwa membuat program komputer untuk membedakan antara kertas asli dan yang dihasilkan AI adalah penting. Sebab, penelitian ini telah mengisyaratkan bahwa manusia mungkin tidak begitu baik dalam melihat perbedaan karya tulis asli atau hasil AI.



Model komputer yang dibuat oleh para peneliti dapat mendeteksi studi palsu yang dihasilkan oleh ChatGPT lebih dari 99%. “Membaca tulisan yang dihasilkan ChatGPT bisa seperti memainkan dua kebenaran dan kebohongan," tambah Desaire.


Diketahui sejak diluncurkan pada November 2022, ChatGPT telah menjadi alat yang sangat populer untuk menulis laporan, mengirim email, mengisi dokumen, menerjemahkan bahasa, dan menulis kode komputer. Tetapi chatbot juga dikritik karena plagiarisme dan kurang akurat, sekaligus memicu kekhawatiran dapat membantu menyebarkan "berita palsu" dan menggantikan beberapa pekerja manusia.

Pada Desember 2022, grup riset lain mengunggah studi ke server pracetak bioRxiv, yang mengungkapkan bahwa peninjau jurnal hanya dapat mengidentifikasi abstrak studi yang dihasilkan AI sekitar 68%. Peninjau juga salah mengidentifikasi 14% dari makalah asli sebagai palsu.

Sementara program komputer dapat mengidentifikasi pemalsuan 99%. Para peneliti studi baru mengatakan mereka senang bahwa program mereka efektif dalam mendeteksi naskah palsu tetapi memperingatkan itu baru hanya bukti konsep.

Studi berskala lebih luas diperlukan untuk membuat model yang kuat yang bahkan lebih andal dan dapat dilatih. Terutama untuk disiplin ilmu tertentu demi menjaga integritas metode ilmiah, tulis asli ilmuwan dalam makalah mereka.