Google dan Universitas Osaka Kembangkan AI untuk Ciptakan Lagu dengan Sinyal Otak

MENLO PARK - Studi kolaboratif Google dan Universitas Osaka mengembangkan teknologi Artificial Intelligence (AI) untuk menciptakan lagu yang sesuai dengan sinyal otak. Kecerdasan buatan ini dapat menghasilkan musik yang terdengar mirip dengan lagu sesuai sinyal otak orang yang dipindai.

Dengan memindai aktivitas otak seseorang, teknologi AI dapat menghasilkan lagu yang sesuai dengan genre, ritme, suasana hati, dan instrumentasi musik yang baru saja didengar individu tersebut. Sekarang, para peneliti telah membangun saluran berbasis AI, yang disebut Brain2Music.

Teknologi ini memanfaatkan data pencitraan otak untuk menghasilkan musik yang menyerupai potongan pendek lagu yang didengarkan seseorang saat otak mereka dipindai. Mereka menggambarkan alur tersebut dalam sebuah makalah, yang diterbitkan 20 Juli ke database pracetak arXiv.



Para ilmuwan menggunakan pemindaian otak yang sebelumnya dikumpulkan melalui teknik yang disebut pencitraan resonansi magnetik fungsional (fMRI). Pemindai ini melacak aliran darah kaya oksigen ke otak untuk melihat bagian mana yang paling aktif.

Pemindaian dikumpulkan dari lima peserta saat mereka mendengarkan klip musik berdurasi 15 detik yang mencakup berbagai genre, termasuk blues, klasik, country, disko, hip-hop, jazz, dan pop. Dengan menggunakan sebagian dari data pencitraan otak dan klip lagu, para peneliti pertama-tama melatih program AI untuk menemukan hubungan antara fitur musik, termasuk instrumen yang digunakan dan genre, ritme dan suasana hatinya, serta sinyal otak partisipan.

Suasana musik ditentukan oleh peneliti menggunakan label seperti senang, sedih, lembut, menarik, marah atau menakutkan. AI disesuaikan untuk setiap orang, menarik hubungan antara pola aktivitas otak mereka yang unik dan berbagai elemen musik.

Setelah dilatih pada pemilihan data, AI dapat mengubah data pencitraan otak, yang sebelumnya tidak terlihat, menjadi bentuk yang mewakili elemen musik dari klip lagu asli. Para peneliti kemudian memasukkan informasi ini ke dalam model AI lain yang sebelumnya dikembangkan oleh Google, yang disebut MusicLM.



MusicLM awalnya dikembangkan untuk menghasilkan musik dari deskripsi teks, seperti melodi biola yang menenangkan didukung oleh riff gitar yang terdistorsi. MusicLM menggunakan informasi tersebut untuk menghasilkan klip musik yang dapat didengarkan secara online dan cukup akurat menyerupai cuplikan lagu aslinya, meskipun AI menangkap beberapa fitur dari lagu asli jauh lebih baik daripada yang lain.

"Kesepakatan, dalam hal suasana musik yang direkonstruksi dan musik asli, sekitar 60%," kata Timo Denk, seorang insinyur perangkat lunak di Google di Swiss, kepada Live Science yang dikutip SINDOnews, Jumat (4/8/2023).

Genre dan instrumentasi dalam musik yang direkonstruksi dan asli lebih sering cocok secara signifikan daripada yang diharapkan secara kebetulan. Dari semua genre, AI dapat membedakan musik klasik dengan paling akurat.


"Metodenya cukup kuat di lima mata pelajaran yang kami evaluasi. Jika Anda mengambil orang baru dan melatih model untuk mereka, kemungkinan itu juga akan bekerja dengan baik,” kata Denk.



Yu Takagi, asisten profesor ilmu saraf komputasi dan AI di Universitas Osaka di Jepang tujuan dari pekerjaan ini adalah untuk menjelaskan bagaimana otak memproses musik. Seperti yang diharapkan, tim menemukan bahwa mendengarkan musik mengaktifkan daerah otak di korteks pendengaran utama, di mana sinyal dari telinga diinterpretasikan sebagai suara.

Daerah lain di otak, yang disebut korteks prefrontal lateral, tampaknya penting untuk memproses makna lagu, namun hal ini perlu dikonfirmasi dengan penelitian lebih lanjut. Wilayah otak ini juga diketahui terlibat dalam perencanaan dan pemecahan masalah.

Menariknya, studi sebelumnya menemukan bahwa aktivitas berbagai bagian korteks prefrontal berubah secara dramatis saat rapper gaya bebas berimprovisasi. “Studi selanjutnya dapat mengeksplorasi bagaimana otak memproses musik dari genre atau suasana hati yang berbeda,” tambah Takagi.