Google dan Universitas Osaka Kembangkan AI untuk Ciptakan Lagu dengan Sinyal Otak

MENLO PARK - Studi kolaboratif Google dan Universitas Osaka mengembangkan teknologi Artificial Intelligence (AI) untuk menciptakan lagu yang sesuai dengan sinyal otak. Kecerdasan buatan ini dapat menghasilkan musik yang terdengar mirip dengan lagu sesuai sinyal otak orang yang dipindai.

Dengan memindai aktivitas otak seseorang, teknologi AI dapat menghasilkan lagu yang sesuai dengan genre, ritme, suasana hati, dan instrumentasi musik yang baru saja didengar individu tersebut. Sekarang, para peneliti telah membangun saluran berbasis AI, yang disebut Brain2Music.

Teknologi ini memanfaatkan data pencitraan otak untuk menghasilkan musik yang menyerupai potongan pendek lagu yang didengarkan seseorang saat otak mereka dipindai. Mereka menggambarkan alur tersebut dalam sebuah makalah, yang diterbitkan 20 Juli ke database pracetak arXiv.



Para ilmuwan menggunakan pemindaian otak yang sebelumnya dikumpulkan melalui teknik yang disebut pencitraan resonansi magnetik fungsional (fMRI). Pemindai ini melacak aliran darah kaya oksigen ke otak untuk melihat bagian mana yang paling aktif.

Pemindaian dikumpulkan dari lima peserta saat mereka mendengarkan klip musik berdurasi 15 detik yang mencakup berbagai genre, termasuk blues, klasik, country, disko, hip-hop, jazz, dan pop. Dengan menggunakan sebagian dari data pencitraan otak dan klip lagu, para peneliti pertama-tama melatih program AI untuk menemukan hubungan antara fitur musik, termasuk instrumen yang digunakan dan genre, ritme dan suasana hatinya, serta sinyal otak partisipan.

Suasana musik ditentukan oleh peneliti menggunakan label seperti senang, sedih, lembut, menarik, marah atau menakutkan. AI disesuaikan untuk setiap orang, menarik hubungan antara pola aktivitas otak mereka yang unik dan berbagai elemen musik.

Setelah dilatih pada pemilihan data, AI dapat mengubah data pencitraan otak, yang sebelumnya tidak terlihat, menjadi bentuk yang mewakili elemen musik dari klip lagu asli. Para peneliti kemudian memasukkan informasi ini ke dalam model AI lain yang sebelumnya dikembangkan oleh Google, yang disebut MusicLM.



MusicLM awalnya dikembangkan untuk menghasilkan musik dari deskripsi teks, seperti melodi biola yang menenangkan didukung oleh riff gitar yang terdistorsi. MusicLM menggunakan informasi tersebut untuk menghasilkan klip musik yang dapat didengarkan secara online dan cukup akurat menyerupai cuplikan lagu aslinya, meskipun AI menangkap beberapa fitur dari lagu asli jauh lebih baik daripada yang lain.