Google dan Universitas Osaka Kembangkan AI untuk Ciptakan Lagu dengan Sinyal Otak
Jum'at, 04 Agustus 2023 - 14:48 WIB
Studi kolaboratif Google dan Universitas Osaka mengembangkan teknologi Artificial Intelligence (AI) untuk menciptakan lagu yang sesuai dengan sinyal otak. Foto/Pixabay/ScienceTimes
MENLO PARK - Studi kolaboratif Google dan Universitas Osaka mengembangkan teknologi Artificial Intelligence (AI) untuk menciptakan lagu yang sesuai dengan sinyal otak. Kecerdasan buatan ini dapat menghasilkan musik yang terdengar mirip dengan lagu sesuai sinyal otak orang yang dipindai.
Dengan memindai aktivitas otak seseorang, teknologi AI dapat menghasilkan lagu yang sesuai dengan genre, ritme, suasana hati, dan instrumentasi musik yang baru saja didengar individu tersebut. Sekarang, para peneliti telah membangun saluran berbasis AI, yang disebut Brain2Music.
Teknologi ini memanfaatkan data pencitraan otak untuk menghasilkan musik yang menyerupai potongan pendek lagu yang didengarkan seseorang saat otak mereka dipindai. Mereka menggambarkan alur tersebut dalam sebuah makalah, yang diterbitkan 20 Juli ke database pracetak arXiv.
Para ilmuwan menggunakan pemindaian otak yang sebelumnya dikumpulkan melalui teknik yang disebut pencitraan resonansi magnetik fungsional (fMRI). Pemindai ini melacak aliran darah kaya oksigen ke otak untuk melihat bagian mana yang paling aktif.
Pemindaian dikumpulkan dari lima peserta saat mereka mendengarkan klip musik berdurasi 15 detik yang mencakup berbagai genre, termasuk blues, klasik, country, disko, hip-hop, jazz, dan pop. Dengan menggunakan sebagian dari data pencitraan otak dan klip lagu, para peneliti pertama-tama melatih program AI untuk menemukan hubungan antara fitur musik, termasuk instrumen yang digunakan dan genre, ritme dan suasana hatinya, serta sinyal otak partisipan.
Suasana musik ditentukan oleh peneliti menggunakan label seperti senang, sedih, lembut, menarik, marah atau menakutkan. AI disesuaikan untuk setiap orang, menarik hubungan antara pola aktivitas otak mereka yang unik dan berbagai elemen musik.
Setelah dilatih pada pemilihan data, AI dapat mengubah data pencitraan otak, yang sebelumnya tidak terlihat, menjadi bentuk yang mewakili elemen musik dari klip lagu asli. Para peneliti kemudian memasukkan informasi ini ke dalam model AI lain yang sebelumnya dikembangkan oleh Google, yang disebut MusicLM.
Dengan memindai aktivitas otak seseorang, teknologi AI dapat menghasilkan lagu yang sesuai dengan genre, ritme, suasana hati, dan instrumentasi musik yang baru saja didengar individu tersebut. Sekarang, para peneliti telah membangun saluran berbasis AI, yang disebut Brain2Music.
Teknologi ini memanfaatkan data pencitraan otak untuk menghasilkan musik yang menyerupai potongan pendek lagu yang didengarkan seseorang saat otak mereka dipindai. Mereka menggambarkan alur tersebut dalam sebuah makalah, yang diterbitkan 20 Juli ke database pracetak arXiv.
Para ilmuwan menggunakan pemindaian otak yang sebelumnya dikumpulkan melalui teknik yang disebut pencitraan resonansi magnetik fungsional (fMRI). Pemindai ini melacak aliran darah kaya oksigen ke otak untuk melihat bagian mana yang paling aktif.
Pemindaian dikumpulkan dari lima peserta saat mereka mendengarkan klip musik berdurasi 15 detik yang mencakup berbagai genre, termasuk blues, klasik, country, disko, hip-hop, jazz, dan pop. Dengan menggunakan sebagian dari data pencitraan otak dan klip lagu, para peneliti pertama-tama melatih program AI untuk menemukan hubungan antara fitur musik, termasuk instrumen yang digunakan dan genre, ritme dan suasana hatinya, serta sinyal otak partisipan.
Suasana musik ditentukan oleh peneliti menggunakan label seperti senang, sedih, lembut, menarik, marah atau menakutkan. AI disesuaikan untuk setiap orang, menarik hubungan antara pola aktivitas otak mereka yang unik dan berbagai elemen musik.
Setelah dilatih pada pemilihan data, AI dapat mengubah data pencitraan otak, yang sebelumnya tidak terlihat, menjadi bentuk yang mewakili elemen musik dari klip lagu asli. Para peneliti kemudian memasukkan informasi ini ke dalam model AI lain yang sebelumnya dikembangkan oleh Google, yang disebut MusicLM.
tulis komentar anda