Microsoft Boncos, Biaya Operasional ChatGPT Sehari Rp10 Miliar

Perusahaan yang menggunakan layanan pemrograman bahasa milik OpenAI memang sudah mulai menaikkan harga.

CEO startup Latitude Nick Walton mengatakan, layanan game AI dungeon miliknya yang menggunakan cerita memakai platform OpenAI—bersama dengan server milik Amazon Web Services servers — menelan biaya USD200,000 (Rp3 miliar) per bulan. “Itu biaya bagi Ai untuk menjawab jutaan pertanyaan dari pengguna sepanjang 2021,” katanya.

Gara-gara tingginya biaya operasional itu, Nick Walton memutuskan untuk mengganti OpenAI menjadi pemrograman bahasa lainnya AI21 Labs. Dampaknya, biaya operasional bisa dipangkas separuh. Menjadi USD100,000 (Rp1,5 miliar) sebulan.

“Kami bercanda, jika memiliki pegawai manusia dan pegawai AI, biaya yang dikeluarkan sama saja,” kata Walton kepada CNBC. “Kami menghabiskan ratusan ribu dollar sebulan untuk AI, dan kami bukanlah startup besar. Jadi, menurut kami sangat mahal,” katanya.

Chip AI Rahasia Microsoft

Untuk mengurangi biaya dalam menjalankan model AI generatif, Microsoft dilaporkan sedang mengembangkan chip AI yang disebutnya Athena.

Proyek itu sudah dimulai sejak 2019, tak lama setelah Microsoft membuat kesepakatan senilai USD1 miliar dengan OpenAI yang mengharuskan OpenAI menjalankan modelnya secara eksklusif di server cloud Azure Microsoft.

Agaknya, mereka sudah memprediksi bahwa biaya operasional AI nantinya akan sangat mahal karena memakan power yang sangat besar. Maka, mereka harus merancang chip AI yang lebih hemat.



Ide di balik chip itu ada dua. Eksekutif Microsoft menyadari bahwa mereka tertinggal dari Google dan Amazon dalam upaya untuk membangun chip internal sendiri. Pada saat yang sama, Microsoft dilaporkan sedang mencari alternatif yang lebih murah.

Hampir empat tahun kemudian, lebih dari 300 karyawan Microsoft dilaporkan sedang mengerjakan chip tersebut. Chip AI kemungkinan akan dirilis untuk penggunaan internal oleh Microsoft dan OpenAI pada awaltahundepan.