Microsoft Boncos, Biaya Operasional ChatGPT Sehari Rp10 Miliar

Sedangkan, saat ini OpenAI sudah menjalankan GPT-4 terbaru yang tentu saja memiliki kemampuan komputasi lebih tinggi dan juga lebih mahal.
Benarkah biaya operasional ChatGPT sebesar itu? Sayangnya, OpenAI menolak untuk menjawabnya.

Sebelumnya, biaya pelatihan model bahasa besar seperti ChatGPT memang sangat mahal. Mencapai puluhan juta dolar. Karena itu, tidak sembarang perusahaan bisa melakukannya.

Dan setelah ChatGPT berjalan, ternyata memang masih ada biaya lain yang jauh lebih besar. Yakni biaya inferensi atau biaya operasional. ”Biaya operasional ChatGPT ini ternyata sangat mahal, jauh melebihi biaya untuk melatih ChatGPT yang sebelumnya dikira paling mahal,” ujar Patel dan Afzal Ahmad, analis lain di SemiAnalysis, kepada Forbes.

Perusahaan yang menggunakan layanan pemrograman bahasa milik OpenAI memang sudah mulai menaikkan harga.

CEO startup Latitude Nick Walton mengatakan, layanan game AI dungeon miliknya yang menggunakan cerita memakai platform OpenAI—bersama dengan server milik Amazon Web Services servers — menelan biaya USD200,000 (Rp3 miliar) per bulan. “Itu biaya bagi Ai untuk menjawab jutaan pertanyaan dari pengguna sepanjang 2021,” katanya.

Gara-gara tingginya biaya operasional itu, Nick Walton memutuskan untuk mengganti OpenAI menjadi pemrograman bahasa lainnya AI21 Labs. Dampaknya, biaya operasional bisa dipangkas separuh. Menjadi USD100,000 (Rp1,5 miliar) sebulan.

“Kami bercanda, jika memiliki pegawai manusia dan pegawai AI, biaya yang dikeluarkan sama saja,” kata Walton kepada CNBC. “Kami menghabiskan ratusan ribu dollar sebulan untuk AI, dan kami bukanlah startup besar. Jadi, menurut kami sangat mahal,” katanya.

Chip AI Rahasia Microsoft

Untuk mengurangi biaya dalam menjalankan model AI generatif, Microsoft dilaporkan sedang mengembangkan chip AI yang disebutnya Athena.