Microsoft Boncos, Biaya Operasional ChatGPT Sehari Rp10 Miliar

AMERIKA - Biaya operasional harian ChatGPT ternyata tinggi sekali: mencapai USD700.000 (Rp10 miliar) sehari. Ternyata, ini bikin Microsoft ngos-ngosan dan boncos. Saat ini, mereka berupaya untuk mencari cara agar biaya operasional ChatGPT bisa lebih murah.

Analis The Information mengatakan, ChatGPT menuntut OpenAI untuk menghabiskan biaya pengoperasian hingga USD700.000 karena “server yang mahal”. Server yang digunakan itu milik Microsoft.

Mengapa mahal, karena ChatGPT membutuhkan daya komputasi yang sangat besar untuk menjawab berbagai pertanyaan dari penggunanya.

Karena itu, Microsoft diam-diam sedangn merancang chip AI (kecerdasaan buatan) khusus untuk bisa mengurangi biaya operasional harian ChatGPT tersebut.

”Banyak yang tidak tahu, menggunakan ChatGPT untuk menulis surat pengantar, membuat rencana pelajaran atau apapun membuat OpenAI harus manghabiskan biaya USD700.000 per hari karena infrastruktur teknologi mahal yang dijalankan AI,” beber Dylan Patel, kepala analis di perusahaan riset semikonduktor SemiAnalysis, kepada The Information.

Menurut Dylan, itu karena ChatGPT butuh daya komputasi yang sangat besar untuk menghitung respons berdasarkan permintaan pengguna. “Sebagian besar biaya ini didasarkan pada server mahal yang mereka butuhkan," kata Patel.

Bahkan, Patel menyebut bahwa sekarang ini biaya operasional ChatGPT bahkan lebih mahal lagi dibanding sebelumnya. Karena, Rp10 miliar per hari itu didasarkan dari platform GPT-3 milik OpenAI.

Sedangkan, saat ini OpenAI sudah menjalankan GPT-4 terbaru yang tentu saja memiliki kemampuan komputasi lebih tinggi dan juga lebih mahal.
Benarkah biaya operasional ChatGPT sebesar itu? Sayangnya, OpenAI menolak untuk menjawabnya.

Sebelumnya, biaya pelatihan model bahasa besar seperti ChatGPT memang sangat mahal. Mencapai puluhan juta dolar. Karena itu, tidak sembarang perusahaan bisa melakukannya.

Dan setelah ChatGPT berjalan, ternyata memang masih ada biaya lain yang jauh lebih besar. Yakni biaya inferensi atau biaya operasional. ”Biaya operasional ChatGPT ini ternyata sangat mahal, jauh melebihi biaya untuk melatih ChatGPT yang sebelumnya dikira paling mahal,” ujar Patel dan Afzal Ahmad, analis lain di SemiAnalysis, kepada Forbes.

Perusahaan yang menggunakan layanan pemrograman bahasa milik OpenAI memang sudah mulai menaikkan harga.

CEO startup Latitude Nick Walton mengatakan, layanan game AI dungeon miliknya yang menggunakan cerita memakai platform OpenAI—bersama dengan server milik Amazon Web Services servers — menelan biaya USD200,000 (Rp3 miliar) per bulan. “Itu biaya bagi Ai untuk menjawab jutaan pertanyaan dari pengguna sepanjang 2021,” katanya.

Gara-gara tingginya biaya operasional itu, Nick Walton memutuskan untuk mengganti OpenAI menjadi pemrograman bahasa lainnya AI21 Labs. Dampaknya, biaya operasional bisa dipangkas separuh. Menjadi USD100,000 (Rp1,5 miliar) sebulan.

“Kami bercanda, jika memiliki pegawai manusia dan pegawai AI, biaya yang dikeluarkan sama saja,” kata Walton kepada CNBC. “Kami menghabiskan ratusan ribu dollar sebulan untuk AI, dan kami bukanlah startup besar. Jadi, menurut kami sangat mahal,” katanya.

Chip AI Rahasia Microsoft

Untuk mengurangi biaya dalam menjalankan model AI generatif, Microsoft dilaporkan sedang mengembangkan chip AI yang disebutnya Athena.

Proyek itu sudah dimulai sejak 2019, tak lama setelah Microsoft membuat kesepakatan senilai USD1 miliar dengan OpenAI yang mengharuskan OpenAI menjalankan modelnya secara eksklusif di server cloud Azure Microsoft.

Agaknya, mereka sudah memprediksi bahwa biaya operasional AI nantinya akan sangat mahal karena memakan power yang sangat besar. Maka, mereka harus merancang chip AI yang lebih hemat.



Ide di balik chip itu ada dua. Eksekutif Microsoft menyadari bahwa mereka tertinggal dari Google dan Amazon dalam upaya untuk membangun chip internal sendiri. Pada saat yang sama, Microsoft dilaporkan sedang mencari alternatif yang lebih murah.

Hampir empat tahun kemudian, lebih dari 300 karyawan Microsoft dilaporkan sedang mengerjakan chip tersebut. Chip AI kemungkinan akan dirilis untuk penggunaan internal oleh Microsoft dan OpenAI pada awaltahundepan.