Microsoft Boncos, Biaya Operasional ChatGPT Sehari Rp10 Miliar

AMERIKA - Biaya operasional harian ChatGPT ternyata tinggi sekali: mencapai USD700.000 (Rp10 miliar) sehari. Ternyata, ini bikin Microsoft ngos-ngosan dan boncos. Saat ini, mereka berupaya untuk mencari cara agar biaya operasional ChatGPT bisa lebih murah.

Analis The Information mengatakan, ChatGPT menuntut OpenAI untuk menghabiskan biaya pengoperasian hingga USD700.000 karena “server yang mahal”. Server yang digunakan itu milik Microsoft.

Mengapa mahal, karena ChatGPT membutuhkan daya komputasi yang sangat besar untuk menjawab berbagai pertanyaan dari penggunanya.

Karena itu, Microsoft diam-diam sedangn merancang chip AI (kecerdasaan buatan) khusus untuk bisa mengurangi biaya operasional harian ChatGPT tersebut.

”Banyak yang tidak tahu, menggunakan ChatGPT untuk menulis surat pengantar, membuat rencana pelajaran atau apapun membuat OpenAI harus manghabiskan biaya USD700.000 per hari karena infrastruktur teknologi mahal yang dijalankan AI,” beber Dylan Patel, kepala analis di perusahaan riset semikonduktor SemiAnalysis, kepada The Information.

Menurut Dylan, itu karena ChatGPT butuh daya komputasi yang sangat besar untuk menghitung respons berdasarkan permintaan pengguna. “Sebagian besar biaya ini didasarkan pada server mahal yang mereka butuhkan," kata Patel.

Bahkan, Patel menyebut bahwa sekarang ini biaya operasional ChatGPT bahkan lebih mahal lagi dibanding sebelumnya. Karena, Rp10 miliar per hari itu didasarkan dari platform GPT-3 milik OpenAI.

Sedangkan, saat ini OpenAI sudah menjalankan GPT-4 terbaru yang tentu saja memiliki kemampuan komputasi lebih tinggi dan juga lebih mahal.
Benarkah biaya operasional ChatGPT sebesar itu? Sayangnya, OpenAI menolak untuk menjawabnya.

Sebelumnya, biaya pelatihan model bahasa besar seperti ChatGPT memang sangat mahal. Mencapai puluhan juta dolar. Karena itu, tidak sembarang perusahaan bisa melakukannya.

Dan setelah ChatGPT berjalan, ternyata memang masih ada biaya lain yang jauh lebih besar. Yakni biaya inferensi atau biaya operasional. ”Biaya operasional ChatGPT ini ternyata sangat mahal, jauh melebihi biaya untuk melatih ChatGPT yang sebelumnya dikira paling mahal,” ujar Patel dan Afzal Ahmad, analis lain di SemiAnalysis, kepada Forbes.