Huawei Luncurkan Model Penyimpanan AI Baru di Ajang Gitex Global 2023

Pertama, penyiapan data membutuhkan waktu yang lama, apalagi dengan sumber data yang tersebar dan akumulasi data yang lambat. Situasi saat ini di bidang ini tidak sesuai dengan ekspektasi terbaik para pengembang, karena pemrosesan awal sekitar seratus terabyte data memerlukan waktu sekitar sepuluh hari.

Kedua, untuk model multi-modal besar yang menggunakan teks dan gambar besar sebagai set pelatihan, kecepatan pemuatan saat ini untuk sejumlah besar file kecil kurang dari 100MB/dtk, sehingga menghasilkan efisiensi yang rendah dalam memuat set pelatihan.

Baca juga; Huawei Mempercepat Transformasi Digital di Sektor Pemerintah RI

Ketiga, seringnya penyesuaian parameter model besar dan ketidakstabilan dalam platform pelatihan menyebabkan gangguan pelatihan rata-rata setiap dua hari. Mekanisme Checkpoint diperlukan untuk memulihkan pelatihan, dan proses pemulihan kesalahan memakan waktu lebih dari satu hari.

Terakhir, ambang batas tinggi untuk implementasi model besar, konstruksi sistem yang kompleks, penjadwalan sumber daya yang sulit, dan pemanfaatan sumber daya GPU biasanya di bawah 40%. “Penyimpanan data lake pembelajaran mendalam pada Huawei OceanStor A310 melayani berbagai industri dan skenario dalam aplikasi model besar,” tegas Zhou.