Huawei Luncurkan Model Penyimpanan AI Baru di Ajang Gitex Global 2023
Minggu, 22 Oktober 2023 - 17:54 WIB
Huawei meluncurkan model penyimpanan Artificial Intelligence (AI) baru, OceanStor A310, pada ajang Gitex Global 2023 di Dubai. Foto/Gulf-Times
DUBAI - Huawei meluncurkan model penyimpanan Artificial Intelligence (AI) baru, OceanStor A310, pada ajang Gitex Global 2023 di Dubai. OceanStor A310 dirancang untuk era model AI besar untuk memberikan kemampuan penyimpanan optimal.
Penyimpanan data OceanStor A310 melayani berbagai industri dan skenario dalam aplikasi model AI besar. Di antaranya untuk pelatihan model dasar, pelatihan model industri, dan inferensi dalam model skenario tersegmentasi.
“Dengan OceanStor A310, kami menghadirkan solusi penyimpanan AI yang mutakhir kepada pelanggan dan mitra kami untuk mengeluarkan kemampuan AI baru dan menciptakan nilai bagi berbagai industri,” kata Peter Zhou, President, Data Storage Product Line, Huawei dikutip SINDOnews dari laman Gulf-Times, Minggu (22/10/2023).
Dia mencatat bahwa mengenai skenario model besar dasar atau industri, OceanStor A310 adalah solusi penyimpanan mendalam yang menawarkan skalabilitas horizontal tanpa batas dan kinerja tinggi untuk beban kerja campuran. Hal ini memungkinkan manajemen penyimpanan data besar-besaran secara menyeluruh untuk proses AI, termasuk pengumpulan data, pra-pemrosesan, pelatihan, dan inferensi.
Dia memiliki kemampuan analisis data yang konsisten dengan HPC dan data besar, memungkinkan pemrosesan data dari sumber serupa. Dia menunjukkan bahwa perusahaan sering kali menghadapi empat tantangan signifikan dalam pengembangan dan implementasi aplikasi model besar.
Pertama, penyiapan data membutuhkan waktu yang lama, apalagi dengan sumber data yang tersebar dan akumulasi data yang lambat. Situasi saat ini di bidang ini tidak sesuai dengan ekspektasi terbaik para pengembang, karena pemrosesan awal sekitar seratus terabyte data memerlukan waktu sekitar sepuluh hari.
Kedua, untuk model multi-modal besar yang menggunakan teks dan gambar besar sebagai set pelatihan, kecepatan pemuatan saat ini untuk sejumlah besar file kecil kurang dari 100MB/dtk, sehingga menghasilkan efisiensi yang rendah dalam memuat set pelatihan.
Ketiga, seringnya penyesuaian parameter model besar dan ketidakstabilan dalam platform pelatihan menyebabkan gangguan pelatihan rata-rata setiap dua hari. Mekanisme Checkpoint diperlukan untuk memulihkan pelatihan, dan proses pemulihan kesalahan memakan waktu lebih dari satu hari.
Terakhir, ambang batas tinggi untuk implementasi model besar, konstruksi sistem yang kompleks, penjadwalan sumber daya yang sulit, dan pemanfaatan sumber daya GPU biasanya di bawah 40%. “Penyimpanan data lake pembelajaran mendalam pada Huawei OceanStor A310 melayani berbagai industri dan skenario dalam aplikasi model besar,” tegas Zhou.
Penyimpanan data OceanStor A310 melayani berbagai industri dan skenario dalam aplikasi model AI besar. Di antaranya untuk pelatihan model dasar, pelatihan model industri, dan inferensi dalam model skenario tersegmentasi.
“Dengan OceanStor A310, kami menghadirkan solusi penyimpanan AI yang mutakhir kepada pelanggan dan mitra kami untuk mengeluarkan kemampuan AI baru dan menciptakan nilai bagi berbagai industri,” kata Peter Zhou, President, Data Storage Product Line, Huawei dikutip SINDOnews dari laman Gulf-Times, Minggu (22/10/2023).
Dia mencatat bahwa mengenai skenario model besar dasar atau industri, OceanStor A310 adalah solusi penyimpanan mendalam yang menawarkan skalabilitas horizontal tanpa batas dan kinerja tinggi untuk beban kerja campuran. Hal ini memungkinkan manajemen penyimpanan data besar-besaran secara menyeluruh untuk proses AI, termasuk pengumpulan data, pra-pemrosesan, pelatihan, dan inferensi.
Dia memiliki kemampuan analisis data yang konsisten dengan HPC dan data besar, memungkinkan pemrosesan data dari sumber serupa. Dia menunjukkan bahwa perusahaan sering kali menghadapi empat tantangan signifikan dalam pengembangan dan implementasi aplikasi model besar.
Pertama, penyiapan data membutuhkan waktu yang lama, apalagi dengan sumber data yang tersebar dan akumulasi data yang lambat. Situasi saat ini di bidang ini tidak sesuai dengan ekspektasi terbaik para pengembang, karena pemrosesan awal sekitar seratus terabyte data memerlukan waktu sekitar sepuluh hari.
Kedua, untuk model multi-modal besar yang menggunakan teks dan gambar besar sebagai set pelatihan, kecepatan pemuatan saat ini untuk sejumlah besar file kecil kurang dari 100MB/dtk, sehingga menghasilkan efisiensi yang rendah dalam memuat set pelatihan.
Ketiga, seringnya penyesuaian parameter model besar dan ketidakstabilan dalam platform pelatihan menyebabkan gangguan pelatihan rata-rata setiap dua hari. Mekanisme Checkpoint diperlukan untuk memulihkan pelatihan, dan proses pemulihan kesalahan memakan waktu lebih dari satu hari.
Terakhir, ambang batas tinggi untuk implementasi model besar, konstruksi sistem yang kompleks, penjadwalan sumber daya yang sulit, dan pemanfaatan sumber daya GPU biasanya di bawah 40%. “Penyimpanan data lake pembelajaran mendalam pada Huawei OceanStor A310 melayani berbagai industri dan skenario dalam aplikasi model besar,” tegas Zhou.
(wib)
Lihat Juga :
tulis komentar anda