Jangan Cuma Disimpan, Tumpukan Data Bisa Diolah Menjadi Solusi

Arun menjelaskan, arsitektur ini mengintegrasikan pengalaman analitik di seluruh data lifecycle di seluruh public dan private cloud. Pengelolaan dan pengamanan kumpulan data secara efektif, enrichment, analisis, eksperimentasi dan visualisasi analitik, sangat penting untuk mengarungi badai data.

Hasilnya adalah para ‘pahlawan data’ bisa berkolaborasi dengan lebih baik dan lebih cepat dalam menyajikan use case berbasis data (data-driven use cases), seperti maintenance dan pemahaman komprehensif mengenai pelanggan yang bersifat prediktif. Hal ini yang dibutuhkan oleh bisnis untuk bersaing dan melayani customer dengan lebih baik lagi.

“Customer kami memahami pentingnya data lifecycle untuk pengambilan keputusan berdasarkan data di seluruh lini bisnis mereka, yang secara tradisional akan mengintegrasikan kluster data untuk NiFi, Kafka, Spark, Impala, Hive, HBase, dan sebagainya,” kata Arun.

Dikatakannya, hal-hal seperti ini masih dilakukan oleh para pakar data –baik arsitek dan developer- yang dapat menggunakan layanan klaster data lifecycle Cloudera, yakni CDP Data Hub.

"Kini dengan pengalaman analitik pada CDP, pakar data seperti teknisi, analis, dan data scientist akan mendapatkan apa yang mereka butuhkan untuk bekerja lebih baik, tanpa harus memahami atau mengelola kluster, dengan keamanan dan tata kelola terintegrasi di seluruh data lifecycle untuk memudahkan TI. Ini adalah data cloud kelas enterprise yang cocok bagi semua kalangan," tandasnya.

CDP Data Engineering
CDP Data Engineering merupakan layanan Apache Spark yang paling powerful di Kubernetes. Ini mencakup berbagai kemampuan untuk produktivitas lebih tinggi, yang biasanya tidak akan disediakan oleh layanan data engineering tingkat dasar.

Antara lain, monitoring, troubleshooting, dan performance tuning berbasis Visual GUI untuk menghasilkan debugging dan penyelesaian masalah secara lebih cepat; Native Apache Airflow dan API yang mantap untuk melakukan orkestrasi dan otomatisasi penjadwalan job dan pengiriman berbagai data pipeline yang kompleks ke mana saja;

Lalu isolasi sumber daya dan job management berbasis GUI yang terpusat. Serta integrasi data lifecycle CDP dan keamanan serta tata Kelola SDX.

“Peran data engineering dalam mempersiapkan data science sangat penting untuk operasional," timpal Stewart Bond, Research Director of IDC’s Data Integration and Intelligence Software service.

Dia mengutarakan, ada masalah umum pada model machine learning (ML) yang tidak masuk ke tahap produksi. Sebagian karena tantangan yang terkait dengan otomatisasi pipeline data engineering, ketika organisasi/perusahaan mengalami kesulitan dalam mencari hubungan antara data-data yang diperoleh. Ada nilai tersendiri dalam platform terintegrasi yang dapat menyatukan semuanya.

Mempersiapkan data untuk analisis dan kasus penggunaan dalam produksi di seluruh data lifecycle sangat penting dalam mentransformasi data menjadi nilai bisnis. CDP Data Engineering adalah layanan data engineering yang dibuat khusus untuk mempercepat enterprise data pipelines mulai dari pengumpulan dan enrichment, hingga menghasilkan insight, dalam skala besar.