Apa itu BigQuery

BigQuery adalah data warehouse yang disediakan oleh Platform Google Cloud (GCP). Ini berfungsi sebagai alat yang kuat untuk melakukan analisis data lanjutan, memungkinkan pengguna untuk dengan cepat mengambil informasi dari volume data yang sangat besar. Terutama, BigQuery memiliki kemampuan luar biasa untuk melakukan agregasi dengan pencocokan ekspresi reguler pada dataset yang melebihi 12 miliar baris dalam hitungan detik.

Kinerja tinggi dan fleksibilitas BigQuery membuatnya dapat diterapkan dalam berbagai skenario bisnis.

• Analisis Log
  Ini secara efisien memproses jumlah data log yang besar, memungkinkan analisis rinci terhadap perilaku pengguna dan operasi sistem. Kemampuan ini memfasilitasi tugas seperti optimisasi situs web dan analisis penyebab akar masalah, meningkatkan berbagai aktivitas dengan efektif.

• Efisiensi Operasional
  Dengan menggabungkan dan menganalisis data terkait proses bisnis, perusahaan dapat mengidentifikasi bottleneck dan area perbaikan, sehingga mendorong upaya menuju efisiensi operasional.

• Analisis Real-time
  Dengan dukungan untuk penambahan data streaming, BigQuery memfasilitasi analisis cepat aliran data real-time. Kemampuan ini memberdayakan pengambilan keputusan real-time dan tindakan bisnis yang cepat.

Arsitektur BigQuery

BigQuery explained: An overview of BigQuery's architecture

• Distributed Storage
  Sistem penyimpanan dasar BigQuery menggunakan arsitektur terdistribusi. Ini mendistribusikan data di sejumlah server, memastikan toleransi kesalahan yang tinggi dan skalabilitas. Pengguna dapat menikmati kinerja kecepatan tinggi yang konsisten terlepas dari volume data.

• Distributed Memory Shuffle
  Teknologi ini dengan cepat membagi ulang dan menggabungkan data dalam memori. Ini secara efisien memproses kueri kompleks bahkan pada dataset besar.

• High-Available Cluster Compute
  Klaster komputasi BigQuery sangat tersedia, pulih dengan cepat dari kegagalan dan menjaga kelangsungan pemrosesan. Ini menjamin pelaksanaan yang stabil dari analisis bisnis kritis tanpa gangguan.

• Petabit Network
  Jaringan berkecepatan tinggi menjadi tulang punggung BigQuery. Dengan memanfaatkan jaringan kelas petabit ini, memungkinkan perpindahan dan pemrosesan data yang cepat.

Fitur Utama BigQuery

• Skalabilitas Analisis
  BigQuery mendukung analisis pada berbagai skala, mulai dari dataset kecil hingga data massif berukuran petabyte. Rahasianya terletak pada arsitektur terdistribusinya yang mendasari, memberikan kinerja kecepatan tinggi yang konsisten terlepas dari fluktuasi volume data.

• Ketersediaan Tinggi Penyimpanan
  Untuk meminimalkan risiko kehilangan atau kerusakan data, BigQuery menyimpan data secara redundan di beberapa lokasi. Ini memastikan kelangsungan akses data bahkan dalam kasus kegagalan perangkat keras atau server, menghindari gangguan bisnis.

• Serverless
  BigQuery mengadopsi arsitektur tanpa server, membebaskan pengguna dari pengelolaan infrastruktur dan masalah skalabilitas. Pengguna dapat fokus pada kueri dan penyimpanan data sementara Google mengelola backend.

• SQL Standar yang Sesuai dengan ANSI
  Pengguna dapat mengkueri data menggunakan SQL standar, membuat migrasi dari database dan alat lain menjadi mudah. Analis data dan insinyur dapat memanfaatkan pengetahuan yang sudah ada dengan efektif.

• Analisis Data Real-time dan Penambahan Streaming
  Aliran data real-time dapat dianalisis dengan cepat. Data streaming dapat dimasukkan langsung ke dalam BigQuery, memungkinkan kueri data secara langsung.

• Integrasi dengan Pembelajaran Mesin
  BigQuery ML memungkinkan pembuatan dan evaluasi model pembelajaran mesin menggunakan kueri SQL. Ilmuwan data dan insinyur dapat melakukan prediksi dan analisis berbasis data tanpa proses yang rumit.

• Integrasi dengan Alat BI dan Spreadsheet
  BigQuery terintegrasi secara mulus dengan alat BI seperti Looker dan aplikasi spreadsheet, memfasilitasi visualisasi data, pelaporan, dan analisis data yang efisien.

Harga BigQuery

BigQuery beroperasi sebagai data warehouse tanpa server, menagih berdasarkan penggunaan yang sebenarnya, yang merupakan fitur signifikan. Model ini memungkinkan melakukan analisis data berdasarkan konsumsi aktual tanpa investasi awal atau biaya tetap.

Biaya BigQuery terutama terdiri dari biaya kueri dan biaya penyimpanan, dengan biaya tambahan untuk fitur atau layanan khusus seperti penambahan streaming dan penggunaan BigQuery Storage API.

Biaya Kueri

Biaya kueri memiliki dua model: On-Demand dan Flat Rate.

• On-Demand
  Dalam model ini, biaya didasarkan pada jumlah data yang dipindai oleh kueri. Penggunaan dihargai sebesar $5 per TB, dengan 1 TB pertama per bulan gratis.
• Flat Rate
  Model ini melibatkan pembelian CPU virtual yang disebut slot untuk penggunaan. Ini memberikan kapasitas pemrosesan yang didedikasikan dengan biaya tetap.

Biaya Penyimpanan

Ada dua jenis biaya penyimpanan yang terkait dengan retensi data.

• Penyimpanan Aktif
  Biaya dikenakan pada tabel atau partisi tabel yang telah dimodifikasi dalam 90 hari terakhir. Biaya ini adalah $0,020 per GB.
• Penyimpanan Jangka Panjang
  Biaya ini dikenakan pada tabel atau partisi yang tidak dimodifikasi selama 90 hari berturut-turut atau lebih. Ini menawarkan diskon 50% dibandingkan dengan biaya penyimpanan reguler. Tidak ada perbedaan dalam kinerja, daya tahan, atau ketersediaan antara penyimpanan aktif dan penyimpanan jangka panjang.

Penggunaan penyimpanan pertama 10 GB per bulan adalah gratis.

Referensi

https://cloud.google.com/bigquery/docs/introduction
https://cloud.google.com/blog/products/data-analytics/new-blog-series-bigquery-explained-overview
https://cloud.google.com/bigquery/pricing