2022-10-15

Tentang manajemen data

Pendahuluan

Dalam beberapa tahun terakhir, kita semakin sering mendengar tentang DX, yang merupakan singkatan dari Digital Transformation dan mengacu pada aktivitas yang memanfaatkan teknologi digital untuk menciptakan nilai baru dan mendorong pertumbuhan organisasi. Dengan kata lain, inti dari DX adalah pemanfaatan data. Untuk pemanfaatan data, manajemen data sangat penting untuk memastikan bahwa data yang tepat tersedia saat Anda ingin menggunakannya. Manajemen data memfasilitasi pemanfaatan data dan mempromosikan pengambilan keputusan berdasarkan data, sehingga mewujudkan DX.

Tantangan dalam pemanfaatan data

Untuk memanfaatkan data, data yang tepat harus tersedia saat Anda ingin menggunakannya. Namun, banyak organisasi menghadapi tantangan berikut yang mencegah DX berkembang.

Data tersebar di seluruh organisasi.
Departemen dan individu yang berbeda memiliki cara yang berbeda dalam menyimpan data.
Ada tembok besar antara sisi bisnis dan sisi teknik
Kepentingan antar organisasi mencegah pembagian data.
Tidak yakin di mana data itu ada atau bahkan jika data itu ada sejak awal
Tidak bisa mendapatkan data yang mereka inginkan dengan cepat

Untuk mengatasi masalah ini dan menciptakan organisasi di mana data dimanfaatkan, perlu menerapkan manajemen data yang tepat.

DMBOK, kitab suci manajemen data

DMBOK (Data Management Body of Knowledge) adalah referensi yang sangat diperlukan tentang manajemen data.

Data Management is the development, execution, and supervision of plans, policies, programs, and practices that deliver, control, protect, and Data Management is the development, execution, and supervision of plans, policies, programs, and practices that deliver, control, protect, and enhance the value of data and information assets throughout their lifecycles.

Manajemen Data adalah pengembangan, pelaksanaan, dan pengawasan rencana, kebijakan, program, dan praktik yang memberikan, mengendalikan, melindungi, dan Manajemen Data adalah pengembangan, pelaksanaan, dan pengawasan rencana, kebijakan, program, dan praktik yang memberikan, mengendalikan, melindungi, dan meningkatkan nilai aset data dan informasi sepanjang siklus hidupnya.

Cakupan manajemen data

Data mencakup data bisnis dan metadata. Manajemen data menargetkan data-data ini.

Data bisnis

Data bisnis mencakup data terstruktur dan tidak terstruktur.

Data terstruktur
- Data yang memiliki struktur yang memungkinkan untuk ditangani sebagai data tabel
Data tidak terstruktur
- Data tidak terstruktur adalah data yang sulit ditangani sebagai data tabel, seperti file teks, gambar, video, dan data audio

Metadata

Metadata adalah informasi tentang data. Sebagai contoh, berikut ini disebut metadata

Pembuat data
Tanggal dan waktu pembuatan data
Ada atau tidaknya informasi pribadi dalam data
Tipe data
Siapa yang direferensikan oleh data dan untuk berapa lama

Tujuan mengelola metadata

Tujuan mengelola metadata adalah untuk mengurangi biaya penelitian data. Orang yang membuat data sudah terbiasa dengan data dan mungkin dapat memahami data tanpa metadata, tetapi orang yang merujuk ke data tidak tahu tentang apa data itu dan tidak dapat dengan mudah merujuk ke data tanpa metadata. Selain itu, bahkan pencipta data mungkin telah melupakan spesifikasi data setahun kemudian. Pencipta data bahkan mungkin sudah pensiun. Jika metadata tidak dipelihara, Anda mungkin menghabiskan banyak jam kerja untuk meneliti data itu.

Data platform

Data platform adalah sistem untuk menghubungkan, mengintegrasikan, dan memanfaatkan data, dan merupakan layanan manajemen data. Ini biasanya merupakan sistem tiga tingkat yang terdiri dari danau data, data warehouse, dan data mart. Manajemen data ditujukan untuk organisasi yang sepenuhnya memanfaatkan data platform untuk membuat keputusan berdatabase.

Lapisan Data Lake

Lapisan data lake menyimpan data terstruktur, tidak terstruktur, dan semi-terstruktur (JSON, CSV, dll.) Dari sumber data dalam keadaan belum diproses. Bahkan jika ada kesalahan dalam data, data dikumpulkan dalam keadaan aslinya tanpa modifikasi.

Lapisan Data Warehouse

Lapisan data warehouse mengintegrasikan data terstruktur dalam organisasi dalam urutan kronologis. Dengan menganalisis sejumlah besar data yang terakumulasi, wawasan diperoleh untuk mendukung pengambilan keputusan organisasi.

Lapisan Data Mart

Lapisan data mart adalah bagian dari data warehouse dan merupakan database yang diekstraksi dan disimpan dalam hubungan satu-ke-satu dengan kasus penggunaan dari lapisan data warehouse. Membangun lapisan data mart untuk mengelola data untuk setiap use case dalam data platform memberikan manfaat sebagai berikut

Pemantauan penjualan, inventaris, biaya iklan, dll.
Analisis ulasan pelanggan
Mengukur manfaat iklan
Mengukur efektivitas melalui pengujian AB

Ada banyak sekali kasus penggunaan lainnya. Penting juga untuk menyadari bahwa alat terbaik untuk setiap pengguna data platform akan bervariasi; beberapa ingin menggunakan Excel, yang lain ingin menggunakan Jupyter Notebook, dan sebagainya. Berdasarkan pertimbangan-pertimbangan ini, perlu untuk merancang data platform sambil selalu mengingat kebutuhan untuk menghubungkan bisnis dan data.

Trade-off antara pemanfaatan data dan keamanan

Pemanfaatan data dan keamanan adalah trade-off. Misalnya, database yang dapat dilihat oleh siapa saja dalam organisasi adalah lingkungan yang bagus dari perspektif pemanfaatan data, tetapi ada risiko keamanan yang signifikan. Peraturan mengenai perlindungan informasi pribadi, seperti GDPR, semakin kuat setiap tahun, dan jika informasi pribadi bocor, itu akan menjadi masalah besar. Di sisi lain, jika keamanan ditegakkan secara kaku, pemanfaatan data tidak akan berkembang. Penting untuk mempromosikan pemanfaatan data sambil menilai trade-off keamanan dengan tepat.