Traffine I/O

Bahasa Indonesia

2022-06-10

Migrasi ke Meltano Versi 2.0

Pendahuluan

Dalam artikel ini, saya akan memperkenalkan poin-poin penting untuk melakukan migrasi dari Meltano Versi 1.0 ke Versi 2.0.

Migrasi ke Adapter-Specific dbt Transformer

Jika Anda menggunakan Transformer dbt, disarankan untuk menginstal dependensi yang khusus untuk adapter, seperti dbt-snowflake.

$ meltano add transformer dbt-snowflake

Memperbarui dbt_project.yml

Ketika menginstal Transformer baru, dua file penting akan dibuat di direktori transform/:

  • transform/profiles/<nama adapter>/profiles.yml
  • transform/dbt_project (<nama adapter>).yml

Dengan menggabungkan dbt_project.yml dan dbt_project (<nama adapter>).yml menjadi satu file yang dinamai dbt_project.yml, migrasi dari plugin dbt lama akan selesai.

Menghapus Plugin dbt Transformer dan Berkas Terkait

Anda dapat menghapus plugin dbt Transformer lama dengan menggunakan perintah-perintah berikut:

# remove the transformer `dbt`
$ meltano remove transformer dbt

# remove the file bundle `dbt`
$ meltano remove files dbt

Dukungan untuk transform dalam Perintah meltano elt

Meltano 2.0 terus mendukung pemrosesan EL dengan perintah meltano elt, tetapi untuk pemrosesan EL+T, gunakan meltano run.

Menggunakan --state-id Alih-alih --job_id

Istilah "Job ID" yang digunakan dalam kode dan dokumentasi Meltano akan digantikan dengan istilah yang lebih akurat yaitu "State ID".

Referensi

https://docs.meltano.com/guide/v2-migration

Ryusei Kakujo

researchgatelinkedingithub

Focusing on data science for mobility

Bench Press 100kg!