Pendahuluan
Dalam artikel ini, saya akan memperkenalkan poin-poin penting untuk melakukan migrasi dari Meltano Versi 1.0 ke Versi 2.0.
Migrasi ke Adapter-Specific dbt Transformer
Jika Anda menggunakan Transformer dbt
, disarankan untuk menginstal dependensi yang khusus untuk adapter, seperti dbt-snowflake
.
$ meltano add transformer dbt-snowflake
Memperbarui dbt_project.yml
Ketika menginstal Transformer baru, dua file penting akan dibuat di direktori transform/
:
transform/profiles/<nama adapter>/profiles.yml
transform/dbt_project (<nama adapter>).yml
Dengan menggabungkan dbt_project.yml
dan dbt_project (<nama adapter>).yml
menjadi satu file yang dinamai dbt_project.yml
, migrasi dari plugin dbt lama akan selesai.
Menghapus Plugin dbt Transformer dan Berkas Terkait
Anda dapat menghapus plugin dbt
Transformer lama dengan menggunakan perintah-perintah berikut:
# remove the transformer `dbt`
$ meltano remove transformer dbt
# remove the file bundle `dbt`
$ meltano remove files dbt
Dukungan untuk transform dalam Perintah meltano elt
Meltano 2.0 terus mendukung pemrosesan EL dengan perintah meltano elt
, tetapi untuk pemrosesan EL+T, gunakan meltano run
.
Menggunakan --state-id Alih-alih --job_id
Istilah "Job ID" yang digunakan dalam kode dan dokumentasi Meltano akan digantikan dengan istilah yang lebih akurat yaitu "State ID".
Referensi