Traffine I/O

日本語

2022-06-10

Meltanoのバージョン2.0移行

はじめに

この記事では、Meltanoのバージョン1.0からバージョン2.0への移行時のポイントを紹介します。

Adapter-Specificなdbt Transformerに移行

dbt Transformerを使用している場合はdbt-snowflakeなどadapter-specificなインストールが推奨されます。

$ meltano add transformer dbt-snowflake

dbt_project.ymlの更新

新しいTransformerをインストールするとtransform/ディレクトリに以下の2つの重要なファイルが生成されます。

  • transform/profiles/<adapter name>/profiles.yml
  • transform/dbt_project (<adapter name>).yml

dbt_project.ymldbt_project (<adapter name>).ymlを統合してdbt_project.ymlという1つのファイルにまとめることにより、レガシーdbtプラグインからの移行が完了します。

dbt Transformerプラグインと関連ファイルの削除

以下のコマンドでレガシーなdbt Transformerプラグインを削除することができます。

# remove the transformer `dbt`
$ meltano remove transformer dbt

# remove the file bundle `dbt`
$ meltano remove files dbt

meltano eltコマンドにおけるtransformのサポート

Meltano 2.0はmeltano eltコマンドによるEL処理のサポートが続けますが、EL+Tの処理についてはmeltano runを使用します。

--job_idの代わりに--state-idを使用

Meltanoのコードやドキュメントにある「Job ID」という表現が、より正確な「State ID」という表現に変更されます。

参考

https://docs.meltano.com/guide/v2-migration

Ryusei Kakujo

researchgatelinkedingithub

Focusing on data science for mobility

Bench Press 100kg!