はじめに
この記事では、Meltanoのバージョン1.0からバージョン2.0への移行時のポイントを紹介します。
Adapter-Specificなdbt Transformerに移行
dbt
Transformerを使用している場合はdbt-snowflake
などadapter-specificなインストールが推奨されます。
$ meltano add transformer dbt-snowflake
dbt_project.ymlの更新
新しいTransformerをインストールするとtransform/
ディレクトリに次の2つの重要なファイルが生成されます。
transform/profiles/<adapter name>/profiles.yml
transform/dbt_project (<adapter name>).yml
dbt_project.yml
とdbt_project (<adapter name>).yml
を統合してdbt_project.yml
という1つのファイルにまとめることにより、レガシーdbt
プラグインからの移行が完了します。
dbt Transformerプラグインと関連ファイルの削除
次のコマンドでレガシーなdbt
Transformerプラグインを削除することができます。
# remove the transformer `dbt`
$ meltano remove transformer dbt
# remove the file bundle `dbt`
$ meltano remove files dbt
meltano eltコマンドにおけるtransformのサポート
Meltano 2.0はmeltano elt
コマンドによるEL処理のサポートが続けますが、EL+Tの処理についてはmeltano run
を使用します。
--job_idの代わりに--state-idを使用
Meltanoのコードやドキュメントにある「Job ID」という表現が、より正確な「State ID」という表現に変更されます。
参考
AlloyDB
Amazon Cognito
Amazon EC2
Amazon ECS
Amazon QuickSight
Amazon RDS
Amazon Redshift
Amazon S3
API
Autonomous Vehicle
AWS
AWS API Gateway
AWS Chalice
AWS Control Tower
AWS IAM
AWS Lambda
AWS VPC
BERT
BigQuery
Causal Inference
ChatGPT
Chrome Extension
CircleCI
Classification
Cloud Functions
Cloud IAM
Cloud Run
Cloud Storage
Clustering
CSS
Data Engineering
Data Modeling
Database
dbt
Decision Tree
Deep Learning
Descriptive Statistics
Differential Equation
Dimensionality Reduction
Discrete Choice Model
Docker
Economics
FastAPI
Firebase
GIS
git
GitHub
GitHub Actions
Google
Google Cloud
Google Search Console
Hugging Face
Hypothesis Testing
Inferential Statistics
Interval Estimation
JavaScript
Jinja
Kedro
Kubernetes
LightGBM
Linux
LLM
Mac
Machine Learning
Macroeconomics
Marketing
Mathematical Model
Meltano
MLflow
MLOps
MySQL
NextJS
NLP
Nodejs
NoSQL
ONNX
OpenAI
Optimization Problem
Optuna
Pandas
Pinecone
PostGIS
PostgreSQL
Probability Distribution
Product
Project
Psychology
Python
PyTorch
QGIS
R
ReactJS
Regression
Rideshare
SEO
Singer
sklearn
Slack
Snowflake
Software Development
SQL
Statistical Model
Statistics
Streamlit
Tabular
Tailwind CSS
TensorFlow
Terraform
Transportation
TypeScript
Urban Planning
Vector Database
Vertex AI
VSCode
XGBoost