Lingkungan Meltano
Dalam Meltano, Anda dapat mengelola dan beralih variabel lingkungan sesuai dengan lingkungan pengembangan atau produksi Anda. Definisi untuk beberapa lingkungan dijelaskan dalam meltano.yml
sebagai berikut:
meltano.yml
environments:
- name: prod
config:
plugins:
extractors:
- name: tap-github
config:
organizations: [Meltano]
select: ['*.*']
loaders:
- name: target-snowflake
config:
dbname: prod
warehouse: prod_wh
batch_size_rows: 100000
env:
SOME_PROD_ONLY_SETTING: abc
- name: dev
config:
plugins:
extractors:
- name: tap-github
config:
organizations: [MeltanoLabs]
select: ['repositories.*']
loaders:
- name: target-snowflake
config:
dbname: dev
warehouse: dev_wh
batch_size_rows: 1000
Pewarisan Lingkungan
Jika Anda ingin menggunakan plugin dasar yang sama dengan konfigurasi yang berbeda, Anda dapat menambahkan plugin baru yang mewarisi dari plugin yang sudah ada. Plugin baru akan mewarisi konfigurasi dari plugin dasar dan dapat menggantikannya jika diperlukan.
meltano.yml
.
.
.
plugins:
extractors:
- name: tap-google-analytics
variant: meltano
config:
key_file_location: client_secrets.json
start_date: '2020-10-01T00:00:00Z'
- name: tap-ga--view-foo
inherit_from: tap-google-analytics
config:
# key_file_location and start_date are inherited
view_id: 123456
- name: tap-ga--view-bar
inherit_from: tap-google-analytics
config:
# key_file_location is inherited
start_date: '2020-12-01T00:00:00Z' # start_date is overwritten
view_id: 789012
Pemetaan Variabel Lingkungan
Dalam Meltano, Anda dapat memetakan variabel lingkungan sebagai berikut:
meltano.yml
environments:
- name: dev
env:
MY_ENV_VAR: $MELTANO_PROJECT_ROOT/path/to/a/file.json
Menentukan Lingkungan
Anda dapat menentukan lingkungan menggunakan metode berikut:
- Tambahkan opsi
--environment
dalam perintah CLI:
bash
$ meltano --environment=dev run tap-github target-csv
- Tetapkan variabel
MELTANO_ENVIRONMENT
:
bash
$ export MELTANO_ENVIRONMENT=dev
$ meltano run tap-github target-csv
Selain itu, Anda dapat menentukan lingkungan default dengan menambahkan default_environment: staging
dalam file meltano.yml
.
Referensi
AlloyDB
Amazon Cognito
Amazon EC2
Amazon ECS
Amazon QuickSight
Amazon RDS
Amazon Redshift
Amazon S3
API
Autonomous Vehicle
AWS
AWS API Gateway
AWS Chalice
AWS Control Tower
AWS IAM
AWS Lambda
AWS VPC
BERT
BigQuery
Causal Inference
ChatGPT
Chrome Extension
CircleCI
Classification
Cloud Functions
Cloud IAM
Cloud Run
Cloud Storage
Clustering
CSS
Data Engineering
Data Modeling
Database
dbt
Decision Tree
Deep Learning
Descriptive Statistics
Differential Equation
Dimensionality Reduction
Discrete Choice Model
Docker
Economics
FastAPI
Firebase
GIS
git
GitHub
GitHub Actions
Google
Google Cloud
Google Search Console
Hugging Face
Hypothesis Testing
Inferential Statistics
Interval Estimation
JavaScript
Jinja
Kedro
Kubernetes
LightGBM
Linux
LLM
Mac
Machine Learning
Macroeconomics
Marketing
Mathematical Model
Meltano
MLflow
MLOps
MySQL
NextJS
NLP
Nodejs
NoSQL
ONNX
OpenAI
Optimization Problem
Optuna
Pandas
Pinecone
PostGIS
PostgreSQL
Probability Distribution
Product
Project
Psychology
Python
PyTorch
QGIS
R
ReactJS
Regression
Rideshare
SEO
Singer
sklearn
Slack
Snowflake
Software Development
SQL
Statistical Model
Statistics
Streamlit
Tabular
Tailwind CSS
TensorFlow
Terraform
Transportation
TypeScript
Urban Planning
Vector Database
Vertex AI
VSCode
XGBoost