Traffine I/O

Bahasa Indonesia

2022-06-07

Mengelola Lingkungan Meltano

Lingkungan Meltano

Dalam Meltano, Anda dapat mengelola dan beralih variabel lingkungan sesuai dengan lingkungan pengembangan atau produksi Anda. Definisi untuk beberapa lingkungan dijelaskan dalam meltano.yml sebagai berikut:

meltano.yml
environments:
  - name: prod
    config:
      plugins:
        extractors:
          - name: tap-github
            config:
              organizations: [Meltano]
            select: ['*.*']
        loaders:
          - name: target-snowflake
            config:
              dbname: prod
              warehouse: prod_wh
              batch_size_rows: 100000
    env:
      SOME_PROD_ONLY_SETTING: abc
  - name: dev
    config:
      plugins:
        extractors:
          - name: tap-github
            config:
              organizations: [MeltanoLabs]
            select: ['repositories.*']
        loaders:
          - name: target-snowflake
            config:
              dbname: dev
              warehouse: dev_wh
              batch_size_rows: 1000

Pewarisan Lingkungan

Jika Anda ingin menggunakan plugin dasar yang sama dengan konfigurasi yang berbeda, Anda dapat menambahkan plugin baru yang mewarisi dari plugin yang sudah ada. Plugin baru akan mewarisi konfigurasi dari plugin dasar dan dapat menggantikannya jika diperlukan.

meltano.yml
.
.
.
plugins:
  extractors:
  - name: tap-google-analytics
    variant: meltano
    config:
      key_file_location: client_secrets.json
      start_date: '2020-10-01T00:00:00Z'
  - name: tap-ga--view-foo
    inherit_from: tap-google-analytics
    config:
      # key_file_location and start_date are inherited
      view_id: 123456
  - name: tap-ga--view-bar
    inherit_from: tap-google-analytics
    config:
      # key_file_location is inherited
      start_date: '2020-12-01T00:00:00Z' # start_date is overwritten
      view_id: 789012

Pemetaan Variabel Lingkungan

Dalam Meltano, Anda dapat memetakan variabel lingkungan sebagai berikut:

meltano.yml
environments:
  - name: dev
    env:
      MY_ENV_VAR: $MELTANO_PROJECT_ROOT/path/to/a/file.json

Menentukan Lingkungan

Anda dapat menentukan lingkungan menggunakan metode berikut:

  • Tambahkan opsi --environment dalam perintah CLI:
bash
$ meltano --environment=dev run tap-github target-csv
  • Tetapkan variabel MELTANO_ENVIRONMENT:
bash
$ export MELTANO_ENVIRONMENT=dev
$ meltano run tap-github target-csv

Selain itu, Anda dapat menentukan lingkungan default dengan menambahkan default_environment: staging dalam file meltano.yml.

Referensi

https://docs.meltano.com/concepts/environments

Ryusei Kakujo

researchgatelinkedingithub

Focusing on data science for mobility

Bench Press 100kg!