Traffine I/O

日本語

2022-08-15

BigQueryのINFORMATION_SCHEMA.JOBS*

BigQueryのINFORMATION_SCHEMA.JOBS*

BigQueryは、INFORMATION_SCHEMAの名前空間の下に一連のビューを提供しています。これらのビューは、データ自体にアクセスすることなく、データセット、テーブル、および他のエンティティのメタデータを確認する能力をユーザーに提供するために特別に設計されています。

INFORMATION_SCHEMAの多岐にわたるビューの中に、INFORMATION_SCHEMA.JOBS*ビューが存在し、ジョブに関連するメタデータを収集するために特化した専用のコレクションがあります。BigQueryの用語での「ジョブ」は、プラットフォーム上で実行されるクエリ、データロード、エクスポート、およびコピーを指します。これらのアクション、または「ジョブ」それぞれには、ジョブの種類、開始時刻と終了時刻、起動したユーザー、宛先テーブルなどの詳細なメタデータが付属しています。

ジョブのメタデータとデータアクセス履歴へのアクセス

INFORMATION_SCHEMA.JOBS*ビューをクエリすることで、ユーザーはジョブ実行のさまざまな側面に関する洞察を得ることができます。特に以下の点に注目します。

  • タイムスタンプ
    特定のジョブが開始されたタイミングとその所要時間の把握
  • ユーザー
    ジョブをトリガーしたユーザーまたはサービスアカウントの特定
  • クエリ
    実行された正確なSQLクエリの取得
  • 宛先テーブル
    クエリの結果が保存された場所の把握。データのフローと依存関係の追跡に特に役立ちます。

INFORMATION_SCHEMA.JOBS*ビューの種類

BigQueryのINFORMATION_SCHEMA.JOBS*ビューは、ジョブのさまざまな側面に詳細なインサイトを提供するよう設計されています。各特定のビューには、独自の属性が付属しており、多様なニーズとユースケースに対応しています。

JOBS

このビューは、現在のBigQueryプロジェクトで実行される全てのジョブの一般的な監査追跡です。ジョブの種類、使用されたSQL、ランタイムなど、全ての重要な詳細が包括されています。

https://cloud.google.com/bigquery/docs/information-schema-jobs

JOBS_BY_USER

ユーザーセントリックな監査に焦点を当てたこのビューは、プロジェクト内で現在認証されたユーザーによって実行された全てのジョブを追跡します。

https://cloud.google.com/bigquery/docs/information-schema-jobs-by-user

JOBS_BY_ORGANIZATION

このビューは、特定の組織に関連する全てのプロジェクトから送信されたジョブを集約します。

https://cloud.google.com/bigquery/docs/information-schema-jobs-by-organization

JOBS_BY_FOLDER

このビューは、親フォルダ内のプロジェクトから実行されたジョブを総合的に表示し、フォルダレベルでの構造化されたデータガバナンスと分析を支援します。

https://cloud.google.com/bigquery/docs/information-schema-jobs-by-folder

Ryusei Kakujo

researchgatelinkedingithub

Focusing on data science for mobility

Bench Press 100kg!