Google Cloud データ基盤コース

Google Cloud データ基盤コースでは、BigQuery を中心とした商用レベルのAI-Readyなデータ基盤を、メダリオンアーキテクチャに沿って一気通貫で構築していきます。

メガベンチャーのデータエンジニアを監修に迎え、丸5ヶ月の制作期間を経て完成した最高傑作となっています。

舞台は本格的なECサイト。学習用のサンプルデータではなく、実務を想定した超リアルな素材データを用意しました。

• テーブル数21個
• 主要テーブルは100万レコード越え
• 限りなく実務を再現すべく、日次で最新データが増えていく仕組みを構築

と、データ基盤の素材データとして一切の妥協を許さないクオリティに仕上げています。

S3 → GCS へのデータ取り込みから始まり、Cloud Run functions によるイベント駆動の変換処理、Lakehouseによる外部テーブル参照、dbt を用いた Silver / Gold 層のモデリング、IAM とポリシータグによる列レベルセキュリティ、BigQuery Sharing による部署別のデータ配布、データポータルでのBIダッシュボード構築、Cloud Workflows によるパイプラインオーケストレーションと Cloud Monitoring による監視まで、実務においてデータ基盤エンジニアが担う一連の設計・構築・運用を一気通貫で習得できるコースとなっています。

さらに、ただ構築するだけでなく、BigQueryのコスト最適化まで注力し、『一円でも安く・パフォーマンスも高い』データ基盤を運用できるように、大量のTipsも詰め込みました。

このコースをクリアすれば、「データ基盤の構築・運用は任せてください！」と自信を持って言える状態を目指せるはずです。

メダリオンアーキテクチャに沿ったデータ基盤設計

ETL から ELT への歴史的な変遷を辿りながら、なぜ現代のデータ基盤がメダリオンアーキテクチャ (Bronze / Silver / Gold) を採用するのか、その設計思想を丁寧に解説していきます。実務で頻出するデータ基盤の手札を整理し、本コースで構築する全体像とECサイトを題材にした具体的なユースケースを最初にインストールしていきます。

S3 → GCS へのデータ取り込み層構築

Storage Transfer Service を用いて S3 から GCS へデータを転送する取り込み層を構築します。オンデマンドでの全データ転送に加え、定期実行による差分データ転送も実装し、S3 → GCS 間の認証・認可設計もあわせて習得します。

Cloud Run functions によるHiveパーティション自動変換

Eventarc + Cloud Run functions によるイベント駆動アーキテクチャで、GCS に到着したファイルを Hive パーティション形式へ自動変換していきます。

ただ動かすだけでなく、大量ファイル転送を想定した本格的な Cloud Run functions の設計にも踏み込んで解説していきます。データ取り込み層全体 (S3 → GCS → Cloud Run functions → GCS) を通した最終動作確認までを行うチャプターです。

Bronze層 - Lakehouse による外部テーブル参照

ここでは BigQuery の Lakehouse 機能を用いて、GCS 上の Parquet データに対して外部テーブルとして参照をかけます。

これによって、ファイルとして GCS に置かれているデータを、あたかも BigQuery のテーブルのように SQL でクエリできる状態が出来上がります。

これが、後続の dbt による変換工程の起点となる Bronze 層になります。

dbt 入門 → 実践 (ECプロジェクト)

dbt を初めて触るエンジニアでも安心して進められるように、まずはチュートリアルベースの入門編で dbt の基本 (sources / staging / materialization / incremental / snapshot / tests / macro / docs) を体系的に習得していきます。

その後、実践編としてECサイトを題材にした本格的な dbt プロジェクトを、Silver 層のモデリング、BigQuery のパーティションとクラスタリング設計、Snapshot 層、Intermediate 層、スタースキーマの Dimension / Fact テーブル、BigQuery UDF、コスト最適化まで、実務レベルで実装していきます。

合計 34 課題ものボリュームで、dbt を「なんとなく触ったことがある」レベルから「実務で設計・実装をリードできる」レベルまで押し上げていきます。

データ基盤のセキュリティ設計

IAM によるデータセット単位の閲覧制御、Authorized View を活用したクロスデータセット参照、BigQuery ポリシータグによる列レベルセキュリティまで、役割ごとに「見える範囲」を厳密に制御する設計を実装していきます。

さらに BigQuery Sharing を用いて、営業部門など部署ごとに独立したデータ分析環境を安全に届ける手法まで扱っていきます。「単一のデータセットでマートを管理するのはつらい」という実務で頻出する悩みへの現実解を、手を動かしながら習得できます。

データポータル (Looker Studio) によるダッシュボード構築

BigQuery のデータを可視化する定番ツールであるデータポータルを使い、

• 商品別売上高 (棒グラフ)
• カテゴリー別売上比率 (円グラフ)
• 月次売上推移 (複合グラフ)
• 月次F2転換率推移 (折れ線グラフ)
• スコアカード

など、EC サイトの分析に頻出のダッシュボードを実装していきます。

データポータル → BigQuery の認証まわりも深掘りするため、実務でダッシュボードを配布する際の権限設計にも自信が持てるようになります。

データパイプラインの構築と監視

Cloud Workflows + Cloud Run Jobs で dbt を実行するデータパイプラインを設計し、Cloud Scheduler で定期実行していきます。staging / snapshot、intermediate / mart など、レイヤーごとの Workflow 分割戦略も丁寧に解説していきます。

最後に Cloud Monitoring + Cloud Logging により、Cloud Run ジョブや Cloud Run functions の失敗を Slack へ通知するアラート基盤まで構築し、ラップアップとして全構成の Terraform 化も行います。