Hatena Blog Tags
はてなブログ トップ
Cloud Composer
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Cloud Composer

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Classi開発者ブログ•1年前

Cloud Composerローカル開発ツールで運用業務を圧倒的に楽にする

こんにちは、データプラットフォームチームでデータエンジニアをしています、鳥山(@to_lz1)です。 本記事は datatech-jp Advent Calendar 2023 11日目の記事です。 データ基盤を運用する皆さま、ジョブの実行管理基盤には何を用いているでしょうか？ 様々なOSSやサービスが群雄割拠するこの領域ですが、Google Cloud Platform(以下、GCP) のCloud Composerは選択肢の一つとして人気が根強いのではないかと思います。 一方、同サービスには時折「運用がつらい」とか「費用が高い（故に、開発者が気軽に触れる開発環境を用意できない）」といった言…

#GCP#Cloud Composer#データ基盤#Python

関連ブログ

FLINTERS Engineer's Blog•2年前

VisualStudioCodeでCloud Composer(Airflow)のコードの補完を効かせる

この記事はFLINTERS10周年記念ブログリレーの34日目の投稿です こんにちは、杉山です。最近、Cloud Composer(Airflow)を扱うプロジェクトにジョインしました。 特に何もせずにエディタでプロジェクトのコードを開くとコードの補完がうまく効かなかったので、この辺をなんとかしていこうと思います。 今回はVisualStudioCodeのDevcontainerを使う前提です。 大まかな作業の流れ requirements.txtを作る Dockerfileを作る compose.ymlを作る VSCode上でdevcontainerを設定する Deccontainerを適用す…

#Cloud Composer#Airflow
Classi開発者ブログ•3年前

Cloud Composer 2へのupgradeでどハマりした話

この記事は Classi developers Advent Calendar 2021 の10日目の記事です。 こんにちは、データプラットフォームチームの滑川(@tomoyanamekawa)です。 Google CloudのCloud Composerのversion2(Cloud Composer 2)がpreview公開され、Terraformでも10月末から作成可能になりました*1。 「Cloud Composer 2ならworker数をautoscalingしてくれるらしい。そんなに設定変わらないだろうからサクッと移行しよう。」 くらいの軽い気持ちでCloud Composer 1…

#Cloud Composer#GCP#Google Cloud#Airflow