Hatena Blog Tags
はてなブログ トップ
Airflow
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Airflow

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Atsushi2022の日記•1日前

AirflowのカスタムTrigger

概要 ComposerのAirflowのカスタムTriggerを作成した。 色々と難しかったけど、使えるとリソース消費を抑えられて、コスト抑制できるのでおススメ。 なぜカスタムTriggerを使ったのか 定期的にAPIでBigQueryテーブルの更新状況をチェックして更新されていたら、テーブルに依存する別のテーブルを更新したかった。 AirflowのWorkerでその処理を実行しようとすると、テーブルが更新されるまでCPUとメモリを占有してしまい、お金がかかる。 更新状況チェック対象のテーブルが大量にあるのと、数時間というレベルで待機が必要になる。 そういったユースケースに対して、導入されたの…

#Airflow#Composer

関連ブログ

FLINTERS Engineer's Blog•10ヶ月前

AirflowのSensorをざっくり勉強した

こんにちは。杉山です。 こちらはFLINTERSで開催中の「梅雨にも負けないブログ祭り」企画の記事です。 テーマは #技術 です。 AirflowのSensorを使ったことがなくて気になったのでざっくり調べてhello worldしました Sensorとは 早速Sensorのドキュメントを見てみる airflow.apache.org （Google翻訳でページごと翻訳） センサーは、何かが起こるのを待つという 1 つのことだけを行うように設計された特殊なタイプのオペレーターです。時間ベース、ファイル、または外部イベントを待つこともできますが、センサーが行うことは、何かが起こるまで待機し、その…

#Airflow
FLINTERS Engineer's Blog•1年前

Cloud Composer Sizing Guide

こんにちは、株式会社FLINTERSに出向中のおさないです。 本記事はFLINTERSブログリレー企画「梅雨にも負けないブログ祭り」の一環で、実務でCloud ComposerのSizingを行う際にどのようにして構成の値を算出しているのかというテーマで、参照している箇所と値を決定するプロセスについてまとめてみます。 注: 本記事が対象とするCloud ComposerはCloud Composer 2を指します。 Sizingの前提知識 Sizingの考え方 おわりに 参考 Sizingの前提知識 Cloud Composer（以下Composer）のSizingに関係する環境構成の項目は以…

#データパイプライン#GoogleCloud#Airflow
Mirai Translate TECH BLOG•1年前

Apache Airflow (MWAA) から EKS の Pod を起動・停止して AWS コストを削減する

この記事はみらい翻訳 Advent Calendar 2023 の 22日目です。 こんにちは！プラットフォーム開発部 SRE チームの jeff です。 Amazon Managed Workflows for Apache Airflow (MWAA) から EKS の Pod を起動・停止できるようにして AWS コストの削減を行なったので記事に書いていこうと思います。 みらい翻訳で開発・運用している MiraiTranslator の開発環境は AWS 上に構築されており、MWAA で起動・停止を行なっています。 これは開発環境が常に起動している必要がないための制御として入れてます。 …

#Kubernetes#Airflow#AWS#EKS
Atsushi2022の日記•1年前

Airflowを試してみる

Airflowの要点っぽいところ AirflowではワークフローをDAGと呼ぶ。DAGは複数のTaskからなる。 Taskが様々な処理を実行し、DAGが各Taskの実行順序を定義する。 TaskにはOperartorやSensorといった種類がある。 なので、関係性は次のようなイメージ。 DAG Tasks (OperatorやSensor) Operatorには例えばbashコマンドを扱うためのBashOperatorやPython関数を呼ぶためのPythonOperatorが存在する。 HookはOperatorの構成要素で、外部プラットフォームのAPIを簡単に利用できるようにしてくれる。…

#Airflow
FLINTERS Engineer's Blog•1年前

Airflowの時間・Context周辺で躓いたところ

こんにちは。FLINTERS エンジニアの塚本です。 この記事はFLINTERS設立10周年ブログリレーの77日目の記事になります。 はじめに 私が担当しているシステムではCloud Composerを用いて、ワークフローを管理しています。Cloud ComposerはGoogle CloudがマネージするApache Airflowです。AirflowのWorkflows as codeの理念通り、Pythonでワークフローを記述するので自由度が高く、連携用に提供されている機能も多機能でありがたいサービスです。一方、その複雑さ故にわかりにくいところもあります。この記事では、私がCloud C…

#Airflow#Cloud Composer
FLINTERS Engineer's Blog•2年前

Composerローカル開発CLIツールを使ってみた

こんにちは、株式会社FLINTERSに出向中のおさないです。 10周年記念として133日間ブログを書き続けるチャレンジの38日目の投稿になります。 本記事ではCloud ComposerのDAG開発を補助するComposerローカル開発CLIツールの導入とその注意点について紹介します。 はじめに DAGの追加まで 注意点 MacOSでローカル環境を起動できない コンテナのパフォーマンス低下 環境変数からEXECUTORが変更できない おわりに 参考 はじめに Composerローカル開発CLIツールの導入のメリットは実際に構成しているCloud Composerのイメージ、PyPIパッケージ、…

#Airflow#Composer
FLINTERS Engineer's Blog•2年前

VisualStudioCodeでCloud Composer(Airflow)のコードの補完を効かせる

この記事はFLINTERS10周年記念ブログリレーの34日目の投稿です こんにちは、杉山です。最近、Cloud Composer(Airflow)を扱うプロジェクトにジョインしました。 特に何もせずにエディタでプロジェクトのコードを開くとコードの補完がうまく効かなかったので、この辺をなんとかしていこうと思います。 今回はVisualStudioCodeのDevcontainerを使う前提です。 大まかな作業の流れ requirements.txtを作る Dockerfileを作る compose.ymlを作る VSCode上でdevcontainerを設定する Deccontainerを適用す…

#Cloud Composer#Airflow
FLINTERS Engineer's Blog•2年前

AirflowのDAG実行時にパラメータを渡す

こんにちは、株式会社FLINTERSに出向中の松田です。 10周年記念として133日間ブログを書き続けるチャレンジの27日目の投稿になります。 本記事はAirflow Paramsを利用して各DAG実行に対してパラメータを渡す・参照する方法について紹介する入門的な記事になります。 ※ 本記事のスクリーンショット、コードはAirflow 2.5で確認しています。 はじめに DAG実行時にパラメータを渡す パラメータの仕様を設定する パラメータを参照する パラメータ参照で躓いた点 おわりに 参考 はじめに AirflowのDAGを実行する際に、実行毎に何らかのパラメータを与えて実行したい場面がある…

#Airflow#Data Engineering#データエンジニアリング
PyDocument•2年前

Airflow によるジョブスケジューリング：Pythonでのジョブ管理

Airflow は、Python ベースのワークフロースケジューリングツールです。データパイプラインや ETL 処理など、依存関係を持つ複数のタスクを効率的に管理・実行できます。この記事では、Airflow の基本的な使い方や実践的な応用例を解説します。 1. Airflow のセットアップ 1.1. インストール 1.2. データベースの初期化 1.3. ユーザーの作成 (オプション) 2. 基本概念：DAG (Directed Acyclic Graph) 3. DAG の作成 3.1. 基本的な DAG ファイルの構造 3.2. タスク間の依存関係 3.3. PythonOperator…

#Python#Airflow#ジョブ管理