Hatena Blog Tags
はてなブログ トップ
Airflow
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Airflow

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
FLINTERS Engineer's Blog•9ヶ月前

AirflowのSensorをざっくり勉強した

こんにちは。杉山です。 こちらはFLINTERSで開催中の「梅雨にも負けないブログ祭り」企画の記事です。 テーマは #技術 です。 AirflowのSensorを使ったことがなくて気になったのでざっくり調べてhello worldしました Sensorとは 早速Sensorのドキュメントを見てみる airflow.apache.org （Google翻訳でページごと翻訳） センサーは、何かが起こるのを待つという 1 つのことだけを行うように設計された特殊なタイプのオペレーターです。時間ベース、ファイル、または外部イベントを待つこともできますが、センサーが行うことは、何かが起こるまで待機し、その…

#Airflow

関連ブログ

Mirai Translate TECH BLOG•1年前

Apache Airflow (MWAA) から EKS の Pod を起動・停止して AWS コストを削減する

この記事はみらい翻訳 Advent Calendar 2023 の 22日目です。 こんにちは！プラットフォーム開発部 SRE チームの jeff です。 Amazon Managed Workflows for Apache Airflow (MWAA) から EKS の Pod を起動・停止できるようにして AWS コストの削減を行なったので記事に書いていこうと思います。 みらい翻訳で開発・運用している MiraiTranslator の開発環境は AWS 上に構築されており、MWAA で起動・停止を行なっています。 これは開発環境が常に起動している必要がないための制御として入れてます。 …

#Kubernetes#Airflow#AWS#EKS
Atsushi2022の日記•1年前

Airflowを試してみる

Airflowの要点っぽいところ AirflowではワークフローをDAGと呼ぶ。DAGは複数のTaskからなる。 Taskが様々な処理を実行し、DAGが各Taskの実行順序を定義する。 TaskにはOperartorやSensorといった種類がある。 なので、関係性は次のようなイメージ。 DAG Tasks (OperatorやSensor) Operatorには例えばbashコマンドを扱うためのBashOperatorやPython関数を呼ぶためのPythonOperatorが存在する。 HookはOperatorの構成要素で、外部プラットフォームのAPIを簡単に利用できるようにしてくれる。…

#Airflow
FLINTERS Engineer's Blog•1年前

Airflowの時間・Context周辺で躓いたところ

こんにちは。FLINTERS エンジニアの塚本です。 この記事はFLINTERS設立10周年ブログリレーの77日目の記事になります。 はじめに 私が担当しているシステムではCloud Composerを用いて、ワークフローを管理しています。Cloud ComposerはGoogle CloudがマネージするApache Airflowです。AirflowのWorkflows as codeの理念通り、Pythonでワークフローを記述するので自由度が高く、連携用に提供されている機能も多機能でありがたいサービスです。一方、その複雑さ故にわかりにくいところもあります。この記事では、私がCloud C…

#Airflow#Cloud Composer
FLINTERS Engineer's Blog•1年前

Composerローカル開発CLIツールを使ってみた

こんにちは、株式会社FLINTERSに出向中のおさないです。 10周年記念として133日間ブログを書き続けるチャレンジの38日目の投稿になります。 本記事ではCloud ComposerのDAG開発を補助するComposerローカル開発CLIツールの導入とその注意点について紹介します。 はじめに DAGの追加まで 注意点 MacOSでローカル環境を起動できない コンテナのパフォーマンス低下 環境変数からEXECUTORが変更できない おわりに 参考 はじめに Composerローカル開発CLIツールの導入のメリットは実際に構成しているCloud Composerのイメージ、PyPIパッケージ、…

#Airflow#Composer
FLINTERS Engineer's Blog•1年前

AirflowのDAG実行時にパラメータを渡す

こんにちは、株式会社FLINTERSに出向中の松田です。 10周年記念として133日間ブログを書き続けるチャレンジの27日目の投稿になります。 本記事はAirflow Paramsを利用して各DAG実行に対してパラメータを渡す・参照する方法について紹介する入門的な記事になります。 ※ 本記事のスクリーンショット、コードはAirflow 2.5で確認しています。 はじめに DAG実行時にパラメータを渡す パラメータの仕様を設定する パラメータを参照する パラメータ参照で躓いた点 おわりに 参考 はじめに AirflowのDAGを実行する際に、実行毎に何らかのパラメータを与えて実行したい場面がある…

#Airflow#Data Engineering#データエンジニアリング
PyDocument•2年前

Airflow によるジョブスケジューリング：Pythonでのジョブ管理

Airflow は、Python ベースのワークフロースケジューリングツールです。データパイプラインや ETL 処理など、依存関係を持つ複数のタスクを効率的に管理・実行できます。この記事では、Airflow の基本的な使い方や実践的な応用例を解説します。 1. Airflow のセットアップ 1.1. インストール 1.2. データベースの初期化 1.3. ユーザーの作成 (オプション) 2. 基本概念：DAG (Directed Acyclic Graph) 3. DAG の作成 3.1. 基本的な DAG ファイルの構造 3.2. タスク間の依存関係 3.3. PythonOperator…

#Python#Airflow#ジョブ管理
エニグモ開発者ブログ•2年前

データ基盤の処理最適化によるBigQueryコスト削減

こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの？ どうしたら改善できるの？ 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新ビューに着目してみる 最新ビューをどう変更するの？ システム概要としてはどんな感じ？ この方針で思ったこと BQ履歴テーブルの作成方針だけど 本当にその方法で改善するの？ 運用保守する上で気になっていたこと 見込み効果はどうなの？ 実装する上で意識したところ BQ履歴テーブル作成前提となるDAG依存関係 本番データを…

#Airflow#データ基盤#BigQuery#Looker#アドベントカレンダー