Hatena Blog Tags
はてなブログ トップ
Apache Airflow
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Apache Airflow

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
techtekt（テックテクト） | パーソルキャリアのDevelopers Blog•10ヶ月前

EKS on Fargate と EKS Auto Mode を MWAA から試してみた #PERSOL CAREER Advent Calender2025

はじめに Fargate と Auto Mode の違い EKS Auto Mode を検討している背景 1. DaemonSet が使えず、監視コンテナの起動が複雑になる 2. EKS Pod Identity が使えない 3. 起動のたびに ENI が作成され、コストが増える 4. アドオン管理が必要 MWAA × EKS の構成 構築時の躓きポイント 1. MWAA の構築時間が長い 2. MWAA から Airflow UI に接続できない（※一部未解決） 3. MWAA 用ロール（IAM 権限）の設定が不足している 4. MWAA から EKS Auto Mode へタスクを実行でき…

#パーソルキャリア#techtekt#AWS#Kubernetes#Apache Airflow#アドベントカレンダー

関連ブログ

techtekt（テックテクト） | パーソルキャリアのDevelopers Blog•2年前

Airflow の Dynamic Task Mapping を使ってみた # doda Developer Group Advent Calendar 2024

この記事は、doda Developer Group Advent Calendar 2024の19日目の記事としてお届けします。 はじめに この記事を読んで得られる知見 Dynamic Task Mappingとは 今回のユースケース 処理の流れ 処理のイメージ 作成したDAGファイル コードの解説 1. S3から最新フォルダとファイルリストを取得 解説 XComについて 2. Dynamic Task MappingでECSタスクを生成 解説 3. DAGの定義 解説 4. Airflowタスクの依存関係の定義 解説 動作確認の結果 同時実行するタスク数を制限する まとめ はじめに こんに…

#エンジニア#Apache Airflow#アドベントカレンダー#パーソルキャリア#techtekt#Dynamic Task Mapping