Airflow

この記事はみらい翻訳 Advent Calendar 2023 の 22日目です。 こんにちは！プラットフォーム開発部 SRE チームの jeff です。 Amazon Managed Workflows for Apache Airflow (MWAA) から EKS の Pod を起動・停止できるようにして AWS コストの削減を行なったので記事に書いていこうと思います。 みらい翻訳で開発・運用している MiraiTranslator の開発環境は AWS 上に構築されており、MWAA で起動・停止を行なっています。 これは開発環境が常に起動している必要がないための制御として入れてます。 …

Airflowの要点っぽいところ AirflowではワークフローをDAGと呼ぶ。DAGは複数のTaskからなる。 Taskが様々な処理を実行し、DAGが各Taskの実行順序を定義する。 TaskにはOperartorやSensorといった種類がある。 なので、関係性は次のようなイメージ。 DAG Tasks (OperatorやSensor) Operatorには例えばbashコマンドを扱うためのBashOperatorやPython関数を呼ぶためのPythonOperatorが存在する。 HookはOperatorの構成要素で、外部プラットフォームのAPIを簡単に利用できるようにしてくれる。…

こんにちは。FLINTERS エンジニアの塚本です。 この記事はFLINTERS設立10周年ブログリレーの77日目の記事になります。 はじめに 私が担当しているシステムではCloud Composerを用いて、ワークフローを管理しています。Cloud ComposerはGoogle CloudがマネージするApache Airflowです。AirflowのWorkflows as codeの理念通り、Pythonでワークフローを記述するので自由度が高く、連携用に提供されている機能も多機能でありがたいサービスです。一方、その複雑さ故にわかりにくいところもあります。この記事では、私がCloud C…

こんにちは、株式会社FLINTERSに出向中のおさないです。 10周年記念として133日間ブログを書き続けるチャレンジの38日目の投稿になります。 本記事ではCloud ComposerのDAG開発を補助するComposerローカル開発CLIツールの導入とその注意点について紹介します。 はじめに DAGの追加まで 注意点 MacOSでローカル環境を起動できない コンテナのパフォーマンス低下 環境変数からEXECUTORが変更できない おわりに 参考 はじめに Composerローカル開発CLIツールの導入のメリットは実際に構成しているCloud Composerのイメージ、PyPIパッケージ、…

こんにちは、株式会社FLINTERSに出向中の松田です。 10周年記念として133日間ブログを書き続けるチャレンジの27日目の投稿になります。 本記事はAirflow Paramsを利用して各DAG実行に対してパラメータを渡す・参照する方法について紹介する入門的な記事になります。 ※ 本記事のスクリーンショット、コードはAirflow 2.5で確認しています。 はじめに DAG実行時にパラメータを渡す パラメータの仕様を設定する パラメータを参照する パラメータ参照で躓いた点 おわりに 参考 はじめに AirflowのDAGを実行する際に、実行毎に何らかのパラメータを与えて実行したい場面がある…

Airflowは、Pythonベースのジョブスケジューリングツールであり、大規模なデータ処理やETLプロセスのスケジュールに最適です。Airflowは、依存関係のあるジョブのワークフローを定義し、スケジュールするための高度な機能を提供します。また、Airflowは、WebUIを介してジョブのステータスを監視し、ジョブの実行履歴を追跡することができます。この記事では、Airflowを使ってジョブスケジューリングを行う方法を説明します。以下の手順に従って、Airflowを使って簡単にジョブスケジュールを作成することができます。 1. Airflowのインストール Airflowは、pipを使ってイ…

こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの？ どうしたら改善できるの？ 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新ビューに着目してみる 最新ビューをどう変更するの？ システム概要としてはどんな感じ？ この方針で思ったこと BQ履歴テーブルの作成方針だけど 本当にその方法で改善するの？ 運用保守する上で気になっていたこと 見込み効果はどうなの？ 実装する上で意識したところ BQ履歴テーブル作成前提となるDAG依存関係 本番データを…

YH Research株式会社（本社：東京都中央区）は調査レポート「グローバル誘導空気流システムのトップ会社の市場シェアおよびランキング 2024」を9月14日に発行しました。本レポートでは、誘導空気流システム市場の製品定義、分類、用途、企業、産業チェーン構造に関する情報を提供します。また、誘導空気流システム市場の開発方針と計画、製造プロセスとコスト構造についても考察します。主要生産地域、主要消費地域、主要メーカーの生産と消費とともに、誘導空気流システム市場の現在と将来の市場動向を分析します。本レポートでは、競合環境、主要な競合他社のプロファイル、市場ランキングに焦点を当てています。また、技術…

コインチェック株式会社（以下、コインチェック） データ基盤グループの岩瀬です。今回は、暗号資産交換業者であるコインチェックで実施したデータ基盤のリプレイス事例と、そこから連続するデータ基盤拡充の取り組み、データドリブンな組織への貢献についてご紹介します。 TL; DR 暗号資産取引所を運営するコインチェックでは、運用されていたデータ基盤を、限られた技術リソースと短期限でモダンにリプレイスし、結果 インフラコスト90%削減 を実現しました。 Treasure Data で構築されていたデータ基盤の移行先として Google Cloud を選定し、3ヶ月で既存と同等のシステムを構築 して並列運用を…

2024年9月10日に、QYResearchは「工業用乾燥オーブン―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発行しました。本報告書は、工業用乾燥オーブンの世界市場を分析し、主要企業の総売上高、収益、価格、市場シェア、ランキングなどを掲載しています。また、地域別、国別、製品タイプ別、用途別に市場を分析しています。2019年から2030年までの工業用乾燥オーブンの市場規模を販売量と売上高に基づいて推計と予測しています。企業が事業成長戦略を策定し、競合状況を評価し、市場ポジションを分析し、工業用乾燥オーブンに関連する情報に基づいてビジネス上の意思決定を…

■ はじめに 動的なdbt 実行時でのトラブルシュートを徐々に記録しておく 目次 【１】Airflow + dbt でエラー「Task exited with return code -9」 【２】エラー「'>' not supported between instances of 'Table' and 'int'」 【１】Airflow + dbt でエラー「Task exited with return code -9」 dbt を設定している Airflow からの以下のエラー内容が表示し SQLが実行されなかった １）エラー内容 Task exited with return cod…

最近また、扇子を使い始めました（写真1）。風量が思ったよりもあって、ハンディファン（’写真2）よりもずっと大きいです。I've recently started using this hand fan again (Photo 1). It has a larger airflow than I thought, and the airflow is much greater than the portable fan I have (Photo 2). この扇子のすごく良いところは、ハンディファンよりも風の当たる範囲が広いところ。つまり、顔に向ければ、顔だけではなくて首や両肩、両方の上腕にも…