こんにちは、Analysis Platformチームの上野です。キャディ株式会社のアドベントカレンダー24日目の記事です。 この記事ではAnalysis Platformチームで実施した、機械学習モデルの複雑な後処理の実行基盤の技術選定について説明します。同様の技術選定をする際の参考になると幸いです。 既存のアーキテクチャとその課題 キャディでは一部の機械学習モデルの推論処理を以下のような非同期のアーキテクチャで行なっています。一部の推論ワーカーでは他のワーカーの結果と組み合わせて後処理をする必要があり、ワーカーごとの推論結果を格納したBigQueryのテーブルを一度経由する形になっています。…
github.com