コンピュータ処理用語で、 時間的に、リアルタイムでなく、ある程度の時間をまとめて、 処理をすること。
必要に応じて、１日単位で、まとめて処理をしたりする。
ハーイ アキです。 よくないバッチ処理のやり方を見てしまったのでそれについて書こうと思います。 そもそもバッチ処理とはなんぞやって人に説明すると なんかの処理を自動でやってくれるみたいなやつです。 例えば、毎日9:00にお客さんにメールを送るようなものを作れば、 「メール送信バッチ」なんて言います。 基本的にはメール送信よりかは、大量のデータ作成とか別システムにデータを渡したりします。 じゃあよくないやり方とはなんぞや？ 先に結論 ・データの処理方法を考えて作る ・無駄な処理はしない よくないやり方の具体例ですが、こんな感じでした。 お客さんから来たcsvファイルを読み込み1件ずつインサートコ…
はじめに AWSで定期的なデータ連携バッチを書く方法の一つにAWS Step Functions(以下Step Functions)があります。Step FunctionsはAWS Lambda(以下Lambda)を始めとするAWSの様々なサービスを組み合わせたワークフローを記述できるサービスです。LambdaおよびStep Functionsはバッチ用のサーバを構築・管理する必要がなく安価にサービスを運用できるため、私のチームでも活用しています。 LambdaおよびStep Functionsにはそれぞれ制約があり工夫が必要となる場合もあります。例えばパイプラインを定義するためにASL(Am…
前編(トランザクション範囲の最小化)へ はじめに こんにちは。タイミーのバックエンドエンジニア中野です。 前編では締めのバッチ処理におけるトランザクションの範囲を最小化した技術的改善をご紹介しました。トランザクションの範囲をバッチ処理全体から最小限の範囲に変更したことにより、バッチ処理が失敗した場合に請求レコードの処理が途中まで完了している状態が発生するようになりました。後編では、処理対象の請求レコードに対し状態を持たせることでバッチ処理全体での冪等性を担保し、バッチ処理が途中で失敗した場合でも安全に処理を再開できるようにした取り組みをご紹介します。 はじめに 締めのバッチ処理とは 現状の課題…
後編(冪等性の設計導入)へ はじめに こんにちは。タイミーのバックエンドエンジニアの中野です。よくGopherくんに似てると言われます。 本記事では月次で実行している「締め」のバッチ処理に関する一連の技術的改善について掲載します。弊社のプロダクト「タイミー」は著しい事業成長に伴いデータ量が急増してきています。そこで今回はデータ量の急増を背景とした中長期的なバッチ処理の設計改善にどのように取り組んできたのかをご紹介したいと思います。バッチ処理に関する技術的改善の記事は前編・後編の2部構成をとっています。前編はバッチ処理におけるトランザクションの改善をテーマに、後編ではバッチ処理に冪等性の設計を導…
こんにちは。MonotaROで商品管理や受発注システムの開発を担当している中尾です。 この度、これまでcronで実行していたジョブに対してRundeckを導入し、ジョブのスケジュール管理を効率化することができましたので、導入にあたって苦労した点とその解消方法を中心に紹介いたします。 Rundeck導入の背景 Cronの限界を感じた 過去にも導入しようとしたが・・・ Rundeck導入において苦労した点 Rundeckが落ちた場合の対応の検討 GitでのRundeckジョブのバージョン管理 導入してよかったこと 複数のサーバーに跨ってジョブフローが組めること Cron式が使えること 重複起動制御…
バッチ処理 オンライン処理 バッチ処理とオンライン処理の使い分け 結論：バッチ処理の必要性を吟味しよう プログラマの仕事を始めたころ、バッチ処理プログラムを作ってくれと言われたことがある。その当時は、なんとなく一連の処理をするプログラムのことなのかなと思っていたが、バッチじゃない処理って何だろうって思ったものだ。バッチ処理の対局に位置する処理で、オンライン処理というものがある。今回は、バッチ処理とオンライン処理の違いについて整理する。 対象のシステムがバッチ処理なのかオンライン処理なのかというのは、非機能要件における「継続性」のレベルを決めるうえでも大切な概念だ。しっかり理解しておく必要がある…
サーバーレスなバッチ処理を設計 はじめに 作成するバッチ処理の概要 リポジトリ 目次 1章 SAMでプロジェクトを初期化 2章 DynamoDB LocalとMinioでローカルにインフラを再現 3章 ビジネスロジックをLambdaに実装 4章 EventBridgeでStateMachineをトリガー、デプロイ 5章 リファクタリングしてテストを実装 はじめに システムの機能としてバッチ処置が必要になることはよくあります。 バッチ処理は時間がかかるものもありますが、5分以内で終わるようなものの場合は、サーバーレスで実装することでコストを抑えられます。 ここではハンズオンとして、5分以内で終わ…
イントロ お疲れ様です。ゾルタンです。 イングリウッドでは現在全社のデータ基盤を構築しています。 「エンジニアが本質作業に集中しやすいように」のコンセプトのもと外部ツールのデータ集約は基本的にTroccoに任せようとしていますが、対応していないツールや方式など自前構築がどうしても必須な部分が存在します。 拡張性も運用性も高い方式としてAirflowをK8sで選択したので、今回のブログポストでは具体的で便利なセットアップ方法を紹介します。 Airflowとは ワークフローのスケジューリング・実行・モニタリングを行うオープンソースなソフトウェアです。 スケーラビリティ、ダイナミックなワークフロー構…
・バッチ処理とリアル処理！世の中の仕組み！スピリチュアル |バッチ処理|と|リアル処理|！世の中の仕組み！|スピリチュアル| |バッチ処理|と|リアル処理|集合的無意識|スピリチュアル| |バッチ処理|と|リアル処理|集合的無意識|、おまけの話 霊視鑑定を体験された事の無い方や悩み事を抱えている方へ ・|バッチ処理|リアル処理|スピリチュアル|（主.キーワード関連記事) |バッチ処理|と|リアル処理|！世の中の仕組み！|スピリチュアル| |バッチ処理|と|リアル処理|！世の中の仕組み！|スピリチュアル|から見た話として、この言葉だけでは、多分、多くの方が、何を言いたいのか理解できない話でもある…
とある事情によりファイルをBASE64エンコードする必要が生じました。いちいちソフトを入れるのは面倒くさいのでバッチファイルだけで処理できないかと探してみたところ、CertUtilというWindows標準のツールがBASE64変換の機能を持っているとのこと。 qiita.com しかし実際使ってみると、ファイルによっては期待通り動かず、0バイトのテキストファイルを出力するだけして止まってしまうことがある模様。 とりあえず5GBの動画ファイルを読み込ませようとすると、以下のログが表示されます。 > certutil -f -encode .\,movie.mp4 .\movie.base64.t…
Microsoft Graph API で「ライセンスが付与されている非アクティブなユーザー」を抽出したく色々調べた時のメモです。Azure ADは明示的に割り当て解除しない限り、ライセンスが割り当てられたままとなってしまいます。この仕様によって不要ライセンスの外し忘れが稀によく起こります。そこで、Graph API経由でアクティブでないユーザーを抽出して、ライセンスの棚卸等に役立てることにしました。 なお、グループを使ってライセンス割り当てをしている場合、アクセスレビュー で簡単に不要ユーザーを抽出し、ライセンス剥奪できます。アクセスレビューを使えばAPIを叩く必要もないので、お手軽に済ませ…
リリースを前にしてバグが見つかったという報告をもらった。とてもくやしい。お腹が痛くなるほどくやしかった。 今回実装したのは、すべてのユーザーに対して利用できる既存の機能を特定のユーザーに制限する機能を追加で実装した。 当初予見していた修正範囲を越えていくようなチケットだった。モデル、ビュー、テーブル追加、コントローラーにメソッド生やす、バッチ処理、などといろんな機能に実装範囲は広がっていった。ただし、それぞれに追加する機能はそこまで複雑なものではなく、既存の処理を参考にすればわりとすんなりといける見込みだった。 なぜこんなにもくやしかったのかを分析してみたい。 見つかったバグがわりとすぐに見つ…
こんにちは、G-gen の武井です。当記事では Google Cloud (旧称 GCP) の仮想マシンサービスである Compute Engine を徹底解説します。 当記事は Compute Engine の基本事項に絞った 基本編 であり、応用編については後日投稿予定です。 Compute Engine Compute Engine の概要 Compute Engine とは Compute Engine とネットワーク 操作 マシン ファミリー・マシンシリーズ・マシンタイプ 概要 マシン ファミリー マシンシリーズ マシンタイプ リージョンとゾーン 概要 リージョン ゾーン 設計の考え…
技術の勉強は調子に乗ってるうちに加速させたいね。 あわせてよみたい 技術の勉強は調子に乗ってるうちに加速させたいね。 個人開発たのしー！ 今日は朝に買い物に出掛けて、それからスタバにMacbookを持ち込んでスタバどやを決めた。主にやってるのはこのはてなブログの全データをさくらインターネットのMySQLにぶち込むバッチ処理の作成。作業したコードについてはGithubで公開しながら作業をしているので、こちらの方を確認してもらうとどんなことをやってるかはわかるはず。 github.com 別にそこまで難しい処理は使ってない。はてなブログで公開されてるWebAPIに接続して、全データを取得した上でそ…
デジタルでも時代を越える文章は存在しうる。 あわせてよみたい デジタルでも時代を越える文章は存在しうる。 やっと金曜日。ほんとさ、体力がないのかなんなのか分からんけど一週間の終わりには体力が尽き果ててしまってて仕事なんぞできない状態になっている。一応、机に向かって仕事をやってるふりはしているけどもほとんどネットサーフィンをしてダラダラと情報収集をしている。ほーんとさ、日常生活の生産性を高めるためにフィジカルを鍛えることもやっておいた方が良さげなんだよね。筋トレとかランニングを日常の習慣の中に加える努力はしているのだけど、１日の時間が足りない。これ以上睡眠時間を削ると頭が爆発して死んでしまう。 …
下北沢駅の北側で2021年（令和3年）6月21日(月曜日)にオープンした、新しいアコースティックライブハウス『下北沢DY CUBE（ディーワイ・キューブ）』への行き方・道順を、会場公式HPや他のどのサイトよりも詳しく解説！沿道にある銀行ATMの情報や、主要ターミナルでの「京王井の頭線／小田急線への乗り換え」も載せてますので、初めて来店される方はぜひ参考にしてください。 ＊未完成（執筆途中）の項目が一部残っていますが、記事自体はご利用いただけます。南西口改札からの道順と、銀行ATM一覧については、近日中に完成させます 箱の中身を当てるゲームのイラスト（男性）／(c)いらすとや ＠＠＠ 【記事もく…
自己紹介 はじめまして。Casa IT戦略部の小倉と申します。 2021年3月よりエンジニア未経験として中途入社し、早くも1年が経ちました。 今は不動産の代理店向けサービスの開発に携わらせてもらい、機能の追加や修正を担当しています。 これまでの経歴をざっくりまとめますと、文系の大学を卒業し電気施工管理会社に入社。電気工事士として新築マンションやオフィスビルの改修工事、マンションのオートロック化などを経験し、そこから物件の完成後に興味を持ったため、不動産の仲介会社の営業へ転職。 その後プログラミングスクールを卒業しCasaに入社しました。 ↓スクールで作成したアプリです。 github.com …
こんにちは！Dataintelligenceチームの垣内です。 毎日の売上集計や言語モデルの更新など様々な場面や用途で用いられるバッチ処理。 Microsoft Azureでバッチ処理について調べてみると、様々なサービスを使ったアーキテクチャが出てきます。 例えばAzure Functions。Azure FunctionsにはTimeTriggerという機能があり、バッチ処理を実装することができます。 しかし、この機能には実行時間の制限があるので、時間を要するデータ分析・ETL処理をするバッチ処理には不向きであるとされています。 勿論、実行したバッチ処理が予定時間内に完了しない「突き抜け」が…
こんにちは、データエンジニアの滑川(@tomoyanamekawa)です。 Classiでは2022年5月に学校内のユーザー利用状況を集計し可視化したダッシュボード機能をリリースしました。 この機能のデータ集計は既存の社内用データ基盤からのReverse ETLで実現しました。 そのアーキテクチャの説明と「社内用データ基盤」から「ユーザー影響あるシステムの一部」になったことによる変化について紹介します。 ダッシュボード機能とは 概要 先生のみが利用可能な機能 先生と学年・クラスごとの生徒の利用状況を可視化したダッシュボードを提供する機能 要件・制約 アプリケーションはAWS上で動かす 前日まで…
前回は「2025の崖」の問題と、SAP ERPを保持し続けるリスクについて書きました。 www.three-wise-monkeys.comまとめると、2000年代に一世を風靡したERPは、密結合という特徴があります。密結合のシステムは拡張性に難点があり、変化の多い市場環境に迅速に対応するのが苦手です。Webアプリケーションがシステムの主役になって以降、密結合よりも疎結合のシステムの方が優れているとみなされています。疎結合とは、2つのシステムが緩やかに結びついた状態をさします。疎結合なシステム間の連携を果たすのがAPI（Application Programming Interface）です。…
こんにちは！ 今回は、Pythonに関する記事をまとめます！ みなさまのお役に立てば幸いです！ Python Pythonのスレッドで発生した例外は親スレッドでキャッチできない Pythonでシングルトン (Singleton) を実装する方法と注意点！ Pythonの内包表記やmap関数でfor文から解放されよう！ Pandas Pandasのデータフレームの値を2つのインデックス参照で変更するときは、真偽値の条件を後にする！ PythonでPandasを使ってCSVをサクッと整形する方法とは？ Pandasで複数のカラムが一致する行/一致しない行を抽出したい Pandasで次のレコードとの…
Apple｜スペック調べ こんばんは、さじです。 M2搭載MacBook Air、Proが予約受付を開始しましたね。 www.apple.com 2台目（二代目？）のMacを検討しておりますフリーランスデザイナーです。ひとり親方で現在の手持ちが一台というのはやっぱり心許ない。今使っているMacBook Pro2019に何かあったら仕事できません。色んな人に迷惑がかかる前に買いましょう。 で、来週発売されるM2搭載MacBook Pro2022の13インチを検討していたのですが、スペック見てたらAirとあんま変わらない、いやどちらかと言うとAirのが色々新しい。M2AirがM1Proに価格が近づ…
医療ビッグデータを活かした事業を幅広く展開しているJMDCでは、様々な分野のスペシャリストが活躍しています。今回、インタビューを実施した松原さんはデータ基盤開発のスペシャリスト。なぜJMDCを選んだのか、具体的にどんな業務を行っているのかについて聞きました。 ＜プロフィール＞松原 （まつばら）開発本部 データ基盤開発部 医療機関基盤グループSIerでWebアプリケーション開発、インフラ構築などを担当。リブセンスに転職後、異動をきっかけにデータ基盤開発のスペシャリストを志向し、2021年12月にJMDC入社。テックリードとして、クラウドなど技術面の課題解決に取り組んでいる。 異動をきっかけにデー…
株式会社リゾーム システム企画・開発部 システム管理のあめぎです。 読書会の第3回目のレポートです。 第2回目のレポートはこちらです。 tech.rhizome-e.com 読書会の題材 前回に引き続き 入門 監視 ―モダンなモニタリングのためのデザインパターン を題材としています。 3回目レポート 今回は3章「アラート、オンコール、インシデント管理」で、参加者は6名でした。 それぞれの感想と議論まとめ どうしたらアラートをよくできるか？ アラートのメール通知は反対派多数 ※参加者全員 誰も叩き起こせないし、スルーしてしまう可能性も高い。SMSに送るのはよくある。 一般的な使い方は「期限に余裕…
mitomasan.hatenablog.com
techblog.kayac.com
engineering.mercari.com
shallow1729.hatenablog.com
qiita.com
watson.hatenablog.com
zenn.dev
okachimachiorz.hatenablog.com
mitomasan.hatenablog.com
