コンピュータ処理用語で、 時間的に、リアルタイムでなく、ある程度の時間をまとめて、 処理をすること。
必要に応じて、１日単位で、まとめて処理をしたりする。
皆さんこんにちは、お久しぶりです。PaZooです。 最近めっきり寒くなりましたね。どうにもこうにもアウトプット力の低下を感じてきたので、今更ながら「バッチ開発のあいうえお」を勉強していこうと思います。 バッチとは何ぞ？ WebAPIとの違いはなに？ オンラインバッチ・オフラインバッチ オンラインバッチ 1. 処理時間を短くする必要がある 2. 同時実行数に注意 3. 冪等性（リトライ安全性）の確保 4. ロック競合に注意 5. 例外処理は即時対応が必要 6. スケールアウト設計必須 オフラインバッチ 1. 長時間処理が許容されるが、締切がある 2. 大量データ処理による負荷増大 3. 再実行し…
はじめに 全てを考慮しようとして、手が止まった 「まずは正常系だけでいい」というアドバイス Kaigi on Rails の「ハッピーパス」の話 モブレビューで気づいた、設計レビューの大切さ おわりに はじめに 今年のDeveloper&Designer Advent Calendar 2025の8日目を担当する、はたらく未来図構想統括部 JobQ部エンジニアの川村です。 私が普段開発している「JobQ Town」では、バックエンド・フロントエンド双方の実装に関わっています。 エンジニア3年目となった最近は、1つのプロジェクトにおいて設計から実装までを一貫して担当することが多いです。 「どう作…
1. はじめに：AWS でバッチ処理を動かすには？ 2. AWS でバッチ処理するなら？５つの主要パターン比較 3. こんな場合におすすめ：「EventBridge Scheduler + Run Command + EC2（ Linux ）」構成 4. 実装内容とハマりどころ 4-1. システム構成 4-2. Run Command 利用時の注意点 4-2-1. マネコン上でのコマンド実行結果の可視性が弱い 4-2-2. 実行履歴の保持期間は30日 4-2-3. シェルの実行ユーザは root ユーザが既定 4-2-4. Run Command のデフォルトの実行ディレクトリ 4-2-5. …
背景 掲題のエラーが出た場合の1つの原因を掲載します。 個人的に詰まった点なのですがググっても全く同じ記事は無かったのでメモです。 結論 以下を満たすと再現します。 バッチファイルのカレントパスに「（hoge）」（左カッコと右カッコのセット）が含まれる。 if文の中にそのパスを取得する処理がある。 現象再現 このコードを @echo offif 1==1 ( cd %~dp0 echo OK ) pause 次のような、ファイルパスにカッコが含まれる場所で実行します。 C:\Users\Mashirosuke\test(hoge) すると再現します。 エラー「\の使い方が誤っています。」の表示…
windows11 python3.13で動作 カレントディレクトリー内のMP4ファイルをh265でエンコード NVIDIAまたはintel GPU使用 ffmpegのパスは'c:/exe/ffmpeg-master-latest-win64-gpl-shared/bin' exeffmpeg.zipを展開し、C:ドライブにコピー pyinstaller goffmpeg.py --onefile でexeファイルがdistディレクトリに作られる このexeファイルをMP4ファイルのあるカレントディレクトリ内にコピーし実行 import os import subprocess import …
科学文明を享受している人類は、これまで経験のなかった「ストレス」に毎日のようにさらされている。そう思う。 そのストレスはスマートフォンの普及によって文明社会の隅々まで拡散し、怒りの沸点を下げてしまった（個人的な感想です）。このストレスは、コンピュータ・プログラミングを経験したことのある人間には、すぐ分かる類のストレスだ。 筆者は工学部で学内の大型計算機（富士通のFACOM-180）をFORTRANのプログラムで卒業研究のために利用していた。 ここでそれまで経験したことのない課題に直面し、緊張とストレスに悩まされた。FACOM M-180II-コンピュータ博物館それは「誤りが1箇所でもあると、プ…
コマンドプロンプトを立ち上げず、 フォルダ間の移動をせずに バッチファイルを動かします 中身は簡単すぎるので初心者でも大丈夫 休日にwindowsの中にある写真を整理していました たくさんあるフォルダの中にある写真全部を １つのファイルの中にまとめたいけど 手動でやるの面倒くさい バッチファイルで一気にできんかなぁって思いました ※私は長いことこのやり方でやっていますが、 他に効率いい方法とかあるかも ※バッチファイルの最初には「@echo off」とか入れて 途中の処理を表示しないようにとかしますが 大した処理ではないので入れていません 気になる場合は最初にいれてもいいと思います 私は処理結…
これは Livesense Advent Calendar 2024 DAY 2 およびSRE Advent Calendar 2024 DAY 3の記事です。 こんにちは、かたいなかです。 リブセンスが提供しているWebサービスの裏では、たくさんのバッチ処理が定期実行されています。 弊社では、そのようなバッチ処理を実行基盤とは独立したツールで監視しています。 最近、そのような監視ツールでより良いものがないか比較検討した内容を記事にまとめます。 バッチ処理の監視をなぜ重視するのか 現状からなにを改善したいか IaCの仕組みを自作する必要がある 運用上でのハマりが多い より良いツールがないか調査…
はじめに 技術本部 Sansan Engineering Unit Nayoseグループの上島です。 今回、Nayoseグループで大規模なバッチシステムを開発し、従来システムと比較して9倍の高速化を達成しました。また、処理期間は数十日から数日へと大幅に短縮することに成功しました。 本記事では、この事例と設計時に考慮した点をご紹介します。具体的にはタイトルにある通り、億単位の大規模ジョブを扱う中で直面した課題—ジョブの抽出・管理・実行制御—への取り組みについて解説します。 Nayoseグループは、当社のほぼすべてのプロダクトが利用する共通基盤である”データの名寄せ”サービスを開発・運用しています…
以前のブログで【便利】コマンドラインツールで超解像処理！静止画も動画も高画質にという内容で書いていました。 uepon.hatenadiary.com PowerShellやcmdの補完機能があるとはいえ、コマンドラインでの実行では打ち込みが多いので結構大変です。こんなときにはバッチファイル（.bat）などを使用することで入力の負担は軽減できるのですが…自分にはバッチファイルを作る知識があまりないので、このときの内容をバッチファイル化を通して作り方を学び直したいと思います。 元になる処理 今回は、以下のような処理を考えます。この処理では低画質mp4動画ファイルをフレーム分割、高画質化の処理を行…
www.yamarkz.com
mitomasan.hatenablog.com
techblog.kayac.com
engineering.mercari.com
shallow1729.hatenablog.com
qiita.com
watson.hatenablog.com
zenn.dev
okachimachiorz.hatenablog.com
