コンピュータ処理用語で、 時間的に、リアルタイムでなく、ある程度の時間をまとめて、 処理をすること。
必要に応じて、１日単位で、まとめて処理をしたりする。
1. はじめに：AWS でバッチ処理を動かすには？ 2. AWS でバッチ処理するなら？５つの主要パターン比較 3. こんな場合におすすめ：「EventBridge Scheduler + Run Command + EC2（ Linux ）」構成 4. 実装内容とハマりどころ 4-1. システム構成 4-2. Run Command 利用時の注意点 4-2-1. マネコン上でのコマンド実行結果の可視性が弱い 4-2-2. 実行履歴の保持期間は30日 4-2-3. シェルの実行ユーザは root ユーザが既定 4-2-4. Run Command のデフォルトの実行ディレクトリ 4-2-5. …
背景 掲題のエラーが出た場合の1つの原因を掲載します。 個人的に詰まった点なのですがググっても全く同じ記事は無かったのでメモです。 結論 以下を満たすと再現します。 バッチファイルのカレントパスに「（hoge）」（左カッコと右カッコのセット）が含まれる。 if文の中にそのパスを取得する処理がある。 現象再現 このコードを @echo offif 1==1 ( cd %~dp0 echo OK ) pause 次のような、ファイルパスにカッコが含まれる場所で実行します。 C:\Users\Mashirosuke\test(hoge) すると再現します。 エラー「\の使い方が誤っています。」の表示…
windows11 python3.13で動作 カレントディレクトリー内のMP4ファイルをh265でエンコード NVIDIAまたはintel GPU使用 ffmpegのパスは'c:/exe/ffmpeg-master-latest-win64-gpl-shared/bin' exeffmpeg.zipを展開し、C:ドライブにコピー pyinstaller goffmpeg.py --onefile でexeファイルがdistディレクトリに作られる このexeファイルをMP4ファイルのあるカレントディレクトリ内にコピーし実行 import os import subprocess import …
科学文明を享受している人類は、これまで経験のなかった「ストレス」に毎日のようにさらされている。そう思う。 そのストレスはスマートフォンの普及によって文明社会の隅々まで拡散し、怒りの沸点を下げてしまった（個人的な感想です）。このストレスは、コンピュータ・プログラミングを経験したことのある人間には、すぐ分かる類のストレスだ。 筆者は工学部で学内の大型計算機（富士通のFACOM-180）をFORTRANのプログラムで卒業研究のために利用していた。 ここでそれまで経験したことのない課題に直面し、緊張とストレスに悩まされた。FACOM M-180II-コンピュータ博物館それは「誤りが1箇所でもあると、プ…
コマンドプロンプトを立ち上げず、 フォルダ間の移動をせずに バッチファイルを動かします 中身は簡単すぎるので初心者でも大丈夫 休日にwindowsの中にある写真を整理していました たくさんあるフォルダの中にある写真全部を １つのファイルの中にまとめたいけど 手動でやるの面倒くさい バッチファイルで一気にできんかなぁって思いました ※私は長いことこのやり方でやっていますが、 他に効率いい方法とかあるかも ※バッチファイルの最初には「@echo off」とか入れて 途中の処理を表示しないようにとかしますが 大した処理ではないので入れていません 気になる場合は最初にいれてもいいと思います 私は処理結…
これは Livesense Advent Calendar 2024 DAY 2 およびSRE Advent Calendar 2024 DAY 3の記事です。 こんにちは、かたいなかです。 リブセンスが提供しているWebサービスの裏では、たくさんのバッチ処理が定期実行されています。 弊社では、そのようなバッチ処理を実行基盤とは独立したツールで監視しています。 最近、そのような監視ツールでより良いものがないか比較検討した内容を記事にまとめます。 バッチ処理の監視をなぜ重視するのか 現状からなにを改善したいか IaCの仕組みを自作する必要がある 運用上でのハマりが多い より良いツールがないか調査…
はじめに 技術本部 Sansan Engineering Unit Nayoseグループの上島です。 今回、Nayoseグループで大規模なバッチシステムを開発し、従来システムと比較して9倍の高速化を達成しました。また、処理期間は数十日から数日へと大幅に短縮することに成功しました。 本記事では、この事例と設計時に考慮した点をご紹介します。具体的にはタイトルにある通り、億単位の大規模ジョブを扱う中で直面した課題—ジョブの抽出・管理・実行制御—への取り組みについて解説します。 Nayoseグループは、当社のほぼすべてのプロダクトが利用する共通基盤である”データの名寄せ”サービスを開発・運用しています…
以前のブログで【便利】コマンドラインツールで超解像処理！静止画も動画も高画質にという内容で書いていました。 uepon.hatenadiary.com PowerShellやcmdの補完機能があるとはいえ、コマンドラインでの実行では打ち込みが多いので結構大変です。こんなときにはバッチファイル（.bat）などを使用することで入力の負担は軽減できるのですが…自分にはバッチファイルを作る知識があまりないので、このときの内容をバッチファイル化を通して作り方を学び直したいと思います。 元になる処理 今回は、以下のような処理を考えます。この処理では低画質mp4動画ファイルをフレーム分割、高画質化の処理を行…
新機能「AIタイトルアシスト」を使ってみました。 長年使ってるエッチデーデー 2TBから異音が、ビーーーーーっと音が鳴っては消え、数時間でその頻度が長く多くなり、書き込みがおかしい気がするので、急いでSSDポチりました。 次の日に届いたAmazonさんありがたい。今度は4TB SSDととても心強いです。エッチデーデーは、サンダーボルト端子がついた外付けHDDの初めの頃の製品で、2014年から稼働してました。丸9年。よく持ったエライ！ 思うに8月ぐらいから毎日何十枚画像処理をしていて、変換し終えては元データ消して、とHDDに悪そうな作業をしていたので、そろそろ限界だったのかもしれません。ひとつ奇…
1億件のIoT計測データのデータ移行を行った話。 cronでやることになった背景 cronでデータ移行することになった背景はこんな感じ。 カラム名は仮です。 年ごとの計測テーブルBに保存されている、ある期間の数種類の製品の計測データを、四半期ごとの計測テーブルA-Xテーブルに移行したい（1〜3月の計測データならA-1、4〜6月ならA-2、7〜9月ならA-3、10〜12月ならA-4）。 移行時に気を付ける点は下記だった。 Bテーブルの製品番号（ product_no）と計測日時（datetime ）の組み合わせと、同じ組み合わせのレコード（つまり同じ計測データ）が既にAテーブルにも保存されている…
www.yamarkz.com
mitomasan.hatenablog.com
techblog.kayac.com
engineering.mercari.com
shallow1729.hatenablog.com
qiita.com
watson.hatenablog.com
zenn.dev
okachimachiorz.hatenablog.com
