バッチ処理

以前のブログで【便利】コマンドラインツールで超解像処理！静止画も動画も高画質にという内容で書いていました。 uepon.hatenadiary.com PowerShellやcmdの補完機能があるとはいえ、コマンドラインでの実行では打ち込みが多いので結構大変です。こんなときにはバッチファイル（.bat）などを使用することで入力の負担は軽減できるのですが…自分にはバッチファイルを作る知識があまりないので、このときの内容をバッチファイル化を通して作り方を学び直したいと思います。 元になる処理 今回は、以下のような処理を考えます。この処理では低画質mp4動画ファイルをフレーム分割、高画質化の処理を行…

新機能「AIタイトルアシスト」を使ってみました。 長年使ってるエッチデーデー 2TBから異音が、ビーーーーーっと音が鳴っては消え、数時間でその頻度が長く多くなり、書き込みがおかしい気がするので、急いでSSDポチりました。 次の日に届いたAmazonさんありがたい。今度は4TB SSDととても心強いです。エッチデーデーは、サンダーボルト端子がついた外付けHDDの初めの頃の製品で、2014年から稼働してました。丸9年。よく持ったエライ！ 思うに8月ぐらいから毎日何十枚画像処理をしていて、変換し終えては元データ消して、とHDDに悪そうな作業をしていたので、そろそろ限界だったのかもしれません。ひとつ奇…

1億件のIoT計測データのデータ移行を行った話。 cronでやることになった背景 cronでデータ移行することになった背景はこんな感じ。 カラム名は仮です。 年ごとの計測テーブルBに保存されている、ある期間の数種類の製品の計測データを、四半期ごとの計測テーブルA-Xテーブルに移行したい（1〜3月の計測データならA-1、4〜6月ならA-2、7〜9月ならA-3、10〜12月ならA-4）。 移行時に気を付ける点は下記だった。 Bテーブルの製品番号（ product_no）と計測日時（datetime ）の組み合わせと、同じ組み合わせのレコード（つまり同じ計測データ）が既にAテーブルにも保存されている…

コマンドプロンプト上で、コマンドの実行結果（出力）をクリップボードにコピーするには、「clip」というコマンドが利用できる。 このコマンドでは、標準入力から渡されたデータをクリップボードにコピーする。 例えば「clip < file.txt」や「type file.txt | clip」とすれば、指定したファイルの内容がクリップボードにコピーされる（「<」はファイルからデータを読み出すリダイレクト処理、「|」は次のコマンドにデータを渡すパイプ処理を表す）。

WindowsPCで作成したワークフローを決まった時間に自動で再生する 必要なケース 起動するバッチファイルを作成 タスクスケジューラにバッチファイルを登録 【タスクスケジューラの起動】 【KNIME起動用バッチファイルを指定】 【実行時間の設定】 スケジュールが登録されたことを確認 【重要】タスクスケジューラの使用にあたり 必要なケース KNIMEワークフローの処理を決まった時間に再生して指定したファイルを定期更新したい PCやKNIMEを手動で立ち上げずにバッチ処理としてワークフローを自動で動かしたい…等 ▼注意点▼ 当記事に載せた方法は、windowsの標準搭載アプリ「タスクスケジューラ…

バッチファイル作成時に、ユーザー環境変数【%USERPROFILE%】を活用する どんなケースで使用できるのか USERPROFILEとは 【%USERPROFILE%】を使用したバッチファイルの作成 どんなケースで使用できるのか ローカルフォルダの決まった位置にあるファイルを参照したいような場合に PC固有のディレクトリを記述しないことで、複数人が同じバッチファイルを使用できるようにする*1 例えばバッチ処理を行う担当者が変わった際にも（＝処理PCのアカウント名が変更となっても）都度修正を行う必要がなくなる USERPROFILEとは PCに設定されているユーザー環境変数 「C:\USER\…

１．バッチからPythonを起動（文字化け対策） ２．バッチから引数ありでPythonを起動 ３．バッチからPythonを起動したときに画面pause ４．バッチからPythonを起動する際の引数の最大個数について １．バッチからPythonを起動（文字化け対策） まずは単純にバッチから起動する例。 @echo off cd /d %~dp0 python d:\sample\hello.py 何らかの理由でWinPythonを使っていてパスを通していないような場合はpython.exeのpathも含めて記述。 @echo off cd /d %~dp0 d:\WPy64-31050\scri…

こちらの記事は カケハシ Advent Calendar 2024 の11日目の記事になります。 こんにちは。Musubi AI在庫管理の開発を担当している機械学習エンジニアの木村です。 この記事では今年に実施した予測アルゴリズムの改善の取り組みの中で重要だったと思うポイントについて紹介したいと思います。 技術的な話は割愛して取り組みそのものに焦点を当てて書いていきます。 背景 AI在庫管理では日々数百万件にのぼる薬の需要予測を行っています。また薬を処方する病院、薬局、患者さん、薬の種類の違いなどによって来局の間隔や処方量のパターンもさまざまで、すべての予測で理想的な結果を出すことはとても難し…

こんにちは！ アカツキゲームス クライアントエンジニアのSuです。この記事は Akatsuki Advent Calendar 2024 11日目の記事です。昨日の boke0 さんの踊り文字についての記事は面白かったです。一歩一歩 → 一歩々々という書き方は初めて知りました。とても勉強になりました！25日の解決編も楽しみですね！ はじめに Photoshop の自動化 ExtendScript IntelliSense ExtendScript デバッガー Github repo 最後に はじめに 自分は学生時代からエディターの拡張に興味があり、Blenderエディターの関連研究も少し関わり…

こんにちは、データ基盤担当の @mapler です。今回は DataStream を活用して、Cloud SQL から BigQuery へのデータ同期についてお話しします。 Datastream の設定は基本的に Google Cloud のドキュメント従って行えますので、この記事では、実際の設定時に直面した課題や対策を中心に説明します。 背景： データを BigQuery に同期することで得られるメリット JX通信社の「FASTALERT」は、日本国内外の緊急情報をリアルタイムで配信するサービスです。災害情報や事故、事件、気象警報など、幅広い分野の緊急情報を網羅しており、長年にわたって膨大…

### 内容 COBOLの古いバッチ処理システムをJavaに移行するプロジェクトは、非常に高難度で失敗しやすいものです。特に、大爆発式（Big Bang）移行を採用しており、さらにCOBOLコードに設計文書が存在しない場合、移行プロジェクトの成功には慎重な計画と実行が求められます。本記事では、「大爆発式」移行とは何か、そのリスクと、設計文書のない状況で成功するための具体的な方法をご紹介します。 --- #### **1. 大爆発式移行とは？** 大爆発式移行とは、システム全体を一度に新しいプラットフォームへ置き換える移行戦略です。このアプローチでは、旧システムを完全に廃止し、新システムを一度に…

本記事では、Javaを用いてデータベースからデータを取得し、それを編集処理した後、CSVファイルとして出力する方法について詳しく解説します。この記事は、レガシーシステムのモダナイゼーションや、Spring Batchを利用したデータ処理に取り組む方にも役立つ内容です。 --- #### **1. Javaによるデータベースプログラミングの基礎知識** Javaには、JDBC（Java Database Connectivity）という標準的なインターフェースを用いてデータベースと接続する仕組みがあります。以下は、JDBCを利用した基本的な手順です： 1. **データベースドライバーの準備** …

こんにちは、ファインディでFindy Team+（以下Team+）を開発しているEND（@aiandrox）です。この記事はFindy Advent Calendar 2024 10日目の記事です。 adventar.org Team+ではコード管理ツール・イシュー管理ツール・カレンダーなど、様々な性質の外部サービスと連携して、エンジニア組織における開発生産性の可視化・分析を行うためのデータを取得しています。 この分析を行うためには、外部サービスごとに異なるデータ構造やAPI仕様の差を吸収した統一的なデータ管理を行う必要があります。この課題を解決するため、異なるサービスのデータを統合し、単一の…

目次 目次 はじめに 「ツラみ」の収集 「ツラみ」の分析 負債解消へのアプローチ 案件への適用 良かった点 改善点/懸念点 まとめと今後の展望 はじめに この記事は 食べログアドベントカレンダー2024 の10日目の記事です。 こんにちは。食べログ開発本部ウェブ開発2部でサーバーサイドエンジニアをしている朽木です。 食べログのサービスを提供しているシステムの歴史は長く、蓄積された技術的負債の解消は開発効率を向上させるための重要な課題です。 古いコードや仕様の不明確さが原因となり、シンプルな要件であっても一筋縄ではいかないことがしばしばあります。 既存コードの調査をしていたが、依存関係の分かりづ…

### **はじめに** 本記事では、統計分類の正確率を計算するためのバッチ処理システムについて解説します。このシステムは、Shellスクリプトを用いてCOBOLプログラムを呼び出し、データを処理する仕組みを採用しています。具体的な機能として、以下の処理が含まれます： - **ソート（sort）** - **比較（compare）** - **加算（add）** - **集計（merge）** 入力はCSVファイルであり、出力は複数のCSVファイルとなります。本記事では、ShellとCOBOLの連携方法およびこの統計処理の設計パターンについて詳しく説明します。 --- ### **1. She…

## はじめに 本記事では、Java を使用した開発において頻繁に使用される **Spring Batch** と **SnakeYAML** について、それぞれの管理組織、信頼性の保証方法、そして活用上の注意点について詳しく説明します。これらの技術は、企業レベルのアプリケーション開発やバッチ処理、設定管理などで幅広く利用されています。 --- ## SnakeYAML: 管理組織と信頼性 ### 管理組織 - **管理者**: SnakeYAML は **org.yaml** によって管理されています。この組織は YAML フォーマットの標準化とその実装を専門としています。 - **プロジェ…

〇AWSにおけるコンピューティングサービス コンピューティングサービスとは、アプリケーションを実行するための、インフラストラクチャーを提供するサービスである。 AWSにてコンピューティングサービスにあたるものは、大きく以下の３種類になります。 Amazon Elastic Compute Cloud（Amazon EC2） 仮想サーバを提供するサービス Amazon Elastic Container Service（Amazon ECS） Dockerコンテナ※1の実行環境を提供するサービス 続々とコンテナサービスの種類が増えている（AWS Fragate、AWS ESK） Amazon L…

以下の理論説明とソースコードを基づいてブログの内容を作成しました。 Spring Batchにおける例外処理、カスタムエラーコード、そしてログ機能の詳細とその関係（理論説明） - Lee's Tech Blog Spring Batchにおける例外処理とSnakeYAMLの活用についてソースコードの例 - Lee's Tech Blog 初めに Spring Batchでは、バッチ処理の安定性を確保するために、例外処理、カスタムエラーコード、ログ機能が重要な役割を果たします。この記事では、それぞれの機能について詳しく解説し、これらがどのように連携してシステム全体の堅牢性を高めているのかを説明し…

Spring Batchは、効率的で信頼性の高いデータ処理を実現する強力なフレームワークです。バッチ処理を運用する上では、例外処理、カスタムエラーコード、ログ機能が欠かせません。本記事では、これらの機能を活用する方法と、その相互関係について詳しく解説します。 1. Spring Batchの例外処理 Spring Batchには、ジョブ実行中に発生する例外を効果的に処理するための機能が備わっています。主な例外処理の方法として、リトライ（再試行）やスキップ（スキップ処理）が挙げられます。 1.1 例外の伝播とキャッチ ジョブ内で発生した例外は、SkipPolicy や RetryPolicy を…