コンピュータ処理用語で、 時間的に、リアルタイムでなく、ある程度の時間をまとめて、 処理をすること。
必要に応じて、１日単位で、まとめて処理をしたりする。
とある事情によりファイルをBASE64エンコードする必要が生じました。いちいちソフトを入れるのは面倒くさいのでバッチファイルだけで処理できないかと探してみたところ、CertUtilというWindows標準のツールがBASE64変換の機能を持っているとのこと。 qiita.com しかし実際使ってみると、ファイルによっては期待通り動かず、0バイトのテキストファイルを出力するだけして止まってしまうことがある模様。 とりあえず5GBの動画ファイルを読み込ませようとすると、以下のログが表示されます。 > certutil -f -encode .\,movie.mp4 .\movie.base64.t…
Rscript.exeを使ったバッチ実行ツールの記事です。 コマンドプロンプト上で、次のコマンドで実行できますが、Rスクリプトのファイルパスや引数情報を毎回手入力するのは面倒なので、javascriptを橋渡し役として使っています。（こちらのコマンドだけではログも出力されないので、本記事のバッチではログ出力にも対応しています。） Rscript.exe [Rスクリプトのファイルパス] [引数1] 使い方は次の通りです。 本記事のコードをJS形式で保存します（本記事では「AutoExecファイル」と呼びます）。※コード内のRscript.exeは自身の保存先パスに書き換えてください。 Rスクリプ…
こんにちは！141です。 今回は、画面系のプログラミングしか経験がない！って方に是非読んでいただきたい内容になっております。 裏で起動されて処理するプログラム・・・書いたことありますか？ 経験が無い方は「バッチ処理」という概念を是非勉強してみてください。 バッチ（Batch）は「ひと束」「一群」「1回分にまとめる」という意味で バッチ処理はあらかじめ登録した一連の処理を自動的に実行する処理方式を指す。 複数のプログラムやファイル転送コマンドなどの実行順序を定義し、大量のデータを一括処理する。 処理の単位を「バッチ」と呼ぶ。 （出典：大塚商会 IT用語辞典） う～ん わかったような、わからないよ…
こんにちは！KMです。 今回は、CLIqによるデータローダのバッチ処理についてお話したいと思います。 そもそも、「バッチ処理？」「CLIq？」って感じだと思うので、そこの説明からしていきます！ バッチ処理 バッチ処理とは、あらかじめ準備しておいた一連の処理を実行することを言い、その一連の処理のコマンドが記述されたテキストファイルをバッチファイル(拡張子.bat)といいます。 Salesforceでは定期的にデータローダでデータのやり取りを行う際に バッチ処理を行うことが多いです。 データローダのバッチ処理には、 処理実行用のバッチファイルとパスワード暗号化用のバッチファイルに加えて 設定ファイ…
はじめに お疲れ様です。DX推進開発部です。 みなさんは「Talend」というETLツールをご存知でしょうか？ 以前参加したプロジェクトで初めてTalendによる開発を行いましたが、 なかなか新鮮だったので今回のテーマに選んでみました！ ETLツール Talendとは ETLとはExtract(抽出)、Transform(変換)、Load(集積)の頭文字です。 必要なデータを「抽出」し、分析しやすいように「変換」を施してDWH(データウェアハウス)に「集積」するというデータ統合のプロセスを表しています。 ETLツールを使用すると、企業が集めた様々なデータを加工して一元化し、活用することが出来ま…
生活習慣リズムをつくるのがここ最近微妙に怠け始めているので、リカバーしないと感じる今日この頃 今回のテーマ：スポットリクエストの設定 概要 オンデマンド価格より低価で利用できるEC2インスタンス 永続的に固定化をするインスタンスではなくリソース使用量などで拡張を要する際に活用するインスタンス スポットフリート(起動するインスタンスの数などを定義)を指定しまとめて起動 AWS側で作成したインスタンスを強制削除する仕様 実際の手順①：EC2からスポットリスクエスト マネージメントコンソール-EC2-インスタンス-インスタンスを選択し、インスタンスを起動をクリック ※設定するスコープで必要な個所のみ…
最近Embulkを使ってMySQLのデータをBigQueryに転送する仕事をよくやっています。データに基づく意思決定を促進するための大事な仕事です。これをやっている時にたまに以下のようなエラーに出会います。 org.embulk.exec.PartialExecutionException: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet successfully received fr…
突然技術系ブログっぽい記事を書いてみるスタイル…… 昔書いたPHPやC#でActive Directoryを検索するサンプルの記事も定期的に検索流入があるんですよね～ということで、今回はC#製アプリをPowerShellから呼び出してみる記事です。
こんにちは、清水です。巷で話題の GKE Autopilot について旧来のものと何が違うのか調べ、実際にクラスタを作って挙動を確認してみました。 ちなみに、所属しているチームのプロダクトである CRALY[^1] は社内で最初の Kubernetes クラスタ（GKE）上で構築されたプロダクトです。 なにが嬉しいのか ノードとノードプールの管理が不要になり、ワークロードに集中して運用が行えるようになった ノードごとの課金だったのが Pod ごとの課金になった スタンダード環境との違いは リージョンクラスタのみ リリースチャンネルの登録が必要 イメージは Containerd を含む Cont…
はじめに トークスクリプト ①AWS Amplify Admin UIで新機能Data Managerが追加 ②AWS SystemsManagerのParameter storeでパラメータラベルの削除をサポート ③Amazon CodeGuruの機能CodeGuru Reviewerで課金体系の変更を発表 ④Amazon Code Guru ReviewerのPythonサポートが強化 ⑤AWS Batchでservice-linked roleをサポート ⑥AWS GlueでAmazon Kinesis DataStreamsからのクロスアカウント読み取りをサポート ⑦AWS Eleme…
4/7（水）、「AWS認定 デベロッパーアソシエイトの試験に出るかもなデモ見せあいっこ(ヤマムギvol.12)」に参加しました。 デベロッパーアソシエイト（DVA）の受験を検討しているため参考にしたいと思い、楽しみにしていました。 簡単ですが、セッションの内容を書いていきます。 自分の勉強不足のためか、実は途中からついていくのが大変になっていました… そのため、デモ内容が簡単なものになってしまいましたので、抜け漏れがあるかもしれません。ご容赦ください。 資料が公開されたら復習します。 目次 目次 イベントページ セッション AWS Secrets Managerをチュートリアル中心に触ってみた…
1. RPAとは？ RPAは「Robotic Process Automation」の略称です。簡単に言うと、RPAの主な目的は、重複的で文書化されたありふれた作業をすべてロボットに行わせることです。 2. RPAによる影響力 RPAツールを導入実績がある業界は、単に銀行、金融サービス、保険業界だけではありません。業務自動化を推進しているため、製造業、通信業、航空業、石油・ガス業、小売業、分析業などの業界・産業分野に大きな影響を与えます。多くの業界・産業分野で、スマートなRPA自動化ツールをビジネスプロセスに導入することが進められています。 RPAツールが登場した前、企業の「社内で開発した自動…
ITサービスマネージャ試験を受験する方向けに、午前Ⅱ対策を中心としたチートシートを用意しました。 こちらは、あくまで試験合格を目的とした内容になっていますので、きちんと学習したい方は、過去問題解説ページ等をご覧ください。 // 試験別 午前Ⅰ 同時開催の応用情報技術者試験午前問題と同じ問題が出題されます。（80問中30問）よって、対策は応用情報技術者のページを参考にしてください。 なお、午前Ⅰは応用情報or高度区分の合格か、午前Ⅰの部分合格により、2年間の免除を受けられます。 午前Ⅱ 重点分野、かつ出題可能性が低い問題（直近分・重複分）を除外した過去問題について、問題と答えのみを抜粋しました。…
発 行：１９７９年３月 発行者：社団法人日本情報センター協会 判 型：Ｂ５／４４ページ 高価な電子計算機ではあるけれど、情報漏洩のリスクや使い勝手を考慮して自己導入するか、外部の計算センターに委託するか、１９７０年代末の地方自治体は判断が揺れていました。国の「国産電算機産業振興」施策、バッチ処理からオンライン処理への流れもあって、どちらかというと自己導入に傾いていた背景のなか、受託計算サービスを業とする計算センター業が「自治体における計算業務の外部委託の方がメリットが大きい」ことを訴求した報告書となってます。 自治省がまとめた「地方自治コンピュータ総覧」（昭和５３年４月現在）に記載されている様…
くもを（🐦） ツイートURL:https://twitter.com/1325863115196522500/status/1379450267771535365 ツイート:google apps scriptはプログラミング初めての人におすすめ、すぐ動くから楽しいよ！ この自動ツイートはgoogle apps scriptを使用してます。#googleappsscript #駆け出しエンジニア0:05 (自動ツイートです) タカハシノリアキ#GAS本第2版発売中！（🐦） ツイートURL:https://twitter.com/1007789916/status/137944920005680…
◀︎ 前へ｜次へ ▶︎️ コンピュータシステムにおけるジョブスケジューリングの特徴のうち，適切なものはどれか。 CPUに割り当てるジョブをOSが強制的に切り替えるタイムスライス方式では，タイマ割込みが多発するので，スループットが低下する。 FCFS（first-come first-served）方式のジョブスケジューリングでは，ジョブ間にCPUを公平に割り当てるので，スループットや応答時間の保証が可能となる。 対話型処理とバッチ処理が混在するシステムでは，対話型処理の優先度を高くすることによって，対話型処理の応答性能の向上が期待できる。 入出力を多用するジョブよりもCPUを多用するジョブの処…
◀︎ 前へ｜次へ ▶︎️ システムの信頼性を測る指標の一つに稼働品質率がある。年間の稼働品質率で評価される信頼性が最も高いシステムはどれか。ここで，稼働品質率は次の式で算出しシステムの資産規模には総運用費用を用いるものとする。 稼働品質率 = 利用者に迷惑を掛けた回数 ÷ システムの資産規模 システム 利用者に迷惑をかけた回数（回／年） オンライン稼働時間（千時間／年） システムの総合運用費用（百万円／年） オンライン処理 バッチ処理 A 3 12 6 120 B 4 8 3 100 C 6 2 4 80 D 6 3 2 60 A B C D // 解答 ウ 解説 準備中 参考情報 分野・分類…
Hiroshi Oda@スタートアップ企業インフラエンジニア（🐦） ツイートURL:https://twitter.com/288296430/status/1379066329584476165 ツイート:GASでMaps API使えるの便利 https://t.co/piZK2A4DX2 cretfiledbyjapan（🐦） ツイートURL:https://twitter.com/1369465909388009500/status/1379061942149476359 ツイート:Google Apps Scriptを習得中 ichir0roie_program（🐦） ツイートURL:…
発生日 タイトル 内容 原因 2012/6/28 ファーストサーバ障害 ・ファーストサーバは月々の利用料金だけで手軽にサイボウズを利用できる「サイボウズ Office9 for ASP」のパートナー企業。顧客企業が購入したパッケージ版のサイボウズを運用するサーバーとしても数百社に貸していた。メール、スケジュール、顧客管理、営業記録など、約400社のサイボウズのデータを消失。 ・データ消失があった5698件のお客様のうち、数百件を除く共有サーバーのデータは、復旧不可能。 脆弱性対策のために更新プログラム。その更新プログラム自体に大きなバグ（不具合）があった。「ファイル削除コマンド」を停止させる記…
「SOFT SKILLS ソフトウェア開発者の人生マニュアル」[2016, ジョン・ソンメズ]を読んでいます． SOFT SKILLS ソフトウェア開発者の人生マニュアル作者:ジョン・ソンメズ発売日: 2016/06/02メディア: Kindle版 知識のなかの隙間を見つける なぜ隙間が残るのか 最終的に残っていて痛みも原因もわかっているのについつい後回しにしてしまう 隙間の見つけ方 作業にもっとも時間がかかっているところはどこか，繰り返し行っていることは何かを意識する 生産性を高めよう アマチュアたちはインスピレーションがくるのを座って待つ．アマチュアではない我々は，起きて仕事にでかける，（…
mitomasan.hatenablog.com
techblog.kayac.com
engineering.mercari.com
qiita.com
watson.hatenablog.com
d.hatena.ne.jp
mitomasan.hatenablog.com
blog.takuros.net
developers.cyberagent.co.jp
