ジョブ管理

こんにちは。MonotaROで商品管理や受発注システムの開発を担当している中尾です。 この度、これまでcronで実行していたジョブに対してRundeckを導入し、ジョブのスケジュール管理を効率化することができましたので、導入にあたって苦労した点とその解消方法を中心に紹介いたします。 Rundeck導入の背景 Cronの限界を感じた 過去にも導入しようとしたが・・・ Rundeck導入において苦労した点 Rundeckが落ちた場合の対応の検討 GitでのRundeckジョブのバージョン管理 導入してよかったこと 複数のサーバーに跨ってジョブフローが組めること Cron式が使えること 重複起動制御…

こんにちは。クルーズ株式会社の鈴木です。 今回はジョブ管理サーバとしてRundeckの導入を検討している話です

概要 弥生R&D室のsiidaです。R&D室ではSageMakerを使用して機械学習 (ML) のプロジェクトを進めています。SageMakerはMLのための様々な機能が搭載されたサービスであり、データ分析からモデル訓練、ひいてはワークフローの構築まで、SageMakerの中で完結させることができます。 今回はこれまでに投稿してきたSageMakerの使い方記事をまとめました。いわゆるAI/MLを活用したPoCの範囲で扱うSageMakerの基本的な機能を一通り網羅しています。 sagemaker

SAS Viyaにはビッグデータ解析のための様々なツールが導入されたようなのですが、使い慣れたSAS9.4で日々頑張っている方も多いでしょう。 SAS9.4ではDS2やSPDEなど、個々のデータ処理（DATAステップやPROCプロシージャ等）をマルチスレッドで高速化する技術が使えます。しかしこれらは、一連の複雑な処理工程を異なるデータセットに対して同時に（並列で）実行する目的では使えません。 数十分〜数時間以上を要する複数のデータ処理の工程について、数百〜数千のデータセットに対して同じように実行したい場合、各データセットを一つずつ処理（逐次処理）していると、全ての処理が完了する頃には年が変わっ…

はじめに オンプレ型バッチ処理の特徴とクラウドネイティブ技術 バッチ処理の構成要素と概念 バッチ処理 バッチ処理の構成要素 商用ジョブ管理ソフトとバッチ処理 クラウドネイティブ技術によるバッチ処理の実現 Apache Airflow とは MWAA のアーキテクチャ スケジューラー ワーカー ウェブサーバー データベース オペレータ ポピュラーなオペレータ AWS Operator サーバレス化のメリット サーバレス・バッチの構成イメージ 可用性とスケーラビリティ MWAAの可用性とスケーラビリティ タスクの可用性とスケーラビリティ DevOpsの実践とアジリティの向上 Webアプリケーション…

あなたがさっきまで読んでいた技術的に役立つ記事は、10年後も使えるでしょうか？ほとんどの場合でいいえ はじめに 短期的に効果的な手法や知識は、ソフトウェア開発の分野において、急速に価値を失う傾向があります。この現象は、私たちが何を重点的に学ぶべきかを示唆しています。最も重要なのは、第一に基本的な原理・原則、そして第二に方法論です。特定の状況にのみ適用可能な知識や即座に結果を出すテクニックは、長期的には有用性を失う可能性が高いです。これは、技術や手法が時間とともに進化し、変化していくためです。 learning.oreilly.com 「API Design Patterns」は、このような考え…

江戸東京博物館 所蔵・浮世絵『漬物早指南』かつて漬物は各家庭で作るものであったが、近世以降は専門店が出店し、漬物を買う文化が生まれた（本編には関係ありません）。 こんにちは。プロダクト開発本部の小本です。 kickflowでは2024年2月からPDF形式で帳票出力できるようになりました これまで帳票出力ではXLSX形式でのみ出力可能でした。PDF形式での帳票出力では、まずサーバー側でXLSX形式での帳票を作成し、自動的にPDFへ変換してから出力します。 ところで、みなさんはXLSXをPDFに変換する処理は好きですか？自分でWindowsサーバーを用意してMicrosoft Excelをインスト…

2.1.文書体系の整理 2.2.運営業務作業の可視化 2.3.システム運用作業の可視化 2.3.1.管理プロセスの中から運用作業を抽出する 2.3.2.運用機能を軸に自動・手動を整理する 2.3.3.手動作業を「運用作業項目一覧」として整理する 2.4.利用する管理ツールの検討 運用グランドデザインで運用設計全体のベース(前提)を可視化できたら、運用基本設計を進めていきましょう。 運用グランドデザインでは、以下の資料を作成しました。もしまだの場合は1.運用グランドデザインのページをご覧ください。 ・作業分類・グループ・統制が意識された運用体制図 ・規定するITSMプロセス一覧と、ITSMプロセ…

gigazine.net ⇧ どこまで良しなに対応してくれるのか気になりますな。 基本情報技術者試験の資格取得に意味が無いという意見は現場のニーズと嚙み合わないからかしら IT系の資格に限らないとは思いますが、日々の業務に追われる状態では、 実業務に即時で役立つ内容を身に付けたい 実業務のための学習のせいで、資格のための学習をする時間が取れない というのが実情な気がします。 おそらく、実際に業務をこなしていると、業務に関係の無い領域に対して学習時間を割ける余裕が無いという状況が一般的なのかなと。 そんなこんなで、 xtech.nikkei.com ⇧ 結構「IT系の資格取得は不要」と謳う人が多…

※ 掲載内容は寄稿日現在の情報です。現在も本記事の職種が同条件で募集されているかどうかは要確認 はじめに 今回は、楽らクラウド株式会社が募集しているフロントエンドエンジニアの求人について詳しく見ていきます。この求人は、単なる技術者の募集ではなく、次世代のIT企業が目指す方向性を示唆しているように思えます。年収360万円から1,000万円という幅広い報酬レンジや、ユニークな福利厚生制度など、注目すべき点が多々あります。 楽らクラウド株式会社とは 楽らクラウド株式会社は、東京都渋谷区に本社を置くITサービス企業です。同社は、多様な領域でのサービス開発を手がけており、コンシューマサービスからフィンテ…

Amazon Prime Day 2024 Amazon の Prime Day が先行開始しました。本番は 7/16, 7/17 とのことです。 www.amazon.co.jp コラム 株式会社ヴィンクス 大阪市北区堂島にある会社です。監視ツール、 Job 管理ツールの製造販売を行っています。 Interop Tokyo 2024 にも出展していました。モニタリングツールの他、それ以外にも様々なソリューション提供に幅広く対応しているようです。 富士ソフト傘下の非上場企業。もともと子会社で、 2024年に TOB、非上場化されました。 www.vinx.co.jp www.fsi.co.jp…

ジョブの実行時間制限 LSF では、ジョブを送信する際に -W オプションを使用して実行時間制限を設定できます。このオプションを使用することで、ジョブが指定された実行時間を超えた場合、SIGUSR2 シグナルがジョブに送信されます。 UNIX ジョブ: 実行時間制限を超えると、最初に SIGUSR2 シグナルが送信され、さらに10分以内に終了しない場合は強制的に終了されます。 Windows ジョブ: 実行時間制限を超えるとすぐに強制的に終了されます。 この設定は bsub コマンドで実行され、以下のように指定します： bsub -W [hour:]minute[/host_name | /h…

Tivoli（IBM Tivoli）とJP1（日立製作所のJob Management Partner 1）は、いずれも企業のITインフラストラクチャ管理を目的としたエンタープライズソフトウェアスイートですが、それぞれの製品には異なる特徴と利点があります。以下に、TivoliとJP1の主要な違いを説明します。 ### Tivoli（IBM Tivoli）1. **製品概要**: - IBMが提供するエンタープライズシステム管理ソフトウェアの総称で、特に大規模なITインフラストラクチャの管理に適しています。 - ネットワーク管理、システム管理、ストレージ管理、セキュリティ管理など、幅広い管理機能…

『GitHub CI/CD実践ガイド――持続可能なソフトウェア開発を支えるGitHub Actionsの設計と運用』という書籍を最近出版したので紹介します。本書ではGitHub Actionsの実装と、CI/CDの設計・運用を体系的に学べます。一粒で二度美味しい書籍です。筆者個人としては「実践Terraform」以来、4年半ぶりの商業出版になります。 gihyo.jp どんな本？ GitHub利用者にとって、もっとも導入が容易なCI/CD向けのソリューションはGitHub Actionsです。GitHub Actionsの活用事例は多く、検索すればたくさん情報が出てきます。ただ断片的な情報には…