並行処理

はじめに せつ菜ちゃん & あげはさん、お誕生日おめでとうございます8️⃣8️⃣ nikkieです。 そんなよき日に非常に知的好奇心を刺激される"神"勉強会に参加してきました。 「並列処理をGo/Rust/Kotlin/Python/JSで解説！思想の違いを体感しよう」 目次 はじめに 目次 勉強会の概要 ベースとなる技術書典本 アーカイブ & 資料（みんなぜひ見て！） 感想：一覧できてすっごく面白かった！ Goルーチンで並列処理を実装しよう ちょっとしたデータ分析の並列化・Python Rustにおける並行処理 JavaScript の ⾮同期処理 Promise、 async/await …

はじめに 未来で待ってる。 nikkieです1。 ここ最近イベントループを使った並行処理（asyncio）を素振りしました。 これはI/Oバウンドな処理に有効です。 I/Oバウンドな処理にはマルチスレッドも有効と聞くので、少しだけ素振りしました。 目次 はじめに 目次 concurrent.futuresによるマルチスレッド 例で見るThreadPoolExecutor 『Python実践入門』を参考にした例 公式ドキュメント 終わりに concurrent.futuresによるマルチスレッド I/Oバウンドな処理の一例は、通信処理（具体的には、Web APIの大量呼び出し2）。 マルチスレッ…

はじめに たくさん、どうぞ！1 nikkieです。 毎日夏！って感じですが、今日も元気にOpenAIのAPIを叩いていきたいと思います！ 今回はたくさん送るので、並行処理を模索しました。 現時点での考えのバックアップ目的のエントリです。 目次 はじめに 目次 データセット数千件をChatGPTに固有表現認識させたい ライブラリopenaiをイベントループで利用する コード例（コメント歓迎） 終わりに データセット数千件をChatGPTに固有表現認識させたい 今回の状況の共有です。 論文「Is Information Extraction Solved by ChatGPT?」に興味を持ちました…

こんにちは。たろすです。今回は並行処理におけるFork/Joinフレームワークについて説明します。 Fork/Joinフレームワークとは おわりに おすすめの学習本 Fork/Joinフレームワークとは Forkは分割、Joinは結合を意味しています。つまり、Fork/Joinフレームワークはタスクを分割して実行し、結果を結合するフレームワークです。以下のように使用します。 public class Task extends RecursiveTask<String> { @Override protected String compute() { return "Task ended"; }…

こんにちは。たろすです。今回は並行処理におけるExecutorインタフェースについて説明します。 Executorインタフェースとは おわりに おすすめの学習本 Executorインタフェースとは Exexutorインタフェースはタスク送信をタスクの実行方式から分離する方法を提供する、Threadクラスに代わるインタフェースです。以下のように使用します。 public class Main { public static void main(String[] aargs) { Runnable task = new Runnable() { public void run() { System…

こんにちは！インフラチームの蓑星です。 エムオーテックスでは LANSCOPE クラウド版の開発において、製品コードに Scala、スクリプトなどに Python を利用しています。 今回は使いこなすと Python の処理を爆速！にできる、「並行処理」についてご紹介。 並行処理？ 並列処理？ Python での実現方法 マルチスレッド マルチプロセス 利用例 並行処理 並列処理 まとめ 参考資料 並行処理？ 並列処理？ 実行したい一連のプログラムを「処理」、処理を進めるために完了しなければならないことを「手順」とします。 また、手順と手順の間には、ディスクの読み書きやネットワークへのアクセス…

こんにちは。たろすです。今回は並行処理におけるCyclicBarrierについて説明します。 CyclicBarrierとは おわりに おすすめの学習本 CyclicBarrierとは CyclicBarrierは並行処理において各スレッドの足並みをそろえるときに使うクラスです。例えば以下のようなコードを実行すると、 public class Main { public static void main(String[] args) { Thread t0 = new Thread(new Runnable() { public void run() { String threadName =…

当ブログに先日コメントを頂きました！ありがとうございます！そして大変言い出しにくいことに、実は1年前にも別の方（？）からコメントを頂いており、わたしはそれにまったく気づいておりませんでした。申し訳ないです。気づかなかった理由として、このようなヘッポコブログにまさかコメントがもらえるとは考えてなかったので、はてなブログに引っ越した際にメール通知を設定していなかったのが原因です。1年間の振り返りブログを下書きしようとして直近のコメントに気づき、コメント履歴を見たら「あれ、なんか他にも来てる…」とそこで初めて気づいた次第です。質問内容は何れも「これどうやって実装するの？」という内容だったので、今回は…

はじめに まずは戦う相手を見定めよう 戦術はいかに まずは関数を知る しゅ、しゅ、出力がないだってぇ！？ 型＝値の集合とはなんぞや？ まとめ おわりに 参考 はじめに 本記事はｉｉｍｏｎ Advent Calendar 2024 21日目の記事となります！ こんにちは！DDDとTDDには熱心だけど、推し活はDD（誰でも大好き）ではなく、とことん一途なエンジニアマネージャー、まつだです。 本日12月21日は私の誕生日ということで、なんと101101歳になってしまいました！（この手のやつ、16進数にしてるのはよく見るけど、2進数は斬新やな⋯） ちょっとでも誕生日を祝ってくれる気持ちのある方は、ぜひ…

ある程度具体的な仕様が決まったのでこのゲームの開発フローを改めて考えてもらった！ 前提としてchatGPTのサポートを受けながら俺1人で作業することを考慮して考えてもらったのがこちら 以下は、あなたが1人で開発を進める場合を想定した、段階的な開発フローの一例です。ChatGPT（私）のサポートを適宜活用しながら進められるよう、規模を縮小し、最小限のバージョンから徐々に拡張する方針を取っています。一人開発では、すべてを同時並行するのは困難なため、MVP（Minimum Viable Product）を目指したプロトタイプ構築→機能拡張→改善という流れで進めると良いでしょう。 開発フロー概要 (一…

Javaにおける同期と非同期の概念 同期（Synchronous） 概念：同期実行モデルでは、タスクは順次一つずつ実行されます。一つのタスクが現在のスレッド内で完全に終了した後に、次のタスクが実行されます。 特性： ブロッキング：スレッドは、ある操作が完了するまで待機状態（ブロック）になり、タスクが完了した後に続行します。 単一スレッドの順次処理（順次処理）：タスクの実行結果はコードの順序に厳密に従って生成されます。 非同期（Asynchronous） 概念：非同期実行モデルでは、タスクの実行が分離され、現在のタスクを継続しながら、他のタスクの完了を待つ必要がありません。非同期は並行処理や並列…

Javaプログラミングでは、高性能で効率的なアプリケーションを構築するために、「並行処理」と「並列処理」の概念が欠かせません。本記事では、これらの違いを解説し、それぞれが実現できる順次実行プログラムでは不可能なニーズについて説明します。 並行処理と並列処理の概念 並行処理（Concurrency） 並行処理とは、プログラム内で複数のタスクを同時期に管理する能力を指します。これは、タスクが同じ時間枠内で交互に実行されることを意味し、実際には1つのCPUがリソースを共有して複数のタスクを切り替えて実行します。 Javaでは、ThreadクラスやExecutorフレームワークを使用して、並行処理を実…

関連記事 概要 試してみた Taskfile.yml 実行 参考情報 Goのおすすめ書籍 関連記事 GitHub - devlights/blog-summary: ブログ「いろいろ備忘録日記」のまとめ 概要 以下、自分用のメモです。忘れないうちにメモメモ。。。 csv.Reader.ReuseRecord という設定値があることを最近知りました。こんな設定値あったのですね。どうもずっと昔からあったみたい。 名前の通り、内部処理で行データを設定するレコードを再利用するようになる設定です。 ループごとに行データを処理する実装であるなら、再利用されてても問題ないですね。 メモリ消費量とパフォーマン…

関連記事 概要 サンプル sample.h sub.go main.go Taskfile.yml 実行 参考情報 Goのおすすめ書籍 関連記事 Goメモ-502 (cgoメモ-01)(cgoヘッダ) - いろいろ備忘録日記 Goメモ-506 (cgoメモ-02)(cgoヘッダ) - いろいろ備忘録日記 Goメモ-507 (cgoメモ-03)(C.int) - いろいろ備忘録日記 Goメモ-508 (cgoメモ-04)(C言語の構造体) - いろいろ備忘録日記 Goメモ-509 (cgoメモ-05)(C.CString)(Cの文字列) - いろいろ備忘録日記 Goメモ-510 (cgoメモ-0…

この記事はエムスリー Advent Calendar 2024 の18日目の記事です。 こんにちは、基盤チームエンジニアの桑原です。最近はKeychron Q11を購入してキーボードライフを楽しんでいます。昨日はキースイッチの交換に失敗し、10年ぶりにはんだ付けをして何とか事なきを得ました。 はんだ付けしたら巨大な鉛の塊ができてしまったの図 本日は私が半期取り組んでいたJavaバッチのオンプレからクラウドリフトプロジェクトについて紹介します。なかなか泥臭い作業が多かったのですが、ありのままの仕事内容をお伝えします。 概要 システムの概要 プロジェクトの概要 プロジェクトの背景 脱オンプレを進め…

関連記事 概要 サンプル main.go Taskfile.yml 実行 参考情報 Goのおすすめ書籍 関連記事 Goメモ-502 (cgoメモ-01)(cgoヘッダ) - いろいろ備忘録日記 Goメモ-506 (cgoメモ-02)(cgoヘッダ) - いろいろ備忘録日記 Goメモ-507 (cgoメモ-03)(C.int) - いろいろ備忘録日記 Goメモ-508 (cgoメモ-04)(C言語の構造体) - いろいろ備忘録日記 Goメモ-509 (cgoメモ-05)(C.CString)(Cの文字列) - いろいろ備忘録日記 Goメモ-510 (cgoメモ-06)(C.GoString)(C…

関連記事 概要 サンプル main.go Taskfile.yml 実行 参考情報 Goのおすすめ書籍 関連記事 Goメモ-502 (cgoメモ-01)(cgoヘッダ) - いろいろ備忘録日記 Goメモ-506 (cgoメモ-02)(cgoヘッダ) - いろいろ備忘録日記 Goメモ-507 (cgoメモ-03)(C.int) - いろいろ備忘録日記 Goメモ-508 (cgoメモ-04)(C言語の構造体) - いろいろ備忘録日記 Goメモ-509 (cgoメモ-05)(C.CString)(Cの文字列) - いろいろ備忘録日記 Goメモ-510 (cgoメモ-06)(C.GoString)(C…

ゲーミングPCは、高負荷なゲームをスムーズに動かすために特化した構成を持つパーソナルコンピュータです。高品質なグラフィックや高フレームレートでプレイするためには、一般的なPCよりも強力なパーツや緻密な調整が求められます。しかし、初心者にとってはパーツの選び方や初期設定の手順が分かりにくく、何から手をつければよいのか戸惑うことも多いです。本記事は、これからゲーミングPCを導入する人に向けて、基本的な考え方やパーツ選定のポイント、初期段階で意識すべき設定、さらには長期的なメンテナンス方法までを整理します。性能ばかりを追い求めるのではなく、遊びたいタイトルや用途、予算などを踏まえたバランスの良い構成…

この記事は BASE アドベントカレンダー 16日目の記事です。 はじめに こんにちは、CSE Group ※1 で社内の業務効率化の開発をしている上野です。 アドベントカレンダー15日目は @miyachin_87 さんの記事でした、みなさんもうお読みでしょうか？私は特に業務効率化の開発をしているので Notion での自動タスク生成の話はとても参考になりました。まだの方はぜひお読みください！ devblog.thebase.in さて、アドベントカレンダー16日目の本日は、レポートシステムの安定稼働をするための取り組みについて紹介します！ レポートシステムとは BASEではJ-SOX対応の…