並列処理

pythonの処理速度が遅い場合、並列処理が有効である。ここでは、実務でも役立つ並列処理のサンプルコードを紹介する。 pythonの標準ライブラリであるmultiprocessingを利用する。 from multiprocessing import Pool # ジョブを送り込めるワーカープロセスのプールを制御する from multiprocessing import cpu_count # システムの CPU 数を返す まずは数値実験の対象となる10000x10000の2次元乱数配列を作成する。 import numpy as np num = 10000 np.random.seed(…

副詞 valueLY: が並列処理にならない件を少し手を入れて解消する 前回 メッセージに織り込まれた副詞や自動詞の処理のされ方の謎が解けて、だいぶ目が慣れてきました。 実は当初、Ractorとの比較で たらい回しベンチを書いたとき、次のように副詞の valueLY: を使った実装を試してみたのですが… "(FileStream fileNamed: 'Tarai.st') fileIn. Transcript open" Transcript clear. (1 to: 16) collect: [:N | Transcript cr; show: N -> { "parallel vers…

前回、RoarVM 専用並列処理特化 DSL である Sly3 について、「アンサンブルが同名メソッドを持っていなければ、副詞 IndividualLY が無くてもメッセージはアンサンブル内の各要素に委譲される」と書きましたが、あれは嘘でした。すみません。 blocks copy fixTemps と複数のブロックを収めたアンサンブルである blocks に対して、アンサンブルにない BlockContext 固有の fixTemps はともかく、誰でも反応できるはずの copy を送っても IndividualLY になるのはおかしいな…と気になって調べてみたところ、完全な思い違いが判明しま…

前回 の続き。 多コア用 RoarVM 向けには Sly3 という並列処理を記述するための DSL も同時に開発されていました。もともと Ly という Smalltalk上に実装された JavaScript ライクな文法の並列処理言語とその処理系が作られ、それを Smalltalk 内で DSL化したのが Sly で、Sly3 はその３サイクル目ということらしいです。 この Ly/Sly や RoarVM はプロトタイプベース・オブジェクト指向の祖として知られる SELF言語を開発者した David Ungar とテクトロニクス社出身の Sam S. Adams らが参加したIBM基礎研究所・…

昨年末の登場以来、Apple の M1マシンの爆速ぶりが大々的にフィーチャーされ続けているおかげもあってか、インテル版のそこそこ盛った仕様の MacBook Pro（16インチ, Late 2019）の中古価格にかなりお手頃感が出てきました。そこで、いろいろ不具合が蓄積してきていた第4世代 Core i7 搭載の MacBook Air（Early 2014）の代替として入手してみました。M1 ほどではないにしても 8コア16スレッドの第９世代 Core i9 のパワーを手にしてふと思い立ち、10年ほど前に話題になったときに少し動かしてみたきりになっていた Squeak Smalltalkの多…

更新日時 2021/03/03/07:00 Qiita Trends Daily 1位 ※前日2位 Python,pulp,線形計画法,ダイエット問題 Qiita Trends Daily 2位 ※前日5位 Haskell,ポエム Qiita Trends Daily 3位 ※前日3位 インタプリタ,コンパイラ,アセンブリ言語,低レイヤ,機械語 Qiita Trends Daily 4位 [New] GitLab,ドキュメンテーション Qiita Trends Daily 5位 [New] Python,再帰関数 Qiita Trends Daily 6位 [New] ShellScript,…

深層強化学習における超大規模分散並列化の有用性を示したApeX-DQN（Distributed Prioritized Experience Replay）をtensorflow2とrayで実装します。手法の構成要素自体はRainbowとだいたい同じであるため、本記事の焦点は分散並列学習の実装です。 はじめに Ape-X DQN の概要 Learnerの役割 Actorの役割 Replayの役割 Rainbowからの継承要素 大規模並列Actorの効果検証 CartPole環境での簡易実装 分散学習の実装 Actorの実装 Replayの実装 Learnerの実装 Qネットワーク 学習結果：C…

用途に合わせた音で 作業の効率を上げることができる！？ 音楽を聴きながら勉強すると集中力が向上する！？ はたまた低下してしまう！？ そんな疑問を抱いたことはないでしょうか？？ 今回は音によって変化する 集中力の違いについてです。 在宅や家庭学習をしている方必見です！！ ー音の効果についてー ホワイトノイズ 学習能力を高めるためには、ホワイトノイズが良いとされています。 ホワイトノイズは、注意力と認知能力を高めるという効果があります。 例として、「ザーッ」といった砂嵐の音です。 ピンクノイズ ピンクノイズは、脳内がα波の状態になり、ヒーリング効果をもたらします。 自然音のように、一定のように見え…

生活保護申請のその後 世界コロナ感染者7週ぶり増加、年内の終息「非現実的」＝ＷＨＯ | ロイター 「宗教系大学は学歴として認めない」人事担当者が言い出したので窘めたら鳩が豆鉄砲を食ったような顔をした話 - Togetter やっぱりウマ娘の記事がステマにしか見えん 佐賀市HP マイナンバーカードなどの情報 1年半閲覧できる状態 | NHKニュース Toshi Ogata (尾形 聡彦） on Twitter: "菅首相ぶら下がり。菅氏が、山田広報官に「女性のきめ細かさ」を期待していたと言及したのに驚きました。きめ細かさは女性、男性を問わず個人差です。その言葉に菅氏の固定化した女性観が表れていま…

こんにちは。プロダクト開発グループの福角です。 大量データを加工してBQに格納する場合の設計方針についてまとめました。 前提 元データの性質や管理方法によって、最適なプログラムの実装方法は違うと思いますので、この記事では、プログラム設計については言及しません。基本設計とその際の注意点について言及します。 今回、元データはRDSに格納されているケースを事例に出しますが、S3においてあるログ情報など、元データの格納場所がどこなのかは基本的に影響しません。 背景 弊社では、自社サービスを開発・運営しています。サービスを運営していく上で、RDBに格納された過去の情報（およそ300億ほどあるレコード情報…

はじめに こんにちは、Webエンジニアの濱田裕太 (@yuuta) です。 Quipperが開発・運用している スタディサプリ のプロダクトでは、バックエンドの一部をGoで実装しています。そのサムネイル画像作成で利用する画像処理ライブラリを imaging から bimg (libvips のGoバインディング) に変更したことで、高速化・省メモリ化を実現しました。本エントリでは、それによって得られた知見を共有します。 1. どのくらい高速化・省メモリ化したか 1-1. 検証コード 1-2. 処理時間 1-3. メモリ使用量 2. なぜ高速化・省メモリ化されるのか 2-1. libvipsの画…

知りたいこと なんなの どういうときにつかうの 開発 ツール 何 A query language for your API https://graphql.org/ - APIのインターフェース規格 - 1エンドポイント(特定パスへPOST) - QueryとMutation(Command)を明確に区別 - 一度に複数リソースやフィールドを制限してのアクセス可能 - スキーマ定義が必要(swagger定義する感じ) - あまりHTTPの仕様に依存しない - HTTPメソッドは取得でも削除でもPOST - リクエストが成功したらNOT FOUNDなどのエラーでも200返す(bodyでエラーを…

完成 完成したものがこちら nullsuke.github.io ソースコードはこちら github.com まとめ とりあえず動くものを完成させようと思い、ジョーカーや8切りや9リバースなどの特殊ルール、カード交換などを実装できませんでした。人に遊んでもらうレベルにするには必要でしょうから時間があれば取り入れてみたいです。 グラフィックも改善したいなと思いました。カードを扇状に配置したり、カードを出すアニメーションとか。あと、各プレイヤーの画像とかもいれてみたいです。 今回BitCard型(ulong)で手札を管理しましたが、役の取得や評価の計算で1ビットずつ取り出してループさせる……なんて…

HTTP/1.0 HTTPはブラウザ（Webクライアント）とWebサーバ間でデータをどのようにやり取りするかを取り決めたプロトコル。 HTTPにもバージョンがあり、1つのリクエストに対して1つのレスポンスを返す、という形式の通信を取るのがHTTP/1.0（までのバージョン）。筆者がHTTPと聞いてイメージする通信はこれだった。 図に表すとこんな感じ。 上図は、まずはHTMLを、次に画像を、最後にCSSを取得するためのリクエスト/レスポンスが順次生成されている流れとなる。 HTTP/1.1 HTTP/1.0ができた3年後、1999年にHTTP/1.1が生まれる。 もう22年も経つわけだが、現在も…

Pythonic 思考 リストと辞書 関数 参考書籍 Effective Python 第二版が出ていて、Python3 に関する記述が増えていたので読んでみました。 書籍のリポジトリはこちら。 github.com ざっと読んで学びがあった個所をメモしています。 Pythonic 思考 PEP8 = Python Enhancement Proposal #8 で提案されているスタイルガイドは通読してく価値があります。 www.python.org Pylint 等のツールでエラー検出する習慣をつけておけば自然と PEP8 準拠になります。 pypi.org Python3 では文字データを…

1: ご冗談でしょう？名無しさん 2011/09/21 03:15:30例えば1～10^nの範囲内の自然数を入力してそれを素因数分解した結果を1秒以内に出力出来る機械が物理的に存在出来るか考えるとしてnが100億とか1兆とかそんなに大きくなっても存在出来るのかな3: ご冗談でしょう？名無しさん 2011/09/21 05:59:31情報伝達速度は光速を越えないからそういう意味での限界はあるんじゃないの。19: ご冗談でしょう？名無しさん 2011/09/25 06:42:09 id:nbZhkyDQ＞情報伝達速度は光速を越えない はい、トンデモ理論22: ご冗談でしょう？名無しさん 2011/…