Pytorch

画像認識エンジニアかーなびが選ぶおすすめの技術本： ・PyTorchエンジニア必見！ディープラーニングの基礎から実戦までを網羅的に学習！現在、予約発売中！（スマートな楽天経済圏ユーザは是非👇） PyTorch実践入門 ディープラーニングの基礎から実装へ [ Eli Stevens ]価格：3982円（税込、送料無料) (2021/2/5時点) 楽天で購入 2021/2/4（木）成長日記： 昨日の睡眠 うとうと+3:30-7:30(4:00+α)： ・カーテン開けて睡眠できた。 食事： ・朝（7:30）ラクターゼエンザイムx2、亜鉛x1、ビタミンCx1、プレワークドリンクx1/2（グルタミン酸x…

画像認識エンジニアかーなびが選ぶおすすめの技術本： ・PyTorchエンジニア必見！ディープラーニングの基礎から実戦までを網羅的に学習！現在、予約発売中！（スマートな楽天経済圏ユーザは是非👇） PyTorch実践入門 ディープラーニングの基礎から実装へ [ Eli Stevens ]価格：3982円（税込、送料無料) (2021/2/2時点) 楽天で購入 2021/2/2（火）成長日記： 昨日の睡眠 3:00-8:00(5:00)： ・カーテン開けて睡眠できた。結構疲れがあったけど5:00睡眠で済んだのはカーテン開けてたおかげ。習慣化できて良い。 食事： ・朝（8:30）ラクターゼエンザイムx…

画像認識エンジニアかーなびが選ぶおすすめの技術本： ・PyTorchエンジニア必見！ディープラーニングの基礎から実戦までを網羅的に学習！現在、予約発売中！（スマートな楽天経済圏ユーザは是非👇） PyTorch実践入門 ディープラーニングの基礎から実装へ [ Eli Stevens ]価格：3982円（税込、送料無料) (2021/2/2時点) 楽天で購入 2021/2/1（月）成長日記： 昨日の睡眠 1:15-8:15(7:00)： ・カーテン開けて睡眠できた。結構疲れがあったけど7:00睡眠で済んだのはカーテン開けてたおかげ。 食事：・朝（9:00）バナナx1、ラクターゼエンザイムx2、亜鉛…

サンプルコード seed = 0 # python の組み込み関数の seed を固定 random.seed(seed) # torch の seed を固定 torch.manual_seed(seed) # numpy の seed を固定 np.random.seed(seed) # cuDNN が決定的アルゴリズムを使用する torch.backends.cudnn.benchmark = False # 決定論的アルゴリズムを使用する torch.backends.cudnn.deterministic = True seed の固定 初めの 3 行は seed の固定です．Num…

エラー内容 GPU で保存した学習モデルを読み込むときに，十分な GPU メモリがあるのに Out of memory が発生してしまいます． 原因 モデルを GPU で保存した場合，いったん GPU メモリを経由するために Out of memory になってしまうそうでした． torch.load のときに map_location = lambda storage にすると， CPU でパラメータがマップされるので Out of memory が発生しません． 解決法 import torch def load_params(params_path): state_dict = torc…

画像認識エンジニアかーなびが選ぶおすすめの技術本： ・PyTorchエンジニア必見！ディープラーニングの基礎から実戦までを網羅的に学習！現在、予約発売中！（スマートな楽天経済圏ユーザは是非👇） PyTorch実践入門 ディープラーニングの基礎から実装へ [ Eli Stevens ]価格：3982円（税込、送料無料) (2021/2/1時点) 楽天で購入 2021/1/31（日）成長日記： 昨日の睡眠 2:15-7:30(5:15)： ・カーテン開けて睡眠できた。睡眠時間若干足りない感じはあって目もしぱしぱしてたけど何とか起きれた。 トレーニング：・筋トレ (0:00)：おやすみ（まだ全身トレ…

前回はPyTorchでマスクを付けている人を分類するモデルを作りました。 supernove.hatenadiary.jp 学習させたモデルをOpen CVで使ってみたいと思うのですが、毎回PyTorchを使うのは面倒なのでOpen CVだけでモデルを使う方法を試してみました。 モデルの変換 学習したモデルはPTHで保存できますが、これだと毎回PyTorchを呼び出す必要があります。 そこでモデルをOpen CVで使うためにOpen CVのDNNモジュールに対応しているONNX形式のモデルに変換する必要があります。 PyTorchではtorch.onnx.exportを使えば学習したモデルを簡…

画像処理エンジニアかーなびが選ぶおすすめの技術本： ・PyTorchエンジニア必見！ディープラーニングの基礎から実戦までを網羅的に学習！現在、予約発売中！（スマートな楽天経済圏ユーザは是非👇） PyTorch実践入門 ディープラーニングの基礎から実装へ [ Eli Stevens、Luca Antiga、Thomas Viehmann ] 価格:3,982円(2021/1/24 10:26時点)感想(0件) 2021/1/30（土）成長日記： 昨日の睡眠 1:45-7:50(6:05)： ・カーテン開けて寝て、いい感じに起きれた。フカフカの起毛ブランケットにくるまるとすごく睡眠の質上がる気がす…

画像処理エンジニアかーなびが選ぶおすすめの技術本： ・PyTorchエンジニア必見！ディープラーニングの基礎から実戦までを網羅的に学習！現在、予約発売中！（スマートな楽天経済圏ユーザは是非👇） PyTorch実践入門 ディープラーニングの基礎から実装へ [ Eli Stevens、Luca Antiga、Thomas Viehmann ] 価格:3,982円(2021/1/24 10:26時点)感想(0件) 2021/1/29（金）成長日記： 昨日の睡眠 :23:45-8:15(8:30)： 寝る前にカーテン開けるの忘れてたーーーーーー。おかげで熟睡してしもうた。 筋トレ (21:20-22:…

画像処理エンジニアかーなびが選ぶおすすめの技術本： ・PyTorchエンジニア必見！ディープラーニングの基礎から実戦までを網羅的に学習！現在、予約発売中！（スマートな楽天経済圏ユーザは是非👇） PyTorch実践入門 ディープラーニングの基礎から実装へ [ Eli Stevens、Luca Antiga、Thomas Viehmann ] 価格:3,982円(2021/1/24 10:26時点)感想(0件) 2021/1/25（月）成長日記： 昨日の睡眠：3:00-8:00(5:00)： 最近はずっと5時間台の睡眠で十分疲労が取れている気がするので良い傾向と解釈。 筋トレ（朝9:20-9:30…

画像処理エンジニアかーなびが選ぶおすすめの技術本： ・PyTorchエンジニア必見！ディープラーニングの基礎から実戦までを網羅的に学習！現在、予約発売中！（スマートな楽天経済圏ユーザは是非👇） PyTorch実践入門 ディープラーニングの基礎から実装へ [ Eli Stevens、Luca Antiga、Thomas Viehmann ] 価格:3,982円(2021/1/24 10:26時点)感想(0件) 2021/1/24（日）成長日記： 睡眠：1:00-6:50(5:50) 長めに寝てしまった。前日と寝ている時間が同じ。その前は5:25, 2日前までの睡眠時間に依存するという、2階マルコ…

画像処理エンジニアかーなびが選ぶおすすめの技術本： ・PyTorchエンジニア必見！ディープラーニングの基礎から実戦までを網羅的に学習！現在、予約発売中！（スマートな楽天経済圏ユーザは是非👇） PyTorch実践入門 ディープラーニングの基礎から実装へ [ Eli Stevens、Luca Antiga、Thomas Viehmann ] 価格:3,982円(2021/1/24 10:26時点)感想(0件) 2021/1/23（土）成長日記： 睡眠： 4:00-9:50（5:50, 長めに寝てしまった。寝る時間が遅いと睡眠の長さも長くなるのかも。） 筋トレ：・トレーニング時間合計（0:15）・…

今日は５時半起き。 「pythonで作る対話システム（東中竜一郎他著）」（３） 第１章 対話システムを作るに当たって → 完了 第２章 タスク指向型対話システム → 完了 第３章 非タスク指向型対話システム → 3.1 話し相手を作ろう（完了） → 3.2 ルールベース方式（完了） → 3.3 用例ベース方式 MacOSの環境を構築中。 ElasticSeaarch を使って、用例データを追加していく。 → 3.3.2 深層学習を用いた発話選択 3.3.3 深層学習のためのツール・ライブラリ 3.3.4 Google Colaboratory pytorch を使った深層学習の準備。 Pyth…

はじめに 独り言 構成 コンテナイメージの作成 フォルダ構成 Dockerfile POST, Responseスキーム app.py ローカルでテスト Lmabdaのロギング ECRにプッシュ Lambda関数作成 API Gatewayの作成 POSTテスト 感想 参考 はじめに pythonを使った機械学習モデルは巷でよく見ます。今回はpytorchを使って学習させたモデルをAWSにサクッとデプロイしたいと思います。 この記事をめちゃめちゃ参考にしました。良記事です。 tech.aptpod.co.jp 今回は上の記事の丸パクリで、以下のような構成にします。 Frontend --- A…

やったこと ↓でDropoutの概要を知る。 【ニューラルネットワーク】Dropout(ドロップアウト)についてまとめる - Qiita なぜやったのか pytorch云々でいろいろいじっていたら、そういやDropoutよくわからないなぁってなったから。 メモ Dropoutとは ニューラルネットワークの学習時に、ある一定の割合のノードを不活性化して学習を行う方法。 この方法のねらい 過学習を抑えながらパラメータを行い、精度を上げる。 やっていること ※pは調整パラメータ Dropoutはレイヤーの各ノードに設置される。値はベルヌーイ分布に従う(確率pで1、p-1で0)。 確率pでそのまま次の…

はじめに この記事ではLSTMを取り扱っていきます．LSTMの内容はネット上でたくさん上がっていると思うので，この記事は私が勉強したという備忘録を残すためにやっております．前回の記事に，RNNをやったので合わせてお読みください． tatsuya-happy.hatenablog.com LSTMが解決したいことの問題 LSTMとRNNの大きな異なるのは情報量だと捉えています．RNNは過去の情報を多く捉えることができませんが，LSTMは言葉が離れていてもRNNと比べると，多くの情報量を捉えることができます．RNNがそれをできないのは構造上の過去の情報を表す，h_tが情報を失っていくためです．例え…

概要 pytorchで転移学習を行う際に，全結合層以外の重みを固定するということをよくやるのですが，毎回やり方を忘れて調べていたので，備忘録としてこちらに残しておきます．

はじめに 言語処理の勉強しよーと思った次第で，始めた記事です．この記事で取り扱うのは，word2vecを扱おうと思っています．word2vecの記事は他にも大量にあるので，他の記事と対して差分はありませんので，これは私の勉強備忘録となります．今回はcbowを扱っていきます（skip-gramはやらないと思います．）． cbow you say goodbye and I say hello というのがよく，例に出されますが，このうち例えば， you [] goodbye and I say hello と来た時に，このを予測する問題がcbowとなります．基本となるのは，前後にどのような単語をと…

dlshogiのモデルの訓練に使用しているPythonスクリプトは、ベタなforループで記述しており、ミニバッチ作成部分と、ニューラルネットワークの学習の処理をシーケンシャルに実行しており並列化は行っていなかった。ミニバッチデータの作成は、盤面から入力特徴量を作成する処理が比較的重いため、C++で実装して高速化している。 それでも、ある程度CPU時間を消費している。一方ニューラルネットワークの学習処理は、GPUで処理しているため、CPUは遊んでいる状態になる。 その間に、次のミニバッチデータの作成を行えば、よりCPUの使用効率を上げることができる。PyTorchには、データローダーを並列化する…

スターやコメントしていただけると励みになります。 また、記事内で間違い等ありましたら教えてください。 Detectron2でのデータ水増し デフォルトでは訓練時のログからもわかるように２つの手法が使用されています。（実行結果は前の記事のものです） 今回の記事ではいろんな水増し手法を使う方法を紹介します。 実行 モジュールのインポート import torch, torchvision print(torch.__version__, torch.cuda.is_available()) import torch assert torch.__version__.startswith("1.7"…

多分1年以上ぶりに、発表枠 で勉強会に参加しました。 資料はこちらです speakerdeck.com もともとはGPT-3について解説する予定だったけど、15分で説明するのは無理と感じたため、急遽JAXとFlaxに話題を切り替えた。 JAXについては、すでに界隈で十分に評価されていたため、今更紹介しても新規性はなさそうだったため、Flaxを加えたことでまとまった情報になったかと思う。 Flaxについては、これまでは存在は知っているけど、JAXの深層学習フレームワークってくらいの理解しかなかったです。 実装の詳細やサンプルコードを見ていくうちに、強い関数型指向の影響を受けていて、新鮮味を感じま…

スターやコメントしていただけると励みになります。 また、記事内で間違い等ありましたら教えてください。 Detectron2 とは Detectron2とは、Facebook AIが開発したPyTorchベースの物体検出のライブラリです。 様々なモデルとそのPre-Trainedモデルが公開されており、panoptic segmentation, Densepose, Cascade R-CNN, rotated bounding boxes, PointRend, DeepLabなどを簡単に実装することができるようです。 とりあえず、ここではインストールから簡単なコードの実装まで行いたいと思い…

コンペのロゴはこんな感じでした 2/18までKaggleで行われていたRainforest Connection Species Audio Detectionに参加してました。 それに取り組む中で勉強した事を備忘として記録していきたいと思います。