DeepLearning

Decoupling Representation and Classifier for Long-Tailed RecognitionというICLR2020に採択された論文を紹介します． Deep Learningのロングテールな不均衡データに対して，データのサンプリング戦略と，特徴抽出器と分類器の学習パターンによる違いを体系的に調査した論文です． 元の論文はこちら： openreview.net ロングテールな不均衡データ： Photo by Kang, B., Xie, S., Rohrbach, M., Yan, Z., Gordo, A., Feng, J., and Kalanti…

動かしながら学ぶ PyTorchプログラミング入門作者:斎藤勇哉発売日: 2020/11/30メディア: Kindle版 目次 目次 目的 準備 解析手法 1. 皮質厚計測 準備 実行 結果 2. 皮質厚評価 準備 実行 結果 各大脳皮質の分布：data_hist?.png Ground truthに対する相対誤差：Relative_error_in_cortical_thickness.png 平均二乗誤差（MSE）と平均絶対誤差（MAE）：MSE_MAE.csv, MAE_result.png, MSE_result.png Ground truthからの絶対差に対する検定：indepen…

動かしながら学ぶ PyTorchプログラミング入門作者:斎藤勇哉発売日: 2020/11/30メディア: Kindle版 目次 目次 目的 背景 方法 ① researchmapから、投稿した論文情報を取得 ② 雑誌のインパクトファクターIFを取得 ③ ①と②を結合して、投稿した論文とインパクトファクターの情報が載ったCSVを出力 目的 researchmapから、投稿した論文情報を取得 雑誌のインパクトファクターIFを検索・追加し、CSVで出力 背景 「学術雑誌等に発表した論文・著書のうち、主なもの（過去５年間）を記載せよ。」 投稿した論文はたくさんあるけど、IFが高くて最近の論文はどれだろ…

画像認識エンジニアかーなびが選ぶおすすめの技術本： ・PyTorchエンジニア必見！ディープラーニングの基礎から実戦までを網羅的に学習！現在、予約発売中！（スマートな楽天経済圏ユーザは是非👇） PyTorch実践入門 ディープラーニングの基礎から実装へ [ Eli Stevens ]価格：3982円（税込、送料無料) (2021/2/1時点) 楽天で購入 2021/1/31（日）成長日記： 昨日の睡眠 2:15-7:30(5:15)： ・カーテン開けて睡眠できた。睡眠時間若干足りない感じはあって目もしぱしぱしてたけど何とか起きれた。 トレーニング：・筋トレ (0:00)：おやすみ（まだ全身トレ…

前回はPyTorchでマスクを付けている人を分類するモデルを作りました。 supernove.hatenadiary.jp 学習させたモデルをOpen CVで使ってみたいと思うのですが、毎回PyTorchを使うのは面倒なのでOpen CVだけでモデルを使う方法を試してみました。 モデルの変換 学習したモデルはPTHで保存できますが、これだと毎回PyTorchを呼び出す必要があります。 そこでモデルをOpen CVで使うためにOpen CVのDNNモジュールに対応しているONNX形式のモデルに変換する必要があります。 PyTorchではtorch.onnx.exportを使えば学習したモデルを簡…

スーパーマリオの1-1をクリアさせたかったのですが、自分の低スペックパソコンだと「episodes」を500以上に設定すると処理が途中で落ちてしまう。 チュートリアルをみると「episodes」を40000ぐらいにすればクリアできるかもよとあるけど。。。(*´з`) いろいろ設定を変えたりしたけど。。。なかなかうまくいきません。 GPUほしいなぁ。。。今日は試行錯誤したプレイをまとめてみました。 プログラムは#2のときのものを流用してます。 a1026302.hatenablog.com 動きを追加 actionについて 前回 今回 プレイ動画 パラメータ変更 downsampleで学習 前回…

今日は、チュートリアルを参考に強化学習の処理部分が手元の環境で動くようにセットアップしました。コードは少しずつ勉強していこうと思います。 昨日までの取り組み 今日やったこと 本日の進捗 プログラム 学習させた マリオでプレイ 動画出力部分（mp4） とりあえず実行 困っていること 昨日までの取り組み a1026302.hatenablog.com 今日やったこと 学習部分の処理が手元の環境で動くようにする 学習したものでマリオをプレイしてみる 学習したマリオのプレイを動画出力する 本日の進捗 [episodes = 60]で学習させたら、ようやく少し進みました。 これでいいのかなぁ。。。 yo…

何かAIっぽいことがやってみたくて強化学習の勉強をはじめてみました。 初めから本とか読むと自分の場合。。。難しくて眠くなっちゃうので、ゲームっぽい面白そうなところからやってみようと思います。 ちょうど、PyTorchチュートリアルにスーパーマリオのプレイ動画があったのでやってみました。 pytorch.org 参考にしたサイト qiita.com インストール 環境準備 スーパーマリオの OpenAI Gym用 スーパーマリオの OpenAI Gym環境をインストール matplotlibでアニメーション出力 gif/mp4でアニメーションファイルを出力用 プログラム 必要なライブラリをインポ…

はじめに モデル保存パターン 各パターンの解説 state_dictのモデル保存 entireのモデル保存 TorchScriptのモデル保存 べストな保存方法 まとめ はじめに TorchServeを利用してサービングを実施する際にモデルの保存方法についていくつかパターンがあり，TorchServeで保存したモデルを読み込む際にうまく動作しないといった事があったのでしっかり違いを把握しようと思ってこの記事を書いています．この記事を読んでくださっている人の中にもよく分からずに何となくPytorchにおけるモデル保存を実施している人もいるかと思いますのでそう言った方の参考になればと思います．ちな…

nvidia-dockerを使ったGPUマシンのnvidia driver, cuda更新するにあたっての作業メモ 環境 Ubuntu 16.04 GPUの最新のドライバは配布されているのか？確認とインストール方法 前提: Nvidia-driverとCUDAバージョンの関係を確認 CUDA Toolkit - NVIDIA driver 対応表 方法A: NVIDAIドライバダウンロードサイト - [DLサイト](https://www.nvidia.com/download/index.aspx?lang=jp) - 上記サイトで検索すると最新バージョンが確認できる．DLは~.runファイ…

みなさん、はじめまして！エッジAIエンジニアの山本(25)です。 アジラの百人将を目指しています。 さて、本日はエッジAIデバイス(※)のレビューを書きたいと思います。若干ゴーストライターの影が見え隠れしますが、インプレッションそのものには偽りありません。ので、エッジデバイスに興味のある皆様には、安心してお読みいただければ幸いです。 ※エッジAIデバイスとは？ その名の通り、エッジ（先っぽ）に搭載されているAIのことです。クラウドの対義として使われ、ここでいうエッジとは「現場寄りの機械デバイス」のことです。当社はそういったデバイスに直接AIを搭載し、情報処理する技術に長けています。 ・・・・・…

この記事はBASE Advent Calendar 2020の21日目の記事です。 はじめに お久しぶりです。BASEビール部部長(兼Data Strategyチーム)のbokenekoです。 今年はほんと辛い1年でしたね。コロナで全くビール部の活動ができませんでした。 その反動で通販でクラフトビール買いまくって冷蔵庫が溢れました。定期便の利用は計画的に。 と、まあそんな私生活はおいておいて、今日はData Strategyチームでのリコメンドにおける取り組みについてお話しします。 BASEでは、ネットショップ作成サービス「BASE」で開設された130万のショップが集まる購入者向けのショッピン…

コンピュータサイエンス技術の一つに、自然言語処理（NLP）と呼ばれている領域があります。NLPは、コンピュータに人間の用いる言語（自然言語）を処理させる取り組み全般を指します。 ここ数年のNLPの傾向として、大規模テキストでの事前学習済みモデルの活用が挙げられます。代表的な例が、Googleが2018年10月に発表した「Bidirectional Encoder Representations from Transformers (BERT)」*1です。BERTは多数のNLPタスクで飛躍的な性能を示し、注目を集めました。BERTの登場後、大規模テキストを用いた巨大モデルを学習させていく流れが強…

はじめに 構成図 はまりどころ NATGatewayでのElasticIPの指定 NATGatewayへのRoute EC2のSecurityGroupの設定はリストで yamlファイル全体はこちら はじめに ちょっと検討をしてみようと思うたびに、VPC作ってSubnet作って、InternetGatewayとElasticIP取得して、NatGateway設置して・・ と単純なprivate, publicサブネットを置くだけでも何度もやると面倒くさい。 特に機械学習開発環境代わりに使うような場合は、複数AZにまたがるような可用性云々じゃなくて、検討用土台をさくっと作りたい。 でもSageM…

今すぐ遊ぶべき最新ゲームアプリランキング！今すぐ始めると無料10連ガチャやキャラ屋アイテムもらえる新作の最新ゲームアプリランキングTOP30を10アプリ厳選！ ピアノ レッスン PianoMan/無料ゲームアプリ!最新流行情報先どりのJpop 人気の高いアニメソング オススメ音楽をiPhone iPadで音ゲー感覚に演奏して楽しい時間を!簡単で面白い対戦も! 「最新ゲームアプリランキング！今すぐ始めると無料10連ガチャやキャラ屋アイテムもらえる新作の最新ゲームアプリランキングTOP30」の≪ピアノ レッスン PianoMan/無料ゲームアプリ!最新流行情報先どりのJpop 人気の高いアニメソン…

今回はゲームAIの仕組みについて書きます。今回の内容は開発日記という主旨から少し外れるので番外編とします。 二人零和有限確定完全情報ゲーム 囲碁、将棋、チェス、そして私が取り扱っているリバーシは全て二人零和有限確定情報ゲームにカテゴライズされます。名前は仰々しいですがこの言葉の定義自体は簡単です。二人零和有限確定情報ゲームとは以下の条件を満たすゲームのことを指します。・プレイヤーが2人 ・他方のプレイヤーが有利になれば、もう一方のプレイヤーは不利になる(利害の対立) ・ゲームが有限で終わる ・ランダムな要素が含まれない(運に左右されない) ・プレイヤー間で全て情報が共有されている(プレイヤー同…

https://www.amazon.co.jp/dp/B08JGM3JNP 上記の『グラフ理論と機械学習』ですが、多くの方に注目いただけてご確認いただけましたようです。内容としては和書の類書がまだない中で基本から応用、発展的な考察まで取り扱えましたので、なかなか充実していたのではないかと思うのですが、Kindle版として出すにあたって可能な限り誤植が出ないように気をつけ過ぎたことで、もう少し考察を入れたいところについては省略する形となりました。 当記事ではそれを受けて、考察として入れられなかった内容をまとめてみようと思います。具体的には「DeepLearningはどのように整理すべきなのか」…

こんにちは！こーたろーです。 【図解速習DEEP LEARNING】の自然言語処理の第２弾です。本日は、映画情報サイトにあるレビューを識別する（その２）を行っていきます。昨日は、Embedding層とMLPで構成されたものを取り扱いました。自然言語処理で、レビューの識別やってみた！その１【図解速習DeepLearning】#012 - 福岡の社会人データサイエンティストの部屋 今回は、TF_Hubで提供されているEmbeddingモデルを使って、転移学習を行っていきます。

dlshogiを初期値から学習を開始すると、lossがinfやnanになる場合がある。 初期値からの学習以外でも勾配爆発を防ぐために、勾配クリッピングのオプションを追加した。KataGoでも勾配クリッピングを追加している。学習が安定してからは特に効果はないようだ。勾配クリッピングにより同じデータを学習した場合に結果が変わるか確認した。 勾配クリッピング PyTorchのclip_grad_norm_を使用する。 これは、勾配のノルムが閾値以下になるようにクリッピングを行う。 値でクリッピングするよりも勾配の方向が変わらないから良いのだとか、大差ないとか*1。なお、AMPを使用している場合は、ク…

以前の記事ではVision Transformerについて論文の確認や実装の確認を行いました。 今回は研究トレンドの把握ということでSurveyの"A Survey on Visual Transformer"の確認を行えればと思います。 [2012.12556] A Survey on Visual Transformer なお、名称がVisual Transformerで、以前取り扱ったVisual Transformersと若干被りますが、Surveyの内容的にVision Transformerの方が近しいと思われることに注意が必要です。 新規トピックの研究で用いられる名称に関しては表…

今すぐ遊ぶべき最新無料ゲームアプリ特集！すぐに無料ダウンロードして楽しめる人気スマホゲームアプリ最新ランキングTOP30を10アプリ厳選！ ピアノ レッスン PianoMan/無料ゲームアプリ!最新流行情報先どりのJpop 人気の高いアニメソング オススメ音楽をiPhone iPadで音ゲー感覚に演奏して楽しい時間を!簡単で面白い対戦も! 「最新無料ゲームアプリ特集！すぐに無料ダウンロードして楽しめる人気スマホゲームアプリ最新ランキングTOP30」の≪ピアノ レッスン PianoMan/無料ゲームアプリ!最新流行情報先どりのJpop 人気の高いアニメソング オススメ音楽をiPhone iPad…

今すぐ遊ぶべき【最新のゲームアプリ】これはヤバい！信じられないほど面白い最新のゲームアプリ特集！を10アプリ厳選！ ピアノ レッスン PianoMan/無料ゲームアプリ!最新流行情報先どりのJpop 人気の高いアニメソング オススメ音楽をiPhone iPadで音ゲー感覚に演奏して楽しい時間を!簡単で面白い対戦も! 「【最新のゲームアプリ】これはヤバい！信じられないほど面白い最新のゲームアプリ特集！」の≪ピアノ レッスン PianoMan/無料ゲームアプリ!最新流行情報先どりのJpop 人気の高いアニメソング オススメ音楽をiPhone iPadで音ゲー感覚に演奏して楽しい時間を!簡単で面白い…

SparkのScalaプロジェクトのビルドを爆速にする Scalaを気に入っています．Javaはとにかくコードが冗長になり，気持ち悪かったです．Cはシンプルだし大好きです．なのでObjective-CやC++はそれなりに好きだったのですが，Cのコードがそのまま書けてしまうのは流石に今どきだとどうかと思ったり，型についてアバウト過ぎるのでデバグが大変だったりしました．Rubyは大好きでラピッドプロトタイピングしたりしてアルゴリズムを検証するには最高なのですが，ライブラリ化なんかを考えると使いにくかったり．その辺り，Scalaなら便利だし楽しいし好きです．ただしScalaは難しくて学習コストが高い…