こんにちは。たろすです。ディープラーニングって最近よく聞きますよね。ディープラーニングがなんなのかわはわかるけど、いざ勉強するとなると数式がたくさん出てきてよくわからないって方も多いと思います。でもやってることはとても単純です。そこで今回は中学生でもわかるように仕組みを説明しようと思います。※ ディープラーニングに限らずほとんどの教師あり学習に当てはまる説明です。 そもそもディープラーニングとは？ 機械学習の仕組み おわりに そもそもディープラーニングとは？ ディープラーニングは機械学習の一種です。さらに言うと（多くは）教師あり学習の一種です。 （強化学習のDQNというものもあります）教師あり…
はじめまして、R&D チームの宮城です。業務では主に画像分類モデルの開発や精度改善を担当しており、現時点(2021年3月)でR&D唯一の文系学部出身です。 趣味はNBA観戦で、ジョージ・ワシントン大学時代の渡邊雄太選手(現トロント・ラプターズ)を生で見たことがあります。自分と同じ人間とは思えないほどスタイルが良くハンサムでした。 今回の記事ではDeep Learningを用いた分類タスクにおいて、順序をもつクラス分類（統計学でいう「順序尺度」によるクラス分類）の誤差をうまく計算できる label distribution learning という手法を紹介します。 誤差を算出する損失関数から順…
はじめまして，インターン生の三澤遼です。本記事では，BERT以降の事前学習済みモデルを体系化し，主要なモデルについて解説します。TransformerやBERTについて事前知識があると理解しやすいと思います。 BERT以降のNLP分野の発展 学習方法の改良について 事前学習 Masked Language Modeling 改良版Masked Language Modeling RoBERTa (2019-07) Translation Language Modeling XLM (2019-01) Sequence-to-Sequence Masked Language Modeling T…
更新2021年3月30日mxnet 1.8.0.post0が公開されました。 それに合わせて一部記事を修正しています。pipでのインストールは2021年3月30日現在Linuxでのみ可能です。 さっそくUbuntu 18.04 on WLS2にインストールしてみました。 Python 3.6.9を使用しています。 CPU版 pip install mxnet pipでインストールはできますがインポートする時に以下のエラーが出ました。 OSError: libopenblas.so.0: cannot open shared object file: No such file or direct…
はじめにEasyOCRは名前の通り簡単にOCR機能を実装できるパッケージです。 OCRとはざっくり言うと画像から文字を取り出すことです。 StreamlitはGUI操作可能なアプリケーションを非常に簡単に作成できるパッケージです。パッケージではなくフレームワークと表現されることも多いです。 この二つを使って簡単なOCRアプリを作成しました。 スクリプトはたったの20行です。 環境構築も非常に簡単でPython環境に「easyocr」と「streamlit」をpipでインストールするだけです。 pip install streamlit pip install easyocr完成したアプリファイ…
こんにちは！こーたろーです。 春からDeepLearningや機械学習を教えることになりました。 今は準備でばたばたしております。 合間を縫ってブログを書いていきます。 毎日書くのは大変！ ということで、今回も【図解速習DEEP LEARNING】やっていきます！ 今回はPerformance RNNで音源を作っていきます。 事前準備 環境の準備 モデルを取得する 曲の生成及び演奏データの生成
はじめに Pythonスクリプト 動作環境 スクリプトの解説 はじめに前回背景を消す（白く塗りつぶす）ことをしました。 touch-sp.hatenablog.com 今回はぼかしを入れてみます。それだけだとほとんどスクリプトが変わらないのでさらにStreamlitを使ってインタラクティブにぼかし強度を変更できるようにしました。Pythonスクリプト import streamlit as st import numpy as np import mxnet as mx from mxnet.gluon.data.vision import transforms from gluoncv.mo…
はじめに 結果 環境 Pythonスクリプト スクリプトの解説 最終的なPython環境 参考にさせて頂いたサイト はじめに以前静止画に対して背景を消すスクリプトを書きました。 touch-sp.hatenablog.com 今回はWebカメラからの動画に対して同様のことをしました。結果30行弱のスクリプトで目的を達成することができました。 学習済みモデル（パラメーター付き）をダウンロードするスクリプトもその中に含まれているのでPython環境を用意するだけで実行可能です。環境 Windows 10 PC with GTX 1080 CUDA 10.2 Python 3.7.9GPUがないとま…
こんにちは！こーたろーです。 久々の投稿です。 一週間ほどお休みいただきました。 結構ブログって大変ですね。 毎日書くのは大変！ ということで、今回も【図解速習DEEP LEARNING】やっていきます！ 今回はMusicVAEで作曲していきます！ 環境の準備 データセットについて 2小節ドラムモデル 学習済みモデルの取得 サンプルを生成 サンプルをダウンロード ファイルのアップロード 補間を生成 補間を生成（詳細チューニング） 2小節メロディモデル 学習済みモデルを取得 サンプルを生成 サンプルをダウンロード ファイルのアップロード 補間を生成 補間を生成（詳細チューニング） 16小節メロデ…
Nand2Tetrisの次は、ゼロから作るDeepLearning3を進めています。 Nand2Tetrisの時は、一冊終わったところで振り返り記事を書いたら、えらく苦労したので今回は、区切り区切りでメモを残そうと思います。 第1ステージメモ ステップ6~8の逆伝播の実装がやや難しかったです。 実装してから、テストするケースはステップ6~8で、入力が常に同じ(順伝播ではx = 0.5, 逆伝播ではy.grad = 1.0)なので、都度一つ前と同じ答えになるか確認しながら進めました。 入力/出力のx/yだけでなく、途中の変数a/bについても、以下の様に手計算して、ステップごとに正しく計算されてい…
JDLA Deep Learning for GENERAL 2021#1 に合格したので、 この勢いにのって、E資格も目指していきたいと思う。 仕事でゼネラリストとしてはAIに関わっているとはいえ、 プログラミング未経験の自分がどこまでやれるかはわからないが、 自身でも構築できるようになりたいという以前からの思いを実現するために 頑張ってみることにする。 合格者向けのクーポンをご案内いただいこともあり、 Study-AI株式会社（Study-AI運営事務局）の E資格2021#2（2021年8月）向けJDLA認定プログラム「ラビット・チャレンジ」 https://ai999.careers/…
Haijing Wu;...;Qianjin Lu(2020.5, Annals of Translational Medicine)[A deep learning, image based approach for automated diagnosis for inflammatory skin diseases] 理由 自分の研究関連 概要 背景 深層学習時代の到来に伴い、特に畳み込みニューラルネットワーク（CNN）の進化は目覚ましく、CNNは放射線学や病理学のような医学分野に応用されてきた。しかしながら、CNNの応用も画像に基づくが、かなり制限されている。乾癬(Pso)湿疹(Ecz)…
Twitter で気がついた佐藤さんのpdf読み上げシステムの動画を見ました。 Google I/Oが5/18 - 20にオンライン開催。私はpdf2audiobookデモ紹介とMLOps AMAで参加します！ #gcpja https://t.co/tLpBgTB4Xo— Kazunori Sato (@kazunori_279) 2021年4月7日 www.youtube.com PDFをテキストにして読み上げサービスを使用して音声ファイルに変換しています。 このシステムで使用しているGoogleのテクノロジーです。ひとつひとつは聞いたことあります。 Cloud functions Clo…
【募集】もし2021年のいま自分がM1/B4で認知神経科学の研究室に入るとしたら、どんな書籍や資料、チュートリアルをお勧めしますか？神経科学、機械学習、心理学、情報科学など多様な知識が必須なこの分野で最高のスタートダッシュ(〜8週間程度)をきれるお勧め資料(日英問わず)を教えてください！— 濱田太陽 (@HiroHamadaJP) 2021年4月2日 note.comタイトルの質問に答えることが難しい理由は二つありまして、第一に認知神経科学分野の研究が広大かつ多様なのと、事前知識の個人差が大きいことがあるかと思います。 第一の点について、当分野の研究には、サルやマウスの実験を積み重ねるものもあ…
Positiviteaのひなこさん後半の回から。司会者の1人の旦那さん(金融->弁護士->コンサルタント)がお勧めしてた。yancan.fmでも紹介されてたのでNYPLでebook予約した。4月に本を借りられた。 昨今は複雑で明確な答えがでないような問いが世の中に溢れている。このような場合では専門知識を持ちつつ幅広く知見を広げて、同じ構造を持つ問題を見たときに解決方法が浮かぶような思考の柔軟さを持てるようになれるとイノベーションを起こせる。 初めは子育てに役立つものかと思って読み始めたが、後半では大成していない自分の生き方を肯定してくれる本になった。 Range Introduction Ro…
買ったけどまだ読み切っていない本 ・安全なwebアプリケーションの作り方 ・コンピュータシステムの理論と実装 ・リーダブルコード ・カンデル神経科学 ・TOEFL テスト英単語3800 ・言語学入門 斎藤純男 ・百年の孤独 ガルシア＝マルケス ・壁 安部公房 ・流れる 幸田文 ・金閣寺 三島由紀夫 ・陰翳礼讃 谷崎潤一郎 ・線型代数入門 齋藤正彦 ・解析入門 ラング ・三角形と円の幾何学 ・プログラミングコンテストチャレンジブック ・読者はどこにいるのか 石原千秋 ・進化の教科書 カール・ジンマー ・性差の日本史 ・経済学入門 金子、田中、若田 ・初級統計分析 西郷浩 ・統計学入門 東京大学出…
この記事の読者 深層学習・ディープラーニングのアルゴリズムの基礎となる 「パーセプトロン」について知りたい。 キーワード・知ってると理解がしやすい 行列演算 集合 Index Index パーセプトロンとは アルゴリズム Algorithm 重み Weight 閾値 Threshold 出力 Output 定式化 Formulation 一般化 Generalization 最適化 Optimization パーセプトロン規準 確率的勾配降下法 まとめ 参考 パーセプトロンとは パーセプトロン( Perceptron ) は、1957年にローゼンブラット(Rosenblatt)というアメリカの…
ポエムというかただのメモです（せっかくなのでリンクはアフェリエイトになっているので、踏みたくない方はご注意ください）。 2020年4月から、毎日（最低）25分、業務とはあまり関係ないプログラミングをして、GitHubにプッシュするという個人的なチャレンジをしていました。ちょうど1年たって穴をあけることなく目標達成したのでメモとして残しておきます。 なお、ほとんどが private リポジトリで写経などを行った物を上げているだけのものだったりという感じでとくに公開しているものではないです（今後は公開できる何かに注力するのも良いかもしれないとは考えています）。 ちなみに、なぜ 25 分かというと、…
3/1～3/31の出来事がリリースされました。 技術・開発関連 AtCoderを続けています。3月末点で参加回数27回、Rating616→738。最近AtCoder Probremsで緑になっている問題が時々解けててうれしい。 G検定を受験し合格しました。 読み終えた本 下着の捨てどき（平松 洋子） 人工知能は人間を超えるか（松尾 豊） 三途の川のおらんだ書房 迷える亡者と極楽への本棚（野村 美月） 名作なんか、こわくない（柚木 麻子） マリコを止めるな!（林 真理子） 参加イベント AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる AWS Proton AWSの基礎を学ぼう …
G検定 2021#1 (2021/3/20受験) に合格しました。(JDLA Deep Learning for GENERAL 2021#1) これでようやく、機械学習やAIに関するスタートラインに立てた思いです。合格までにやったことなどまとめます。 やったこと 公式テキストと問題集2冊を1周＋α Amazonのコメントについて 各書籍の進め方 白本 (公式テキスト) 黒本 (問題集) 赤本 (問題集) G検定 ～厳選問題集～ by yuki (Kindle形式, 問題集) 番外編: AIStudy (オンライン過去問集) 番外編: 推薦図書 数学の対策について やっておけばよかったこと 正…
ちょっくら機械学習ネタ。基本的に Python 書きたくないのでたまにしかやらない。 PyTorch Tabular とは 分類や回帰などの表形式データに対する機械学習には XGBoost, LightGBM などの勾配ブースティング手法が有効であることが知られている。一方で、近年になって表形式データに対する深層学習ベースの手法が提案されており、勾配ブースティングに匹敵する性能を出しつつある。詳細は以下のブログの記事を参照のこと。 deep-and-shallow.com PyTorch Tabular は表形式データに対する深層学習のフレームワークである。お馴染みの深層学習フレームワークであ…
今日はdeep learningについて学んだ。具体的にはGAN(Generative Adversarial Network)を使った画像生成だ。 特に、二次元の可愛い女の子を生成しようと思い、勉強している。 lightweight-ganと呼ばれる種類のGANが個人的には物凄く優秀だと思っている(それしか知らない)ためlightweight-ganを使って画像を生成している。 1年位前にチャレンジしたときはこんな種類のGANは無かったため、別のGANを使って画像を生成したが、グニャグニャお化けみたいなのができて終わった。 今回は上手くいくといいな。午後はジュール・ヴェルヌの海底二万里を読ん…
こんにちは． Sansan DSOC 研究開発部の黒木裕鷹です．先月も，今月も，また服を買ってしまいました． 出かける先はコンビニぐらいしかないのですが，おしゃれをすると心が躍り，陳列商品も不思議とキラキラして見えますね． さて，この連載では，自分の勉強・復習も兼ねて，ネットワークデータにまつわる統計解析を気の向くままに紹介しています． 前回の記事では，ネットワークデータに対する深層学習 (Graph Neural Network; GNN) を俯瞰し，直感的に全体像を把握するような導入をしました． 今回の記事では，番外編的に分析手法の紹介を少し離れ，グラフデータの分析を実際に応用する論文を1…
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解…
www.deeplearningbook.me
karaage.hatenadiary.jp
weblab.t.u-tokyo.ac.jp
kazoo04.hatenablog.com
qiita.com
mickey24.hatenablog.com
tech.preferred.jp
christina.hatenablog.com
www.oreilly.co.jp
