論文リンク arxiv.org 実装リンク github.com どんなもの？ CVPR 2021。 物体検出では、分類と位置推定の2つのサブタスクを学習するが、2つのタスクに最適なアンカーが空間的にずれていることがある。 例えば、下図の上段のようにATSSでは、ダイニングテーブルの分類スコアが最大のアンカー(上段中央)と、IoUが最大のアンカー(上段右)の位置が大きくずれている。 その問題に対応するために、2つのタスクの最適アンカーを明示的に近づけるための、TOOD (Task-aligned One-stage Object Detection)を提案。 T-Head (Task-alig…
Auto Machine learning ができるPycareteのインストール方法 〜 pip install --upgrade pip --user pip install pycaret --user pip install scikit-learn==0.23.2 〜 pycaretはpython 3.8で動く(3.9はダメ！！ 2023.02.03現在) なので、ローカルの場合が専用の仮想環境を作る。scikit-leanがversion 0.23.2でなければ動かないので、何らの理由でのscikit-leanが更新されてしまった場合は、再度pipでscikit-learnを入れ…
目次 SGD 更新式 Momentum AdaGrad RMSProp AdaDelta 更新式 Adam 参考文献 SGD データ1つだけ をサンプルし、最急降下法にランダム性を入れる。 更新式 サンプルコード param[key] -= self.lr * grad[key] lr: 学習率特徴(課題) SGDの非効率な探索経路による。それは勾配の方向が本来の最小値ではない方向を指しているため。（それを解決するため、Momentum） Momentum 更新式 サンプルコード self.v[key] = self.momentum[key] * self.v[key] - self.lr …
性能指標 ハイパーパラメータの選択 主成分分析 K-NN K-means SVM 目的 ２クラス分類問題であり、決定的な出力をする分類器である。 特徴 1. ハードマージン マージンの最大となる境界のパラメータw,b を学習 マージンの上にあるデータ点をサポートベクトルと呼ぶ サポートベクトルの数は学習全数データより少なく、最小値は２である マージンの外側のデータは予測影響を与えない（それは、識別では決定境界から近い点のデータもしくはマージンの上の点が予測に利用されるため） SVMにおいて射影手法を利用して、特徴空間が高次元であるほど、表現力が上がるが、計算コストが高い。計算コストを抑制するた…
本日、王将戦七番勝負第1局で、藤井聡太王将（竜王、王位、叡王、棋聖、20）が挑戦者の羽生善治九段に勝利した。成人式の日に20歳の藤井王将が無敵の強さを見せつけたことになる。ふと、『量子コンピュータにＡＩを乗っけたら無敵の棋士になれるか？』との疑問が頭をかすめた。 上図は古典コンピュータと量子コンピュータの違いを示している。４元１次方程式を解く計算を例として説明すれば、古典コンピュータの計算イメージは複数のステップを順次進める逐次計算方式、量子コンピュータの方は、方程式が示す重ね合わせ状態（量子もつれ状態）を作成してからの一括計算方式になる。変数が増えるに従い古典コンピュータの方は計算時間が変数…
Single GPU DataParallel DistributedDataParallel 参考文献 全コード 比較 CPU 1 GPU 複数GPU(Data Parallel) 複数GPU(Distributed Data Parallel) 執筆途中。あくまでメモなので注意 Pytorchの並列化について。 GAN等の重たいモデルを学習する際や、バッチサイズを大きくしたかったり、学習を高速で終えるために複数のGPUを使いたいときがあります。 そういった場合「並列処理」を使います。PytorchにはDataParallel と DistributedDataParallelの2つがありま…
論文・研究発表資料にニューラルネットワークの図を使いたい場面があったので、調べてみました. 以下2つを僕は使っています. 1. Diagram.net https://towardsdatascience.com/how-to-easily-draw-neural-network-architecture-diagrams-a6b6138ed875 メリット：横幅が狭い原稿におすすめ. 立体的でかっこいい. デメリット：作るのが少々面倒 2. Python 下のGithubのリンクからdraw_convnet.pyをダウンロードして実行すると、Lenetスタイルの画像が出力される。 githu…
はじめに Daiki Sakuma (@daiki_skm) / Twitter です。 October 26th - October 28th に開催された IEEE/IEIE ICCE-Asia 2022 に参加してきました。海外が初、かつ International Conference への現地参加も初だったため、思い出としてつらつらと書いていこうと思います（このブログでは、ほとんど技術的なことは述べず、主に学会含め韓国での5日間について書こうと思います）。 僕は普段、主に Web 開発（主にフロントエンド*1）をしているのですが、研究では Deep Learning (NLP)*2 …
本日の学習プランと結果 内容 分量 結果 キカガク: 機械学習の基礎3 完了 O キカガク: Streamlitの基礎 完了 O キカガク: ディープラーニングの基礎1 完了 O キカガク: ディープラーニングの基礎2 完了 O Github 10/8 草 10/8 キカガク ひとこと PyTorchを使用してニューラルネットワークをついに自分で構築できるようになった. (そして、これまで理解できていなかったコードの意味についても、きちんと理解できるようになった) 次はOptunaによるNN構造そのものの探索にチャレンジする. Kaggleにも挑戦していくが、DLが必ずしも最適とは限らない. …
有名な論文『Effective Approaches to Attention-based Neural Machine Translation』を、いまさら、のんびり読む。 Google scholarで確認すると、引用数8,049(2022/09/24時点）でした。凄いけど、もの凄くはないか。。。。 概要 Deepl翻訳 An attentional mechanism has lately been used to improve neural machine translation (NMT) by selectively focusing on parts of the source…
エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,736件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …
エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,732件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …
自動微分における順伝播と逆伝播は、合成関数の微分によりますが、 十分には理解できていない気がしていますので、振り返り。 「ゼロから作るディープラーニング 3 」の写経です https://www.oreilly.co.jp/books/9784873119069/ https://github.com/oreilly-japan/deep-learning-from-scratch-3 目次 数式と、計算グラフ(svg) python script 数式と、計算グラフ(svg) p.25付近の内容です circle, ellipse, line, marker, path, rect { st…
エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,722件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …
エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,715件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …
C# で「ゼロから作るDeep Learning」に挑戦中。5 章も 5.6 節まで来た。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装作者:斎藤 康毅オライリージャパンAmazon 今回も Affine レイヤと Softmax-with-Loss レイヤを C# で写経するだけ。 using Numpy; public class Affine { public NDarray W { get; } public NDarray b { get; } public NDarray? x { get; private set; } public …
エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,706件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …
はじめに AntTechの立浪です。AnyTechでは深層学習とその周辺領域を担当してきます。 日が経ってしまいましたが、去年の12月に開催された機械学習分野の著名な国際会議 Neural Information Processing Systems (通称: NeurIPS) に参加してきました。開催場所はアメリカのニューオリンズというジャズで有名な街でした。この記事では、まずはニューオリンズの紹介、そして会議全体傾向や雰囲気、最後に気になった発表について数本触れようかと思います。私自身詳しくない領域も含まれおりますので、誤りも含まれているかもしれません。興味を持たれたら是非とも原著を読んで…
エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,697件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …
先週ファイル利用量が超過して掲載出来なかった分です。 ６．Gaeaの勉強 今週もAndrea Cantelli氏のGaea Tutorial for Beginnersを勉強します。今週はGaea Tutorial for Beginners #5 | Creating the shape of our first terrain [14]を勉強します。 6.1 Blogを見直して前に勉強した内容を復習する 見直すと2022-11-20と2022-11-28のBlogで勉強しています。 それぞれのBlogの内容を読み直してみます。 ＜2022-11-20＞ 文句が沢山書かれていました。その理由…
昨日のエントリでは歌詞と画像を生成したのだけど、歌詞を生成する部分のプロンプトを変えて、エンジンにCodexを使うとコードを生成できます。 GPTを呼び出す部分はこんな感じ String prompt = "//Java\n" + text.getText().trim().lines() .map("// %s%n"::formatted) .collect(Collectors.joining()); CompletionRequest completionRequest = CompletionRequest.builder() .model("code-davinci-002") //…
コンピュータ関連書籍といえばオライリー。例えば新しい言語などを学ぼうかと思いついたときにまずはオライリーから出版されている書籍探してみたりする。 そんなオライリーから出版されている書籍をちょっと切り口を変えてAmazonの評価から、名著を探してみる。単純に思いつくのが、アマゾン評価がいいものは間違いないだろうと、アマゾンからの購入時の普通の購買行動。アマゾンの評価計算も下記と通りにレビュワーの単純平均ではないと記載があり、アマゾンが正しく評価してみる、、、 評価はどのように計算されますか? 全体的な星の評価と星ごとの割合の内訳を計算するために、単純な平均は使用されません。その代わり、レビューの…
エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,681件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …
随時追加します。Tweetはクリックするとスレッドが読めます。 データ分析 機械学習 Deep learning 強化学習 Transformer/BERT 時系列分析 Bioinformatics データ分析 講義資料 – 九州大学 数理・データサイエンス教育研究センター 情報教育コンテンツリンク集 | 東京大学 数理・情報教育研究センター seeing-theory.brown.edu 高等学校情報科「情報Ⅱ」教員研修用教材(本編)：文部科学省 機械学習 はじめに — 機械学習帳 Machine Learning Cheatsheets 機械学習を「社会実装」するということ 2023年版 …
半導体 1兆ドル 原油 2兆ドル クルマ 2兆ドル スマホ 1兆ドル 電源開発 1兆ドル 需給タイムラグ 上流 中流 下流 供給能力のミスマッチ 価値と価格 21世紀を牽引したテクノロジー産業 Digital Date Deep Learning 3Dの費用と効果 健全な無駄 赤字を促す熱狂 バブル資本 ロシア暴発 米中対立 中東火種が齎す 成長神話の終焉 損失許容能力の大きな投資 購入主体不在の半導体業界 メモリ ロジック センサー パワー 設計 生産 設備 素材プレーヤーの新陳代謝 信越半導体 ディスコ 住友化学 投資リスクが限定され 技術優位性高い先は
www.deeplearningbook.me
karaage.hatenadiary.jp
weblab.t.u-tokyo.ac.jp
kazoo04.hatenablog.com
qiita.com
speakerdeck.com
mickey24.hatenablog.com
tech.preferred.jp
christina.hatenablog.com
