Hatena Blog Tags
はてなブログ トップ
ViT
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

ViT

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
暇さえあればアルゴリズムいじり•1ヶ月前

迷路問題を強化学習で解く(13)

目次 本日は毎週恒例の迷路解決の強化学習についてです。 前回の実装では以下に取り組みました。 モデルのパラメータ見直し(モデルのレイヤ数を増加) 強化学習の問題を統計を取り、不得手な問題を集中的に解かせる。 目指しているのは安定的に、スラスラ問題を解くことだったのですが、まだそういう状態になっていません。 本日テーマ： 強化学習モデルの見直しを行い、改善するか確認する。 🎵 BGMを再生する 現状課題 ゴール前でうろうろするが一番気になっているポイントでした。 その他、ゴールが壁に囲まれる場合にゴールできなくなることがありました。 改善案と対策 1. 距離感が正確につかめていない 現在、今のモ…

#迷路問題#Transformer#2DRoPE#回転位置エンコーダ#不得意問題#Prioritized Level Replay#ViT

ネットで話題

もっと見る
39ブックマークCNN vs. ViTspeakerdeck.com
16ブックマークViT時代の終焉？MetaFormerの論文紹介と実証実験 - Qiitaqiita.com
15ブックマークvit-ruby.ico - ruby.morphball.netvit-ruby.ico -> English version vit-ruby.ico とは、Ruby Visual Identity Team により公開されている Ruby logo kit を、 私 (Dice) が Windows アイコンファイル形式に加工したものです。 もともとは自分用に加工したものですが、必要な方がおられましたらダウンロードしてご利用ください。 ダウンロード ライセンス...ruby.morphball.net
14ブックマークGitHub - labmlai/annotated_deep_learning_paper_implementations: 🧑‍🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia,github.com
11ブックマークあなたのデスクトップに「Ruby」を　Windowsアイコン「vit-ruby.ico」4月26日公開codezine.jp
10ブックマークインターネットチケット販売“vit” || TOHOシネマズインターネット上でチケットの購入・支払いまでができる便利なチケット販売システムです。観たい映画のチケットをパソコンや、外出先でもスマートフォンから事前に購入することができるため、混みあう人気作品でも窓口に並ぶ必要はありません。ご購入いただいたチケットは劇場ロビーの自動発券機、自動券売機にて発券い...www.tohotheater.jp
9ブックマークGitHub - huggingface/pytorch-image-models: The largest collection of PyTorch image encoders / backbones. Including train, eval, inference, export scripts, and pretrained weights -- ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetVgithub.com
7ブックマークイリュージョンさんはTwitterを使っています: 「【 ILLUSION 活動終了のお知らせ 】 ゲーム開発ブランド「ILLUSION」は8/18(金)を持ちまして開発・販売を終了致します。 詳細は下記ページをご覧下さい。 https://t.co/uAbSCV5uyT 長らくのご支援、ご声援を頂き本当にありがとうございました。 https://t.co/3Vit9b8xhW」 / Twittertwitter.com
6ブックマーク画像認識の革新モデル！脱CNNを果たしたVision Transformer（ViT）を徹底解説！deepsquare.jp

関連ブログ

暇さえあればアルゴリズムいじり•3ヶ月前

迷路問題を強化学習で解く(6)

目次 前回迷路問題をTransformerで解くように実装を行いました。 今回は学習を行ってみます。 学習の前に前回コードに気になる点があったため、修正を行います。 🎵 BGMを再生する Transformerモデルの改修 1. 2次元グリッドに対する「1次元」位置エンコーディングの限界 懸念点 コード内では、torch.randn(1, self.num_tokens, d_model) として位置エンコーディング（pos_embedding）をランダムに初期化しています。これは1次元のシーケンス（文章など）には有効ですが、2次元のグリッド空間における上下左右の幾何学的な近接関係（空間構造）…

#DDQN#Transformer#迷路を画像で解かせる#ViT
ぼうびろく•3年前

Vision Transformerによるクラス分類を実装してみた

Vision Transformer (ViT)によるクラス分類を実装したのでメモしておく。 参考にしたサイト様 farml1.com 以下のコードは、Google colabで実行する。 必要なライブラリのインストール !pip install timm seaborn linformer tqdm pandas import (全部はいらないかも) from __future__ import print_function import glob from itertools import chain import os import random import zipfile impor…

#画像分類#ViT#深層学習
AIうぉ－－！(ai-wo-katsuyo-shitai !)•5年前

Vision Transformer (ViT)は、何故、self-attentionというか、画像をかける(x)のか？

Vision Transformer (ViT)は、何故、self-attentionというか、画像をかける(x)のか？ 自然言語で単語のembeddingをかけるのは、ある程度、理解できるとして、 画像を「かけて」、何かいいことがあるのか？ ⇒ 【自分なりの回答】他にやれることもないし。。。、が答えかと思う。 参考 上の図は、下記からの引用。 相関、掛け算で一致度の高い部分にピークが出ている例。画像のマッチングではよく使われる。 jp.mathworks.com コメントなどあればお願いします。

#ViT#Vison Transformer#self-attention#深層学習#機械学習
にんひどりんはんのう•5年前

[論文メモ]ConvNets vs. Transformers: Whose Visual Representations are More Transferable?

arxiv.org ICCV2021 Workshop 画像は論文より引用あくまでメモ。興味ある人は論文を読んでください。 間違い等の指摘は大歓迎です。タイトルどおりConvNetとTransformerでどちらがTransfer Learningに適しているのかを調査した論文。 概要 最近ではNLPで良いとされていたTransformerがViT(Visual Transformer)として画像認識分野にも進出してきた。 ConvNetはtransfer learningが可能でそれなりの効果があることが知られているがViT系モデルはどうなのかよくわかっていない。 そこでこの論文は2つのCo…

#論文読み#Transformer#ViT#machine learning