→トランスフォーマー
初めに単にClaude 3.5 Sonnetに質問しただけです。質問１ pythonのtransformersライブラリでAutoModelForCausalLMを使うべきかpipelineを使うべきかどちらが良いか教えて下さい回答１AutoModelForCausalLMとpipelineのどちらを使うべきかは、あなたの具体的な使用例や要件によって異なります。それぞれの長所と短所を簡単に説明しましょう:AutoModelForCausalLM: より細かい制御が可能: モデルの動作をカスタマイズしたり、中間層の出力にアクセスしたりできます。 柔軟性が高い: 独自の前処理や後処理を実装できます…
さてさて、 BLIP , UniDiffuser で 自動キャプショニング(Image captioning, Image-toText) を実施しましたが、ここ数日は BLIP-2 を調べていました。 本日は BLIP-2 での ずんだもん のキャプションを出力してみます。
zako-lab929.hatenablog.com 前回、 BLIP-2 で Image Captioning (自動キャプショニング) を試してみました。 本日は、 Visual Question Answering (VQA) を試してみようと思います。
自作 LoRA を調べていて kohya-ss/sd-scripts の README から知った 自動キャプショニング の BLIP 。 そして、 BLIP を調べていたら BLIP-2 もあることを知りました。 今回は BLIP-2 を Google Colab で試してみます！ BLIP-2 がどういったものかは説明を読んでもよくわからない！
本日は簡易版、なかなか確証が持てずにいた事項が前進したのをアウトプットです。 目次 目次 CausalLM 馴染んでいた例：テキスト分類 テキスト生成の例 おまけ CausalLM transformersでテキスト生成タスクを扱うときに指定します。 causal language modelの略ですね。 このモデルを訓練する（例：少量の教師データを用意してファインチューニング）際、どんな正解データを用意すればいいかが長らくピンときていませんでした。 馴染んでいた例：テキスト分類 分類するテキストと正解ラベルを用意します。 Yelpのレビューの例 レビューは星1〜5の5クラスのいずれかに分類さ…
はじめに プラチナランカー！！🙌 nikkieです🟧🟧🟧🟧🟧 transformers・PyTorchの組合せで、文のembeddingsを得るコードで理解したいことがありました。 理解を深める目的でこの記事でアウトプットします。 目次 はじめに 目次 E5 参考文献 average_pool関数、何をやってるんだ...？ average_pool関数の呼び出し 脱線：Attention mask ~attention_mask[..., None].bool()って何？ トークンのembeddingsから平均算出 embeddingsの正規化 勾配を除く 現時点の理解を反映したコード（Usa…
スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); diffusersでembeddingを使えるようになっていたので、試してみました この記事は導入の備忘録です 目次 目次 この記事でわかること 1.実行環境 2.コード 参考 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); この記事でわかること diffuserrsでembeddingを導入する方法 1.実行環境 Google Colab Diffusers:0.15.0 transformers:4.…
はじめに ういっすういっすういっすー！✌️ ぱー🖐 nikkieです。 過去にWhisperを触りましたが このたびtransformersライブラリから簡単にWhisperを利用できることを知りました。 目次 はじめに 目次 動作環境 transformersで簡単にWhisperを利用 コード例はopenai/whisper-baseから 落ち穂拾い 終わりに P.S. Whisper Distilled 動作環境 macOS（M1 Mac） CPU環境 Python 3.10.9 ffmpeg version 6.0 brew install ffmpegしました transformer…
はじめに ファインチューニング、ばーっといってみよー！ nikkieです えぬえるぴーやな素振り記事です。 チュートリアルに沿ってtransformersを使ってコーディングしました 目次 はじめに 目次 transformersのToken Classificationチュートリアル 動作環境 チュートリアルでの学び 単語で分割済みのデータセットのトークナイズ 単語単位の正解ラベルとのアラインメント Trainerインスタンスの初期化 終わりに transformersのToken Classificationチュートリアル こちらです。 Colabで開くリンクはこちら1 https://c…
前回はHugging FaceのTransgormersとLangChainを用いたテキスト生成を実装しました。 今回はさらにChromaを用いて、ローカルのDB上のデータを参照して質問応答を行うテキスト生成を実装してみます。 ChromaはいわゆるベクトルDBの一種です。 ベクトルDBは埋め込みベクトルのような高次元のベクトルデータを扱うのに適したDBです。 ベクトルDBの実装には色々とありますが、今回はサーバを構築しなくても簡単に試せるChromaを使ってみました。 このベクトルDBと大規模言語モデル（LLM: Large Language Model）を用いたテキスト生成を組み合わせるこ…
【お知らせ📢】“TRANSFORMERS × TRIGGER”本日より開催中の「東京おもちゃショー2024」で情報解禁となりました🎉『トランスフォーマー』40周年記念PVのティーザームービーが解禁‼️ぜひご期待下さい⚡️https://t.co/Ndu0B5QCEb#トランスフォーマー #TRANSFORMERS pic.twitter.com/vMCd7poB8n — TRIGGER Inc. (@trigger_inc) 2024年8月29日 玩具から始動した『トランスフォーマー』シリーズが、今年で40周年を迎えることを記念してスペシャルムービーが制作される情報が以前から告知されていました…
大規模言語モデル入門 1. 進化するAIに追いつけない焦り 2. 大規模言語モデルの基礎から実践へ 3. AIエンジニアとしての飛躍的成長 4. 「大規模言語モデル入門」書籍紹介 1. 進化するAIに追いつけない焦り 近年、AIの進化が加速度的に進み、特に自然言語処理の分野では大規模言語モデルの登場により、驚異的な成果が次々と生まれています。 ChatGPTをはじめとする対話AIの登場は、多くのエンジニアや研究者に衝撃を与えました。 しかし、この急速な進歩に追いつけず、焦りを感じている技術者も少なくありません。 「自分の持っている知識や技術が時代遅れになってしまうのではないか」 「AIに仕事を…
2024年9月11日に、QYResearchは「オイルダクト構造―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発行しました。本報告書は、オイルダクト構造の世界市場を分析し、主要企業の総売上高、収益、価格、市場シェア、ランキングなどを掲載しています。また、地域別、国別、製品タイプ別、用途別に市場を分析しています。2019年から2030年までのオイルダクト構造の市場規模を販売量と売上高に基づいて推計と予測しています。企業が事業成長戦略を策定し、競合状況を評価し、市場ポジションを分析し、オイルダクト構造に関連する情報に基づいてビジネス上の意思決定を行うのに…
2024年9月11日に、QYResearchは「断熱クレープ紙管―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発行しました。本報告書は、断熱クレープ紙管の世界市場を分析し、主要企業の総売上高、収益、価格、市場シェア、ランキングなどを掲載しています。また、地域別、国別、製品タイプ別、用途別に市場を分析しています。2019年から2030年までの断熱クレープ紙管の市場規模を販売量と売上高に基づいて推計と予測しています。企業が事業成長戦略を策定し、競合状況を評価し、市場ポジションを分析し、断熱クレープ紙管に関連する情報に基づいてビジネス上の意思決定を行うのに…
アニメイテッド玩具殆どそうですけど、特にこのブリッツウィングは（小さな欠点はいくつかありますが）非常に優れた設計でトゥーンナイズされた 2 つのオルトモードとロボットモードがほとんど破綻なく成立しているオーパーツみたいな奴です。設計は TFWIKI によるとアレキサンダー・クバルスキー氏と國弘高史氏の共作のようです。國弘さんが若い設計者をサポートしたみたいな感じなんですかね？ アレックス仕事の度に書いてますけど氏は私が一番好きかもしれない TF 設計者です。最近江島さんの blog の 2016 年位の記事読んでたら江島さんのプライベートワークスであるアクセサリー制作記事にモデルとしてアレック…
せっかくColab Proが使えるようになったので、ローカルPCでは動かせないような大規模言語モデルを動かしてみたい。そこで選んだのが東大松尾・岩澤研が最近発表したTanuki-8x8Bである。8x8Bとは公開ページの説明によると「8Bモデルを8つに複製し、それぞれを専門家モデルとして分化・連携させることで動作するように効率的に追加学習されたモデル」らしい。素人には分からないが凄いことをしているようだ。実際に動かして雰囲気だけでも味わってみたい。 動かし方（推論させる方法） こちらに松尾研LLM開発プロジェクトメンバーの方の説明がある。方法として以下の５つの方法が書かれている。 vLLMによる…
最近、AIのことは一応触ってはいますが、ちっともわからない状況です🫠 先日までOllamaを使用していたのでローカルLLMについてはなんとなく分かってきた様でもありという状況ですが、OllamaはGGUF形式のモデルが使えるとはいえ、すべてのモデルがGUFF形式で公開されているというわけはありません。 リポジトリ内には拡張子が無いモデルのファイルがあって…これ何？って感じです。なんとなく分かってきたのはHuggingFaceにで公開されているモデルはHFって呼ばれるモデルのようですが…。どこかに名言されてるんでしょうか🙇 ということで、HuggingFaceに公開されているHFモデルをなんとか…
YH Research株式会社（本社：東京都中央区）は、「グローバルボックス型変圧器のトップ会社の市場シェアおよびランキング 2024」調査レポートを2024年9月10日に発行しました。本レポートでは、ボックス型変圧器市場の製品概要、分類、用途、主要企業、産業チェーン構造についての詳細な情報を提供しています。ボックス型変圧器市場の開発戦略と計画、製造プロセスおよびコスト構造についても分析しています。主要な生産地域および消費地域、主要メーカーの生産および消費動向とともに、ボックス型変圧器市場の現状および将来の動向を包括的に調査しています。本レポートは、競争環境、主要競合企業の概要、市場ランキング…
Embedding（エンベディング）とは、情報をコンパクトな数値ベクトル（多くの場合は高次元ベクトル）に変換する技術を指します。主に機械学習や自然言語処理の分野で使用され、文章や単語、画像、その他のデータを数値の形で表現することで、コンピュータがそれらを処理しやすくする。ベクトルとかは高校とか大学でもやって気がするけど苦手な分野なので正直難しそうという印象しかない。 atmarkit.itmedia.co.jp Embeddingのフロー データ収集と前処理 語彙の作成 単語の数値化 モデルに渡してEmbeddingベクトルを生成 Embeddingベクトルの利用 こんな流れになる。ベクトルデ…
こんにちは！電通総研AITCの太田です。 普段は、社内向けChatGPTソリューション Know Narrator の開発や生成AIエージェントの研究開発をおこなっています。 2024年7月21日~27日まで、オーストリアのウィーンで開催されたAI分野の最難関の国際会議であるICMLに現地参加していました。 主な参加目的は生成AIエージェントやLLMの技術動向を調査することでした。 この記事では、ICMLで注目を集めていた研究の内容や学会の様子などをお伝えします。 ICML 2024の全体感 2024年7月21日から27日の1週間で開催されました。 開催期間中の主な内容を簡単にご紹介します。 …
2024年9月9日に、QYResearchは「大型電源トランス―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発行しました。本報告書は、大型電源トランスの世界市場を分析し、主要企業の総売上高、収益、価格、市場シェア、ランキングなどを掲載しています。また、地域別、国別、製品タイプ別、用途別に市場を分析しています。2019年から2030年までの大型電源トランスの市場規模を販売量と売上高に基づいて推計と予測しています。企業が事業成長戦略を策定し、競合状況を評価し、市場ポジションを分析し、大型電源トランスに関連する情報に基づいてビジネス上の意思決定を行うのに役…
はじめに前回量子化について調べてみました。 touch-sp.hatenablog.com 今回、生成過程を分割することで「VRAM 12GB以内」かつ「高速」に動かすことができました。結果RTX 4090 (VRAM 24GB)で測定しています。 torch.cuda.max_memory_allocated: 6.58 GB torch.cuda.max_memory_allocated: 6.76 GB GPU 0 - Used memory: 9.01/23.99 GB time: 52.11 sec「torch.cuda.max_memory_allocated」でVRAM使用量を測…
Today(※最近) I Learned です。 といっても全然うまくいっていません 目次 目次 AutoModelForCausalLM.from_pretrainedの引数 attn_implementation引数のデフォルト値 attn_implementation="eager"（訓練できる） attn_implementation="sdpa"かつ、Flash Attention 1（No available kernel） attn_implementation="flash_attention_2"（宿題） Flash Attentionの実装が重複してる感 積ん読 AutoM…
DeepLearning系の将棋AIを十分な性能のGPUで動かしたい時に、Google Colab Pro（以下、Colab Pro）が使えそうだと思った。支払い方法が気になるのでそこから調べたところ、Googleアカウントに登録した支払い方法がColab Proの支払いに使われることが分かった。更に自分のGoogleアカウントを確認したところ、いつ登録したか覚えていないが、既にクレジットカードを登録していた。クレジットカードを新たに登録することに抵抗があったが、既に登録しているのでここで一気にハードルが下がり、Colab Proを契約して使ってみることにした。 プランの種類 Pay As Y…
RTX 4090 (VRAM 24GB)で検証しています。transformerのみを量子化 GPU 0 - Used memory: 10.61/23.99 GB time: 99.07 sectext_encoder_2のみを量子化 GPU 0 - Used memory: 9.32/23.99 GB time: 184.73 sec両方を量子化 GPU 0 - Used memory: 15.14/23.99 GB time: 50.56 secなぜかVRAM使用量が増えます。 量子化することによってフルにVRAMが使用できるようになったからでしょうか。 生成速度はかなり速いです。 この…
www.youtube.com
bicycle1885.hatenablog.com
tech.mntsq.co.jp
baribari-junny.hatenablog.com
muse-model.github.io
baribari-junny.hatenablog.com
wallpapers.com
nn.labml.ai
www.paramountmovies.com
