Hatena Blog Tags
はてなブログ トップ
RWKV
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

RWKV

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
駄文。•2年前

RWKVその2

さて昨日は GPT系のOSSがすごいという紹介をしたのだが、その中で今日は自分の中で一番ホットなRWKVについて書いてみる。 RWKVは、ChatGPTが実現している方式のTransformerだけでなくRNNを組み合わせて 使用メモリを大幅に削減したプラットフォームで、実際 GPUのメモリ3Gでも動作が可能になっている(ただし、速度はそれなり と思われる。実際に挙動を確認まではしていないので..) 私自身は RTX A5000(VRAM 24G) x2の環境で動作確認しました。 RWKV自体は使用する使用する精度(fp32, fp16, fp16i8など)と、オンメモリ展開するレイヤ数などを…

関連ブログ

駄文。•2年前

ChatGPTとかRWKVとか

とりあえず、ブログ始めるにあたって何から書こうかとおもっていましたが まずは旬なChatGPT、GPT-4からにしましょう。 いやぁ、この手のAIは学生時代にエライザを人工無能って言っていたころから自分の中では実現性はかなり疑問符でした。 と思っていたのに、来ちゃいましたね。びっくりしました。 マジでちゃんとした（まぁ、基本的な仕組み考えると信頼性についてはこれからの課題でしょうけど）回答返すし、なんだったらそこらへんの人より賢いらしい。 ただ、動かすためのリソースも尋常じゃなく（昔でいうスパコンクラス並み）が必要だから、まぁ自分としては利用者であり開発に使うものじゃないよねって雰囲気もバシバ…

Platinum Data Blog by BrainPad ブレインパッド•12年前

RWKV（Receptance Weighted Key Value）をつかってみた

本記事は、当社オウンドメディア「Doors」に移転しました。約5秒後に自動的にリダイレクトします。 // 新URLを作成 var domain = "https://www.brainpad.co.jp/doors/contents/01_tech_2023-06-14-144554/"; // 新ドメイン（最後のスラッシュは不要です） var path = location.pathname; var url = domain; // リンクhtmlの書き出し document.write("" + url + ""); // リダイレクト setTimeout("redirect()", …

#LLM#RWKV#finetune
SEが最近起こったことを書くブログ•3ヶ月前

2024年9月9日の週に気になった記事などまとめ

LangGraphを使ったReflection Agent： SNS投稿コンテンツ提案Agent llm-jp-asr Weekly AI Agents News! Large Language Model-Based Agents for Software Engineering: A Survey 私見：Pythonプロジェクトの3類型（ver 2024.09） AI-Driven Research Assistant 私のブックマーク「AIアライメント」 論文翻訳検索 Tanuki-8BとOllamaとDifyを使って日本語ローカルRAG構築 カスタマーサポートのRAGに関する発想の転換…

地平線まで行ってくる。•3ヶ月前

RWKV-x060-Jpn-7BもColabで試してみる。

RWKV-6-Worldを試していたら、日本語版あるよ、とレスポンスいただいたので早速ためしてみます。 There are Japanese-tuned models in https://t.co/RrJ6RQWmxn 🙂 And check https://t.co/7Ug0gvrMq1 — BlinkDL (@BlinkDL_AI) 2024年9月10日 モデルはこちらです。 huggingface.co オプションは"cuda fp16i8"実施しました。 User : まどかマギカ☆で一番かわいいのは？Assistant: まどか☆マギカで一番かわいいキャラクターは、個人の好みによっ…

地平線まで行ってくる。•3ヶ月前

rwkv-6-worldをColabで久しぶりに試してみる

RWKVはTransformerとRNNの両方を盛り込んだ少し変わったモデル。地道に継続学習させたり新しいモデルを出し続けている。 半年前にも試していた。面白い試みなので、時々どうなったんだろうと気になる存在です。 bwgift.hatenadiary.jp RWKV-6-WORLDというモデルも出ていたので試してみました。 RWKV-x060-World-7B-v2.1-20240507-ctx4096をfp16i8のオプションでトライしました。ColabはT4のハイメモリ環境です。期待に反して予測に時間がかかる。プログラムの最適化の問題なのでしょうか・・・。日本語でもしっかり回答できていま…

AnyTech Engineer Blog•6ヶ月前

JARVIS（っぽい何か）を作ろう！第五回：今までで作ったものを組み合わせる

はじめに 本記事はおしゃべりAIをオフラインかつローカルで実装するシリーズ第五回です。 前回までは、VRoidでキャラクターを作成してUnityで口パクできるプロジェクトを作成しました。今回は今まで作ったプログラムを編集し直してつなげ合わせ、使用者が声でキャラクターを対話できるようにします。 前回 tech.anytech.co.jp シリーズ こちらの手順を踏まえて、作っていきたいと思います。 ※ 本シリーズはローカルUbuntuマシンにGPUがある場合を想定しております。 第一回：マイクからリアルタイムで音声認識する 第二回：音声認識した結果から返答生成する 第三回：返答を合成音声で喋らせ…

パソコン関連もろもろ•6ヶ月前

Intel製グラフィックボードで大規模言語モデルを動かしたい

はじめに自分が調べた内容を書き留めただけの記事です。本文touch-sp.hatenablog.com Intel製グラフィックボードを購入したので最近色々調べています。 目標は、そのグラフィックボードを使って大規模言語モデルを実行することです。 調べていくと「〇〇 backend」という言葉が良く出てきます。例えば「CLBlast backend」「SYCL backend」「Vulkan backend 」などなど。意味わかりません。 NVIDIA製グラフィックボードにとっての「CUDA」みたいなものでしょうか？なぜ何個もあるのでしょうか？そしてどれを使ったらいいのか？ Intelのサイト…

techtekt•7ヶ月前

OSSのLLMをいろいろ検証してみた！

はじめに 昨年2023年の年明けぐらいから YoutubeなどでもChatGPT関連の動画が多く気になっていたところ、社内でもプロンプトエンジニアを個人で始めている方がちらほら出てきて、これはビックウェーブになりそうだなという雰囲気でした。 その後、GPT以外のOSSのLLMもいろいろな方の検証のブログや記事が出てきたため、利用方法やファインチューニングの方法、LangChainなどライブラリの使い方を把握するためにも簡単なモデルのテストを行ってきました。 なおテストしたモデルは、以下になります。 ※各モデルの応答速度や回答精度についての細かい評価は、評価軸になる指標が難しいため名言しない方針…

CLOVER🍀•8ヶ月前

Metaの「Llama 3」をOpenAI API互換のサーバーを持つllama-cpp-pythonとLocalAIで試す

これは、なにをしたくて書いたもの？ MetaからLlama 3がリリースされました。 Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に - ITmedia NEWS このLlama 3をOpenAI API互換のサーバーを持つllama-cpp-pythonおよびLocalAIで動かせそうなので、試してみることにしました。 Llama 3 Llama 3はMetaの公開しているLLMです。 Meta Llama 3 Introducing Meta Llama 3: The most capable openly available LLM to dat…

地平線まで行ってくる。•9ヶ月前

RWKV/HF_v5-Eagle-7Bを試してみる。

RWKVは、RNNとTransformerを組み合わせた推論が軽いという。継続して学習させているというので、時々チェックしていた。Eagle 7Bというモデルが出たので試してみる。翻訳性能も高くなっていて期待しつつ。 blog.rwkv.com というわけで、colabのメモリup＋GPU T4でチャレンジしました。 先例に倣ってウォーミングアップ。 User: まどかマギカで一番かわいいのは？ Assistant: この質問に対する答えは、人によって異なる可能性があります。しかし、一般的に、「まどかマギカ」という作品に登場するキャラクターの中で、一番かわいいと思われるキャラクターは、個人の好…

CLOVER🍀•1年前

OpenAI API互換のサーバーをローカルで動かせるLocalAIを試す

これは、なにをしたくて書いたもの？ 以前、ローカルで動かせるOpenAI API互換のサーバーとしてllama-cpp-pythonを使ってみました。 llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER🍀 他にも同様のことができるものとして、LocalAIというものがあることを知ったのでこちらを試してみようかなと。 LocalAI LocalAIのWebサイトはこちら。 LocalAI :: LocalAI documentation GitHubリポジトリーはこちらです。 GitHub - mudler/LocalAI: :robot: The f…

biochem_fanのブログ•1年前

2023-12-19 (Tue)

DIALS の conda を更新 dials.export が Error: can't set attribute で動かなくなったので conda 環境が古いせいかなと思って bootstrap.py base したら Out of memory allocating 18446744071562068032*24 bytes! Process failed with return code -6 という訳のわからないエラーになった。 "Updating a development environment" にあるように、 conda install --file modules/dia…