Hatena Blog Tags
はてなブログ トップ
QWQ32B
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

QWQ32B

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
パソコン関連もろもろ•2ヶ月前

「vLLM」と「ChatUI」を使って QwQ-32B を実行する

画像では思考過程（Reasoning）が閉じられていますが中を見ることが可能です。はじめに話題のQwQ-32BをAutoAWQで量子化してChatUIから使いました。使用したPC プロセッサ Intel(R) Core(TM) i7-14700K 実装 RAM 96.0 GB GPU RTX 4090 (VRAM 24GB) 方法vLLM側の操作WSL2を使っています。量子化はv0.7.0環境を使いました。こちらを参照して下さい。 python run_awq.py -M Qwen/QwQ-32Bその後の実行ですが公式ページのこちらにはこのようにしろと書かれています。 vllm serve m…

#QWQ32B

関連ブログ

シンギュラリティ実験ノート•2ヶ月前

JavaScriptで動くテトリスをAIに作らせてみた

AIにJavaScriptで動くWEBアプリを作らせてみた。題材としてはテトリスを選んだ。今回はその開発過程をブログに記録するとともに、成果物として完成したテトリスをWEBアプリとして公開したい。 ちなみに私はJavaScriptは全くと言っていいほど知識と経験がない。そんな私なので開発はAIに全面的に依存した進め方となる。 今回試したAIは以下の４つである。私はまだAIの課金ユーザではないので、どれも無料で使える範囲で使用した。QwQ-32BはOllamaを使いローカルで、Grok 3はXアプリから実行した。 Claude 3.5 Haiku QwQ-32B Google Gemini 2.…

#webアプリ#Claude#Grok#gemini#QWQ32B#テトリス
シンギュラリティ実験ノート•5ヶ月前

QWQ-32BはVRAM16GBで動いてくれる優秀なAI

先日の記事でVRAMを16GBに設定し、QWQ-32BのQ3_K_S量子化版を動かした様子を紹介した。その後、VRAMが正しく16GBに設定されていない（Autoに戻っていた）ことが分かり、再設定をしたので再度QWQ-32Bの動作を確認してみた。 BIOSで正しくVRAM16GBに設定するとタスクマネージャーは以下のようになった。 専用GPUメモリが16GBと表示される。この状態でQWQ-32BのQ3_K_S量子化版13.4GBを使用する。Ollamaは内蔵GPUをサポートしていないので、今回はフロントエンドとしてJanを使用する。JanのAdvanced Settings を以下のようにする…

#QWQ32B#株価#ビットコイン