Hatena Blog Tags
はてなブログ トップ
lmstudio
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

lmstudio

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
犬飼たつきちのWindowsライフ•1ヶ月前

【ミドル以上のGPU持ってる人必見】自分のPCでLLM(AIチャット)を簡単に動かす方法【電気代だけ】

動作環境 OS : Windows11 メインメモリ : 32GB CPU : AMD Ryzen 5 2600 GPU : NVIDIA GeForce RTX 4060 アプリをダウンロード lmstudio.ai 上記からアプリをダウンロードします。 モデルのダウンロード場所の指定 フォルダタブのchangeからモデルをダウンロードする場所を選択することができます。 どこでもいいよという人は変える必要はありません。(アプリのデフォルトの場所になります。) モデルのダウンロード Home画面からモデルのダウンロードができます。 青色のダウンロードボタンを押すだけで完了です。 AIとチャット…

#lmstudio#LLM#AI

関連ブログ

AOI-CAT's diary•4ヶ月前

LLMをWindowsローカルマシンで実行し、AMD RX6600Mを使う。(LM Studio, KoboldCpp-rocm)

はじめに AMD RX6600M GPUを搭載したWindowsマシンで、テキスト生成用途にLLM実行環境を試したときのメモです。 LM Studio、Ollama、KoboldCpp-rocm、AnythingLLMの各ソフトウェアの使用感、GPU動作について紹介します。 結論として、この中ではLM StudioとKoboldCpp-rocmがAMD RX6600Mを利用して動きました。 はじめに モデルについて 使用感と利点・欠点 1. LM Studio 2. Ollama 3. KoboldCpp-rocm 導入と設定 4. Anything LLM まとめ モデルについて LM St…

シンギュラリティ実験ノート•4ヶ月前

LM StudioでLlama3-8B日本語強化版を試してみた

mmngaさんのHugginfaceのページにLlama3-8Bの日本語強化学習モデル lightblue-suzume-llama-3-8B-japanese-gguf があったので試してみた。8Bは70Bに比べると能力的に劣るであろうことは分かっているが、日本語の能力とUM790 Proで動かした時の応答速度を確認したかったので試してみた。 LM Studioへのモデル追加手順 ダウンロードしたモデル lightblue-suzume-llama-3-8B-japanese-Q4_K_M.gguf を以下のようにLM Studioの環境の中にセットした。フォルダ名の Suzume-Llam…

シンギュラリティ実験ノート•5ヶ月前

LM StudioでCommand-R（35B）を動かしてみた

Command-Rという35B（350億パラメタ）のLLM（大規模言語モデル）を1000ドルPCで動かしてみた。 GPT-4やClaude-3並の性能があるのではと言われている、Command-R＋(Plus)という104B（1,040億パラメタ）のLLMも公開されている。これはMac Studioの128GBメモリ搭載機で実際動いているようだが、64GBの1000ドルPCでは無理そうなので、まず35Bで試して見ることにした。 LM Studio Command-Rを試してみようと思ったのは、DiscordでJanの情報を眺めていた時に「LM StudioでCommand-Rは動いているがJa…