Hatena Blog Tags
はてなブログ トップ
ローカルLLM
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

ローカルLLM

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
なつあみTech Brog•1ヶ月前

DDR5の96GBメモリが安い！！

DDR5の96GBメモリが安い！！ DDR5のメモリは長らく価格が高かったのですが、最近ようやく安くなってきました！ DDR5の96GBメモリが安い！！ Crucialの96GBが３万円台！ Crucialの96GBが３万円台！ これを見てください！ なんと、48GBX2枚 DDR5-5600が36141円でした！ しかも、無期限保証付きです。 DDR5は、4枚刺しだと不安定になると言われているので、２枚刺しで大容量が確保できる必要がありました。この価格なら随分手が届きやすいです！ 96GBあると、ローカルLLMの生成AIを動かすのにも安心ですね！ 発売からの価格推移も確認してみましたが、今が…

#メモリ#DDR5#デスクトップPC#96GB#48GB#Crucial#生成AI#ローカルLLM

関連ブログ

れとろのメモ置場•3ヶ月前

話題の DeepSeek-R1をコンテナで動かそうとしてだめだった話

話題になったDeepSeek-R1をコンテナ環境で安全に動かしてみようと思って、コンテナ作って動かしてみた。 結果としては、蒸留モデルはかろうじて動かせたけど本家のDeepSeek-R1はグラボのスペック的に動かせなかった。 やったこと CUDA対応のコンテナを作る vLLMでDeepSeek-R1を動かす。 ※DeepSeek-R1はHugging Faceで公開されているけど、インターフェイス?かなにかが対応していないようで、何かしらのLLMフレームワーク上じゃないと動かせないらしい。今回はvLLMをフレームワークとして選択した。 CUDA対応のコンテナを作る コンテナイメージ作成 試行錯…

#DeepSeek-R1#vLLM#コンテナ#ローカルLLM
大宮盆栽デイズ - Omiya Bonsai Days - •4ヶ月前

（!=盆栽）【改訂版】macOS「写真」のキャプションを Ollama & Llama 3.2-Vision で作成

macOS のアプリ「写真」の機能である、「キャプション（写真説明）」を使っていませんでした。今回、Ollama と、Llama 3.2-Vision を用いたローカルLLM で自動生成する、Python スクリプトを作成しましたので、ペーストします。スクリプトは生成AI とともに作成しました。また、@GOROman さん、そして、@7shi さんの X 投稿を参考にさせていただきました。ありがとうございます。llama3.2-vision ローカルで動いた！すごすぎんか？？まじ？ https://t.co/wLtsyv7Fdm pic.twitter.com/v2YyeimoYR— GORO…

#ローカルLLM#写真#キャプション#画像認識#macOS
こいらっくの部屋•7ヶ月前

LM Studioを使ってQwen2.5をローカルで動かす

Q, これはなに A, LM Studioというアプリを使うLLMのローカルでの動かし方についての説明

#ローカルLLM#Qwen2.5#Mistral-Nemo#LM Studio
panco’s blog•7ヶ月前

bilingual-gpt-neox-4b-minigpt4 を VRAM8GB、RAM16GB の PC で動かす

bilingual-gpt-neox-4b-minigpt4 を VRAM8GB、RAM16GB の PC で動かすために実施したことを書く。 実行環境 PC Windows 11 Home CPU intel Core i5-14500 メモリ 16GB GPU NVIDIA GEFORCE RTX 4060 VRAM 8GB Compute Capability 8.9 Micro-architecture Ada Lovelace Driver version 551.76 WSL 関連 WSL 2.2.4.0 Ubuntu 22.04.3 LTS VSCode 1.92.2 conda…

#ローカルLLM
panco’s blog•8ヶ月前

LLM 読み込み時の設定値と実行時間の検証

検証結果サマリ 平均実行時間について 出力結果について 実行環境 rinna_float16_auto.py ソースコード 実行結果 1 回目 実行結果 2 回目 実行結果 3 回目 実行結果 4 回目 rinna_8bit_auto.py ソースコード 実行結果 1 回目 実行結果 2 回目 実行結果 3 回目 実行結果 4 回目 rinna_4bit_auto.py ソースコード 実行結果 1 回目 実行結果 2 回目 実行結果 3 回目 実行結果 4 回目 rinna_auto.py ソースコード 実行結果 1 回目 実行結果 2 回目 実行結果 3 回目 実行結果 4 回目 参考 Ac…

#rinna#ローカルLLM
ogi_kimuraの日記•8ヶ月前

ローカルLLMをWindowsで動かしてみた話

はじめに最近「ローカルLLM」という言葉に惹かれ、調べてみたところ、なんとChatGPTのような言語モデルをローカルPC上で構築できるということを知りました。@ksonodaさんの投稿記事を参考にさせて頂きました。ありがとうございます。 qiita.com これまで、過去の投稿記事でRAG（Retrieval Augmented Generation）をローカルPC上で動かすことに成功していたので（下記の過去の投稿記事）、もしかしたら生成AIに関するすべての処理を自前で完結させることができるかもしれない、という期待が膨らんできました。 qiita.com そこで今回は、ローカルでのLLM構築に…

#LangChain#LLM#ollama
uepon日々の備忘録•8ヶ月前

初心者でもできる！HuggingFaceモデルをGGUF形式に変換しOllamaで使う手順

最近、AIのことは一応触ってはいますが、ちっともわからない状況です🫠 先日までOllamaを使用していたのでローカルLLMについてはなんとなく分かってきた様でもありという状況ですが、OllamaはGGUF形式のモデルが使えるとはいえ、すべてのモデルがGUFF形式で公開されているというわけはありません。 リポジトリ内には拡張子が無いモデルのファイルがあって…これ何？って感じです。なんとなく分かってきたのはHuggingFaceにで公開されているモデルはHFって呼ばれるモデルのようですが…。どこかに名言されてるんでしょうか🙇 ということで、HuggingFaceに公開されているHFモデルをなんとか…

#ローカルLLM#llama.cpp#Hugginface#GUFF形式変換
panco’s blog•8ヶ月前

【解消】rinna のモデルを使おうとして OutOfMemoryError にはまった話

はじめに 実行環境 環境構築 WSL2 の導入 CUDA toolkit のインストール cuDNN のインストール 動作確認 Anaconda のインストール conda 環境の作成 Pytorch のインストール VSCode の導入 資材格納 サンプルコードを実行 サンプルコード実行エラー Killed OOM Killer への対処と結果 rinna_test.py の実行時間について 参考資料 はじめに 前回の記事の続き。 pancokeiba.hatenablog.com Windows での環境構築に挫折したため WSL2 で構築することとした。今回はその作業内容と rinna …

#rinna#WSL2#ローカルLLM