Hatena Blog Tags
はてなブログ トップ
ローカルLLM
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

ローカルLLM

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
ローカルLLM自由帳•12時間前

メモ：LLMとの自然な音声会話を可能にする Unmute

Redditで「Unmute」なるLLM用音声ツールが話題に。以下のデモを実際に試したところ、相当に自然な感じでインパクトがあります（日本語は対応してないので、拙い英語で試しただけですが） unmute.sh 開発元のkyutaiによるブログ記事の要約： Unmuteは、既存のテキストベースのLLMに音声入力と音声出力を可能にするためのラッピング技術であり、Unmuteを使用することで、テキストLLMの機能（関数呼び出し、強力な推論能力、コンテキスト内学習など）をリアルタイムの音声会話に直接持ち込むことができます。Unmuteは、話者の発話終了を正確に予測するストリーミング音声認識と、声のサン…

#ローカルLLM#Unmute#Kyutai

関連ブログ

なつあみTech Brog•2ヶ月前

DDR5の96GBメモリが安い！！

DDR5の96GBメモリが安い！！ DDR5のメモリは長らく価格が高かったのですが、最近ようやく安くなってきました！ DDR5の96GBメモリが安い！！ Crucialの96GBが３万円台！ Crucialの96GBが３万円台！ これを見てください！ なんと、48GBX2枚 DDR5-5600が36141円でした！ しかも、無期限保証付きです。 DDR5は、4枚刺しだと不安定になると言われているので、２枚刺しで大容量が確保できる必要がありました。この価格なら随分手が届きやすいです！ 96GBあると、ローカルLLMの生成AIを動かすのにも安心ですね！ 発売からの価格推移も確認してみましたが、今が…

#メモリ#DDR5#デスクトップPC#96GB#48GB#Crucial#生成AI#ローカルLLM
れとろのメモ置場•4ヶ月前

話題の DeepSeek-R1をコンテナで動かそうとしてだめだった話

話題になったDeepSeek-R1をコンテナ環境で安全に動かしてみようと思って、コンテナ作って動かしてみた。 結果としては、蒸留モデルはかろうじて動かせたけど本家のDeepSeek-R1はグラボのスペック的に動かせなかった。 やったこと CUDA対応のコンテナを作る vLLMでDeepSeek-R1を動かす。 ※DeepSeek-R1はHugging Faceで公開されているけど、インターフェイス?かなにかが対応していないようで、何かしらのLLMフレームワーク上じゃないと動かせないらしい。今回はvLLMをフレームワークとして選択した。 CUDA対応のコンテナを作る コンテナイメージ作成 試行錯…

#DeepSeek-R1#vLLM#コンテナ#ローカルLLM
大宮盆栽デイズ - Omiya Bonsai Days - •4ヶ月前

（!=盆栽）【改訂版】macOS「写真」のキャプションを Ollama & Llama 3.2-Vision で作成

macOS のアプリ「写真」の機能である、「キャプション（写真説明）」を使っていませんでした。今回、Ollama と、Llama 3.2-Vision を用いたローカルLLM で自動生成する、Python スクリプトを作成しましたので、ペーストします。スクリプトは生成AI とともに作成しました。また、@GOROman さん、そして、@7shi さんの X 投稿を参考にさせていただきました。ありがとうございます。llama3.2-vision ローカルで動いた！すごすぎんか？？まじ？ https://t.co/wLtsyv7Fdm pic.twitter.com/v2YyeimoYR— GORO…

#ローカルLLM#写真#キャプション#画像認識#macOS
こいらっくの部屋•8ヶ月前

LM Studioを使ってQwen2.5をローカルで動かす

Q, これはなに A, LM Studioというアプリを使うLLMのローカルでの動かし方についての説明

#ローカルLLM#Qwen2.5#Mistral-Nemo#LM Studio
panco’s blog•8ヶ月前

bilingual-gpt-neox-4b-minigpt4 を VRAM8GB、RAM16GB の PC で動かす

bilingual-gpt-neox-4b-minigpt4 を VRAM8GB、RAM16GB の PC で動かすために実施したことを書く。 実行環境 PC Windows 11 Home CPU intel Core i5-14500 メモリ 16GB GPU NVIDIA GEFORCE RTX 4060 VRAM 8GB Compute Capability 8.9 Micro-architecture Ada Lovelace Driver version 551.76 WSL 関連 WSL 2.2.4.0 Ubuntu 22.04.3 LTS VSCode 1.92.2 conda…

#ローカルLLM
panco’s blog•8ヶ月前

Accelerate のオフロード関連の処理について（torch_dtype, device_map）

はじめに 実行環境 気になったこと ソースコード 2 つのソースコードの違い 出力されるログの違い 調査結果 変数 offloaded_devices_str に何を格納しているのか ログの出力 はじめに LLM で遊んでいると、以下のログが表示された。このログが気になったため、調べたことを整理する。 Some parameters are on the meta device device because they were offloaded to the cpu. 実行環境 PC Windows 11 Home CPU intel Core i5-14500 メモリ 16GB GPU N…

#accelerate#ローカルLLM
ogi_kimuraの日記•8ヶ月前

ローカルLLMをWindowsで動かしてみた話

はじめに最近「ローカルLLM」という言葉に惹かれ、調べてみたところ、なんとChatGPTのような言語モデルをローカルPC上で構築できるということを知りました。@ksonodaさんの投稿記事を参考にさせて頂きました。ありがとうございます。 qiita.com これまで、過去の投稿記事でRAG（Retrieval Augmented Generation）をローカルPC上で動かすことに成功していたので（下記の過去の投稿記事）、もしかしたら生成AIに関するすべての処理を自前で完結させることができるかもしれない、という期待が膨らんできました。 qiita.com そこで今回は、ローカルでのLLM構築に…

#LangChain#LLM#ollama
uepon日々の備忘録•8ヶ月前

初心者でもできる！HuggingFaceモデルをGGUF形式に変換しOllamaで使う手順

最近、AIのことは一応触ってはいますが、ちっともわからない状況です🫠 先日までOllamaを使用していたのでローカルLLMについてはなんとなく分かってきた様でもありという状況ですが、OllamaはGGUF形式のモデルが使えるとはいえ、すべてのモデルがGUFF形式で公開されているというわけはありません。 リポジトリ内には拡張子が無いモデルのファイルがあって…これ何？って感じです。なんとなく分かってきたのはHuggingFaceにで公開されているモデルはHFって呼ばれるモデルのようですが…。どこかに名言されてるんでしょうか🙇 ということで、HuggingFaceに公開されているHFモデルをなんとか…

#ローカルLLM#llama.cpp#Hugginface#GUFF形式変換