Hatena Blog Tags
はてなブログ トップ
ChatUI
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

ChatUI

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
パソコン関連もろもろ•1年前

【Intel Arc A770】使っていないPCを大規模言語モデル（LLM）サーバーとして働かせることに成功しました

はじめにタイトルにあるとおり自宅内LLMサーバーを立ち上げることに成功しました。サーバー側のPC使っていないPCに「Intel Arc A770」をのせました。 Ubuntu 22.04 Core i7 11700 RAM 64GB Intel Arc A770メインPC普段使っているPCです。 おそらくこちらは低スペックでも良いと思います。 Windows 11実行方法Ubuntu PCでsyclを使ってLlama.cppを実行しました。 Windows PCではHugging Faceの「ChatUI」を使いました。Ubuntu PCmongoDBの立ち上げ docker start mo…

#ChatUI

関連ブログ

パソコン関連もろもろ•1年前

Googleが公開している「CodeGemma-7b-it」を「ChatUI」から使用する

はじめに「Llama.cpp」と「ChatUI」を使用しています。それぞれの使い方はこちらを参照して下さい。 touch-sp.hatenablog.com touch-sp.hatenablog.com 使い方「Llama.cpp」の実行 ./llama.cpp/server -m llama.cpp/models/codegemma-7b-it-f16.gguf -c 2048 -ngl 29「-ngl」でGPUを使用するLayerの数を指定します。おそらくこのモデルの最大値は29だと思います。 llm_load_tensors: offloading 28 repeating layer…

#ChatUI
パソコン関連もろもろ•1年前

Stability AIが公開している「stable-code-instruct-3b」を「ChatUI」から使用する

はじめに以前「stable-code-instruct-3b」をPythonスクリプトから使用したことがあります。 touch-sp.hatenablog.com 今回は「Llama.cpp」と「ChatUI」の組み合わせで「stable-code-instruct-3b」を使用してみます。 「Llama.cpp」と「ChatUI」の使い方はこちらを見て下さい。 touch-sp.hatenablog.com 使い方「Llama.cpp」の実行 ./llama.cpp/server -m llama.cpp/models/stable-code-3b-q5_k_m.gguf -c 2048 -…

#ChatUI
パソコン関連もろもろ•1年前

「Llama.cpp」とHugging Faceが開発している「ChatUI」を使ってLLM（大規模言語モデル）をローカル環境で使用する

はじめにWSL2上のLlama.cppで大規模言語モデルの「zephyr-7b-beta」を実行して、Windows上のChatUIでそれを利用してみました。無料で実行可能です。 github.com github.com必要なものWSL2にDocker Engineのインストールが必要です。 Windowsにnpmのインストールが必要です。使用した環境WSL2 Ubuntu 22.04 on WSL2 CUDA 11.8Windows Windows 11WSL2側でやることDockerのインストールこちらに従いました。 WSL2の場合は最初に以下のコマンドを実行しないとDockerが起動し…

#ChatUI