Hatena Blog Tags
はてなブログ トップ
LLAMA
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

LLAMA

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
あきらぼ•6日前

Llama Vision をWindowsのWSLでローカルに動かしてみる

WindowsのWSLでLlama Visionをローカルで動かしてみようと思います。 意外とこの設定で行っている人がいなかったので。 まぁよっぽど良いGPU持ってないと重すぎて使い物にならないかと思いますが（笑） 環境 Windows11 WSL Ubuntu22.04 Python3.12 venv NVIDIA GeForce RTX 3050 CUDA 12.7 WSLを使わなくてもできるかもしれませんが、venv下のpytorchのdllがWindowsのセキュリティで制限されて簡単に設定できなさそうだったので諦めました。 今回のリポジトリはこちら。 github.com Huggi…

#AI#LLM#Llama3.2vision

関連ブログ

大宮盆栽デイズ - Omiya Bonsai Days - •4ヶ月前

（!=盆栽）【改訂版】macOS「写真」のキャプションを Ollama & Llama 3.2-Vision で作成

macOS のアプリ「写真」の機能である、「キャプション（写真説明）」を使っていませんでした。今回、Ollama と、Llama 3.2-Vision を用いたローカルLLM で自動生成する、Python スクリプトを作成しましたので、ペーストします。スクリプトは生成AI とともに作成しました。また、@GOROman さん、そして、@7shi さんの X 投稿を参考にさせていただきました。ありがとうございます。llama3.2-vision ローカルで動いた！すごすぎんか？？まじ？ https://t.co/wLtsyv7Fdm pic.twitter.com/v2YyeimoYR— GORO…

#ローカルLLM#写真#キャプション#画像認識#macOS
CCCMKホールディングス TECH LABの Tech Blog•9ヶ月前

llama.cpp各種モデル18パターンの速度比較（Llama 3.1/Gemma 2/Phi-3…, GPU/x86_64/arm64）※おすすめモデル有り

はじめに こんにちは。テックラボの高橋です。 本記事ではllama.cppで実行可能なモデルを片っ端から実行して良さげなモデルを探していきます。 なお、llama.cppの詳細やパラメータ設定については以下の記事をご参照ください。 techblog.cccmkhd.co.jp モデルは主に日本語対応モデルのリーダーボードである Nejumi-LLM-3からチョイスしていきます。 wandb.ai 各パラメータ毎にコマンド一発しか確認していないので、詳細な性能を知りたい方は各々の環境で試していただくか、下記リンク先のベンチマークやllama.cppのissueを参考にしてください。 openbe…

#Llama 3#Gemma2#Phi-3#GPU#x86-64#Arm64
犬飼たつきちのWindowsライフ•9ヶ月前

【ミドル以上のGPU持ってる人必見】自分のPCでLLM(AIチャット)を簡単に動かす方法【電気代だけ】

動作環境 OS : Windows11 メインメモリ : 32GB CPU : AMD Ryzen 5 2600 GPU : NVIDIA GeForce RTX 4060 アプリをダウンロード lmstudio.ai 上記からアプリをダウンロードします。 モデルのダウンロード場所の指定 フォルダタブのchangeからモデルをダウンロードする場所を選択することができます。 どこでもいいよという人は変える必要はありません。(アプリのデフォルトの場所になります。) モデルのダウンロード Home画面からモデルのダウンロードができます。 青色のダウンロードボタンを押すだけで完了です。 AIとチャット…

#lmstudio#LLM#AI
覚え書きしながら整理する場所•10ヶ月前

ollama/dockerイメージを使って WSL 上でollamaを利用する

コンテナ起動 docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama ollama がサポートしているLLMのリストは次を参照。 ollama.com Sample code LangChainを使って ollama を呼び出す python の実装例を以下に示します。 from langchain_community.llms import Ollama from langchain_community.chat_models import ChatOllama from langcha…

#ollama
ローカルLLM自由帳•1年前

【LLM論文を読む】DoRA：Weight-Decomposed Low-Rank Adaptation（重み分解LoRA）

ここ数日「Stable Knowledge Editing」を参考にしながら、LoRAファインチューンによるLLMへの知識の追加を試しています。 LoRAのハイパーパラメータ調整のコツを調べるなかで、「DoRA（重み分解LoRA）」という別のLoRA派生手法の存在を知りました。HuggingFaceのPEFTライブラリでも対応しているツールのようです。 DoRA論文は、2024年2月にNVIDIA＆香港科技大学の研究者によりarXivに投稿されています。 arxiv.org 概要 広く使われているパラメータ効率的ファインチューニング（PEFT）手法の中で、LoRA（低ランク適応）とその亜種は、…

#LLM#LoRA#ファインチューン
ローカルLLM自由帳•1年前

【LLM論文を読む】RAG vs ファインチューニング

2024/1/16にMicrosoftから「RAG vs ファインチューニング：パイプライン、トレードオフ、農業におけるケーススタディ」というarxiv論文が出てました。 特定領域に固有の知識（この論文では農業関連データ）をLLMアプリケーションの回答に取り入れる手法として、RAGと微調整を比較検討した研究のようです。 arxiv.org 概要（機械翻訳） 大規模言語モデル（LLM）のアプリケーションを構築する際、開発者が独自のデータやドメイン固有のデータを取り入れる一般的な方法が2つある： それは、RAG（Retrieval-Augmented Generation）と微調整（Fine-Tu…

#RAG#ローカルLLM#ファインチューニング
ハオのガジェット工房•2年前

【気になるNEWS】Snapdragon 8 gen 2にMeta社製AI Llama2を標準搭載か！？

Sorce : qualcomm.com Qualcomm社が、同社の主力製品であるSnapdragon シリーズにMeta社が手掛けるAl「Llama２」を2024年から搭載すると発表しました。同社によると、このAIを使用するためにインターネットに接続する必要はなく、オフラインでも使用できるとのことです。Meta社は「Llama」をすでにオープンソース化していることも発表しました。非常に興味をひかれたニュースなので、簡単に情報をまとめてみました。 「Llama２」とは？ Snapdragonに搭載されて何ができる？ いつ搭載されるのか？ (News Sorce) www.androidaut…

#Snapdragon#LLAMA#AI
エンジニアですよ！•3年前

Log Structured Storageを重ねて使うと起きる問題とLLAMAについて調べたことまとめ

Database Internalsを読んでて、7章の最後 Log Stacking のところで疑問が多くていろいろ調べていたなかのひとつ。 HSEとは何か - Speaker Deck LLAMAの話ではないけど同じような話としてこの↑資料が良かったのでこれを見よう。 Log Structured Storageを重ねて使うと起こる問題 ファイルシステムもSSDもLog Structuringを利用していて、昨今Log Structured Storageを利用するアプリケーションも増えてきていて、たくさんの階層でログが使われている。そうするといろいろと不都合があって、その不都合については本…

#database internals#log structured storage#LSS#LLAMA#Database
DT10mmAUTOの日記•4年前

【考察：物語と銃】～～theEDGE～　　第3話　⑩頑住吉プレッシンピストルを・・・撃つッ！

さて・・・と ( ・∀・)ニヤニヤ では一通り作動の方法もレビューしたので 動画行きますかー。 とはいえこれは弾の出ないモデルガン そのため発砲はありませんが、 LlamaPressin の動画自体が 非常にレア たぶん日本語でこの銃を 動画にしているもの好きは 私くらいのモノではないでしょうか？ (;´･ω･) まぢですか・・・ というわけで、 恐らく世界初 日本語によるLlamaPressinの レビュー動画です。 どぞ ( ・ω・)ノ www.youtube.com BB弾を発砲できるモデルではないので、 計測や派手な銃声やアクションはありませんが、 どうですか？ ワタシ、theEDGE…

#LLAMA#モデルガン#エアガン#電動ガン#ガスガン#サバゲー　＃usp　＃電動ハンドガン　＃ジャンク