Hatena Blog Tags
はてなブログ トップ
Hugginface
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Hugginface

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
uepon日々の備忘録•1ヶ月前

初心者でもできる！HuggingFaceモデルをGGUF形式に変換しOllamaで使う手順

最近、AIのことは一応触ってはいますが、ちっともわからない状況です🫠 先日までOllamaを使用していたのでローカルLLMについてはなんとなく分かってきた様でもありという状況ですが、OllamaはGGUF形式のモデルが使えるとはいえ、すべてのモデルがGUFF形式で公開されているというわけはありません。 リポジトリ内には拡張子が無いモデルのファイルがあって…これ何？って感じです。なんとなく分かってきたのはHuggingFaceにで公開されているモデルはHFって呼ばれるモデルのようですが…。どこかに名言されてるんでしょうか🙇 ということで、HuggingFaceに公開されているHFモデルをなんとか…

#ローカルLLM#llama.cpp#Hugginface#GUFF形式変換

関連ブログ

シンギュラリティ実験ノート•5ヶ月前

LM StudioでLlama3-8B日本語強化版を試してみた

mmngaさんのHugginfaceのページにLlama3-8Bの日本語強化学習モデル lightblue-suzume-llama-3-8B-japanese-gguf があったので試してみた。8Bは70Bに比べると能力的に劣るであろうことは分かっているが、日本語の能力とUM790 Proで動かした時の応答速度を確認したかったので試してみた。 LM Studioへのモデル追加手順 ダウンロードしたモデル lightblue-suzume-llama-3-8B-japanese-Q4_K_M.gguf を以下のようにLM Studioの環境の中にセットした。フォルダ名の Suzume-Llam…

シンギュラリティ実験ノート•6ヶ月前

UM790 ProのNPUでLLM（Llama2-7B）を動かしてみた

NPUでLLM（opt-1.3b）のデモプロを動かすことができたので、今回はLlama2-7Bにチャレンジしてみた。結果的に動かすことはできたが、期待していた結果とは少し違っていた。導入手順とその中で気付いたことをここにまとめておきたい。 Copilotに頼んだらDALL E３が描いてくれました Step1 リポジトリのダウンロードと仮想環境の作成 こちらのページを見ながら環境を作成する。AnacondaからCMDプロンプトを起動して以下を実行する。 git clone https://github.com/amd/RyzenAI-SW.git cd RyzenAI-SW\example\tr…

Retrieva TECH BLOG•1年前

日本語LLMの推論速度検証

はじめに こんにちは。横浜国立大学大学院 理工学府 修士2年の藤井巧朗と申します。8月24日から9月29日の５週間、株式会社レトリバにインターンとして参加させていただきました。インターンでは日本語LLMの推論速度に関する検証を行いました。本記事では、インターンでの成果の一部を紹介します。 想定する読者： 自然言語処理に興味がある方 自然言語処理を扱う会社のインターンに興味のある方 LLMの推論速度に関心のある方 時間がない方向けまとめ： 推論速度に関して、特に大規模なモデルではCPUよりもGPUの方が圧倒的に速い GPUで高速化したい場合vLLMかFasterTransformerを使うべき（…

高橋かずひとのプログラミング、その他、備忘録。•1年前

OpenLendaで信号機検出をお試し🚥

TuringさんがOpenLendaと言う信号機検出のモデルを公開されていたので、試してみました👀 HugginFaceでデモが公開されているので、さっと試すことができます。 huggingface.co モデルやPyTorchの推論コードは公式リポジトリで公開されています。 pthモデルの他にonnxファイルも公開されていて、地味にうれしいです🦔 github.com ONNXが公開されているのであれば、それで推論したい。と言うことでザクッとサンプルプログラムを作成しました。 マルチクラスNMSのちょうど良い参考資料が無くて、すっごい暫定実装です👻 github.com 動かした感じは以下↓…