Hatena Blog Tags
はてなブログ トップ
huggingface
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

huggingface

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
誰かの技術置き場•18日前

LLM-jp-4を動かしたりRAGを試したりした記録

お疲れ様です。 Gemma4と同時期くらいに日本語特化のLLMであるLLM-jp-4が出ていました。 こちらも試してみたのでそれをまとめます。 LLM-jp-4について 国立情報学研究所のLLM研究のグループが開発した新たな国産LLMです。 日本語性能でGPT-4oを上回る性能を出したとのこと。 ライセンスは「Apache-2.0」なので利用もしやすいですね。 今後このモデルをベースに新たな日本語LLMが出てくるのも期待できそうです。 www.nii.ac.jp 実装 モデルはHuggingFaceで公開されているのみなので、今回はこちらを使用します。 Ollamaで使えれば楽なのですがこれば…

#生成AI#Python#RAG

ネットで話題

もっと見る
135ブックマークJupyter AIでHuggingFace Hubを使うと、これまたすごい！ | moritalous blogblog.bedrock.day
40ブックマーク1982年発売のトミーの「アームトロン」とHuggingFaceの「SO-101」ascii.jp
35ブックマークChatGPTの対抗馬としてオープンソースの対話型AIチャット「HuggingChat」をHuggingFaceがリリースgigazine.net
31ブックマーク【Zephyr 7B Alpha】HuggingFaceがLlama 2を超えるLLMを出したので、比較レビューしてみた | WEELZephyr 7b Alphaの概要 Zephyr 7B Alphaは、Hugging FaceがリリースしたMistral AIのMistral 7bをファインチューニングしたモデルです。このモデルは、いくつかのベンチマークでChat Llama 70Bと同等の結果を示し、MT benchでは上回るスコアを出しています。 このことから、Zephyr 7B Alphaはファインチューニングによっ...weel.co.jp
28ブックマークGitHub - huggingface/transformers: 🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.github.com
26ブックマークhuggingface / transformersを使って日本語BERTの事前学習を実施してオリジナルな言語モデルを作ってみる - Qiitaqiita.com
19ブックマークGitHub - huggingface/nfsserve: A Rust NFS Server implementationgithub.com
17ブックマークGitHub - huggingface/diffusers: :hugging_face: Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.github.com
15ブックマークDiffusers Gallery - a Hugging Face Space by huggingface-projectshuggingface.co

関連ブログ

誰かの技術置き場•6ヶ月前

OCRモデルTrOCRの実装まとめ

お疲れ様です。 前回の記事でTrOCRの調査内容をまとめたので、今回は実装のお話。 fallpoke-tech.hatenadiary.jp ソースコード コード内容補足 モデル データセット 前処理 実行結果 学習 推論 ソースコード ソースコードはこちらのGithubリポジトリにまとめています。mainブランチの方を使用する想定です。 プロジェクト全体の構造や使用方法などはREADMEを参照ください。 GitHub Copilotに作成させたのでおかしな点などあるかもしれませんが…。 github.com 下記のサイトのソースコードをベースに日本語対応をしたものになります。 https:/…

#OCR#TrOCR#Python#機械学習
誰かの技術置き場•6ヶ月前

OCRモデルTrOCRについて調べたまとめ

お疲れ様です。 今月の半ばくらいまで会社の勉強会の関係でAI OCRの手法の1つのTrOCRの調査と実装をしていました。 今回はそちらの内容をまとめて備忘録を書いておきます。 論文 arxiv.org 要約（from ChatGPT） TrOCR：Transformerベースの革新的なOCR技術 TrOCRは「Transformer Optical Character Recognition」の略で、Microsoftが開発した、Transformerアーキテクチャに基づく先進的な光学文字認識（OCR）モデルです。 従来のOCR技術が主に畳み込みニューラルネットワーク（CNN）を利用していたの…

#OCR#機械学習#Python
誰かの技術置き場•8ヶ月前

EmbeddingGemmaのお試し

お疲れ様です。 Googleから新しいオープンモデル、EmbeddingGemmaが公開されたので試してみました。 こちらは埋め込みモデル（Embedding Model）、文書をベクトル化するためのモデルになります。 huggingface.co 上記HuggingFaceの公式ページにあるデモコードを試してみます。 実際に使用したソースコード全体は以下（GitHub）に残しています。 ローカル環境で使用するために多少カスタマイズしています。 github.com 事前準備 EmbeddingGemmaを使うためにはHuggingFaceのユーザ登録とトークン作成が必要になります。 作成方法…

#huggingface#Python
誰かの技術置き場•1年前

「pfnet/plamo-embedding-1b」をChromaDBのEmbeddingで使ってみた

お疲れ様です。 今日の昼頃Preferred Networks（PFN）からPLaMoをベースにしたテキスト埋め込みモデル（Embeddingモデル）が公開されていました！ tech.preferred.jp この公開された「plamo-embedding-1b」ですが、他の日本語テキスト埋め込みモデルと比較してもかなり性能が良いとのこと。 このモデル自体はHugging Faceで公開されており、ライセンスもApache v2.0ライセンスなので商用利用可。めちゃくちゃありがたいです。 huggingface.co とにかくまずは使ってみたいということで、ChromaDBのEmbedding…

#Python#RAG
uepon日々の備忘録•1年前

【メモ】これだけ覚える！Hugging Faceからモデルのダウンロード方法

Hugging Faceは、機械学習・自然言語処理モデルのオープンソースプラットフォームで、「AI界のGitHub」とも呼ばれ、最先端のAIモデルを共有・活用する中心的な場所となっています。Hugging Faceから最新のモデルをダウンロードしてローカルで使用する方法についてここでは説明をしていきます。ブラウザを使うことで手動でダウンロードすることも可能ですが、モデルはかなり大きなファイルになるので、ツールを使用するほうが容易です。 1. モデルダウンロードの手法について Hugging Faceのモデルを活用するには、まずモデルファイルをローカル環境にダウンロードする必要があります。ここで…

#LLM#huggingface#Python
誰かの技術置き場•1年前

話題のRAdamScheduleFreeをざっくり試す

お疲れ様です。 今回は機械学習の界隈で話題のRAdamScheduleFreeという新しいoptimizerを試したいと思います。 なんでもAdamWと同等かそれ以上の性能だとか…！ 詳しい内容は作成者さんのZennをご確認ください。今回私がやるのはとりあえずの実装のみ…。 zenn.dev 条件設定（実行環境、使用モデルなど） 実装 結果 比較（AdamWでの結果） 所感 条件設定（実行環境、使用モデルなど） 実行環境は以下になります。 CPU: 13th Gen Intel(R) Core(TM) i7-13700F 2.10 GHz メモリ: 32 GB GPU: NVIDIA GeFo…

#Python#ScheduleFree#物体検出#機械学習
誰かの技術置き場•1年前

HuggingFaceの物体検出モデルを片っ端から試す回

お疲れ様です。 以前の記事でHuggingFace（transformersライブラリ）から利用できるDETRという物体検出モデルを実装しました。 今回はDETR以外の物体検出モデルを使ってみようと思います。 前回 ソースコード 使用するデータセット PCのスペック HuggingFaceの物体検出モデル DETR Deformable DETR DETA Conditional DETR 所感 前回 fallpoke-tech.hatenadiary.jp ソースコード ソースコードは前回作成のものに追加する形で作成しています。 今回紹介するモデルはconfig/train_config.t…

#Python#機械学習#画像処理#Pytorch
誰かの技術置き場•2年前

HaggingFaceの物体検出モデルを試してみようの回

お疲れ様です。 HuggingFace（transformersライブラリ）から利用できる物体検出のDeepLearningモデルを試してみたのでその紹介です。 物体検出についてはざっくりというと画像内の物体を矩形（Bounding Box）で囲って検出するものになります。 下図の例では人間の顔を検出しています。 作成したソースコードはテンプレート化して公開しているので気になる方はこちらもご参照ください。 github.com さて、HuggingFaceといえば自然言語処理のモデルが多いイメージかなと思いますが、VisionTransformerなどtransfomerアーキテクチャが使用さ…

#Python#Pytorch#物体検出#DeepLearning