Hatena Blog Tags
はてなブログ トップ
Gemma2
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Gemma2

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
CCCMKホールディングス TECH LABの Tech Blog•1ヶ月前

llama.cpp各種モデル18パターンの速度比較（Llama 3.1/Gemma 2/Phi-3…, GPU/x86_64/arm64）※おすすめモデル有り

はじめに こんにちは。テックラボの高橋です。 本記事ではllama.cppで実行可能なモデルを片っ端から実行して良さげなモデルを探していきます。 なお、llama.cppの詳細やパラメータ設定については以下の記事をご参照ください。 techblog.cccmkhd.co.jp モデルは主に日本語対応モデルのリーダーボードである Nejumi-LLM-3からチョイスしていきます。 wandb.ai 各パラメータ毎にコマンド一発しか確認していないので、詳細な性能を知りたい方は各々の環境で試していただくか、下記リンク先のベンチマークやllama.cppのissueを参考にしてください。 openbe…

#Llama 3#Gemma2#Phi-3#GPU#x86-64#Arm64

ネットで話題

もっと見る
20ブックマークGitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.github.com
16ブックマーク200万トークンを入力可能なGemini 1.5 Proが全開発者に開放＆オープンモデルのGemma 2公開gigazine.net
14ブックマークGoogleが大規模言語モデル「Gemma 2」をベースとしたパラメーターサイズがコンパクトな「Gemma 2 2B」、AIモデルの入出力をフィルタリングする「ShieldGemma」、モデル解釈ツール「Gemma Scope」を発表gigazine.net
14ブックマークGoogleが新オープンAIモデル「Gemma 2」をリリース ～商用可能、提供は27Bと9Bモデル／初代「Gemma」よりも高い推論効率を実現forest.watch.impress.co.jp
11ブックマークGoogleがオープンソースのビジュアル言語モデル「PaliGemma」を公開＆Llama 3と同等性能の大規模言語モデル「Gemma 2」を発表gigazine.net
9ブックマークGemini 1.5 Pro のアップデート ・ Gemini 1.5 Flash ・ PaliGemma ・ Gemma 2｜npakanote.com
7ブックマークGemma 2 is now available to researchers and developersblog.google
6ブックマークGemma2 2Bをファインチューニング（QLoRA）でキャラクター化（ずんだもん、つくよみちゃん）zenn.dev
5ブックマークGoogle、オープンな生成AIモデル「Gemma 2」リリース　270億パラメータモデル追加www.itmedia.co.jp

関連ブログ

地平線まで行ってくる。•5日前

LLM用のデータセットを作ってみる

ローカルでも稼働できる軽量で人にやさしい印象のある日本語得意なモデルが出てきています。最近ではTanukiが開発されたことは、とても印象深いです。今でも、OpenAIやGoogleのモデルを使って数を処理するのは、コスト的に大変で一般人のお小遣いレベルでは現実的ではありません。そこで、ローカルLLMでも言い換えや分析タスクはできる賢さがありそうだったのでチャレンジしました。 モデルの選定 変換準備 変換実施 結果 なぜJSON？ 参考：ライセンス周り モデルの選定 今まで遊んでみたモデルからえいやーで選んで味見をしました。 Tanuki-8B : weblab-GENIAC/Tanuki-8B…

ogi_kimuraの日記•7日前

ローカルLLMをWindowsで動かしてみた話

はじめに最近「ローカルLLM」という言葉に惹かれ、調べてみたところ、なんとChatGPTのような言語モデルをローカルPC上で構築できるということを知りました。@ksonodaさんの投稿記事を参考にさせて頂きました。ありがとうございます。 qiita.com これまで、過去の投稿記事でRAG（Retrieval Augmented Generation）をローカルPC上で動かすことに成功していたので（下記の過去の投稿記事）、もしかしたら生成AIに関するすべての処理を自前で完結させることができるかもしれない、という期待が膨らんできました。 qiita.com そこで今回は、ローカルでのLLM構築に…

nikkie-ftnextの日記•13日前

transformers.AutoModelForCausalLM の from_pretrained() の attn_implementation 引数に泣かされています（Gemmaを例に）

Today(※最近) I Learned です。 といっても全然うまくいっていません 目次 目次 AutoModelForCausalLM.from_pretrainedの引数 attn_implementation引数のデフォルト値 attn_implementation="eager"（訓練できる） attn_implementation="sdpa"かつ、Flash Attention 1（No available kernel） attn_implementation="flash_attention_2"（宿題） Flash Attentionの実装が重複してる感 積ん読 AutoM…

end0tknr's kipple - web写経開発•13日前

LOCAL LLM via emacs29 + ellama via ollama on win11 + intel core i7 + mem:64G + rtx4090

LOCAL LLM via ollama on win11 + intel core i7 + mem:64G - end0tknr's kipple - web写経開発 先程の上記entryの続きです。 CPUのみでの ローカルLLM利用は難しいことが分かりましたので、 geforce rtx4090 のGPUを接続し emacs + ellama 経由でも試してみました。 参考url -最強ローカルLLM実行環境としてのEmacs | 日々、とんは語る。 -GitHub - s-kostyaev/ellama: Ellama is a tool for interacting with l…

せりの備忘録•18日前

SIGNATE Cup 2024 夏 旅行パッケージ成約率予測 Bronze Solution

はじめに こんにちは、データサイエンティストをしているせりです。 2024/8/1~2024/09/01の期間に行われた「SIGNATE Cup 2024 夏」の旅行パッケージ成約率予測コンペ において、まだ確定ではないですが72位となり、銅メダルを獲得することが出来ました。 また、これによりSIGNATE Expertへ昇格しました！ 72位で銅メダルでした！(チーム名は恥ずかしいので省略) この記事では、そのBest solutionと戦略、他に検証した手法について紹介したいと思います。 コンペ概要 このコンペは、旅行会社が保有する顧客データを元に、旅行パッケージの成約率を予測することが目…

NRIネットコムBlog•23日前

Google Cloud Next Tokyo ’24 の発表内容をまとめてみた

本記事は Google Cloudウィーク 4日目の記事です。 💻☁ 3日目 ▶▶ 本記事 ▶▶ 5日目 ☁💻 Google Cloud Next Tokyo '24とは 生成AIに関する最新情報 Geminiの最新情報 ハルシネーション対策 新たな機能やサービス 開発者向けのツール セキュリティ強化 まとめ こんにちは。横田です。 最近は大谷選手の活躍から目が離せません。 Google Cloud Weekの4日目を担当することになりました。 本ブログでは、Google Cloud Next Tokyo '24で発表された情報をお伝えします。 想定する読者層は以下の通りです。 Google …

uepon日々の備忘録•1ヶ月前

Ollamaで広がるローカルLLMの世界 - GGUF形式モデルのインポート方法

これまでOllamaを使用して比較的容易にローカルLLMモデルを使用することをやってきました。ここまで来ると未対応のLLMモデルを使用したくなってきます(よね😊)。 そこで、OllamaのREADMEファイルを読んでいったところ github.com Import GGUFという項目がありました。 GGUFとは LLMモデルをllamma.cppから使用できるようにしたバイナリ形式のファイルになります。現在はこのファイル形式で使用できる処理系も増えてきています。HuggingfaceでもGGUF形式のファイルが公開されていて、それをOllamaからロードしてすることができるようになります。デフ…

Solr, Python, MacBook Air in Shinagawa Seaside•1ヶ月前

ローカルLLM + RAG を試す Ollama使って メモ

WSL + Docker docker build -t python312 . docker images docker run -it --name python312 --gpus all -h python312 -v /home/hoge:/home/hoge -v /mnt:/mnt -p 8888:8888 -p 11434:11434 python312 ssh 172.17.0.2 # Ollama インストール ollama.com curl -fsSL https://ollama.com/install.sh | sh ollama serve ollama run g…

地平線まで行ってくる。•1ヶ月前

Colabでezo-common-gemma-2:9b-instruct-q4_K_Mをこころみる。

Gemma2は小型ながら高性能。その後も色んな方がGemma2ベースにモデルを公開されています。ollamaで公開されているモデルをColab T4環境でトライしてみました。 ollama.com 9b-instruct-q4_K_MモデルをT4で実施。英語優先の印象はありますが、生成速度も速く要約タスクや前後の整合性を持った回答も良い感じです。RAGやChatBotで使ってみたい・・・。実験してみよう。 今回の生成の結果です。 まずは、ウォーミングアップです。 まどか☆マギカで一番かわいいのは？ まどか☆マギカで「一番かわいい」は、個人の好みによって大きく分かれるので、一概に断言することはで…

uepon日々の備忘録•1ヶ月前

RaspberryPi5で挑む！DockerとOllamaを活用したローカルLLM環境の構築と実験

以前の投稿では、少し古いゲーミングPCにUbuntuをインストールし、Dockerコンテナを使ってOllamaを起動し、ローカルLLM環境を構築しました。 PC上でローカルLLMを動作させていましたが、最近ではモデルサイズが小さく、よりコンパクトなLLMが登場しています。このようなモデルであれば、RaspberryPiのようなエッジデバイスでも動作可能です。少し前には、RaspberryPi5でTinyLlamaというコンパクトなLLMを動作させる記事が話題になっていました。 参考 qiita.com zenn.dev kotamorishita.com 恥ずかしながら今回の内容はその何番煎じ…

SEが最近起こったことを書くブログ•1ヶ月前

2024年8月12日の週に気になった記事などまとめ

「ChatGPTを使い尽くす！ 深津式プロンプト読本」 補足めも From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future Weekly AI Agents News! RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augme…

パソコン関連もろもろ•1ヶ月前

チャット中のユーザーの質問を拡張する機能を ollama-python と flask で実装しました

はじめに以下を実装しました。 touch-sp.hatenablog.com メインPC import requests url = "http://192.168.11.14:5000/flask_ollama" prompt='''以下にチャットの履歴があります。最後の行がユーザーの質問です。チャット履歴をもとにユーザーの質問をそれ自体で内容がわかるように簡単に書き換えて下さい。 ``` 山梨県の夏の観光名所は 富士山、富士五湖などがあります。 冬は ```''' data = {"prompt": prompt} response = requests.post(url, json=da…

ITエンジニア ノイのブログ•1ヶ月前

Googleの最新AIモデル「Gemma 2」の概要

Googleの最新AIモデル「Gemma 2」の凄さと使い方 目次 Gemma 2の紹介 主な特徴 使用例と応用範囲 導入方法 Geminiとの使い分け 適用シナリオ まとめ 1. Gemma 2の紹介 Googleの革新: Googleが開発した最先端AI言語モデル 利用環境: Vertex AIおよびGKE上で利用可能 リリース日: 2024年6月に公開 バージョン: 9Bと27Bのパラメータサイズ 2. 主な特徴 高性能: 9Bと27Bのパラメータサイズで圧倒的な処理能力 効率的: 単一のTPUやNVIDIA GPUでの高効率動作 安全性: ShieldGemmaによる安全なコンテンツ生…

SO Technologies 開発者ブログ•1ヶ月前

生成AIでサーバーに耳を傾けてみた

■ はじめに こんにちは。SREの平です。今回はたくさんのログからサーバーがもしもなにか危ない状態だったら通知してくれるような状態を作ってみました。 概要としては、自宅の余っているGPU(NVIDIA GeForce RTX 2060 6GB)を使い、ローカルLLMを立ち上げて、自宅サーバーの/var/log/syslogを投げて、サマリーと重要度を出してもらい、重要度がwarnであればdiscordに投げてもらって私がサーバーの異変に気づく！という仕組みです。 ただ生成AIなので、レスポンスが100%絶対指定した通り、にはならないことがあります。その場合parseエラーが出たり出なかったりと…