Llama 3

はじめに ルールを守って楽しく決闘！ nikkieです。 最近ollamaをもふもふしているのですが、ちょっと思うところがあり、アウトプットネタに選びました。 ※自分用のメモの意味合いが強いです。ライセンスの解釈について専門知識は皆無ですので、記載は鵜呑みにせず、ライセンスの原文（一次情報）をご確認ください 目次 はじめに 目次 ollamaは便利 落とし穴：ollamaのユーザは、モデルのライセンスを意識せずに済んでしまう Gemma Terms of Use META LLAMA 3 COMMUNITY LICENSE AGREEMENT Hugging Faceは厳格すぎるかもだが、私的…

我が機械学習のヨーダ、rasbt氏1が興味深いことをやっていたのでパクってみます Was toying around with LLM model eval that run well on a laptop. Turns out Llama 3 8B Instruct is a pretty good evaluator that runs on a MacBook Air. I got a pretty high 0.8 correlation with GPT-4 scores.Standalone notebook here if you want to give it a try:……

Meta（旧Facebook）は最近、新しいAIモデル「Llama 3」を発表しました。 このモデルには、80億と700億のパラメータを持つ2つのバージョンがあります。 これらは、前世代の「Llama 2」よりも性能が向上しているとされています。 特に、「Llama 3 8B」は、同じパラメータ数を持つ他のモデルと比べて9つのベンチマークで優れた成績を収めています。 Source: Meta 新しい「Llama 3」モデルは、知識の測定、スキルの獲得、テキストベースの推論など、多くのAIベンチマークで高い評価を得ています。 Source: Meta これには、MMLU、ARC、DROPなどが含…

シナプスの技術部システム開発課の小園です。 今回は、生成AI、特に大規模言語モデル（LLM）の基本について、私が学んだことをまとめました。 LLM（大規模言語モデル）とは？ LLMを学ぶ意義 LLMの研究分野 LLMと従来のAIの違い パラメータの役割 LLMの動作原理 LLMと従来のプログラミングの類似性と相違性 類似性 相違性 LLMのあいまいさとその影響 LLMの今後の展開 クラウド環境におけるLLMの利用 ローカル環境におけるLLMの利用 ローカルで高性能のモデルは動かないの？ LLMの問題点 従来型AIから引き継がれるリスク 生成AIで特に顕在化したリスク 利用者としての対策 LLM…

本記事では、今年8月にパブリックベータ版として GitHub に搭載された新機能 GitHub Models について、概要や利用法を簡単にご説明します。さらに、実際に GitHub Models を活用して、多数の LLM の日本語性能を横断的に測定していく例を紹介していきます。 目次 目次 はじめに 三行で GitHub Models を説明すると... GitHub Models の使い方 Waitlist への登録 モデル一覧 ブラウザ上で試す API経由で試す GitHub Models を利用する上での注意点 API レート制限の制約が強い Azure AI Content Saf…

RAGは有望な技術して注目されているが、その精度は今一つと言われている。その精度向上のための手法が数多く研究されており、面白い論文と概要を残しておく。 なお、RAGについては、以下の記事を参照。 www.nri.com 論文は、以下の通り。 arxiv.org --- 1. 「In Defense of RAG in the Era of Long-Context Language Models」 背景 以前の大規模言語モデル（LLM）は、コンテキストウィンドウの制限があり、RAG（Retrieval-Augmented Generation）が情報検索に不可欠だった。しかし、最近のLLM（G…

実際にやったこと # パッケージのインストール !pip install transformers sentencepiece accelerate bitsandbytes from transformers import AutoTokenizer, AutoModelForCausalLM import torch # トークナイザーとモデルの準備 tokenizer = AutoTokenizer.from_pretrained( "tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1", ) model = AutoModelForCausal…

Dockerでコンテナを触っているとdocker run実行後に以下のような表示が出たことはないでしょうか。ここ最近DockerでOllamaを触って、そのころから毎回出力されている状態です。 What's next: Try Docker Debug for seamless, persistent debugging tools in any container or image → docker debug ollama Learn more at https://docs.docker.com/go/debug-cli/ 情報としてはデバック関連のサジェストみたいなものなので、コマンド…

LangGraphを使ったReflection Agent： SNS投稿コンテンツ提案Agent llm-jp-asr Weekly AI Agents News! Large Language Model-Based Agents for Software Engineering: A Survey 私見：Pythonプロジェクトの3類型（ver 2024.09） AI-Driven Research Assistant 私のブックマーク「AIアライメント」 論文翻訳検索 Tanuki-8BとOllamaとDifyを使って日本語ローカルRAG構築 カスタマーサポートのRAGに関する発想の転換…

はじめに AIバブルが終わると思いきや、OpenAIのChatGPTが2022年11月にリリースされたことにより、別のバブルである生成AIバブルが発生。 生成AIバブルは、AIバブルより遥かに大きくなっています。 そんな中で、Cloud用AI Chip を開発している Cerebras Systems SambaNova Systems が 生成AI推論にPIVOTしたようですね。 vengineer.hatenablog.com The Nextplatform の記事 下記の The NextPlatform にもそのようなことが書かれています。 www.nextplatform.com …

せっかくColab Proが使えるようになったので、ローカルPCでは動かせないような大規模言語モデルを動かしてみたい。そこで選んだのが東大松尾・岩澤研が最近発表したTanuki-8x8Bである。8x8Bとは公開ページの説明によると「8Bモデルを8つに複製し、それぞれを専門家モデルとして分化・連携させることで動作するように効率的に追加学習されたモデル」らしい。素人には分からないが凄いことをしているようだ。実際に動かして雰囲気だけでも味わってみたい。 動かし方（推論させる方法） こちらに松尾研LLM開発プロジェクトメンバーの方の説明がある。方法として以下の５つの方法が書かれている。 vLLMによる…