Phi-3

はじめに ユーフォ3期4話、めっちゃよかった。すっごいよかった😭 nikkieです 最近登場したphi-3、気になったので触りました。 目次 はじめに 目次 届いたphi-3の興奮 Phi-3-mini-4k-instruct-ggufを動かす ollamaで動かす llama-cpp-pythonを使って動かす 量子化前のモデルをtransformersで動かす 積ん読：Phi-3-mini-128k-instructもすごそう 終わりに 届いたphi-3の興奮 Llama 3が登場したばかりですが、phi-3への興奮の声を観測1 I can't believe microsoft just…

シナプスの技術部システム開発課の小園です。 今回は、生成AI、特に大規模言語モデル（LLM）の基本について、私が学んだことをまとめました。 LLM（大規模言語モデル）とは？ LLMを学ぶ意義 LLMの研究分野 LLMと従来のAIの違い パラメータの役割 LLMの動作原理 LLMと従来のプログラミングの類似性と相違性 類似性 相違性 LLMのあいまいさとその影響 LLMの今後の展開 クラウド環境におけるLLMの利用 ローカル環境におけるLLMの利用 ローカルで高性能のモデルは動かないの？ LLMの問題点 従来型AIから引き継がれるリスク 生成AIで特に顕在化したリスク 利用者としての対策 LLM…

本記事では、今年8月にパブリックベータ版として GitHub に搭載された新機能 GitHub Models について、概要や利用法を簡単にご説明します。さらに、実際に GitHub Models を活用して、多数の LLM の日本語性能を横断的に測定していく例を紹介していきます。 目次 目次 はじめに 三行で GitHub Models を説明すると... GitHub Models の使い方 Waitlist への登録 モデル一覧 ブラウザ上で試す API経由で試す GitHub Models を利用する上での注意点 API レート制限の制約が強い Azure AI Content Saf…

準備 Phi-3 のモデルを https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-onnx からダウンロードする。 今回は cpu-int4-rtn-block-32 を使用した。 同様に Embedding のモデルを https://huggingface.co/TaylorAI/bge-micro-v2 から。 これらを利用するには SemanticKernel と仲間たちを使うといいらしい。 > dotnet add package Microsoft.SemanticKernel --version 1.20.0 > dot…

そろそろ NPU を使うとどのくらいの性能が出るのか気になっていたのですが、DirectML の Snapdragon X Elite の NPU 対応は自分の手元では全然動作しなかったので、ひとまずは Qualcomm AI Engine Direct SDK (QNN SDK) を使って NPU を使ってみることにしました。QNN SDK はネイティブ向けのライブラリのみとなっているので、そのまま使うのではなく ONNX Runtime に用意されている QNN Execution Provider 経由で利用します。NuGet には QNN を組み込んだビルド済みのバイナリが用意されてい…

EfficientRAG: Efficient Retriever for Multi-Hop Question Answering RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation 新しいStable Diffusion WebUI ForgeでFLUX.1を試す（Windows） Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability…

WSL + Docker docker build -t python312 . docker images docker run -it --name python312 --gpus all -h python312 -v /home/hoge:/home/hoge -v /mnt:/mnt -p 8888:8888 -p 11434:11434 python312 ssh 172.17.0.2 # Ollama インストール ollama.com curl -fsSL https://ollama.com/install.sh | sh ollama serve ollama run g…

比較方法公式ページにベンチマークが載っています。 huggingface.co 日本語性能は高くなっているようです。 今回はPDFの要約をしてみました。 方法はこちらと一緒です。 touch-sp.hatenablog.com Pythonスクリプト from langchain_community.document_loaders import PyPDFLoader from langchain_chroma import Chroma from langchain_huggingface import HuggingFaceEmbeddings, HuggingFacePipeline …

以前の投稿では、少し古いゲーミングPCにUbuntuをインストールし、Dockerコンテナを使ってOllamaを起動し、ローカルLLM環境を構築しました。 PC上でローカルLLMを動作させていましたが、最近ではモデルサイズが小さく、よりコンパクトなLLMが登場しています。このようなモデルであれば、RaspberryPiのようなエッジデバイスでも動作可能です。少し前には、RaspberryPi5でTinyLlamaというコンパクトなLLMを動作させる記事が話題になっていました。 参考 qiita.com zenn.dev kotamorishita.com 恥ずかしながら今回の内容はその何番煎じ…

Azure App Service on Linux に Sidecar パターン機能（Public Preview）が追加されていますが、Phi-3 を Sidecar にデプロイするユースケースの記事が公開されていました。 azure.github.ioSidecar パターンの特性に適していて、生成 AI を活用した Web アプリケーションのアーキテクチャとして非常に面白そうだと感じました。 このアーキテクチャへの期待感と可能性を記事を書くことにしました。（上記のブログとほぼ同じ内容なので、技術的な掘り下げは行っていません）App Service の Sidecar パターンについては…

夏休み！ 金曜はオザキで植物めっちゃ増やした。土曜はビアフレンズだちと日本酒したりビールしたりカラオケしたりしてめっちゃ遊んだ〜。日曜は妻の両親来たり、夜は阿佐ヶ谷祭いったりしてエンジョイしております。 12-14 が福岡、15-18がライジングサンで終わるんですが、そんな中夏休みにやりたいことリストあげていく 夏休みやりたいことリスト 書籍執筆 共著なんですが1つあるので、環境を整えて、少なくともあとは机に向かうだけ！みたいな状況にはしたい。夏休み中に5割-6割のやわい感じに、8月中に8割ぐらいにしたい。 Notebook LM 活用して調べ物便利にしたりしたいなぁと妄想している。 カメラ機…

Visual Studio Code があれば簡単に Phi-3 などの SLM が試せる AI Toolkit for VS Code を便利に使っています。x64 の Windows であれば DirectML 経由での GPU アクセラレーションにも対応しているので、高速な推論が利用できてさらに便利です。そんな便利な AI Toolkit for VS Code ですが macOS だけサポートされていなかったため、手持ちの M2 搭載の MacBook AIr では試せなかったのですが、つい先日リリースされた v0.4.0 で Apple Silicon の macOS へのサポートが…