vLLM

1. はじめに NTT西日本の鈴木*1です。 生成AIの活用が進む中、多くのエンジニアが次に注目しているのが「AIエージェント」です。 この記事では、機密性の高い会議情報を外部に出さず、オンプレミス環境内で完結して動作する「会議メモ要約&フォルダ格納AIエージェント」をMCP（Model Context Protocol）を用いて試作しましたので、その背景と技術的な仕組みについてご紹介します。 目次 1. はじめに 2. 対象読者 3. 背景：なぜ今、オンプレミスのAIエージェントなのか 3.1 2025年：「対話」から「自律動作」へ 3.2 エージェント活用のカギとなる標準規格「MCP」 3…

目次 はじめに この記事で学べること 前提知識 技術スタックの全体像 各コンポーネントの詳細解説 パフォーマンス設計 構築手順 まとめ 参考リンク はじめに この記事は、株式会社asken (あすけん) Advent Calendar 2025の12/23の記事です。 こんにちは。AX推進部（テックリード・AIエンジニア）の山口です。 今回は、SageMakerでvLLMを動かす方法を説明したいと思います。 LLM を API として提供する際の課題 ChatGPT のような LLM を自社サービスに組み込みたい場合、以下のような課題があります： レイテンシ（応答時間）: ユーザーがテキストを…

Sansan株式会社 技術本部 研究開発部の齋藤慎一朗です。 この記事は、Sansan Advent Calendar 2025 22日目の記事です。 結論 最初に、この記事の概要を図1にまとめます。 図1 本記事の概要 はじめに 最近、ファインチューニングしたLLMを使ってプロダクトを改善するお仕事をしています。ファインチューニングしたLLMを運用するフェーズでは、クラウド環境にGPUを用意し、LLMが推論できる環境を用意しています。環境について、基本的に次の２点が求められます。 LLMが提供する価値に対して運用費が高すぎないこと 高速に推論できること 1を満たすために、多くの場合はH200…

４ノードでのLM実行時の傾向（つづき） GPU と ConnectX をどの PCIe スロットにインストールするか GPU をチップセット側から CPU 側に移動する (Good!) GPU と ConnectX の PCIe レーンを交換する (Bad!) NFS/RDMA でマウントする 課題と今後の予定 執筆者：佐藤友昭 ※ 「vLLMとRDMAで構築するローカルLLMクラスタ」連載記事一覧はこちら ４ノードでのLM実行時の傾向（つづき） ４ノードでの測定結果を前回投稿で紹介した。ハードウェアのインストールの仕方や NFS ストレージ（ ストレージノード）のマウントの仕方が結果にどう影…

ローカルLLMがあると何がうれしいのか？ ローカルLM分散実行ができると何がうれしいか？（想像） 執筆者：佐藤友昭 ※ 「vLLMとRDMAで構築するローカルLLMクラスタ」連載記事一覧はこちら 本記事は、株式会社アスク様による支援を受けて当社が作成・掲載しています。 記事内で紹介している内容や検証結果は、当社が実際の検証環境に基づき独自に取りまとめたものであり、商業的意図による記述変更や編集は行っていません。 ローカルLLMがあると何がうれしいのか？ 言うまでもないと言われそうだが筆者の場合について敢えて書いてみる。 月並みな言い方だが、超人的に読むのが早いアシスタントのようなものである。 …

安くて頼れるローカルLLM環境が欲しい １ノードでのLM実行時の傾向 ２ノードでのLM実行時の傾向 ４ノードでのLM実行時の傾向（次のステップ） 執筆者：佐藤友昭 ※ 「vLLMとRDMAで構築するローカルLLMクラスタ」連載記事一覧はこちら 安くて頼れるローカルLLM環境が欲しい 昨年の夏に GeForce RTX 4070 Ti SUPER JetStream OC (16GB) を買って RAG を構築してからというもの、使わない日はないぐらい重宝している。もっと大きなモデルが動かせるローカル LLM 環境が欲しくなるのが人情である。 とはいえ高い。とにかく高い。AI 特需で生産ラインを…

ChatGPTやClaudeを使っていると、ふと気になることがあります。「このデータ、本当に外部に送信して大丈夫だろうか」「もう少し思い通りに動かせないだろうか」そんな疑問から、ローカルLLMに興味を持つ方が増えています。 私自身、50代になってからAI開発の世界に足を踏み入れ、最初はクラウドサービスばかり使っていました。しかし、実際にローカルLLMを試してみると、その自由度の高さに驚かされました。まるで、メインフレームからUNIXワークステーションに移った時の感覚に似ています。 ローカルLLMの技術的な魅力は明確です。プライバシーとセキュリティの完全な制御、API課金からの解放、システムプロ…