Hatena Blog Tags
はてなブログ トップ
vLLM
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

vLLM

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
弁護士ドットコム株式会社 Creators’ blog•1ヶ月前

散らばった情報をAIでつなぐ ： Dify × Amazon Bedrockで構築した社内知識検索の導入と効果

こんにちは。クラウドサインでバックエンドエンジニアをやっている(𝕏@kunihikot)です。 最近はスト6にはまっていてハイマスターまで上がりました。対戦よろしくお願いします。 さて、本題のほうですが、私は普段クラウドサインのリアーキテクトや負債解消みたいなことを主にやっていて、プロダクトへの LLM 利用などに積極的に関わる立場ではありません。 そんな私が Dify を導入しようと思った経緯や、基盤構築までの流れ、リリースしてみて実際どうなのかみたいなことを書いていこうと思います。 背景と課題 技術選定と検証 vLLMからBedrockへ 実装詳細 データソースの選定 パイプライン構成 リ…

#Dify#Amazon Bedrock#LLM#vLLM#EKS

関連ブログ

Intel GPUで言語モデルを動かしたり画像や動画を作ったり•3ヶ月前

OpenVINOでvLLMを動かす（Docker編）

Dockerのインストールこちらを参照して下さい。Docker imageの作成 git clone https://github.com/vllm-project/vllm cd vllm docker build -f Dockerfile.openvino -t vllm-openvino-env .サーバー側Runデータの保存先「/home/hoge/data」は適宜変更して下さい。 docker run -it --rm -v /home/hoge/data:/root/.cache/huggingface -p 8000:8000 vllm-openvino-envvLLMの実行 …

#OpenVINO#vLLM
れとろのメモ置場•3ヶ月前

話題の DeepSeek-R1をコンテナで動かそうとしてだめだった話

話題になったDeepSeek-R1をコンテナ環境で安全に動かしてみようと思って、コンテナ作って動かしてみた。 結果としては、蒸留モデルはかろうじて動かせたけど本家のDeepSeek-R1はグラボのスペック的に動かせなかった。 やったこと CUDA対応のコンテナを作る vLLMでDeepSeek-R1を動かす。 ※DeepSeek-R1はHugging Faceで公開されているけど、インターフェイス?かなにかが対応していないようで、何かしらのLLMフレームワーク上じゃないと動かせないらしい。今回はvLLMをフレームワークとして選択した。 CUDA対応のコンテナを作る コンテナイメージ作成 試行錯…

#DeepSeek-R1#vLLM#コンテナ#ローカルLLM