OpenVINO

Dockerのインストールこちらを参照して下さい。Docker imageの作成 git clone https://github.com/vllm-project/vllm cd vllm docker build -f Dockerfile.openvino -t vllm-openvino-env .サーバー側Runデータの保存先「/home/hoge/data」は適宜変更して下さい。 docker run -it --rm -v /home/hoge/data:/root/.cache/huggingface -p 8000:8000 vllm-openvino-envvLLMの実行 …

モデル指定可能となっているが、どんなモデルが指定可能か不明。 requirements.txt を確認、huggingface_hub==0.9.0 をインストールしているのでモデルはhuggerfaceから自動でダウンロードするっぽい。 stable_diffusion_engine.py を確認、 model="bes-dev/stable-diffusion-v1-4-openvino", の記述があった、標準で使用されるモデルと思われる。 bes-dev/stable-diffusion-v1-4-openvino で検索、huggerfaceサイトがあったので確認。 huggingf…

github.comgitを参照 powershell起動 必要な環境インストール（Pythonはインストール済みな前提） python -m pip install --upgrade pippip install openvino-dev[onnx,pytorch]==2022.3.0 任意のフォルダにstable_diffusion.openvinoインストール。 任意のフォルダ（c:\work\openvino）から管理者権限でpower shellを起動。 必要なファイル2つをダウンロード。 github.com github.com ダウンロード ↓ アイコンをクリックして任意のフ…

株式会社神戸デジタル・ラボ DataIntelligenceチームの原口です。 今回はAIモデルをCPUで高速に実行できると噂のONNX・OpenVINOを用いてYOLOv5の高速化に取り組みます！ AIモデルをスマートフォンやIoTデバイスで動作させたい全国のエンジニア必見です！ はじめに ONNXとは 実験環境 PyTorch vs ONNX PyTorchの速度検証 ONNXの速度検証 OpenVINOとは？ ONNX vs OpenVINO OpenVINOの速度検証 まとめ はじめに 皆さんはAIを実行している際 「このモデルすごいけど、めっちゃ遅くない？」 「GPUがないマシンだと…

Openvinoのリリースが半年以上止まってますね。異常ですね。 （↓↓引用： https://www.intel.com/content/www/us/en/developer/articles/release-notes/openvino-relnotes.html ） ↑ 図の左下の日付のとおり、2021/04/01にリリースされて以来、アップデートがないですね。。。。3カ月に1回ぐらいのアップデートをうたっていた気がするが。。。。 ⇒ このリリースのなさは、異常ですね。 想像 全然、理由がわかりませんが。。。 本業のデバイスのリリースとのタイミングの関係の調整か、 OneAPI等との調…