はじめにIPEX-LLMを使わずにSYCL backendでOllamaを実行することに成功しました。IPEX-LLMを使った時と速度比較してみました。ベンチマーク測定方法前回同様に行いました。 touch-sp.hatenablog.com 結果phi3:3.8b (model size: 2.4GB)with IPEX-LLM tokens per second: 52.11 tokens/second with SYCL backend tokens per second: 37.73 tokens/second phi3:14b-medium-4k-instruct-q4_K_M (m…
