はじめに Chromaのデフォルトテキスト埋め込み関数(ONNXMiniLM_L6_V2)は、GPUの使用をサポートしている。 nVidiaのGPU(cuda環境)ならonnxruntime-gpuをインストールして、関数の引数 preferred_providers にGPUをサポートするプロバイダーを設定する。 今回はAMD Radeon RX6600Mなので、onnxruntime-directmlをインストールした。 結果としてCPUより約4倍速くドキュメントを登録出来た。 なお残念ながら、Sentence Transformersモデルでの動作はサポートしていない*1とみられる。 手…