ONNX

お久しぶりです、R&Dの加藤です。最近は「A列車で行こう~はじまる観光計画~」をコツコツ進めていますが楽しいですね。Steamでも公開されるそうなのでNintendo Switchを持っていなくてもプレイできますよ。 さて、今回はDeep Learningによる異常検知デモを作成したので説明します。 デモ動画 解説 撮影環境とアノテーション Deep Learningによる異常検知の速度と精度の話 速度改善する方法 Deep Learningとチャンネル モノクロ画像とカラー画像 カラー画像（3ch）を超えた、4chの画像も存在する Deep Learningにおける畳込みとチャンネル 最後に…

pytorchで定義されたモデルをonnx, tflite形式へと変換し推論の実行時間を計測した。 pytorch->onnx->tensorflow->tfliteへの変換は以下の変換処理をまとめたライブラリを利用。 また、モデルのconvertする際には量子化等は適用しておらず、fp32のまま推論。 github.com 測定環境 CPU pytorch onnx onnxruntime tensorflow AMD Ryzen 5 3600 6-Core Processor 1.8.1 1.9.0 1.7.0 2.5.0 推論時間の測定結果 実行時間は100回連続推論させた平均ですが、数…

onnxruntimeではどんなグラフ最適化がされているか観てみる。 概要はonnxrutimeのドキュメントにまとまっている。 Graph Optimization Levels ここをみてみるとグラフ最適化は以下の３つのレベルに分けられるとある。 Basic 冗長なノードや計算を削除する操作(ConstantFolding, Redundant node eliminations等) Extended 複雑なノード融合が含まれ、cuda,cpuに割り当てられたノードに適用される(GEMM Activation fusion, Attention Fusion等) Layout Optimi…

はじめに 昨年7月にHoloLensMeetupで発表した手の動作認識では、機械学習のライブラリとしてOpenCVForUnityを用いていました。 画像処理の機能が使える反面、OpenCVForuUnityを使用する場合だとライセンス料がかかってしまう、という欠点があります。 そこで、HoloLens2でWindows.AI.MachineLearningを使って手の動作認識をしてみました。 UWP標準の機能を用いることで、特別にライセンス料などのコストをかけることがなく機械学習を用いることができます。 youtu.be コードはGithubに上げてあります。 ポイントをいくつか挙げて解説し…

あけましておめでとうございます。 今年もよろしくお願いします。 今年の年末年始は帰省しなかったので、東京で一人で過ごしていました。 一週間以上誰とも会わず、喋らず、ほとんど外に出ずでした。 久しぶりにまとまった時間があったので、この年末年始は機械学習系の諸々を触っていました。 色々とやっていたのですが、onnxとそのjs実装であるonnxjsが結構面白かったのでご紹介します。

はじめに 勉強ついでに適当に作ってみたモデルをTouchDesigner内で動かしてみたくなったのでやってみました。 実際やってみたらこんな感じ！（この記事で使ったモデルとは違うけれど、だいたいこんな感じです） www.youtube.com サンプルのリポジトリはこちら！ ちなみに、今回はWindows前提で記事を書いていますがMacでも動作可能です！ TouchDesignerのPythonについて TouchDesignerでは、拡張機能としてPythonを使用することができます（私の環境だと内部でPython3.7.2が動作するようです）。 Dialogs > Textport and…

ふかうら王（やねうら王のMCTS+DNNバージョン、つまりDL系将棋AI）でMacのGPU, Neural Engineを使うことでMac上で高速動作できるようにしました。 2022年6月13日にやねうら王本家にマージされました。 動かし方 YaneuraOu-v7.6.3-macos.tar.xz を以下のページからダウンロードし、解凍。エンジン本体はFukauraOu-CoreMLディレクトリ内にあります。CPUアーキテクチャにより、M1とAVX2 (Intel系)を使い分けてください。 github.com 評価関数ファイルですが、通常のONNX形式のものが使えず、Apple独自のMLM…

Visual Studio 2022が去年の11月にリリースされたが、CUDAが対応するまで移行を控えていた。 1月にCUDA 11.6がリリースされてVisual Studio 2022に対応したが、cuDNNとTensorRTがCUDA11.6に対応したバージョンがリリースされていなかったので、移行できずにいた。 先日、やっとCUDA 11.6に対応したTensorRT 8.4 GAがリリースされたので、Visual Studio 2022 + CUDA11.6 + cuDNN8.4 + TensorRT8.4に移行した。 CUDAのバージョン CUDAの最新バージョンは、11.7がリリー…

世界および日本の副腎皮質ホルモンAPI市場は2022年から2029年に成長すると予想されるサノフィ ... https://findstar-news.com/2022/06/08/%25E4%25B8%2596%25E7%2595%258C%25E3%2581%258A%25E3%2582%2588%25E3%2581%25B3%25E6%2597%25A5%25E6%259C%25AC%25E3%2581%25AE%25E5%2589%25AF%25E8%2585%258E%25E7%259A%25AE%25E8%25B3%25AA%25E3%2583%259B%25E3%2583%25A…

PyTorchでnn.LSTMCellをONNXにエクスポートすると、LSTM operatorになるでもなく、LSTMCell operatorになるでもなく、プリミティブ opsの集まりとして出力される。 gist.github.com まず、ONNXにはRecurrentCellに相当するoperatorがない（参考: wikipedia/ONNX）。 なので nn.LSTM はLSTMとしてexportされるのかな、が第一感。 しかしバラされる運命にある、理由はよくわからん。

前回実装した、Objective-Cを用いてCore MLを呼び出すコードを用いて、dlshogiモデルの動作速度をベンチマークしました。 使用するモデルは、「強い将棋ソフトの創りかた」サンプルコードに従い学習した、15ブロック224チャンネル(resnet15x224_swish)のモデルです。比較するのは、使用するcompute units (Neural Engine / GPU / CPU)および、ONNX Runtimeを使用した場合です。ONNX Runtimeは、ONNX RuntimeデフォルトのCPU実装と、処理の一部をCore MLに移譲するCoreML Execution…

Macで高速にdlshogiモデルを動作させる話題の続きです。前回は、ONNX Runtimeを介してCore MLを呼び出してみましたが、ONNX Runtime単体(CPUのみの利用)と比べ高速化しなかったという結果でした。今回は、ONNX Runtimeを使わず直接Core MLを呼び出してみます。 ※2022-06-02修正: メモリリークを回避 select766.hatenablog.com ふかうら王の改造ではなく、dlshogiモデルを動作させるだけの最小限のコードを実装しました。 Core MLを直接呼び出すコードはこちら。以下のコード解説はこちらのリポジトリの内容を引用して…

こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 前々回、深層学習の量子化について簡単な解説記事を公開しました。 前回はDynamic Quantizationを試した記事を公開しました。 今回はStatic Quantizationを実際に試してみようと思います。

ふかうら王（やねうら王のMCTS+DNNバージョン）でMacのGPU, Neural Engineを使うことでMac上で高速動作できるか検証しました。しかし、今回のやり方ではうまくいきませんでした。 現象: onnxruntime上でCoreMLを利用する設定をしたが、onnxruntimeデフォルトのCPUプロバイダ利用時と速度が変わらない 失敗原因の仮説 (今回実験した)Intel MacではCoreMLがCPUしか使わない dlshogiのモデルで使われているオペレータが、onnxruntimeがCoreMLを使う条件にヒットしない 実験手順メモ 今回は、ふかうら王で既にサポートされてい…

最近, YOLOv5, YOLOXやDetectron2などを少し触る機会があったので, まずはYOLOv5について少しまとめておく.前回はYOLOv5インストールおよび推論編について記載したが, 今回は学習編ということで, オリジナルデータを使ったモデル学習について記す. 3. 学習[1] 3.1 アノテーション オリジナルデータでモデル学習するためには, 学習データに対してこれは「XXX」, これは「YYY」などと, 検出する物体を囲む矩形(バウンディングボックス)の指定とラベルを付与する必要がある.今回は, 以前開発したピープルカウンタ[2]のデータ(Intel Depth Sensor…

まえがき 相変わらずゲーム好きなR&Dの宮﨑です。VALORANTの世界大会で日本チームの「ZETA DIVISION」が快進撃を続けて盛り上がりましたね！ 今回はTensorRT 8.4.0のリリースノートの内容をメモしました。 まえがき 気になった内容 意訳 主要な機能と改善 非推奨APIのライフタイム 互換性 制約事項 非推奨/削除された機能 修正された問題 既知の問題 最後に 気になった内容 TensorRT 8.2.1から既知の問題として挙げられていた以下の問題がとうとう修正されました。 ダイナミックシェイプでONNXモデルを動作させる際、同じであることが予測される入力の次元名が異な…

まえがき R&Dの宮﨑です。最近プライベートではGoogle App Scriptを書いて遊んでいます。 今回はTensorRT 8.2.4の内容をメモしました。 まえがき 気になった内容 意訳 非推奨APIのライフタイム 互換性 修正された問題 既知の問題 最後に 気になった内容 TensorRTはネットワークをノードのフュージョンを行うなどして最適化してくれますが、時にバグがあります。今回はそのあたりに多く修正が入ってくれたようです。 チャンネルではない次元を軸としたconcatレイヤが水平マージに続いたときに機能的な問題がありました。本リリースでこの問題は修正されました。 TensorR…

前回の続きです。 blog.hayashikun.com この記事では、前回の記事で実装したCenterFaceをwasmで動くようにして、それをブラウザで動かしたことについて書きます。 以下のように、Webカメラの映像から顔を検出して、顔の上に緑の四角を描画するというのをやりました。 今回実装したものは、こちらにデプロイしているので、PCやスマホから試すことができます。 wasbi 試してみるとわかると思いますが、結構軽快に動作しています。 リポジトリは前回と同じです。 wasmとして動かしているのが web-wasm です。前回同様にRustで書いています。 github.com web …