目次 知識蒸留における「出力のみ（Response-based）」と「中間層（Feature-based）」の違いを比較する実験として、MNIST（手書き数字）の分類タスクを用いた軽量な実験を行いました。 本試験はGoogle Colabで数分以内に完了することが出来るものです。 実験目的 知識蒸留の方法として出力層の蒸留と中間層・特徴量の蒸留があります。 一般的には中間層・特徴量の蒸留の方がより良いとされています。 実際のところどうなのかということを実験してみようと思います。 実験の概要 実験環境 google colab 実験モデル 先生モデルと生徒モデルを以下のように用意します。 教師モ…
