【1】この記事（2018)が理解できれば、Transformerが理解できたと言えるのでは？ コメント 進捗 元記事 【1】この記事（2018)が理解できれば、Transformerが理解できたと言えるのでは？ xtech.nikkei.com コメント 『・・・もし、学習の結果、その要素から値を読み込んだ方がよければ対応するクエリとキーは近づくように更新され』のあたりが、仕組みがよくわからない。 『・・・位置情報が使えない。そのため、入力に位置情報を表すチャンネルを追加する。例えば、』、位置情報が入れられることはわかるが、それが上手く利用できる仕組みがわからない。 ちょっと、理解できる気がし…
xtech.nikkei.com
qiita.com