Transformer

はじめに フィクションで、死期の近づいた人物が急に日記をつけ始めるシーンがある。日記とは習慣であり、今まで何も書いてこなかった人間が急に物を書き始めることなどありえないと思っていた。最近になって考えを改めた。孤独と向き合い、何かを残したいと願って創作を行うのなら、日記はもっとも手軽な手段となる。読むのが自分一人しかいないとしても、日記とは過去の自分から未来の自分に向けた伝承だ。孤独と向き合うためには有効な手段だと思う。 日記を感情分析するのは2023年の年末にもやっていた。 contradiction29.hatenablog.com 当時はNotionで日記を書いていた。 Notionの本文…

news.yahoo.co.jp 記事を読まずに何が分割されたかを想像する。 以前、ちらっと、記事を読み。ちらっと、特許を見た。 たしか、わりとシンプルだった。図は少なかった。。。 そこから、分割？ 分割出願の仕組みをあまり理解していないが、、、 あたらに請求項を立てる意味だとして、、、 何が分割されたかを予想する 「位置情報を入れる」こと これが請求されていなかったと思う。 Reznetのように、直接の接続と、処理しての接続があること これが請求されていたかは、良く読んでないので、、、わすれた 「学習」フェーズと、「推定」フェーズの処理の関係性 具体的に言えないが。。。 まとめ ０点だったら…

最初に。 見かけた記事は、 日本の特許としては、特許6884871、だ、そうです。 余談 答え合わせ 時期 内容 この記事は、以下の記事の答え合わせです。 ai-de-seikei.hatenablog.com 最初に。 見かけた記事は、 news.yahoo.co.jp 日本の特許としては、特許6884871、だ、そうです。 www.j-platpat.inpit.go.jp 余談 transformerか、transformersか、気になってましたが。。。 Transformer でOK 答え合わせ 時期 最近公開されたという記事じゃないのね。。。 納得！ （2017年だと思ったんだ！！…

その前に、、、、 時期がおかしくないか。。。 内容を想像。。。 ①（細かいのから）位置情報がわかるようにした ②エンコーダ側、デコーダ側ともに、複数の層にした ③エンコーダ側を学習し、エンコーダ＋デコーダ側を学習する ④まず、self-attentionみたいな層がある ⑤情報のつながり方、、、resnetみたいな（直接と処理後の両方を） コメント (この記事､すべて､記憶で書いてます｡｡｡) その前に、、、、 たぶん権利化された特許が公開されたという記事だと思うが。。。。 時期がおかしくないか。。。 attention is all you need みたいなのが出たのは？2019❓？あたり…

Image Captioning に使ったモデルとその出力結果を一覧化してみました

【1】この記事（2018)が理解できれば、Transformerが理解できたと言えるのでは？ コメント 進捗 元記事 【1】この記事（2018)が理解できれば、Transformerが理解できたと言えるのでは？ xtech.nikkei.com コメント 『・・・もし、学習の結果、その要素から値を読み込んだ方がよければ対応するクエリとキーは近づくように更新され』のあたりが、仕組みがよくわからない。 『・・・位置情報が使えない。そのため、入力に位置情報を表すチャンネルを追加する。例えば、』、位置情報が入れられることはわかるが、それが上手く利用できる仕組みがわからない。 ちょっと、理解できる気がし…

arxiv.org 概要 ChatGPT訳： 行列積 (MatMul) は通常、大規模言語モデル (LLM) の全体的な計算コストの大部分を占めます。このコストは、LLM がより大きな埋め込み次元や文脈長にスケールするにつれて増加する一方です。本研究では、行列積操作を完全に排除しつつ、数十億パラメータ規模で強力な性能を維持できることを示します。実験結果は、我々の提案するMatMul不要のモデルが、推論時に大幅に多くのメモリを必要とする最先端のTransformerと同等の性能を達成することを示しています。このモデルはスケーリング法則を調査し、モデルサイズが増加するにつれて、我々のMatMul不…