Transformer

目次 Transformerが言葉を理解する能力を開花させた理由がアテンション機構にあります。 アテンション機構は文章のデータ自分自身に対して、どんな関係性を読み解くように設計されています。 そんな力を持つにいたる仕組みについて、解決していきます。 どうかご参考下さい。 アテンションの計算の意味 Attention機構の Q（Query：クエリ）、K（Key：キー）、V（Value：バリュー） は、よく 「図書館での検索」 や 「YouTubeの動画検索」 に例えられます。 これらは、大量の情報の中から「今の文脈に最も関連する情報」を効率よく引き出すための仕組みです。それぞれの役割を初心者の方…

目次 LLM（大規模言語モデル）の核心であるTransformerには、実は 「単語の順番を理解する能力がデフォルトでは備わっていない」 という弱点があります。 これを解決し、モデルに「どの単語がどこにあるか」を教える仕組みが ポジショナル・エンコーディング（Positional Encoding：位置エンコーディング） です。 今日はそんなポジショナル・エンコーディングについての説明を行います。 なぜ位置の情報が必要なのか？ Transformerのアテンション機構は、全ての単語を一斉に、並列で処理します。 例えば以下の2つの文を考えます。 「犬が人を噛んだ」 「人が犬を噛んだ」 アテンショ…

『On the Role of Hidden States of Modern Hopfield Network in Transformer』の概要をイラストにしてもらった (Geminiへの)依頼文 以下の文章の内容、つまり、論旨を示す、フラットで楽しくファンタジーでシンプルな感じのイラストを作成して、Transformerを中心にして！ （以下、要約文） Associative memory models based on Hopfield networks and self-attention based on key-value・・・ 要約文出典： neurips.cc コメント ち…

AIの心臓部「アテンション（Attention）」を数値で理解する 投稿日: 2025年8月20日 | 著者: 月影 GPTやBERTの驚異的な能力を支える「アテンション機構」。なんとなく「重要な単語に注目する」と理解していても、その内部でどのような計算が行われているのかを掴むのは容易ではありません。 この記事では、「オリジナルカクテル作り」という比喩と、具体的な計算ステップを通じて、アテンションの仕組みをスッキリと解き明かします。 → 関連記事：現代AIの王様「Transformer」の全貌はこちら アテンションの3人の主役 Query (クエリ) ＝ あなたの「注文」 「スッキリした柑橘系…

AlphaFold3のアーキテクチャは、AlphaFold2の優れた点を継承しつつ、生成AI（拡散モデル）を導入することで、その能力を飛躍的に向上させたものです。CNNは使用せず、中核をなすのはTransformerベースのモデルです。 その構造と処理の流れを、インプットからアウトプットまで詳しく解説します。 AlphaFold3の全体像：3つの主要ユニット AlphaFold3は、大きく分けて3つの主要なコンポーネントで構成されています。 インプット処理・埋め込み (Input Processing) Pairformer (Evoformerの改良版) 拡散モデルベースの生成モジュール (…

ChatGPT、Gemini、Claude… 私たちが日常的に触れる驚くほど賢いAIたちの、その頭脳の基本設計となっているのが「Transformer（トランスフォーマー）」モデルです。 2017年にGoogleが発表した論文 "Attention Is All You Need" で登場したこの技術は、それまでのAIの常識を覆し、まさに新しい時代を切り拓きました。今回は、Transformerが「何が革命的だったのか」「何をもたらしたのか」、そして「どんな課題と未来を持っているのか」を徹底的に解説します。 1. 何が画期的であったか？ — 「順番」という呪縛からの解放 Transformer…

ブログ連載：AIの「文脈を読む力」の秘密 - Attention機構 完全解説 【第2部】TransformerとAttention：ChatGPTを誕生させた革命的技術 【入門編】ChatGPTの心臓部！Transformerの「Self-Attention」を完全解説 今やAIの代名詞ともいえるChatGPT。その驚異的な文章能力を支えているのが「Transformer（トランスフォーマー）」という技術です。そして、そのTransformerの心臓部こそが「Self-Attention（自己注意機構）」。 これまでの記事では、翻訳AIが原文（エンコーダ）と訳文（デコーダ）という2つの情報を…