ランキング参加中人工知能 久しぶりに技術エッセイシリーズ「Gemini and I」に戻って、今回は、「LLMの設計思想」について、Geminiとの議論を紹介したいと思います。 今日の結論 LLMの賢さは、Transformerだけで決まるのではない。 どんなボキャブラリを持つか どんなトークナイザーで切るか どんな位置表現を使うか この『入り口の設計』が、モデルの基礎体力を大きく左右する。 『Attention is all you Need』ということで、トランスフォーマーモデルについてはアテンション機構に注目が集まりがちだ。 しかし、トランスフォーマーは、入力されたトークン列をもとに文脈…