arxiv.org 概要 ChatGPT訳： 行列積 (MatMul) は通常、大規模言語モデル (LLM) の全体的な計算コストの大部分を占めます。このコストは、LLM がより大きな埋め込み次元や文脈長にスケールするにつれて増加する一方です。本研究では、行列積操作を完全に排除しつつ、数十億パラメータ規模で強力な性能を維持できることを示します。実験結果は、我々の提案するMatMul不要のモデルが、推論時に大幅に多くのメモリを必要とする最先端のTransformerと同等の性能を達成することを示しています。このモデルはスケーリング法則を調査し、モデルサイズが増加するにつれて、我々のMatMul不…
