目次 論文読むと推論モデルとそうでないモデルという言い方で違いが出ているのを見ます。 この違いはステップバイステップの思考を行ったか行っていないか。 そして、このステップバイステップの思考を制御しているものが思考トークン(Thinking Tokens)と呼ばれるものです。 本日はそんな思考トークンと思考トークンを用いてステップバイステップの思考を行う挙動について説明します。 思考トークンとは 思考トークン は、LLMが内部の推論プロセスを言語化するために使う、ユーザーには見えないトークンです。LLMは「次トークン予測器」であり、どんなトークン列も「言語として生成できる」 ため、 まず内部で推…