8BのLLMでStockfishとチェスの対局をさせたところ全く歯が立たなかったのは先日の記事の通りである。では70BのLLMではどうなるのか。 GroqのOpenAIのI/FでLlama3.1-70BとつないでStockfishと対局させてみた。結論から言うと、70Bのモデルでも8Bのモデルと同様にStockfishの圧勝だった。ゲーム数を10とし、先後入れ替えで20ゲームを行い、Stockfishが20勝0敗であった。 下記のELOレーティングのグラフは、おそらくは総当りでの対局数が不十分だったのだろう。Stockfishに対しては全敗でも他のLLMに対して勝ったり負けたりしている状況では…