将棋AI

LLMで動くUSIプロトコルの将棋エンジン（将棋AI）を作ってみた。作成の基本方針は先日の記事の通りである。使用したモデルはLlama3.1-8Bでollamaを介して動かしている。 RAG機能と言っていいのか分からないが、テキストファイルに「SFEN形式の説明」と「序盤局面の定跡ファイル」（水匠５に添付されていたファイルから一部を抜粋）を用意してLLMに渡す機能を追加してみた。 RAGの簡易的な実装 RAGとはRetrieval-Augmented Generatioの略らしい。日本語で「検索拡張生成」という。仕組みについては私は全く分かっていない。OpenAIのAPIに実装する方法があるの…

LLM（大規模言語モデル）を使ってチェスができるなら将棋だってできるだろう。そう思って試してみることにした。LLMで動くUSIプロトコルの将棋エンジン（将棋AI）を作るというのが、今回の最終的な目標である。 基本方針 先日の記事では、LLMとチェスAI(Stockfish)とを対局させた。LLMにチェスをさせる方法は実は単純で、プロンプトの中に以下の情報を含め、次の手を考える指示を出すだけだ。 現在の盤面の状況を表す文字列（FEN形式） 合法手（動かせる手の候補）の一覧 これまでの指し手の履歴 FEN形式の文字列取得や、合法手の取得には、Pythonのチェスライブラリが使われている。これを将棋…

８BのLLMでStockfishとチェスの対局をさせたところ全く歯が立たなかったのは先日の記事の通りである。では７０BのLLMではどうなるのか。 GroqのOpenAIのI/FでLlama3.1-70BとつないでStockfishと対局させてみた。結論から言うと、７０Bのモデルでも８Bのモデルと同様にStockfishの圧勝だった。ゲーム数を１０とし、先後入れ替えで２０ゲームを行い、Stockfishが２０勝０敗であった。 下記のELOレーティングのグラフは、おそらくは総当りでの対局数が不十分だったのだろう。Stockfishに対しては全敗でも他のLLMに対して勝ったり負けたりしている状況では…

redditを眺めていたら気になる投稿があった。「What Happens When LLMs Play Chess? And the Implications for AGI」というタイトルだった。LLMにチェスをプレイさせるとどうなるか、という内容のようだ。著者のブログにはStockfishと複数のLLMのELOレーティングが掲載されていて、LLMとStockfishとのレーティング差は、ざっくりR-４００となっている。ということはStockfish相手に１０回に１回は勝てるということか？ Stockfishは将棋AIのやねうら王も参考にするぐらいのチェスの最強ソフトで、そんな強い相手にL…

Ubuntu 22.04でEmacs29をビルドし、EllamaというElispパッケージの導入に成功した。導入方法と使用してみた感想などをメモしておきたい。まだ使い込んでいないのと、非常にマニアックな環境なため強くオススメはできないが、ローカルLLM実行環境としては最強かもしれない、というのが私の現在の印象だ。 導入環境 今回はWindowsのWSLのUbuntu環境ではなく、純粋なUbuntu環境（Ubuntu 22.04）に導入している。その理由は、Ellamaを動作させるにはEmacs28以上が必要なためだ。 私のWSL環境ではEmacs27までは簡単に導入できる（sudo apt i…

Colab Proの高性能GPUを使ってdlshogi（DeepLearning系将棋AI）を動かすとNPS値がどれくらい上がり、ELOレーティングがどれくらい上がるのか試してみた。 A100 GPUの性能 使用したA100 GPUの性能は、GoogleのAIのGemini1.5Proの回答によると以下の通り。 A100 GPU: FP32: ~19.5 TFLOPS FP16: ~312 TFLOPS TF32 (TensorFloat-32): ~156 TFLOPS BFLOAT16: ~312 TFLOPS FP64: ~9.7 TFLOPS 先日試したT4 GPUに比べるとFP32で…

DeepLearning系の将棋AIの本来の強さを知るためには、NVIDIA製GPUと高性能な推論ランタイムライブラリであるTensorRTの環境が必要である、ということは先日の記事で書いた通りだ。 そこで今更ではあるが、dlshogiと水匠5をColab環境の有料版にインストールして対局させ、強さを比べてみた。数年前に公開されているモデルなので、Colab環境で動かしたことがある方は多いだろう。私も以前に動かした記憶があるが、正確に強さを計測していなかったので、改めてインストールして計測してみることにした。 なお、Colab上でdlshogiと水匠5を対局させるだけなら、Colab無料版でも…