GA将?開発日記~王理のその先へ~

ネタ勢最強を目指して絶賛開発中。

うぅむ、交差エントロピー最小化が上手く動かない

 †白美神†さんのPR文書を読みつつ、elmoさんの様に交差エントロピー正則化項として使用するのにチャレンジしています。

 …が、何か上手く動かない。

 理屈の上では、KL情報量が0に近付く筈*1で、実際に三目並べではそういう挙動をしていますが、5五将棋では一度下がったKL情報量が今度は増加していくという現象が発生。

 一度、交差エントロピー最小化のみに設定変更して学習させてみますかねぇ。

*1:交差エントロピーの最小化とKL情報量の最小化は基本的には同一で、KL情報量の最小値は0…だと思う