2011/10/27
■[開発日記][floodgate]ひよこカルロ将棋さん結構強い 
GA将!!!!!と当たったんですが、序盤からちゃんと指してます。モンテカルロ木探索木探索無しのモンテカルロでしかもできたばっかって事を考えると、かなりレベル高いですね。
GA将!!!!!の方は71手目で5九金打とかしちゃって、持ち駒を無駄に使ってます(ここは5八金左でも良かったのでは?)。こういう変な癖は修正しないとマズイですね。
その後は75手目4五香から強引に攻め込んで、何とか勝てましたv
とりあえず、今後の学習は序盤〜中盤が重要ですね。
■[開発日記]とりあえずカーネル法 
- 作者: John Shawe-Taylor,Nello Cristianini,大北剛
- 出版社/メーカー: 共立出版
- 発売日: 2010/05/25
- メディア: 単行本
- 購入: 2人 クリック: 8回
- この商品を含むブログ (7件) を見る
この本を図書館で取り寄せ頼んできました。¥7,140なので、いきなり買ってカーネル法が使えなかったら困るので。
届くまで最長1ヶ月かかるらしいんで、その間に自然方策勾配法の勉強しておきます。
■[開発日記]強化学習とカーネル法 
強化学習における価値関数の学習でもガウスカーネル関数がよく用いられるが,この場合でも事前知識を用いることにより,更に良いカーネル関数を構成することができる.
http://sugiyama-www.cs.titech.ac.jp/~sugi/research-jp.html#theory-similarity-learning-kernelization
ふむふむ、強化学習とカーネル法の組み合わせが可能ってのは嬉しい情報ですね。前例があると色々やりやすいですし。
強くなるロボティック・ゲームプレイヤーの作り方 ~実践で学ぶ強化学習~
- 作者: 八谷大岳,杉山将
- 出版社/メーカー: 毎日コミュニケーションズ
- 発売日: 2008/08/28
- メディア: 単行本(ソフトカバー)
- クリック: 67回
- この商品を含むブログ (10件) を見る
杉山将さんってどっかで聞いた事ある名前だと思ったら、この前買った本の著者の一人だった。
トラックバック - http://d.hatena.ne.jp/Gasyou/20111027

> ちなみにひよこカルロ将棋は、mcts(モンテカルロ型木探索)は使っていません。あくまでモンテカルロ法です。
MCTSも使っていない(『単純』モンテカルロ法ではない…UCB1は使っているので)モンテカルロ法のプログラムに「れさぴょん」が負けている…OTL
<いや、自分で常駐させているわけではないので、「れさぴょん」の実力は良く分かりませんが。
しかし、自分で常駐させていた「うさぴょん」の最高Rも多分負けているので…ますますOTL
私もあっさり抜かれそうで、内心ドキドキしています。と言うか、R的にはもうほとんど互角ですね _| ̄|○
れさぴょんはうさ親さんが参戦させてるのかと思ってたのですが、違ったんですね。
てっきり、開発中のバージョンかと思っていました。
>モンテカルロシミュレーションにUCB1を採用しました。
とあるので、ルートノードでUCB1使ってるだけで、UCTは採用してないんでしょうかね?
ますます_| ̄|○です…
最近はマシンと安定したネットワーク環境が確保出来ないので、私の方では主系列の「うさぴょん」すら参加させていませんです。
それと、「うさぴょん」の常駐には未だにフィックスしていないバグがありまして、千日手になった後や、abnormal endしてしまった後に、手動で再開させないとダメなんですよね…。
「れさぴょん」を常駐させている方は、その辺、どうされているのかなぁ…。
「れさ改(将棋所に付属のモノ=れさぴょん+USI+うさぴょんの公開定跡)」+将棋所、なのかな?
という事は、まだ伸びしろがあるって事ですよね ガクガクブルブル
>千日手になった後や、abnormal endしてしまった後に、手動で再開させないとダメなんですよね…。
なるほど、それは大変そうですね。
私は通信関係は将棋所にお任せしてるので、その辺りは楽でした。
ただ、自宅のルータに問題があって、時々瞬断が起きるんですよね。
なので、floodgate用マシンだけはルータの外に繋いでたりします。
>「れさ改(将棋所に付属のモノ=れさぴょん+USI+うさぴょんの公開定跡)」+将棋所、なのかな?
さくらVPSのOSはLinux/FreeBSDみたいですし、Linuxで動作実績のある将棋所って可能性は高そうですね。
Linux上で動かしていてshell scriptにて毎時29分と59分に自動ログインするようにしています。常駐するといろいろ問題あるため一戦ごとに抜けています。
さくらのvps(980円/月コース)のCPUはCore2Duo T7700@2.40GHzでして、あんまり速くありません。bogomipsが5320.37。素のれさぴょん(+gcc)だと5-6手ぐらいしか読めません。今はあちこち書き換え+iccで7-8手ぐらい読んでますが、ひよこ将棋に比べて絶対的に読みの深さが足りないんで、負けるのも致し方なしというところです。
高速化パッチを還元できるといいんですが、かなりいじってしまったんでどうしたもんかと。Teを構造体から64bit変数にしたりしてるんで...
>shell scriptにて毎時29分と59分に自動ログインするようにしています。
その方法だと、プロセスも毎回再起動出来ますしバグの発生頻度が低くなりそうでいいですね。
(もっとも、長時間動かさないと発生しないバグの発見が遅れそうではありますが。)
さくらVPSって結構ハイスペックなんですね。てっきりAtomかと思ってました。
個人的には、高速化とか改良したのなら名前変えた方が良いかとも思うんですけど、外野が口出すのも野暮ですかね。
>Teを構造体から64bit変数にしたりしてるんで...
Teは構造体のまま、メンバ変数を64bit一個にして、メンバ関数等のインタフェースをオリジナルのTeと互換性ある形にすれば扱いやすいのではないでしょうか。
共用なので丸々速度が出ているか謎なのと、メモリが512MBしかないのがネックです。
980円なのであまり贅沢は言えません。
>個人的には、高速化とか改良したのなら名前変えた方が良いかとも思うんですけど、外野が口出すのも野暮ですかね。
変えたほうがいいかなと悩んでるところでした。sakurapyonとかがいいかな。
2コアで512MBだと確かにちとつらそうですが、メモリ増やすと値段が高くなるので維持が大変ですよね。
それに、初期費用+12ヶ月分の料金で、ローエンドPCが買えそうです。
速くなってるなら「シャア専用うさぴょん」とか「RedLesserpyon」とか…って、これはネタが通じる人が少ないかもしれませんね。
Atom PCで30Wでも24時間稼動の場合は月に500円ぐらいになりませんか?
// しかも、このサーバーはコンピュータ将棋用でもなく、れさぴょんはおまけに動かしてるんで
そう考えると、Core 2 Duoマシンが月980円ってのは格段に安いですね。
// なるほど、そういう事情なら更にお得ですね。
はじめまして、最初にれさぴょんを作った人…です。
有効活用(?)されていて嬉しいです。
>高速化パッチを還元できるといいんですが
前後の文章を読ませて頂きましたが、『還元』は難しそう…ですねぇ…。
いっそのこと、どこかでソース公開…?
<差し支えなければ、もしも送って頂ければこちらで勝手に公開してもいいのですが(苦笑)。
さて、電気代の話…ですが、実は私が現在常駐していない理由の一つにそれがあったりします。
#常駐させると、一ヶ月に\8,000位電気代が違うOTL
あー…。
そうだ、gccで動かすと、gccのバージョンにもよるんですが、実は素のれさぴょんは、rand関数の戻り値が15bitしか帰って来ないことを期待した作りになってるんで、ハッシュ関係の動作がどうなの?とか、れさぴょんサポート掲示板で既に提案していただいた、詰め将棋関連のバグフィックスとか(秀逸なパッチがユーザ様から提供されました)…。
何か色々気になるところが…。
で。名前は別に気にしないで下さい。
個人的には、実は「何かえらく深く読めるれさぴょんだなー」とか感心していましたが、高速化で工夫されているようで、納得です。
上記と絡んで、全然話は変わりますが、何かの方法で、floodgate上で自分のWebページ(プログラム紹介とか、ブログとか)へのリンクが出せるといいですね。
そうすると、例えば「あぁ、lesserpyon_sakura_vps_testってこういうプログラムなんだなぁ」とか理解しやすくなって幸せな気がします。
>有効活用(?)されていて嬉しいです。
お世話になっております。はじめまして…ではなくて一度チャットしたことがあります。
おかげさまで、れさぴょんと楽しく遊んでます。bonanzaは難しくて。
> 前後の文章を読ませて頂きましたが、『還元』は難しそう…ですねぇ…。
> いっそのこと、どこかでソース公開…?
> <差し支えなければ、もしも送って頂ければこちらで勝手に公開してもいいのですが(苦笑)。
現在のソースはかなり汚いんで、公開は少し綺麗な体になってからお願いします。
うさ親さんが興味がありましたら、ソース自体はいつでも送付します。
> そうだ、gccで動かすと、gccのバージョンにもよるんですが、実は素のれさぴょんは、rand関数の戻り値が15bitしか帰って来ないことを期待した作りになってるんで、ハッシュ関係の動作がどうなの?とか、
これは気づきませんでした。
> 上記と絡んで、全然話は変わりますが、何かの方法で、floodgate上で自分のWebページ(プログラム紹介とか、ブログとか)へのリンクが出せるといいですね。
短縮URLにして、それをプログラム名にするとか(笑)
>
>短縮URLにして、それをプログラム名にするとか(笑)
ランキングのページがカオスな事になりそうですねw
真っ当にやるならログイン名・トリップとURLを入力する画面を新規に作って、そこから登録って流れでしょうが、イマイチ面白みに欠けますね。
ついでに工数も結構掛かりそうですし…
れさぴょんサポート掲示板への最新の投稿で、diffの比較対象がsakurapyonとなっていた+その投稿者のIDと、「一度チャットしたことがあります」でピンと来ました。
…間違っていたらごめんなさい、なのですが、将棋倶楽部24上でチャット(感想戦?)をさせて頂いた方でしょうか。
あの時のチャット(感想戦?)のログは、自宅PCに、テキストファイルとして大切に保管しております…(今は仕事先なので、読めませんが)。
<未だにあの時に語った目標を全然達成していないのがアレなのですが…OTL
<いつも棒銀で攻めてくるCPUとかあったらいいよねー的な話もしたはず。
<記憶違いだったらごめんなさい…。
いつか目標達成します(苦笑)。
目標達成応援しておりますです。