Hatena::ブログ(Diary)

やねうらお−ノーゲーム・ノーライフ このページをアンテナに追加 RSSフィード

GT-Rの買取ならここですわ。どこよりも高く買取ってもらえるはず。お勧め!GT-R 買取
電王戦出場記念! 書籍化されたで! 監修したで!(`ω´) 絶版なってしもた Kindle版で復活!! 記事書いたで!
解析魔法少女美咲ちゃん マジカル・オープン!

YaneuLabs / やねうら王公式 / やねうらおにメール / twitter / プロフィール

 | 

2014-11-25 将棋の神様のレーティングはいくつなのか?

[] 将棋神様レーティングはいくつなのか?  将棋の神様のレーティングはいくつなのか?を含むブックマーク  将棋の神様のレーティングはいくつなのか?のブックマークコメント


羽生さんは以前、雑誌取材将棋の神と対局したらどれくらいの手合であるかと問われ角落ちならいい勝負だろうと答えた。


では、この将棋神様レーティングはいくらなのか?


一見神様には無限レーティングがつくかのように思えるが、それは間違っている。話を単純化するために、枝刈りなしに深さ固定でmin-max探索を行なうときのことを考える。


評価関数Bonanza以下の精度しかないものとする。この場合、読みの深さが1手深くなるごとにR100〜150程度しか上がらない。少し多めに見積もって、R300上がるとしよう。実際はある程度以上探索深さが深くなると読みが1手深くなったときレーティングの伸びも小さくなっていくのだが、ここでは均等にR300ずつ上がり続けるとしよう。そして3手読めばだいたいR1000ぐらいである計算が面倒なのでここはR900ということにしよう。ということは、大雑把には次のように計算できる。


棋力 = 探索深さ×R300(実際はこれより小さい値である)


プロ棋士で双方がそこそこ最善を尽くした場合、130手ぐらいで終局するので、130手で必ず将棋が終局するものとすると、R300×130手 = R39000ぐらいの値が将棋神様レーティングである。(実際は130手を超える変化があるのでもう少し大きな値である可能性もある)


仮に電王トーナメントのような256手引き分けルールの元では、上限はR300×256手 = R76800。これはかなり大きめに見積もっている値なので、実際はR20000ぐらいが将棋神様なのかなと私は思っている。


人間から見ると、R5000もR20000も(どちらも勝率1%すら勝てないという意味では)さほど大差ないので、仮に羽生さんがR20000のソフトと角落ちでいい勝負だとしたら、R5000のソフトとやっても同じく角落ちぐらいの手合でいい勝負ではないかと私は思う。


R5000のソフト…いま上位のソフトがR3700〜4000付近にあるとして、あと5年以内ぐらいでR5000には到達しそうであるが、駒落ちプロ棋譜は少ないため、棋譜から学習を用いているいまの将棋ソフト駒落ちはそこまで強くないかも知れない。この問題が5年以内に解決するのかどうかは私にはよくわからないが、駒落ちも平手と同様の棋力を保っている将棋ソフトが完成すれば、5年後には羽生さんは角落ちで互角。とりあえずそういう結論になる。

yaneuraoyaneurao 2014/11/25 10:06 将棋の神様、R10000ぐらいしかないかも知れなくて、であるなら、毎年R200ずつ将棋ソフトの棋力が向上していくならあと30年ぐらいで将棋の神様となってしまう。

へなっそへなっそ 2014/11/25 10:18 よくソフトの棋力を示す指標で使われるレーティングというのがありますが、これはfloodgateのレーティングを指しているのでしょうか。
もしそうなのだとしたら、プロ棋士がこの中で指したらどのくらいのレーティングになるのでしょうか。

外野外野 2014/11/25 10:58 http://dokkyosan.blog.fc2.com/blog-entry-25.html
神様なら全てのパターンが網羅できるはずと仮定しないと…

yaneuraoyaneurao 2014/11/25 11:15 ↑*2 floodgate上のレーティング≒将棋倶楽部24でのレーティングであり、私がレーティングを言うときは常にこの指標です。プロ棋士の将棋倶楽部でのレーティングはR2800〜3300付近に分布していると言われているので、適宜に換算してみてください。
↑*1 「どうぶつしょうぎ」の完全解析のために後退解析が使われましたが、全パターンは網羅してないですし、勝ちを証明するために全パターン網羅する必要もないです。同様に、本将棋でも将棋の神様であれ、あらゆる局面の網羅は不要です。あらゆる局面を網羅するよりはるかに小さな局面数を網羅するだけで将棋の神様になれます。(「はるかに小さな」というのは前者と後者のオーダーを比較しての話で、人間からするとどちらも膨大極まりないのですが..)

外野外野 2014/11/25 12:17 後退解析というのもあるのですね。情報ありがとうございます。
ただ、こちらの要点が伝わっていないようですので補足しておきますと「全網羅する必要がある」と言っているのではなく、神様である以上(後退解析で構いませんが)「完全解析できている」と仮定しないと「神様」とは言えないのではと。
もし完全解析できている神様同士なら先手必勝等の答えが出ているため振りゴマ勝負となり、そうでない人間相手で駒落ち対戦するなら、人間側がどこまで完全な手を指し続けられるか(勝利の枝の範囲内に留まれるか)、だけで決まるのではということです。

yaneuraoyaneurao 2014/11/25 12:27 ↑> 「完全解析できている」と仮定しないと「神様」とは言えないのではと。

この部分なんですが、私はそうは考えてないです。例えば4手目で角を素抜き(76歩34歩68銀88角成の意味)された局面はその後の変化を網羅するまでもなく後手必勝ですし、完全解析はされていなくとも、それよりずっと少ない局面の網羅数(+評価関数)で、神様(完全解析できている状態)と同じ指し手を導き出せるからです。

外野外野 2014/11/25 12:55 そうですね。
「神様(完全解析できている状態)と同じ指し手を導き出せる」のであれば、神がどんな低コスト手法を用いても良いと思います。

EnglishOnlyEnglishOnly 2014/11/25 13:15 24のレーティングシステムでは勝者のレートは少なくとも1増加するので、負けなしの神様のレートは無限に増え続けるのではないでしょうか。神様でなくても、「自分以外の24の参加者のうち最も強い人」に対して31/32を超える勝率で戦える人のレートは収束しないはずだと思います。

TokusiNTokusiN 2014/11/25 14:59 将棋の神様のレートを計算する為には、まず将棋の性質を知る必要がある。
将棋が先手必勝だった場合は話は簡単で、十分強いプレイヤーは神様に対する勝率が5割に近付く。
この場合、例えば羽生のレートが3300だとすると、羽生に75%の勝率を出せるAIのレートは3500、そのAIに75%勝てるAIは3700となる。
こうやって強いAIを仮定するとそのうち先手番ならば神様にでも勝てるAIが出てくるから、神様に25%の確率で勝てるAIがあったとしたら、そのAI+200が神様のレート。
将棋が双方最善で引き分けだった場合話がもう少し厄介になる。
この場合、引き分けを0.5勝0.5敗と扱うのならば、先手必勝の時と同じように計算できる。
引き分けの時にレートが動かない(もしくは決着が着くまで再試合)とした場合、神様は絶対に負けないのでレートが定義できない(もしくは∞になる)。

ジャックジャック 2014/11/25 16:19 ツイッターで小4のフリをして将棋ソフトを作る
と時がきたか・・とつぶやいてますが
メカ女子チームに入る気になったんですか?
小4女子メカやねりんですか?

xx 2014/11/25 16:43 やねうらおさんの将棋の神のレーティング推測はいい線いってると思いますが、神という絶対的な棋力を計算する以上、TokusiNさんの方が計算上的を得ていると思いますね。
やねうらおさんの、一手深く読むごとにレーティング100から300アップや、平均130手、最高256手まで、R5000とR20000が大差ないという条件等が余計だと思います。
例えば動物将棋は78手までで後手必勝ですが、その必勝パターンを知ってる人またはコンピュータにレーティングを付ける方法を考え、それを将棋に適用することにより、神のレーティングを計算する必要があります。

yaneuraoyaneurao 2014/11/25 17:38 ↑*4 おっしゃる通り、24だと収束しないですね。ここではfloodgateのように、あらゆる棋力のソフトがまんべんなくいる場所で対局することを想定しています。
↑*3 なるほど。レーティング計測上は引き分けを0.5勝0.5敗として扱うのが適切だとは思うのですが、将棋はおそらく双方最善だと引き分けになるので、その場合、R6000ぐらいのソフトに対して8割勝つということ自体が不可能になる可能性があり(R6000のほうは形勢が不利とみるやいなや引き分けに持ち込む)、そうなってくると神様を連れてきてもR6200は出せない、みたいなことになるんですかね。この条件下なら案外神様のレーティングは、低いかも知れないですね。
↑*2 小4女子メカやねりんってなんやねんヽ(`ω´)ノ ちょっとクスっと笑ってしまった。
↑*1 (´ω`)?

EnglishOnlyEnglishOnly 2014/11/25 18:21 >yaneuraoさん
なるほど。TokusiNさんの投稿とあわせて理解できました。

xx 2014/11/25 18:54 追記
先ほどの自分の考えは、神対神では先手必勝、後手必勝、千日手のどれかに落ち着くと仮定し、その場合解析済みの動物将棋でレーティング付ける方法を定義すれば、同様に将棋の神のレーティングが求められるというものですね。

ちなみに神のレーティングは無限とも考えられますが、コンピュータチェスのトップレーティングが長いこと3000台なのを考えると、やねうらおさんが上で述べているように、レーティング計算の仕組み上意外と早く収束する可能性はありますね。

ろ過ろ過 2014/11/25 18:56 あらゆる局面で最善手「のみ」を指すには完全解析が不可欠ではないんです?(完全解析なしには最善手であることを証明できないというのは誤り?)
それとも、やねさんはあくまで技術屋として、「人間にとって」最善手と見分けがつかなけれが良いというスタンスなんでしょうか。

り 2014/11/25 19:57 これが後に数学者を300年間悩ませる『二人零和有限確定完全情報ゲームにおける、やねうらお神様レーティング予想』のきっかけとなるとは、誰もしるよしがなかった。

ピンピン 2014/11/25 21:58 例え神様が相手でも、やねうらおさんの強さでは二枚落ちならほぼ負けようがないんじゃないですか。
閾値?が用語として正しいか分かりませんが、ある一定のR(強さ)を持っていれば、相手が神様でR20000でもほぼ必ず勝てる手合いが存在するので
R差を無理矢理に駒落ちの手合いに落とし込むのは難しいのではないですか。
大駒や金駒は価値が高過ぎるので、それを駒落ちにすると正確なR差を反映する手合に恐らくならないのではないのでしょうか。

森田将棋の記事は、簡単な評価関数でも無限の思考能力や時間があればプロ級になる思考実験として感心しましたが
今回の記事はやねうらおさんらしくない随分となげやりな計算と結論に思われます。
何かあったのですか、もしかして、また運営に今年の電王戦トーナメントの時の様な無茶振りされて、困って考えがまとまらないのですか?
明日はとうとう記者会見ですけど大丈夫ですか。何かあったのなら大事になる前に何方かに相談されたほうが良いのでわ・・・・・

yaneuraoyaneurao 2014/11/26 05:51 ↑*3 > あらゆる局面で最善手「のみ」を指すには完全解析が不可欠ではないんです?

最短手数で勝ちの局面に持っていかないといけないとしたら、その局面からのすべての指し手の網羅(完全解析とは少し違います)が不可欠だと思いますが、最短手数でなくとも優勢の局面を勝ちに持っていくだけでいいならいまの将棋ソフトの延長で可能です。

↑*2,*1 ドラゴンボールの世界みたくR100000とかR530000とかがいる世界かと最初思っていたのですが、結局、神様の一歩手前の状態が(大きく見積もっても)R40000ぐらいなのかなと。神様自体にどんなレーティングがつくのかは、レーティングの計測方法と将棋の結論(先手必勝・必敗 or 引き分け)によりけりなので、そのへんは私にはわりかしどうでもよくて、その神様の一歩手前の状態がどのあたりに位置しているかが一番意味があるのかなと。

> 神様でR20000でもほぼ必ず勝てる手合いが存在するので

私もそれはそう思いますが、本記事は、羽生さんの「神様と角落ちでいい勝負」という発言が正しいと仮定した上での話です。

TokusiNTokusiN 2014/11/26 05:51 将棋の双方最善手順が引き分けで、そこに至る選択肢が少ない場合、
将棋の神様のレーティングは(強めのAIと比べても)低くなってしまう可能性があります。
格下相手には超手数の負け手順に持ち込んだ上で相手のミスを待たなければいけませんが、最善手しか指さない神様にはそれが出来ないので格下相手に引き分けてしまいます。

yaneuraoyaneurao 2014/11/26 06:07 ↑そうですね。チェスの世界がちょうどそんな感じになってるように思います。(チェスはたぶん将棋よりは狙って引き分けに持ち込みやすい) いやしかし、イロレーティングだと引き分けは考慮しないのか…。あれれ..

TokusiNTokusiN 2014/11/26 06:22 イロレーティングでは、引き分けは0.5勝0.5敗として処理するはずです。
なので、相手の棋力(≒レーティング)によって引き分けを狙うか、あえて自分負けの手順に持ち込むかを選ばないといけない場合、
ある程度上位のプレイヤーにとっては棋力そのものよりもメタゲームの強さが重要になってくると思います。
負け手順を選べない神様はそこが弱くなってしまう。
先手必勝だった場合は、神様が後手を持った場合(最長負け手順を選ぶ、という制約が無ければ)全ての指し手から選べるので、同じ手順で何回も負ける事は無くなります。
この場合の神様は、短手数で負ける手を選ばないだけでなく、先手から短手数の引き分けに持ち込める局面も避ける必要がありそうですね。

yaneuraoyaneurao 2014/11/26 06:32 ↑> イロレーティングでは、引き分けは0.5勝0.5敗として処理するはずです。

このときってレーティングの移動あるんでしたっけ…。レーティングの移動がないなら、レーティング計算上は問題にならないような。引き分けが多い神様よりは、引き分けを回避する神様より一回り弱いプレイヤーのほうが勝ち星は上げられるという話であれば了解。

TokusiNTokusiN 2014/11/26 06:42 0.5勝0.5敗として、その対局もレーティング計算に組み込まれます。
イロレーティング本来の計算式は対局1回ずつでレートの移動を行うものではないので、その1回でレートが動く事はありませんが、
ある試合のセットの中で1勝1敗するのと、引き分けが2回起きるのでは、最終的なレートは同じになります。
将棋倶楽部24でどのような処理をしているかは分かりませんが、
厳密なレートを割り出す場合、全試合の結果から回帰分析で計算するのが一番正確な値になります。

YakitoriYakitori 2014/11/26 07:46 レーティングは相対値なので、競合がそろえば収束して低くとどまるのではないでしょうか。
将棋の神様が全知であれば、天井知らずかもしれないですけど。
あれですかね、AIギャグで先手一手うったらAIが読み切って即降参するっていう。あれもあるんですかね・・・。

yaneuraoyaneurao 2014/11/27 23:07 ↑*2 > 0.5勝0.5敗として、その対局もレーティング計算に組み込まれます。
あ、そうなんですか…。それは嫌らしいですね…。
↑*1 > AIが読み切って即降参するっていう。あれもあるんですかね・・・。
あるでしょうけど、まあ読み切っても最長手順を選べばいいので…。

ジャックジャック 2014/11/28 00:11 プロ棋士レーティング
稲葉陽七段   R1751
永瀬拓矢六段  R1730
村山慈明七段  R1721
阿久津主税八段 R1687
斎藤慎太郎五段 R1669

「まあ去年からコンピューター将棋ソフトって全体的に去年のに比べたら
7割勝つとかやねうら王に限ってはもう8割とか9割勝つとか結構伸びが顕著で
去年でもプロの先生とやっていい勝負だったのでそっから7割と8割勝つとなるともう
これは下手すると手合違いかなという所まできてるんじゃないかと思うんです。
だから今回でファイナルというのも もうこれは仕方ないのかと思いますし
その中でもやっぱり対戦する事で少しでも楽しんでいただきたいなと思って私はちょっと定跡の方をいまこだわって入れてるという状態です。」

やねうらさんの発言から私が予想すると電王戦ファイナルのソフトのレーティングは
AWAKE  R2200?
ponanza R2150?
やねうら王 R2000?
Apery R2000?
Selene R1800?

▲斎藤慎太郎五段 vs △Apery  期待勝率 13% 87%
△永瀬拓矢六段 vs ▲Selene   期待勝率 40% 60%
▲稲葉陽七段 vs△やねうら王  期待勝率 19% 81%
△村山慈明七段 vs▲ponanza   期待勝率 8% 92%
▲阿久津主税八段 vs △AWAKE  期待勝率 5% 95%

今のソフトって私の予想よりもっと強いですか?

田酒田酒 2014/11/28 15:22 森下先生が、やねさんにあなたのせいで~と言われたのはホントですか?
年末おかげで楽しみが出来ました、ありがとうございます。

田酒田酒 2014/11/28 15:25 ごめんなさい、逆ですね。
やねさんが、森下先生にあんな事をと言われたのはホントですか?

茶筅茶筅 2014/11/28 19:30 上にコメントされた方もいましたが、やねうら王が後手であることや稲葉七段のレーティング、数ヶ月間貸出で対策されることも考えると、やねうら王の今回の対局の期待勝率は何%だと予想しますか?
現時点の推測でいいので教えて頂きたいです。

番茶番茶 2014/11/28 21:50 > やねうらさんの発言から私が予想すると電王戦ファイナルのソフトのレーティングは
> AWAKE  R2200?

羽生名人ならAWAKE相手でもまだ結構いい勝負になりそうですね
コンピューターはまだクラスターという切り札が残っているので
実際はカスパロフ戦のように、指導対局みたいな棋譜になるのかもしれませんが

茶田茶田 2014/11/29 00:57 願わくば、電王戦が終わっても将棋ソフトのプログラマーたちの意欲が落ちずソフトの成長が続き、R10000のソフトが僕の手に渡らんことを

yaneuraoyaneurao 2014/11/29 11:04 ↑*6,*3 レーティングはそれぐらいかなと思うのですが、下位の相手に結構取りこぼすのでソフト側の期待勝率はもう少し低い気がします。あと事前研究があるので、これで20%ぐらい期待勝率が下がりますし、悪い定跡を事前研究で発見されてしまった場合、さらに下がるでしょう…。
↑*4,5 まだタイムシフト観てないのでよく知りませんが、私の発言が元で森下先生の「盤駒ありなら〜」という発言が出て、それで今回の年末の企画が成立したことは間違いないようです。
↑*2 > 羽生名人ならAWAKE相手でもまだ結構いい勝負になりそうですね
その↑*6のレーティング表記は、棋士の平均を1500とするレーティングなので羽生さんでR1973((http://kishi.a.la9.jp/2014R/1175.html))でして、そこに対してAWAKEがR2200だとしたら羽生さんの勝率は2割ぐらいしかないです。

田酒田酒 2014/11/30 14:09 タイムシフトでは、1:30:00頃で磯崎さんに一声お声おかけしたと森下先生が言って居ました。
新ルールの際に磯崎さんにも何らかのやりとりがあったのかと思いコメントしました。
年末はスゴい楽しみにしています。
またfinalでのやねうら王ご活躍期待しています。
頑張って下さい!

yaneuraoyaneurao 2014/11/30 20:53 ↑タイムシフト見てきました。

プロ棋士の控室に、開発者全員でご挨拶に伺ったときに、森下先生から開口一番、その話が出ました。私は当日まで今回のリベンジマッチのことは知りませんでした。

もちろんリベンジマッチは森下先生をめちゃめちゃ応援してます!!!

YakitoriYakitori 2014/12/01 02:44 自分も森下のひとを応援しています。
無茶振りからの開成の一手があることを祈って。
人間困難を乗り越えてなんぼですからね。

茶田茶田 2014/12/01 19:59 ツツカナの強さはだいたいわかってるけど、継ぎ盤を使った森下先生の強さは未知なので楽しみですね

ソフトの駒落ちの話ですが、次元下げを施した2014電王戦版のやねうら王は未知の局面に以前より強いんですよね?入玉もうまくなってますし。なら駒落ちにも強くなってるのでは?

yaneuraoyaneurao 2014/12/01 20:14 ↑やねうら王もたぶん上手(うわて)を持って穴熊に囲ってしまうでしょうね…。次元下げを適切にやれば、少ない棋譜から学習できるようにはなると思いますが、さすがに棋譜が1000以下ではまともに学習できそうにないです(´;ω;`) プロによる駒落ちの棋譜が5千棋譜ぐらいあればそこそこ強いやつが出来ると思うのですが。

ジャックジャック 2014/12/01 22:49 質問なんですが

屋根裏部屋+宮崎駿=やねうらお
やねうらお+王将=やねうら王
って解釈で正解ですか?

茶田茶田 2014/12/01 23:11 プロの駒落ちの指し方よりも今の強豪ソフトの指し方の方が、下手が十分強い場合の短い切れ負けでは正しいのかもしれません。だからあんまり強くない相手への例えば一手30秒の将棋で勝率を上げるには、「24に放流したら自動で試行錯誤して勝率の高い序盤をみつけるソフト」を作ったらできるんじゃないですかね。レートの高すぎる相手との対局は拒否して。

とすると、羽生さんに対して角落として勝つには、羽生さんに何度も指してもらって、羽生さんより速く学習しなければいけない…?

茶田茶田 2014/12/01 23:58 というか今の強豪ソフトも角落ち上手うまいですね…(GPSfishに角落としてもらって良い所なく負けた)

ジャックジャック 2014/12/04 20:17 あともう一つ疑問があるのですが
電王戦のPVで
「電王戦やらんでええんちゃうかと、プロ棋士の先生もこれを研究するのしんどいんじゃないかなと、もうファイナルだし勝たせてあげたいかなと、勝っていだだきたいかなと思いますけどね」
ってやねうらさんは言ってますがこれはどんな文脈で
言ったんでしょうか?
なんかインタビューされたんですよね?

yaneuraoyaneurao 2014/12/07 01:37 ↑*4 やねうらおの名前の由来はこちら→http://d.hatena.ne.jp/yaneurao/20081222
↑*2 GPSの評価関数とかの評価関数とかは、特徴因子の数が少ないので、3駒関係で次元下げをしている以上の効果があります。だもんで、駒落ち強いです。
↑*1 電王トーナメント最終日の終了後に電王戦へ向けての抱負を尋ねられたときにそう答えたような…。

ジャックジャック 2014/12/07 12:49 僕らは(屋根裏にちなんで)「Studio Attic」と命名した。
とあったのでスタジオつながりで宮崎駿が関係あるのかなと思ったんですが
考えすぎでしたか・・
>電王トーナメント最終日の終了後に電王戦へ向けての抱負を尋ねられたときにそう答えたような
おお!、そうでしたか回答ありがとう御座いました。

次でファイナルってなってますが5対5がファイナル(終了)でつぎは羽生さんか
渡辺さんが出てくると私は予想してます。
羽生さん20%、渡辺さん80%ぐらい
渡辺さんは第1回電王戦(の解説が渡辺さん)の後の記者会見で第2回電王戦の出場をするか聞かれて「順番が違うから出ません、下から順番に倒されていって出るしかない状況なら出る」って言ってましたからね。

YakitoriYakitori 2014/12/07 14:09 コンピュータ戦は森内さんがいいんじゃないかと思います。
自分の感じる雰囲気では同質に見えるんですよ。固いというか。熱が無いというか。
棋風は比べたことないですけど、外目にはそう見えます。

茶田茶田 2014/12/08 22:18 今度やねうら王を24に出すときがあれば、2枚落ちはいいとして、飛車落ちとか角落ちとか見てみたいです

トラックバック - http://d.hatena.ne.jp/yaneurao/20141125
 | 

1900 | 01 |
2004 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2005 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2006 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2007 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2008 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2009 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2010 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2011 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2012 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2013 | 01 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2014 | 01 | 02 | 03 | 04 | 06 | 08 | 10 | 11 | 12 |
2015 | 01 | 02 |


Microsoft MVP
Microsoft MVP Visual C# 2006.07-2011.06