強化学習ライブラリとして、RLlibをよく使っていましたが、私が論文用に実装したバージョンから大幅に刷新されていました。 V1からV2へ移行、さらにRay 2.40からAPIの形式が新しくなったことで、その使用感をまとめます。 多くはClaudeのおかげで自分で調べる必要性がかなり減りました。とはいえ誤っている可能性もあるため、都度確認が必要です。 新API Stack導入の主要目的 1. アーキテクチャの簡素化 Rayチームは旧API stackでユーザーが知っておく必要があった重要なクラスを8つから5つに削減しました GitHubGitHub。これにより学習コストが大幅に削減されています。…