強化学習

ストレスフリーな脳になる ご機嫌脳活ルーティン 茂木健一郎Gakken 2021年4月27日 第1刷発行 図書館で 茂木健一郎 で検索していたら出てきた本。表紙では 茂木さんが踊っている。。。。 そして ピンクの文字。なんとも、、、軽い感じ。 表紙の裏には、” 毎日の生活に ルーティンを取り入れて「自粛ストレス」に負けない、プルンプルンの健康 脳になりましょう！”とある。 中表紙もピンク。。。 長引く 新型 コロナウイルスで自粛 が続く中、 ストレスを解放しよう！ということで出版された一冊 らしい。 はじめに、の茂木さん説明によれば、”日々の生活の中にルーティンを取り入れ、毎日決まった動作を続…

はじめに 強化学習において、報酬設計はエージェントの学習プロセスと行動選択に大きな影響を与えます。今回の記事では、株価予測システムにおける報酬設計の戦略について詳しく見ていきます。 実は当初は単純に日経225をロング、またはショートした日は単純にその日の値幅が報酬＝ペナルティとなるような設計にしていました。その結果常に「何もしない」を選択してしまうエージェントが出来てしまったので以下のように手を桑てみました。 報酬設計の理由 株価の動きに基づく報酬: ロングとショートの両方の行動に対して、株価の変動を基に報酬を与えます。これにより、エージェントは市場の動向を正確に予測することで報酬を最大化する…

はじめに 前回の記事では、DQNを用いた株価予測モデルの設計と開発について説明しました。今回は、強化学習におけるシミュレーション環境の設計と、トレーディングパフォーマンスの評価に使用するメトリクスについて詳しく見ていきます。 TradingEnv クラスの設計 このプロジェクトでは、TradingEnv というカスタム環境を設計しました。この環境は、強化学習エージェントが株価予測の決定を行うためのシミュレーション環境を提供します。 クラスの構造 初期化 (__init__): 日経平均株価、S&P500、Dowのデータセットと初期資金額を設定します。初期金額を1万円に設定してしまっていますがご…

はじめに 前回の記事では、データの収集と前処理について詳しく見てきました。今回は、Deep Q-Network（DQN）を用いた株価予測システムのモデル設計と開発プロセスについて説明します。 Deep Q-Network (DQN) とは DQNは、伝統的なQ学習を深層学習と組み合わせた強化学習手法です。Q学習ではQ値を学習し、Qテーブルを完成させることに重きが置かれていましたが、DQNではこれに深層学習、ニューラルネットワークの考え方を含めています。ニューラルネットワークを使用してQ値を推定し、大規模な状態空間や行動空間を持つ問題に対応できます。 モデルの設計 このプロジェクトでは、複数の隠…

はじめに こんにちは！このブログシリーズでは、強化学習を用いて株価予測システムを開発するプロジェクトの進行過程を共有していきます。このプロジェクトの目的は、米国市場のS&P500やDowのデータを基にして、日経平均株価の動きを予測することです。 プロジェクトの背景 株価予測は、金融市場において非常に重要なトピックです。特に、世界の主要な株価指数間には一定の相関関係が認められることが多く、これを利用することで予測の精度を高めることができます。このプロジェクトでは、米国市場の主要な指数であるDowとS&P 500を選択しました。これらの指数は、グローバルな経済動向を反映しており、日経平均株価との間…

はじめに ABEJAアドベントカレンダー2023の11日目の記事です。この記事では不完全情報ゲームを解くための手法であるDeepNashについて紹介します。DeepNashはMastering the game of Stratego with model-free multiagent reinforcement learning（arXiv： Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning）で提案されたモデルフリー強化学習をベースとした手法です。通常、強化学習を用いる場合エージ…

より多くの人に見てもらいたいと思いQiitaで投稿しましたが、こちらにも載せておきます。 qiita.com 本ブログでは、より専門的な内容を記載します。 Qiitaではカジュアルな内容を投稿しています。

趣旨 ハミルトニアンモンテカルロ法(HMC)を理解する(執筆当時ではまだ理解できてないけど)。 注意 物理ど素人なので完全には理解できてない。情報の正確性には注意。 理解してないなら「理解する」とか書くなよ うるせーよ では解説する。 HMCとは Metropolis-Hastingsに代表されるこれまでのMCMCでは、あらかじめ与えられた初期値と初期提案分布からスタートし、棄却したりしなかったりしながらサンプリングを行うわけだが、提案分布が目的の分布と大きく外れていれば酷い出来になる。これを軽減するためにランダムウォークMetropolis-Hastingsがあるらしいのだが、あんまり探索的…

書籍「ゼロから作るDeep Learning ❹ 強化学習編」を読んで強化学習について理解した内容を書いています。1章 バンディット問題 強化学習が他の学習と大きく異なる特徴は、エージェント(ロボットなど)が環境との相互作用の中で学習すること。 2章 マルコフ決定過程 3章 ベルマン方程式 4章 動的計画法 5章 モンテカルロ法 6章 TD法 7章 ニューラルネットワークとQ学習 8章 DQN 9章 方策勾配法 10章 さらに先へ ※強化学習について自分なりの解釈 強化学習は、人間が試行錯誤で色々な行動を試しながら、結果が良かった(成功した)行動は継続して、結果が悪かった(失敗した)行動は繰り…

はじめに 株式会社GROWTH VERSEの代表取締役CTOの南野です。この記事では、AIを中心とした弊社の成長戦略を紹介したいと思います。 GROWTH VERSEについて GROWTH VERSEの事業内容 弊社は、デジタルマーケティングの最先端を行くエンタープライズ向けソリューション「GROWTH AI Platform」を提供する会社です。また、事業領域としては以下の三つになります。 データ収集エンジンを含んだデータ基盤 マーケティングオートメーションツール AIソリューション データ収集エンジンを含んだデータ基盤は、企業が保有するさまざまな顧客データを収集・統合し、一元的に管理・分析…

人間の脳がそれをしているからオレはそれに興味があるんですよ 機械単体だったら興味ないけど モデルというかんがえかた 形式ーをまねる 脳が言葉を処理して記憶して活用して使い方を考えて組み合わせを考えて他の人の言葉をつかってるのをきいてまねて考えて組み合わせて他人に対してそれを発したときのリアクションからまた言葉のよりよいつたわりやすい意図に即した使い方を考えていく のが人間であったらそれをモデルとしてつくったのが 人間のフィードバックから強化学習した対話AI＝ChatGPT なわけであります 以下そういうのとかその他のひろいもの学習するとかPDF ChatGPT人間のフィードバックから強化学習し…

私たちがメタファー（比喩）をするのはわかり易いからだ。何かにたとえることによって、もっと深く表現できるからだ。和歌などはこのメタファーを多用している。 だから物事を理解する時にもメタファーを使うと理解が進む。そしてこのメタファーを突きつめたものがモデル。理論はモデル化できて応用ができる。 著作権の問題があるけど、この図が一つのモデル。そして、このモデルはＡＩのしくみを使った脳のモデル化となっている。 この脳のはたらきは、全て数式にできている。「教師なし学習」はヘッブ則によって定式化できる。ヘッブ則とは「同時に発火したニューロン間のシナプス結合は強められる」という現象⇨【教師なし学習とは？種類・…

AIにおける過学習の説明として，最も適切なものはどれか。 ある領域で学習した学習済みモデルを，別の領域に再利用することによって，効率的に学習させる。 学習に使った訓練データに対しては精度が高い結果となる一方で，未知のデータに対しては精度が下がる。 期待している結果とは掛け離れている場合に，結果側から逆方向に学習させて，その差を少なくする。 膨大な訓練データを学習させても効果が得られない場合に，学習目標として成功と判断するための報酬を与えることによって，何が成功か分かるようにする。 解答・解説 (adsbygoogle = window.adsbygoogle || []).push({}); …

昔、時実利彦氏の「脳の話」という本を読んだ覚えがある。大脳前頭葉の働きの大事さを強調していたと思うが、「パブロフの犬の話」はこの本で知ったような気がする。根が単純なので、ここから入力と出力のブラックボックスの概念に行くのは自然だった。ところが、人間はそんな機械的と同じような脳を持っていないということに気がついて、ウｨーナーの「人間機械論」を読み直してみると、フィードバックという概念が書いてあった。フィードバックはＩＴ でも行っているので、もっと何かがあるはずだと思っていたら、オートポイエーシスという概念を知った。出力が同時に入力にもなるということ。でも、あまりわからなかった。そこからプロジェク…

前書き 多腕バンディット問題は強化学習のとても基本的な設定だが、そこにはすでに探索と知識利用のトレードオフが存在しており、そのバランスをいかに取るかを見ることができる。MCTSなども各ノードでの行動選択はほぼ多腕バンディット問題そのものなので、これができるようになると応用先は多い。 昨今では大規模言語モデル（LLM）に思考能力があるのだのないのだのいろいろ言われている気がするが、個人的にLLMが多腕バンディット問題に適切に対処できるかどうかは、一つ確認しておくべきことなのではないかと思う。広い意味で試行錯誤の挑戦をしたり、過去の行動から良い方針を決めたりすることがそもそもできそうなのかどうかを…

前にChatGPTなどのLLM（大規模言語モデル）を使って小さなゲームを作るのはまだ難しいのでは、という記事を書いた。 ChatGPT を用いたゲーム考案の方法はいくつか考えられるが、ChatGPT に新しいゲームを考えさせ、それを実装させることは難しい。少なくとも現状の ChatGPT には、以下の課題があるように思える。 ChatGPT に、実装可能なアルゴリズムのレベルまで詳細化された、新しいゲームのアイデアを考えさせるのは難しい。 ChatGPT は、今までにない新しいアルゴリズムを、ソースコードとして実装することを不得意としている。 GPT-〇〇 になればこの辺の問題は解決される？ …

主に一般向け製品やサービスを提供している企業等からのリリース、お知らせを不定期に収集しています。対象企業は徐々に数を増やしていく予定です。キャンペーン情報、イベント情報等の関連する情報も掲載しています。 ランキング参加中インターネット グリー 2024/04/12 FIRST STAGE PRODUCTION EN、第2期男性タレントオーディションを開催 REALITY Studios株式会社（本社：東京都港区、代表取締役社長：杉山 綱祐、グリー株式会社100％子会社、以下「REALITY Studios」）は、運営する英語圏向けVTuberタレント事務所「FIRST STAGE PRODUC…

いいこと思いついた！って瞬間とか、そのアイデアが本当にすばらしいものか自分の頭の中でチェックして、本当にうまくいきそうだ！と思える時間。そういう時に、ある種の、神経の滾りのようなものを感じることはあるだろうか？それは幻覚だ。 Claude3 Opusにこのブログを読ませて読みやすくさせたものがこれなので、これだけ読んどけばいいと思います。6000文字くらいあるし、他人が素手で書いた文章は不衛生ですからね。 ブログ記事を読ませていただきました。非常に興味深い内容だと思います。機械学習やAIを用いて革新的なアイデアを生み出す方法について、いくつもの重要な視点が含まれていました。 記事の内容をもう少…

ここで言及されている、舐めてるNYT日本特派員。恐らく2002年1月2日付のJames Brooke。なお「日本でマンガが人気なのは低識字率のせい」は批判されて訂正されてた→「うちは普通の新聞じゃなく、NYタイムズだよ？なんで明日、宮崎駿にインタビューできねぇの？」https://t.co/0AE7FF7haw— dragoner@2日目東サ46a (@dragoner_JP) 2024年4月10日 PostgreSQL開発コミュニティは、SQLの発音は「シーケル」ではなく「エスキューエル」であると決定しました。https://t.co/oZONwM3AVm— Tatsuo Ishii (@t…