ベイズ最適化

マテリアルズインフォマティクス に関する企業の技術レポート・解析内容を再現する。 はじめに 技術レポート内容 ベイズ最適化について3 *データ駆動型の材料開発における課題 目的 諸条件 データ 変数作成 前処理 変数選択 解析手法 解析の流れ コード 前準備）モジュールのインストール モジュールインポート データセットの準備 logS t-SNEによる可視化 いざ検証 結果の可視化 描画t-SNE を使ってプロットを二次元に写す 予測と検証のサイクルを可視化してみる 結果 ランダムに次の化合物を指定した場合 単純に予測値（の平均）が高い化合物を指定した場合 （EIが最も高い化合物を指定した場合…

先日（2021/2/3）公開のNatureにとても気になる文献がでました。 Shields, B.J., Stevens, J., Li, J. et al. Bayesian reaction optimization as a tool for chemical synthesis. Nature 590, 89–96 (2021). doi.org News&Viewsは無料で読むことができ、研究の概要をつかむことができます。 Machine learning made easy for optimizing chemical reactions Hein, J.E. Nature 59…

(Image by Pexels from Pixabay)今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、昨年はCOVID-19の影響で*1データ分析業界及び隣接分野の新刊書を読む機会が減ってしまいましたので、例年に比べてラインナップの変更をほとんど検討しないままでリストアップしている点、予めご容赦いただければと思います。 そして今回の記事では、これまで以上に「実務家向け」「実践的」であることを重視しています。そのため昨年までのリストに比べて大幅に刷新されているカテゴリもあったりします。また、末尾に僕なんぞが選ぶよりもずっと優れた推薦書籍リストへのリンクも付しておきました…

XGboostのハイパーパラメータ調整方法についてまとめた。 XGBoostの概要、ハイパーパラメータについては前回の記事参照。 今回検討したパラメータ最適化方法 ランダムサーチ グリッドサーチ ベイズ最適化 （ステップ）グリッドサーチ 以下コード 解析について 解析条件 解析流れ データの準備 ハイパーパラメータ調整なしの場合 ランダムサーチ グリッドサーチ ベイズ最適化 （ステップ）グリッドサーチ 参考）検証結果まとめ 参考 今回検討したパラメータ最適化方法 ランダムサーチ パラメータの候補となる値をランダムに選出＆組み合わせたモデルを作り、その中から最適なものを選ぶ方法。 パラメータ候補…

火曜日です． 明日からお仕事なのですが，3日だけなら耐えられるでしょうか？（いや，耐えられない）．今朝，起きてからプログラムをぽちぽち遊んでいました．副産物はこれです． 引き続き本も読みました．よくがんばれましたね（？） ウェブ最適化ではじめる機械学習 ―A/Bテスト、メタヒューリスティクス、バンディットアルゴリズムからベイズ最適化まで作者:飯塚 修平発売日: 2020/11/19メディア: 単行本（ソフトカバー） まとまっていてよい本でした． 夕方に軽くメガテン3をして，ユウラクチョウあたりを勧めました．また坑道ですね…．その後，買い物に行って準備です．冷蔵庫の関係であまり在庫を作れないので…

水曜日です． 完全に年の瀬という感じです．こちらの本を読み進めました．pymc3がうまくローカルで動かないといういつものやつをやりましたが…． ウェブ最適化ではじめる機械学習 ―A/Bテスト、メタヒューリスティクス、バンディットアルゴリズムからベイズ最適化まで作者:飯塚 修平発売日: 2020/11/19メディア: 単行本（ソフトカバー） 昼にはフライング気味に餅を食べました．後は掃除したりいろいろですね…（寒いです）．お買い物もしましたが，既に消費しています（スーパーお寿司を食べました，寿司は良いです）． 夕方はジョギング納めをしました．1/2からまたやっていく気持ちはありますが，寒波に負け…

マテリアルズインフォマティクス に関する企業の技術レポート・解析内容を再現する。 はじめに 技術レポート内容 ベイズ最適化について3 *データ駆動型の材料開発における課題 目的 諸条件 データ 変数作成 前処理 変数選択 解析手法 解析の流れ コード 前準備）モジュールのインストール モジュールインポート データセットの準備 logS t-SNEによる可視化 いざ検証 結果の可視化 描画t-SNE を使ってプロットを二次元に写す 予測と検証のサイクルを可視化してみる 結果 ランダムに次の化合物を指定した場合 単純に予測値（の平均）が高い化合物を指定した場合 （EIが最も高い化合物を指定した場合…

この記事は「データ構造とアルゴリズム Advent Calendar 2020」20日目の記事です。 19日目は@takilogさん; グラフ上の合流に関する問題とアルゴリズム , 21日目は@tmaeharaさんです。 概要 木探索と強化学習 バンディット問題 モデルベース強化学習 アルゴリズム 評価関数 UCB Crazy Stone AlphaZero MCTS疑似コード Selection: UCB score MuZero その他の応用 最後に References 概要 モンテカルロ木探索 (MCTS) は、木探索にモンテカルロ (ランダム) 要素を加味した評価関数を用いることで、…

ウェブ最適化ではじめる機械学習 ―A/Bテスト、メタヒューリスティクス、バンディットアルゴリズムからベイズ最適化まで作者:飯塚 修平発売日: 2020/11/19メディア: 単行本（ソフトカバー）こちらの書籍を著者の飯塚修平さんからご恵贈いただきました*1。テーマとしてはウェブ最適化即ちいわゆるUI/UX改善で、そのアプローチについて包括的にまとめた内容です。ちなみに本書は著者ご自身の修士・博士論文の内容に沿ったもので、いわば大学院での研究の集大成とも言えるものなのだそうです。 と書くと、いかにも「ガッチガチの研究」本に見えるかもしれませんが、引用されている事例などには一般のユーザー・消費者で…

おはようございますまたはこんにちはまたはこんばんは。カイヤンです。 本記事はIQ1AdCの8日目です。 IQ1AdCはみんなでIQ1なことを書くAdCです。毎年、IQ1なことを書いてきました。 今年は従来よりもっともっとIQ1な感じで行きます。 具体的には、学会参加報告をそのまま用います。 完全なる使いまわしですね。何でこうなったかと言うと、更新日当日になって存在を思い出して0時過ぎから書き始めたからです。私、怠惰ですね（古い）。 すなわち、聴講メモより上に書いてあることは、基本深夜テンションです。 IBIS2020参加報告 今回は国内最大の機械学習の学会であるIBIS2020の参加報告です。…

概要 2020年10月29日から30日にかけて、NTTのアクセスネットワークに関する見本市である「つくばフォーラム 2020 ONLINE」が、オンラインにて開催されました。 本記事は、つくばフォーラム 2020 ONLINEにおけるNTT展示について、展示タイトルのみを一覧記述した記事です。 通信技術の未来は、少なくともNTTが思い描く限りにおいては、以下に記載されているようなテーマの方向に向けて進化していくということのようです。 皆様にとって、何か興味のあるテーマが見つかりますように。 IOWN主要技術 IOWNを実現するアクセスNW技術の研究方針 アナログRoFシステム向け遠隔ビーム制御…

本記事では、回帰モデル（目的関数）の最小値もしくは最大値をベイズ最適化のライブラリ「GPyOpt」で探索する雛形コードを載せました。最適結果に加えて、最適解の探索過程の目的変数と説明変数の履歴もcsvファイルに保存する仕様です。 はじめに、回帰モデルを作成するには機械学習のフレームワーク「PyCaret」を用います。その雛形コードは次のリンク先です。Python 「PyCaret」ベストな回帰モデルを自動選定するautoml() - PythonとVBAで世の中を便利にする ここで作成されたベスト回帰モデルはオブジェクトファイルであり、例えば「best_model_201121.pkl」といっ…