early_stopping

｢​｣

だいぶ久しぶりの記事です。前回記事から、MBA合格・渡米・入学・就職といろいろありました。 RでもNerural Networkがしたい！ 論文でNeural Networkでモデルの推定をするにあたり、Torchを使いたい。しかし、PyTorchは（当然ながら）Pythonしか対応していません。授業の課題で書いたコードも全部Python。授業のコードを見ると、Pythonだと変数が多くてコードが読みにくいんですよね。 しかしなんと、最近はRでもtorchが使えるらしいじゃないですか 英語では結構文献があります。パッケージのオフィシャルサイトとCRANへのリンクを貼っておきます。 CRAN O…

PyTorch に慣れるためにコードをたくさん読み書きしていきたい。 今回は MNIST データセットを使ってシンプルな AutoEncoder を書いてみる。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 14.5 BuildVersion: 23F79 $ python -V Python 3.11.9 $ sysctl machdep.cpu.brand_string machdep.cpu.brand_string: Apple M2 Pro $ pip list | egrep "(torch|matplotlib…

ニューラルネットワークのことが何も分からないので少しずつでも慣れていきたい。 そのためには、とにかくたくさんのコードを読んで書くしかないと思う。 一環として、今回はこれ以上ないほど簡単なタスクを解くコードを書いてみる。 具体的には、シンプルな MLP (Multi Layer Perceptron) を使って Iris データセットの多値分類タスクを解く。 実用性はないけど PyTorch のやり方は一通り詰まっている感じがする。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 14.5 BuildVersion: 23F79…

この記事について バックグラウンド 本業はTypeScriptを主に書いているWebエンジニアで社会人5年目。副業ではデータサイエンティスト/機械学習エンジニアをやっていてこちらも5年目。 この記事を書いた理由 最近読んだ「科学的根拠に基づく最高の勉強法」という本の中に、「思い出す頻度が高ければ高いほど定着する」という話があった。 なので、読んだ本の内容を思い出し定着させるきっかけとするためにこの記事を書いている。 科学的根拠に基づく最高の勉強法作者:安川 康介KADOKAWAAmazon 紹介する本のラインナップについて 統計や機械学習の理論をガチガチにするのは難しいと判断して、理論寄りの書…

こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇です（@catshun_）。 本記事では LLM を用いたエージェントシステムの基盤となる「計画実行機能」について、ユーザ要求を構成的に分解して立案されたタスク系列（＝計画）を並列実行する LLM Compiler (Kim+'23) について紹介します。 Kim+’23 - An LLM Compiler for Parallel Function Calling arxiv.org

何かというと、この論文。 https://arxiv.org/pdf/2102.04861.pdf 以下のサーベイ論文で、RSMEが非常に小さいとして取り上げられていた。 Zexin Hu, Yiqi Zhao and Matloob Khushi "A Survey of Forex and Stock Price Prediction Using Deep Learning" (2021) https://arxiv.org/ftp/arxiv/papers/2103/2103.09750.pdf It was clear that paper [71], [75] achieved th…

概要 CNNを用いて、pngのキャラクター画像から多項分類をしました。画像関連の勉強のため。 対象は、Palworld, Pokemon, Dragon Quest, Digital monster, Yokai-watch 経緯 ここ1年半ほどポケモンにはまっています。初代の赤緑と2代目の金銀を小学生の頃にプレイして以来、しばらく離れていましたが、最近娘と一緒にSVをプレイし始め、それをきっかけに（独りで）アルセウスをプレイしたり、ポケモン関連のYouTube動画を視聴する毎日を過ごしています。 そんな中2024年1月にPalworldが発売される前後から、キャラクターがポケモンに似ていると…

はじめに 成果 参考記事からの変更点 環境 環境設定 データセットの構築 トークナイザー準備 事前学習 学習用のパラメータの設定 事前学習の実行 推論 モデルをhuggingfaceにアップグレードする ライブラリのインストールとログイン モデルのアップロード はじめに LLMの精度検証を各モデルをやっていく中で自分でも事前学習モデルを作ってみようと思ったので、いろいろと調べて作ってみました 今回は以下の記事で事前学習モデルの作成用のColobが公開されていたので、こちらを使用します。 zenn.dev また上記の内容を細かくZennにまとめられているので、詳細を知りたい方は以下の記事をご覧く…

実はまったく初めてというわけではないけど、いつもコードを書いて「なんかうまくいかないな」となりつつ、修正方法がわからずそこで終わることが多かった。というわけで MENTA に課金してやり方を教わりつつ進めた。 お題 summary data prep step 2: 一回これでやってみる step 3: data prep v2 step 4: もう一回学習 まとめ model loss function early stopping について data prep その他 お題 こういう感じで、「¥10,000」とある画像から「¥」の部分を切り抜く ... というのをお題にした。もともと別のお…