過学習

どうも、かわばっちゃんです。 今回はAIの過学習について説明します。 過学習とは 例えば、猫の画像を大量に覚えさせることで、猫の画像を読み込ませた時に、猫だと判断させるAIを作りたいとします。 色々な猫の画像から特徴を覚えさせることで、幅広い種類の猫の画像から猫と判断させることができると最高の状態とします。 ただ、画像を大量に覚えさせると、幅広い範囲の猫を認識できるようになるというより、むしろ範囲が狭くなります。 覚えさせた猫の画像の特徴と一致する物だけを猫と認識してしまうようになり、それ以外の猫は猫だと認識されません。 学習しすぎて、予測モデルの範囲を狭めてしまうような、この現象を過学習と呼…

tanuki- 2022-06-27 nnue-pytorch halfkp_1024x2-8-32 実験内容 nnue-pytorch を用いた学習で、 halfkp_1024x2-8-32 を用いて学習し、レーティングを測定する。 棋譜生成 生成ルーチン tanuki-棋譜生成ルーチン 評価関数 水匠5 FV_SCALE=16 1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード 開始局面 foodgate の 2020 年～ 2021 年の棋譜のうち、レーティング 3900 以上同士の対局の 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした ランダ…

グラフを見ていて気付いたのですが、どうやら過学習を起こしているようです。以下は前回の結果を一部拡大したグラフです。この学習は10万局面分のデータ毎に行っていて、横軸の数字5、6、７・・・と書かれているところが学習データの切り替えタイミングになります。5から6の間は、用意したデータの50万局面目～60万局面目の10万局面分のデータを使い、6～7の間は用意したデータの60万局面目から70万局面目のデータを使うという具合です。本当は全データをシャッフルさせて万遍なく学習させた方が効率は良いと思います。ですが、今後勝率データをブラッシュアップさせていくことを考えると、学習データを限定することに意義があ…

まぁこれが… こうですからね。

いい加減時代の潮流に乗ろうということで機械学習を学びたいと思う。またRはともかくとしてPythonは未経験であるため、丁度良い書籍として統計的機械学習の数理100問 with R (with R) (機械学習の数理100問シリーズ)作者:讓, 鈴木共立出版Amazon統計的機械学習の数理100問 with Python (機械学習の数理100問シリーズ)作者:讓, 鈴木共立出版Amazonを用いることにする。 前回 7. 決定木 7.1 回帰の決定木 7.1 回帰の決定木における論点 7.2 分類の決定木 7.3 バギング 7.4 ランダムフォレスト 7.5 ブースティング 7.6 Rによるシ…

お気付きの点がありましたらご指摘いただけますと幸いです。 Overfitting - Wikipedia（2022年6月20日参照）. model selection - Why isn't Akaike information criterion used more in machine learning? - Cross Validated（2022年6月20日参照）. Can the BIC be used in neural nets despite its large no. of parameters? - Cross Validated（2022年6月20日参照）. How to…

昨日の復習も終わった 21 8×8のチェックボード配列(市松模様)をtile関数を用いて作成する。 np.tile関数：配列を複製してタイル状に並べた新しい配列を生成する関数 numpy.tile(A, reps) reps:intのタプル;どの軸方向に何回配列を繰り返すかを指定 z = np.tile(np.array([[0,1],[1,0]]),(4,4)) 22 5*5の乱数の行列を正規化する 正規化：機械学習の際に過学習を防ぐ際に行われる重みを小さい値に保つ方法 スカラ値の四則演算はすべての要素に対して行われる 23 色を四個の符号なしバイト型（RGBA）で表現するカスタムdtype…

Layer (type) 層の種類 Output Shape Param# Connected to まとめ 参考サイト kaggleを使っていると（お手本コードの写経）、最終的にこんな感じの結果を得られるのだが、見方がわからないので、画像に出てくるキーワードがなにを指しているのか、調べた内容をまとめておこうと思います。 パッチワークのように、つぎはぎを合わせた知識なので、あっている保証はありませんが。。 モデルのフィッティング後 Layer (type) （左）モデルの名前 （右）層の種類 層の種類 Input Layer（入力層） Embedding（隠れ層） GRU（ゲート付き回帰型ユニ…

ディープラーニングを支える技術 ——「正解」を導くメカニズム[技術基礎] (Tech × Books plus)作者:岡野原 大輔技術評論社Amazon 機械学習、特にディープラーニングの分野はとても変化が早く、もてはやされていた技術でもすぐに使われなくなったり、逆に論文で発表された直後にすぐに話題になりあちこちで使われたりします。 そういう進歩の激しい分野では本という形では技術を伝えるのが難しいと感じます。 本書は最近の話題も盛り込みながら、その中でも評価の固まりつつある技術を最近のものも含めもりだくさんに解説しています。 本書の対象は非常に幅広く、機械学習や深層学習について一通り知っている…

Deep Metric Learning系の論文を読んでいこうかなと思います。 Learning Fine-grained Image Similarity with Deep Ranking [1] この論文は有名なTriplet Lossが提案された論文です。CVPR2014で発表されました。 時の流れを感じる(´；ω；｀) 0. ざっくり説明 1. 導入 2. 主な考え 3. 定式化 4. Network Architecture 5. OptimizationとSamplinng 5.1 Optimization 5.2 Triplet Sampling 5.2.1 画像の選び方 5.…

こんにちは。 今回は先日のモデルに引き続き、ざっくりと最初のHololiveメンバー識別機を作ってみたのでそのことを書こうと思います。 まず今回作った識別機がどのように動くかの動画がこちらになります。 youtu.be 背景 教師データ収集 識別CNNモデル 学習 識別器 問題点 (adsbygoogle = window.adsbygoogle || []).push({}); 背景 今回識別器を作った理由としては最近流行っているHololiveのメンバーがどんどん増えていって覚えきれません。 しかし、サムネイル等には出てくるし、いちいち調べるのも面倒。 そこでAIを使って判定させてしまおう…

05/30(月) 日曜日は週記を投稿してからすぐ布団に入り、少しYouTubeを見て午前9時前に寝た。 いい感じの時間に起きて少し進捗を生んでからインターン先定例会に出席しようと思って、午後2時から30分おきに目覚ましをかけていた。一応意識は取り戻すものの布団から身を起こすことができずまたすぐ寝入ってしまい、気づいた時には午後4時半になっていた。飛び起きてオンライン会議に接続。ギリギリセーフだった。 先週の進捗は、ない。集中講義だったということで許してもらえないだろうか。そもそも自分で自分を許すべきではない気もする。これまで書いたコードが今、デプロイされたことによって自分の手を離れたところで動…

ちょっと諸々事情があって調整したモデルのサンプル見せられないですが、かなり自然な文章が出来るなと感じました アフィリエイト界隈で有名な文章の自動生成だと賢記玉とかいうのがあるんですが、雲泥の差というか出てくる文章のレベルが違います ツール記事作成【賢記玉】（けんきだま） 上のサイトにサンプルがあったんで引用するんですけど 優光泉効果、今回はデパートスーパーの味はメーカーなのか、実は先日私も楽天の妹に優光泉効果を、それ優光泉の優光泉が3つあります。エッセンシアと詰まっており、ネイルな優光泉のやり方として、優光泉の成分と効果とはどのようなものでしょうか。 一文単位で見ても正直崩壊してますよね。 そ…