過学習

ソースの説明 ソースは【Python自前実装】曲線フィッティングがベースなので、そちらをご一読ください。 リッジ回帰 リッジ回帰は以下の目的関数を最小化する回帰のことで、過学習を防ぐことができます。 # リッジ回帰(L2正則化)のモデルを作成 ridge_model = linear_model.Ridge(alpha=np.e**(-18)) # 学習する ridge_model.fit(Phi, t) 過学習 リッジ回帰と比較するために正則化無のモデルも学習しています。 # 線形回帰(正則化無)のモデルを作成 model = linear_model.LinearRegression() …

どうも、かわばっちゃんです。 今回はAIの過学習について説明します。 過学習とは 例えば、猫の画像を大量に覚えさせることで、猫の画像を読み込ませた時に、猫だと判断させるAIを作りたいとします。 色々な猫の画像から特徴を覚えさせることで、幅広い種類の猫の画像から猫と判断させることができると最高の状態とします。 ただ、画像を大量に覚えさせると、幅広い範囲の猫を認識できるようになるというより、むしろ範囲が狭くなります。 覚えさせた猫の画像の特徴と一致する物だけを猫と認識してしまうようになり、それ以外の猫は猫だと認識されません。 学習しすぎて、予測モデルの範囲を狭めてしまうような、この現象を過学習と呼…

現在ピクシブ大百科記事ではKFPの問題点の大部分が削除され、「アンチによるKFP関係者への誹謗中傷やデマ」という内容に大幅に改変されています。改変が行われる前の内容を記載しています。 (function () { "use strict"; var limit = 5, cnt = 0; Sentry.init({ release: "pixpedia@" + "2023.04.12.18.26.57", dsn: 'https://fb24fbdb43ba4b6c9fb757c2a6e420c2@errortrace.dev/18', shouldSendCallback: function…

PyTorch で時系列データを学習させてみたかったので，このサンプルを参考に，long short-term memory (LSTM) cell を使った，Recurrent neural network を作成し，ある区間の sin 関数を学習させて，その続きを予測させてみました． sin 関数は，振幅と周波数と位相の3個のパラメータがありますが，参考にしたサンプルは位相のみを変化させた学習データを用いていました．もう少し凝った学習ができるのか興味があったので，振幅も変化させることにしました． 教師データの作成 import numpy as np import torch np.ran…

AとCの2完。失敗したとかじゃなくて順当にこの順位。セットとの相性という意味では運もあるけど、内容がもう順当としか言いようがない。証明ができないから競プロができない。 A - Sum equals LCM 最小公倍数は1が単位元。とりあえず大きい数を考えると、素数はその素数が必要で2個以上の和だから等しくならない。素数でないならできる？サンプルの4ができないのは2+2=2*2だからかと思ったけど、あとで8もできないことに気づいた。2と4の最小公倍数は8じゃなくて4だ。素因数が2種類あれば、最小でも2と3だし、和より積のほうが大きくなる。足りないところは1を足せばよい。素因数が1種類のとき、その…

元々が自炊中心、あまり外食はしない生活スタイルだった。自炊すると、自分の調理レベルが基準となるため、出されたもの次第では「このレベルでこの値段…」という感想を抱くことも多々ある。 結果、よほど食べてみたいと思える料理でもない限り、食事自体を目的とした外食に出かける機会は減る。そして外食に、食事以外の価値を見出すことになる。端的に自炊の手間を省きたかったり、本を読みたいとか、勉強したいとか、長居する口実としての食事注文だったり。 それが新型コロナ流行の生活へ過学習的に適応した結果、そのような外食ですら無駄に感じられるようになり、ますます外食する機会は減った。三連休の中日で、生活リズムがずれてしま…

はじめに ヤバいよ、マジヤバいよ1。nikkieです。 9月のみんなのPython勉強会のレポートです。 クラウドがテーマの回だったのですが、（スタッフ）参加後の私の脳内は「Hugging Faceがヤバい... ヤバいよ...」となってました 目次 はじめに 目次 勉強会の概要 Postmanで始めるAI・機械学習プラットフォームHugging Face 強化学習基礎の基礎とAWS DeepRacerはじめの一歩 LT「ChatGPT in SlackでAI Slackbotを楽しく運用する」 拙LT「Pythonイベントインフォメーション（9月版）」 終わりに P.S. 紹介された書籍 勉…

エポック (Epoch) トレーニングデータセット全体がニューラルネットワークを1回通過することを指します。 エポックの数だけ、ネットワークはデータセットを通過します。 エポックが多すぎると、過学習のリスクが高まる可能性があります。 覚え方 「世代」や「年代」という意味も持っているので、「全体のデータセットが一世代を終える」と覚えると良いです。 イテレーション (Iteration) ミニバッチごとの前方および後方の伝播を指します。 例: 10,000のサンプルを持つトレーニングデータと、ミニバッチのサイズが100の場合、1エポックあたり100回のイテレーションが必要です。 覚え方 「反復」と…

I. はじめに ChatGPTの成功の背後には、 優れたトレーニングプロセスと高品質のデータセットがあります。 この記事では、ChatGPTがどのように訓練され、 どのようなデータセットが利用されているかについて詳しく探ります。 II. ChatGPTのデータセット ChatGPTの訓練には、多くの異なるデータセットが使用されています。 これらのデータセットには、ウェブ上のテキスト、書籍、雑誌、 会話データなどが含まれます。 訓練に使用されるデータセットの質と多様性は、 ChatGPTの性能に大きな影響を与えます。適切なデータセットの選定が必要です。 III. ChatGPTのトレーニングプロ…

各サンプラーの意味とかがなんとなく分かりたくて書いたものです。SDEやODEの導出に関する話はでてきません（分からんし）。 拡散過程の定義 サンプラーによって使われている文字の意味が違うので、ここでは文字をあわせていいきたいと思います。そのため論文の式そのままにできないので間違っている可能性があります。 拡散過程は分散保存型と分散発散型の二種類に分かれています。 分散保存型 元の画像を弱めながらノイズを加えていく方法です。 二つの係数の二乗和をとると1になります。つまり分散がどの時刻でも固定されます。この拡散過程は以下のようにを単独でサンプリングすることができます。 ここで、です。この説明には…

たまには物凄い偏見を語ってみましょう。 個人的な見解として、声を荒らげる人は大抵の場合で仕事ができないと思っています。少なくとも技術屋で声を荒らげる人の仕事の能力は一切信用していません。 そんな個人的偏見を述べていきます。 暴力が何故禁止されているか 人が声を荒らげる理由は簡単で、我意を通すためです。 人が他者に対して自らの意を通す方法には様々なやり方や技術があります。恐怖喚起アピールやフット・イン・ザ・ドアなど、心理学や営業界隈で用いられている用語は聞いたことがあるでしょう。 声を荒らげることもその内の一つです。技術によって他者の心理的抵抗を回避・低減するのではなく、恫喝によって他者の心理的…

Newton 2023年10月号作者:科学雑誌Newton株式会社ニュートンプレスAmazon Chat GPTの教科書 監修・松尾豊 Transformerは、単語同士の意味の近さをベクトルの内積で表現する うーん、概念としては分かるけど、わからん まあそれはそれとして、Transformerは、画像生成AIにも使われているし、AlphaFoldのようなタンパク質の立体構造解析AIにも使われている、と。なるほど。 もともとニューラルネットは、脳の仕組みを模倣したものだけど、一方で、独自の進歩を遂げてきたので、ディープラーニングとかはもう脳とはあんまり似てない、とも言われている。しかし、最近T…

以前の記事でkohya_ssの各パラメータについて解説しました。 hoshikat.hatenablog.com 別に万人向けの有益な情報として書いたつもりはなかったんですが、最近になってこの記事へのアクセスが多くなってきたため、需要はあるのかなあと思う一方、進歩の著しいkohya_ssの最新バージョンから見ると数カ月前に書かれたこの記事は情報が古い部分もあります。 そこで今回は、kohya_ssの前回から変わった部分を補足解説していこうと思います。 今回解説するkohya_ssのバージョンはv21.8.8です。 kohya_ssの基本画面 追加学習タブ Utilitiesタブ Aboutタブ…

はじめに はじめまして。データ戦略室データエンジニアリンググループの柳澤です。 昨年の7月に入社してからあっという間に1年が経ってしまいました。 簡単に自己紹介しますと、私は元々受託開発系の会社でWebエンジニアとしてエンジニアのキャリアを開始し、3年間Webアプリ開発やネイティブアプリ開発に従事した後、レバレジーズに入社しデータ戦略室にやってきました。 思えばデータ戦略室に来たときはデータエンジニアの仕事そのものよりも、仕事を通してインフラエンジニアや機械学習エンジニアの方向にスキルの幅を広げたいという思いが強かった気がします。 そんな私も、今ではすっかりデータエンジニアリングの奥深さに魅了…