過学習

株式会社神戸デジタル・ラボ DataIntelligenceチームの原口です。 前回は、構築したモデルをグラフ・正答率・混同行列を用いて評価しました！ もう一度内容を確認したい方は、以下の記事をご覧ください。 kdl-di.hatenablog.com 連載を最初から読みたい方は、以下の記事をご覧ください。 【第１回 基礎実装編】PyTorchとCIFAR-10で学ぶCNNの精度向上 - 神戸のデータ活用塾！KDL Data Blog 今回はAIモデルに「ひと手間」加えることで、過学習を抑制します！ 前回の問題点 Dropoutとは？ 過学習が起こる仕組み Dropoutの仕組み いざ実装！ …

ソースの説明 ソースは【Python自前実装】曲線フィッティングがベースなので、そちらをご一読ください。 リッジ回帰 リッジ回帰は以下の目的関数を最小化する回帰のことで、過学習を防ぐことができます。 # リッジ回帰(L2正則化)のモデルを作成 ridge_model = linear_model.Ridge(alpha=np.e**(-18)) # 学習する ridge_model.fit(Phi, t) 過学習 リッジ回帰と比較するために正則化無のモデルも学習しています。 # 線形回帰(正則化無)のモデルを作成 model = linear_model.LinearRegression() …

どうも、かわばっちゃんです。 今回はAIの過学習について説明します。 過学習とは 例えば、猫の画像を大量に覚えさせることで、猫の画像を読み込ませた時に、猫だと判断させるAIを作りたいとします。 色々な猫の画像から特徴を覚えさせることで、幅広い種類の猫の画像から猫と判断させることができると最高の状態とします。 ただ、画像を大量に覚えさせると、幅広い範囲の猫を認識できるようになるというより、むしろ範囲が狭くなります。 覚えさせた猫の画像の特徴と一致する物だけを猫と認識してしまうようになり、それ以外の猫は猫だと認識されません。 学習しすぎて、予測モデルの範囲を狭めてしまうような、この現象を過学習と呼…

moun45.hatenablog.com 機械学習モデルを訓練する際によく遭遇する問題の1つが、**過学習（Overfitting）**です。過学習は、モデルが訓練データに過度に適合し、未知のデータに対する汎化性能が低下する現象です。この記事では、過学習の原因とその防止方法について説明します。 過学習の原因 モデルの複雑さ: モデルが複雑すぎると、訓練データに対して過度に適合してしまう可能性があります。たとえば、多層ニューラルネットワークのような複雑なモデルは、小さなデータセットでは過学習しやすい傾向があります。 訓練データのノイズ: 訓練データに含まれるノイズや外れ値が、モデルの学習を歪め…

これらの用語は、機械学習モデルの性能評価や改善に関する概念です。それぞれについてわかりやすく説明しますね。 汎化性能（Generalization Performance） 汎化性能とは、機械学習モデルが新しいデータに対してどれくらい正確に予測できるかを示す性能です。モデルが学習データだけでなく、見たことのないデータにもうまく対応できることが重要です。 例: 模擬試験で良い点数を取れた生徒が、実際の本番テストでも良い点数を取れるようなことです。それができれば、その学習方法が「汎化性能が高い」と言えます。 汎化誤差（Generalization Error） 汎化誤差は、モデルが新しいデータに対…

これらの用語は、機械学習モデルの構築や評価のプロセスに関連しています。それぞれについて簡単に説明しますね。 ハイパーパラメータ（Hyperparameter） ハイパーパラメータは、機械学習モデルを学習させる前にあらかじめ設定する値です。モデルの性能に大きな影響を与えますが、モデルが自分で学ぶのではなく、外から調整する必要があります。 例: 木を育てるために「どれくらいの量の水をあげるか」を決めるようなもので、水の量は育成に重要な要素ですが、木自体が学習して決めることはできません。それを人が調整する必要があります。 ランダムサーチ（Random Search） ランダムサーチは、ハイパーパラメ…

最近よくG検定を受験するという方を見かけるので、G検定の試験対策・勉強方法をまとめます。 私がG検定に合格したのは4～5年前ですが、少しでも参考になれば。 G検定とは 1冊目：超ざっくり概要を押さえる 2冊目：松尾先生の本 3冊目：公式テキスト 4冊目：いわゆる黒本 最後に5冊目：AI白書 G検定とは G検定（ジェネラリスト検定）の概要・シラバスはこちら。 G検定とは - 一般社団法人日本ディープラーニング協会【公式】 1冊目：超ざっくり概要を押さえる 私がG検定の勉強を始めたときには、AIに関する知識はほとんどなく、 「過学習？ディープラーニング？？ なにそれおいしいの」状態でした。 そのた…

拙著『深層ニューラルネットワークの高速化』が重版して第 2 刷となりました。皆さまありがとうございます！ 深層ニューラルネットワークの高速化 (ML Systems)作者:佐藤 竜馬技術評論社Amazon もはや恒例、重版に感謝して書き下ろし専門記事をお届けします。 本稿では、SNS などでもたびたび話題になるトランスフォーマーは RNN であるという話をします。本稿では単に形式的に包含性を指摘するだけでなく、トランスフォーマーと RNN はどの程度似ているのかや、そこから導かれる応用上の意味についても詳しくご紹介します。 本稿は『深層ニューラルネットワークの高速化』の第 6.3 節と第 7.…

概念の背後にある数学 抽象的思考に光を当てる機械学習https://t.co/OsMVHljbPf — tak (@tak_) September 18, 2024 昨日までに観測した本としぞう の 脇役に転生した俺でも、義妹を『攻略』していいですか? (ファミ通文庫) https://t.co/rOMZdt02Vf 読んでた人は、男子中学生D11 — tak (@tak_) September 17, 2024 昨日までに観測した本ななよ廻る の 玄関前で顔の良すぎるダウナー系美少女を拾ったら2 (角川スニーカー文庫) https://t.co/idJwzxbXVi 読んでた人は、男子中学生…

電気電子工学科（eeic2023）に所属する者です。院試を受ける過程で何をしたか、何を思ったかを書きます。受けたのは情報理工学系研究科電子情報学専攻です。以下、情報理工と略記することがあります。 4月 eeicの学生は工学系研究科電気系工学専攻*1と情報理工学系研究科電子情報学専攻*2を受験することが多いので、私もそうすることにしました。どちらを受験するにしろTOEFL iBTのスコアが要求されます。 周囲の動向から何となくTOEFLは4月までに受けておくと安全だということは分かっていましたが、4月になるまでは何もせず過ごしていました。 気づいたら4月になっており、慌てて申し込みました。自分が…

前回 shakayami.hatenablog.com 前回から1年以上経ったのでそろそろ情報を更新したい．4oにはあまり魅力を感じなかったが，先日出たo1をいろいろ試したのでそれの報告をする． AIを日頃から試している諸君なら知っていると思うが，生成AIは既出問題にやたら特化しているという特徴がある．そのためすでに有名になって学習用データに組み込まれているであろう大学の入試問題や数学オリンピックの問題で試すと能力値が高く出やすくなるので注意が必要である．そのため，数値設定を若干変えて試したりするとよいだろう．まあこの記事で検証する問題はネットにすでに出しているので学習データに含まれているかも…

目次 はじめに：ディープラーニングの世界へ ディープラーニングとは：機械学習の次世代技術 ディープラーニングの仕組み：ニューラルネットワークの深化 ディープラーニングの応用例：革新をもたらす分野 ディープラーニングの課題：技術の限界と倫理的問題 ディープラーニングの未来：AI技術の更なる進化 おわりに：ディープラーニングと共に歩む未来 はじめに：ディープラーニングの世界へ 前回の記事では機械学習の基礎について解説しました。今回は、機械学習の中でも特に注目を集めている「ディープラーニング（深層学習）」に焦点を当てます。ディープラーニングは、人間の脳の仕組みを模倣した技術で、画像認識や自然言語処理…

AHC018, AHC020にて、シュタイナー木は有効な手法であった。今回AHC036に参加した時も木が見えたし、行かなくて良い点もあったのでシュタイナー木を構築した。しかし、振り返ってビジュアライズしてみると、筋が悪かったことが分かる。 AHC036 visualizer sample 1にて、中央の点からPrim法による（ほぼ）最小シュタイナー木作成を行ったもの 赤い頂点：訪れる点 緑の頂点：訪れなくていい点 頂点の横の数字：中央の頂点からの距離 観察 AHC036の解説を見た人は知っている通り、中央からLBの距離で町にタッチしてそのまま中央に戻るのが強い しかし、シュタイナー木だと辺数は…

はじめに 統計検定1級や準1級に関する記事を書くようになって，改めて数理統計学の書籍を見返すことが増えた。自分が統計検定1級・準1級を受けるために参考にした書籍を紹介したい。 はじめに 基本方針 目指すべき状態は「その分野について説明できる状態」 ×「1冊だけ深く読む」 ○「複数冊を広く読む」 おすすめ書籍 基礎理解のための書籍 ★★★「新装改訂版 現代数理統計学」 竹村彰通 著 ★★☆「自然科学の統計学」 東京大学教養学部統計学教室 編 演習のための書籍 ★★★「現代数理統計学の基礎」 久保川 達也 著 ★★★「日本統計学会公式認定 統計検定 1級 公式問題集」 日本統計学会 編 ★★☆「日…

はじめに 条件付き平均処置効果を算出する因果推論コンペ等で良い成績を収めている手法としてBayesian Additive Regression Trees(BART)が有名です。 BARTについて名前以上のことを理解していないので、調べて簡単にまとめました。 arxiv.org

本記事について 機械学習システム設計の面接対策本である「Machine Learning System Design Interview」を読んだ時の読書メモです。 本書についての紹介記事は以下となってます。 nsakki55.hatenablog.com 本書の公式HP bytebytego.com 1. Introduction and Overview MLシステムデザインを行うためのフレームワークを作成 Clarifying requirements Framing the problem as an ML task Data preparation Model deployment …