過学習

まえがき GCPの認定資格であるProfessional Data Engineer（PDE）に合格したのでそのレポートを書く。 8月くらいにProfessional Cloud Architect（PCA）に合格してちょっと自信がついたのと、業務でBigDataを扱っているので、PDEもいけるんじゃね？と勢いで受験した。 受けてみて思ったのは、普段の業務とは異なる領域の問題が多く、結構つまづいたということ。 どなたかの参考になれば。 筆者のプロフィール データ分析基盤の開発・運用（4年くらい） Redshift / BigQueryがメイン 運用業務（マート作成ジョブの維持管理とか）がメイン…

機械学習を使った画像認識モデルの進化が止まりません。2019年以降に絞ってみても、EfficientNet, Big Transfer, Vision Transformerなど数多くのモデルが提案され、当時最高の予測精度が報告されてきました。そして最近になり注目を集めているのが、従来手法より軽量でかつ高精度なモデル：EfficientNetV2です。なんと、最近の最強モデルVision Transformerと同様の計算リソースを使って5倍から11倍高速で、かつ2%も高性能化に成功したと報告していいます。どのような手法を用いたのか、順を追って確認していきましょう。 原著文献はこちらからご参照…

AISTATS2021に採択された論文"The Spectrum of Fisher Information of Deep Networks Achieving Dynamical Isometry"について紹介します. AISTの唐木田亮さんとの共著です. この記事の筆者：富士通研究所人工知能研究所 早瀬友裕（博士 数理科学）

今日は、喋った。とにかく朝から晩まで喋った。去年の6月に喋った量の合計を優に超えたと思われる(仕事で喋った分はノーカンとしよう)。学科の知り合いと会って、偶然にも学科外の人にも出会って、ただ人と喋りまくった。 ※知能システムに興味ない人は後編いきましょう。 前編 午前は知能システムの復習をしてみた。知識は抜けまくっていて、機械学習が前提みたいな世界に飛び込むんだからやらなきゃダメじゃないかという気持ちになり、ひたすら同期と議論しながら復習した。 成果をノート的にまとめておこう。学習とは未知関数を既知の点群から推定することである。最初に教わる方法として、いくつかのパラメータを持つ関数(モデル)を…

概要 はじめに 問題設定 ChocoBallDetector開発手順概要 実装 環境構築 データ準備 前処理 学習 評価 学習/評価結果 学習 評価 学習と評価結果のまとめ まとめ 参考資料 概要 チョコボール画像を入力して、チョコボールの個数を自動計測するためのアプリです Faster R-CNNを使って、チョコボールを認識するためにファインチューニングしてます 26枚の画像で学習した結果、評価データの検出誤差が0（全て正しく検出）できた 以前書いた記事で掲載のコードに不足があったので、リファクタリングしたものです 【トップに戻る】 はじめに 当ブログでは、チョコボールのエンゼルの出現有無の…

以前にデータの前処理をしたものの続きです。CNNを使って画像の分類をします。 yaginu.hatenablog.com ライブラリーのインポート import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline import seaborn as sns from sklearn.model_selection import train_test_split import tensorflow as tf from tensorflow import keras import o…

みなさん、こんにちは！デジタルテクノロジー統括部に新卒入社した長谷川智彦です。 データサイエンティスト未経験の新卒社員がデジタルテクノロジー統括部でどんなことをやっているのか、どのように成長していくのかの学びの過程を記録していくこの企画。今回はPytorchで実際に簡易的なNNモデルを作成したいと思います！ 前回の記事では、AIってどういうものなのかやニューラルネットワーク（以下、NN）の概要に関してざっくりと書かせていただきましたが、今回はそのNNを実際にPytorchコードを交えながら見ていきたいと思います！ コードは小川 雄太郎著 『つくりながら学ぶ！深層強化学習 Pytorchによる実…

はじめに 学習 汎化性能を最も良くする仮説 学習で得られる仮説とベイズ規則、その誤差の比較 バイアスとバリアンス

はじめまして，インターン生の三澤遼です。本記事では，BERT以降の事前学習済みモデルを体系化し，主要なモデルについて解説します。TransformerやBERTについて事前知識があると理解しやすいと思います。 BERT以降のNLP分野の発展 学習方法の改良について 事前学習 Masked Language Modeling 改良版Masked Language Modeling RoBERTa (2019-07) Translation Language Modeling XLM (2019-01) Sequence-to-Sequence Masked Language Modeling T…

科目レビューという名の自分語り。 「自分語り」とは、聞かれてもいないのに自分の過去の話や、自慢話など止め度なく自分について話し続けること。 経緯は割愛しますが、単位に下駄を履いて入学したので初年度からDS専門科目を取りました。 対象5、6セメの科目を取っています。 どうしてこの中から選ばないといけなくなったのかも長くなるので割愛します。 レビューする科目は以下の3つです。 ＜前期＞ ・機械学習入門 ＜後期＞ ・シミュレーション技法 ・質的データ解析 ・機械学習入門 河本先生と一緒にお仕事をされていた大阪ガスの河村さんという方のお話を数年前に聞いたことがあり、大学に行ったら（行ってないけど）河本…

Probabiistic Machine Learning: An Introduction (Murphy) のドラフト(2021 Mar 8)をちろちろ読んだ感想を書き溜めてく。 1章 Introduction - 確率的アプローチを取る理由 1. 不確実性の元での決定にたいする効率的なアプローチ - 意思決定するのは人間である前提? (機械がするなら確率じゃない、Energy based modelのほうが良さそう) 2. 確率的モデリングは色んな分野で使われた統一的なフレームワーク - 帰納バイアス Foundation 2章 Probability: univariate model…

はじめに 昨年度とのゲーム性の違い 昨年のルールでの検討 一手目 二手目 三手目以降 今年のルールでの検討 三手目、四手目 少しマップを一般化した検討 決勝で使われたマップでよりうまく動く戦法 今回の提出AIの反省 おわりに はじめに 先日Postmortemとして投稿したSamurAI Codingについてですが、そのゲーム性についてもう少し検討したいと思います。以下文体が敬体ではなくなりますが、今回は私の脳内の再現ということでご理解のほどお願いいたします。 SamurAI CodingのPostmortemはこちら montplusa.hatenablog.com 昨年度とのゲーム性の違い…