→ディープラーニング
週末株式会社です。 DeepSeekのAIモデルは、よくできているように見えるが、奇跡的とまで言えないのではかいか。 普遍的なこととして、どんな技術も、それが世の中に必要とされるものであるならば、その技術は、必ず模倣され、より低コストで、より効率のよいものに取って代わられるものです。 例えば、IBMのスーパーコンピューター「ディープ・ブルー（Deep Blue）」がチェスの世界チャンピオン、ガルリ・カスパロフを破ったのが1997年。その後、AIは将棋でも名人を破り、DeepMindの開発した囲碁AI「Alpha Go」は囲碁の世界チャンピオンにも勝利した。 AIは、自身が有する特徴である・機械…
こんにちは。私は情報系の学部4年生（院進学予定）です。研究室では主に数理統計の理論について取り組んでいます。そんな私が、Kaggleで開催されていた脳波（EEG）データを扱う「HMSコンペ」で奇跡的に入賞し、初めてメダルを獲得することができました。当時の取り組みを振り返りながら解法をまとめたいと思います（初めてモンストでイザナミを倒せたときの興奮を思い出しました）。 はじめに 背景・自己紹介 学部：情報系（B4 → 院進学予定） 研究室：数理統計メイン（理論中心） Kaggleでの基本的な戦略 フルスクラッチは難しいので、公開ノートブックやディスカッションを参考にする。 少しだけ改変できそうな…
はじめに Chief Research Officer (CRO) の岡本です。 2024年のノーベル物理学賞は、「人工ニューラルネットワークを用いた機械学習を可能にする基礎的な発見と発明」に対して、ホップフィールド先生とヒントン先生に贈られました[1]。 ヒントン先生の業績は、誤差逆伝播法、畳込みニューラルネットワーク、深層学習等で大変よく知られたものであると思いますが、ホップフィールド先生の業績、とくにホップフィールド型ニューラルネットワークについては、あまり知られていないかもしれません。 本稿では、ホップフィールド型ニューラルネットワークについて紹介していきたいと思います。 階層型ニュー…
◯AIでの映像に音声メッセージ ディープフェイク、訳すと、深層学習偽物でしょうか。 病気で声を失った人の声が蘇るとか、 亡くなった人の声を再現、 これまでの録音ではなく、 新たにつくることができるなど、 そのメリットは、これまでも 取り上げてきました。 音声、画像、映像制作での偽造、 その著作権などによる問題も難しいところにあります。 ネット上では、個人使用ではいうまでもなく、 それ以外でも、乱用されています。 もう映像、音声もそのまま、信じてはいけない時代となったのですが、 まだ私たちの意識は、それに対応できていません。 見たものを切り取られたものを信じてしまうのです。 ずれやノイズがありま…
深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon はじめに 系列データ RNNとLSTM RNN RNNの構造 RNNの誤差逆伝播 LSTM LSTMの構造 LSTMの誤差逆伝播 RNNとLSTMの更新式の比較 結論 補足：誤差逆伝播の更新式導出に用いた命題の証明 はじめに 株価の変動や文章のような系列データを扱う深層学習モデルに、RNN（Recurrent Neural Network）とLSTM（Long Short Term Memory）があります。RNNは、系列データを扱う基本的なモデルの一種ですが、学習の際に勾配消失が発生しやすく、層を多…
gihyo.jp 上記を読んだところめっちゃ良かったので感想として残しておきます。 自分の場合1回読んだから終わりというより度々振り返りで読み直すことになりそうです。 どんな本？ DNNの高速化（=効率化）という切り口で実装から理論的背景（あれば）まで網羅している本 比較的最近のトピック（モデルマージ）にも触れている 他には生成モデルやLLMで扱われがちな高速化についても触れられている Flash Attention とかも記載されてる 「推論のしくみから紐解く高速化の原理」とあるが学習面についても記載されてる 何が良かったの？ 各背景や実装の手間についても触れているところ 高速化のトレードオ…
こんにちは、データサイエンティストの髙橋です。業務では企画/分析/機械学習モデル作成/プロダクション向けの実装/効果検証を一貫して行っています。 この記事では類似画像検索システムを内製化したことで、既に社内で利用していた他社製のものと比較して精度を維持しながらコスト削減が実現できたことについて紹介します。 なお、類似画像検索システムの機械学習部分とシステム開発部分（GCP を利用した処理の高速化）との2つに分けて紹介します。今回は前者の機械学習部分についての記事となります。 内製化の目的 内製化による事業インパクト 内製化成功のポイント BUYMA における類似画像検索の課題 類似画像検索方法…
前回は，「思考力」という言語のイメージを紹介しましたところ，多くのアクセスを頂き感謝いたしております． 佐賀大学の角先生にもご説明したところ，「国語や算数など，具体的な事例が欲しい」ということでしたので，最後に少しだけ考えてみたいと思います． 今回は，博論のp17 L9～p19 L7までを，簡潔にまとめてみます． 【研究の意義】 ①確かな学力の本質は，獲得した知識や既存の知識が連携して新たな知識になることが重要． ②従って，獲得した知識を概念化するプロセスを学習過程に位置付けることが必要． ③しかし，児童・生徒が知識を概念化したプロセスは客観性に欠けることもあり，さらに再構成し，他者の納得を得…
TL;DR NTTドコモ R&Dチームはデータ分析のトップカンファレンスであるACM KDD主催のデータ分析コンペKDDCUP2024 に参加し、Open Academic Graph (OAG) Challenge部門のTask3 Paper Source Tracing(PST) コンペにおいて 8位に入賞しました。 PSTコンペは、論文引用関係のグラフデータを用いて、論文が引用している複数の引用論文を元論文に影響を与えた度合い順に並び替えるタスクになります。 ドコモチームの解法では2ステージモデルを採用し、SciBERTモデルと複数の2値分類モデルをスタッキングした手法を実装しました。手…
ニュートン式 超図解 最強に面白い!! 人工知能 ディープラーニング編 1. 人工知能が広げる私たちの未来 2. ディープラーニングで変わるAIの能力 3. 社会へのAI導入によるメリットと課題 4. 「ニュートン式 超図解 最強に面白い!! 人工知能 ディープラーニング編」書籍紹介 1. 人工知能が広げる私たちの未来 医療診断や自動運転、企業での採用活動まで、人工知能は急速に私たちの生活に取り入れられています。 かつて、人工知能（AI）はSFの領域とされていましたが、いまや私たちの生活の基盤にまで深く関わるようになっています。 この技術は日々進歩し、従来のAIの限界を超え、ディープラーニング…
ledge.ai
speakerdeck.com
www.slideshare.net
speakerdeck.com
pc.watch.impress.co.jp
ch.nicovideo.jp
komi.hatenadiary.com
note.com
qiita.com
