皆さん、こんにちは。AnyTechの立浪と申します。 突然ですが、技術の進展は速いものですね。特に巨大テック企業は我々には使えないような莫大な計算リソースを使って、日々研究を進めています。羨ましい限りです。そんな莫大な研究リソースを手にしているGoogleから、「いまさらわかったの？もっと早くやってよ」と思わず言いたくなるようなTechnical Reportが出されました。この記事ではこの記事の内容についてご紹介したいと思います。 ConvNets Match Vision Transformers at Scale これが論文のタイトルです。ConvNetsはViTとスケールと一致する..…
こんにちは、AnyTechの嶋田と申します。 画像系の異常検知にはPatchCoreを使う機会が多いかと思いますが、PatchCoreのバックボーンは色々なモデルを使用することが可能です。 defaultではWideResNet50が使われていますが、他のバックボーンに変更した際の精度や特性について調べてみました。 目次 目次 バックボーンのリスト WideResNet50の場合 特徴量からパッチの生成 WideResNet50の精度 ViTの場合 ViTをバックボーンに指定する 特徴量からパッチの生成 ViT Largeの精度 SwinTransformerの場合 SwinTransform…
こんにちは、AnyTechの岩井です。 最近はBlender等の3DCGソフトや各社GPUの進歩により個人でも手軽に非常にリアルなCG画像を作れるようになりました。リアルなCGは映画やアニメなどの映像作品だけでなく、AIの教師データ作成にも使用されてきています。確かにCGならば様々な状況を作れますし、精巧なアノテーションデータを自動で作成できるので、大規模データを必要とするAIと相性が良さそうですね。 AnyTechでもしばしば僕がBlenderを使ってCGのデータを作成し、簡易検証に用いることがあります。 今回はBlenderでセマンティックセグメンテーションのアノテーションデータを作成する…
皆さん、こんにちは。AnyTechの立浪と申します。 さて、皆さんは外観検査による異常検知には興味がおありでしょうか？最近いたるところで名前を聞く異常検知手法PatchCoreの影響か、2023年のCVPRでは異常検知手法の提案が急激に増えたように思います。PatchCoreは弊社の木村が過去の記事でも紹介していますね。今回は2023年のCVPRに採択された論文の中から、WinCLIPとWinCLIP+という異常検知手法をご紹介したいと思います。これは代表的なVision and Language ModelであるCLIPを使った異常検知手法です。CLIPらしくテキストを使っており、これまでに…
先日、日本ディープラーニング協会主催（JDLA）の「CVPR2023技術報告会」にてモルフォの技術者が登壇いたしました。 www.morphoinc.com CVPRという国際学会の重要性や、今年のトレンドの分析、モルフォの技術者が注目した分野や論文について紹介しました。 資料を見たいという声を多数いただいたので発表資料を共有させていただきます。 JDLA主催「CVPR2023技術報告会」発表資料 fromMorpho, Inc. 発表動画については以下のリンクから是非ご視聴ください。 https://www.youtube.com/watch?v=XVgUvFig-_M
この記事では以下の論文の解説をします arxiv.orgFederated Learningの分野において、頻繁に引用されている論文ですが、 日本語での解説記事があまり見当たらなかったので簡単に紹介しようと思います 不正確な内容がありましたら是非ご指摘ください そもそもFederated Learning(FL)とは何か？ Federated Learningは主に機械学習においてプライバシーとデータセキュリティの確保を目的とした手法の1つに位置付けられており、医療や金融, IoTの領域での応用が期待されています。 学習データセットが複数に分散しており、生データには互いにアクセスできない状態を…
DirectMLを使うとPyTorchでRadeon GPUが使えるという話を耳にしたので試してみました。 以下のサイトを参考に、Windows11 + Radeon GPU + WSL2 + pyenv +PoetryでPyTorchの環境を作成しました。 Anacondaはcondaとpipが混ざるのが嫌で普段使わないので、 公式には記載がないpyenv + poetryを試しました。ニッチな環境すぎるので自分のメモ程度に残します。 learn.microsoft.com WSLの準備 WSLを事前に最新版にしてストアからUbuntuをインストールし、セットアップを完了します。 $ wsl…
こんにちは。CTO室リサーチャーの鈴木です。今回は、深層学習の分野でここ数年盛り上がっているContrastive Learning系の手法について、主だった論文を系統的にまとめて紹介したいと思います。 はじめに 近年発展した自己教師あり学習（Self-Supervised Learning：SSL）は、アノテーション情報を人の手ではなく機械的に付与することで、データセットの構築にかかる時間やコストを軽減し、深層学習モデルの精度向上を目指した手法です。自然言語処理分野におけるSSLは大きな成功を収め、ChatGPT等の超高性能なチャットボットの出現にも影響を与えました。 SSLは主に深層学習モ…
ランキング参加中プログラミング 参考にさせていただいたページ 【PyTorch】torchvision.modelsでResNetやEfficientNetの読み込みと分類クラス数の変更、ファインチューニングへの活用 | 日々、学ぶ 全コード # moduleのimport import os import torch import torch.nn as nn import torchvision import matplotlib.pyplot as plt # work spaceフォルダを指定 ws = ”work spaceフォルダのpath” os.chdir(ws) # data…
condaで仮想環境を作ったらインストールできた． MacがM1チップだとTensorFlowのインストールで問題が生じるらしい．計3時間くらいかかったが，以下の手順でインストールと起動ができた． このサイトからcondaの仮想環境を作り，TensorFlowのライブラリをインストール このサイトでVscodeにカーネルを追加 以上である．仮想環境ってよくわからんと避けてきたのだが，有用なのかもしれない．あと，助教がcondaじゃなくてpyenvを使えと言ってた気がする．仮想環境も気が向いたら勉強してみよう．
こんにちは！エンジニアの藤井（touyou）です！ この記事はGoodpatch Advent Calendar 2023の二日目の記事になります。 今回テーマにするのは昨年末のChatGPTリリースに始まり全世界を巻き込む社会現象となった「AI」についてのお話です。 ChatGPTの影響が大きかった一番の要因はチャット形式かつその性能の高さが今までAIに直接触ってなかった層を巻き込めるようになったから、というのはわりとメジャーな見方かと思いますが、一方でこれによってAIもとい機械学習がどういう仕組みで動いているのかという理解があまりないまま生成AIを触っている人も増えてきたのかなと思います。…
こんにちは, くびです. Wathematicaアドベントカレンダー初日の記事になります. 初日なので軽めの, 誰でも読めるような記事にしようと思います. その前に軽く自己紹介をしておくと, 私は現在数学科の学部4年生で, 微分幾何を専攻しています. 微分幾何専攻と言いつつ最近は代数トポロジーとか統計学とかばっかやってますが… 機械学習にも興味があってそっちもやってみたいなぁなんて思ってます. 特にオススメな本には*を, 全然読んでない本には!を先頭につけています. 基礎数学 *斎藤正彦『微分積分学』 *斎藤正彦『線形代数学』 !佐武一郎『線形代数学』 *池田岳『テンソル代数と表現論』 !斎藤…
LLMの極めて高い表現力やAPI化&OSS化が進んで、昔ながらのNLPシステムにとってはおおよその個別タスクが解かれてしまったように思われているところがある。具体的にNLPシステムの設計や構成要素、役割がどのように変わったのか？さらにこれから変わっていくのだろうか？を、過去のシステムと対比する形で考えてみたい。 NLPモジュールの進化発展: 記号システムと機械学習システム 推論器としてのNLPのシステムの進化発展は、入出力データに対する「意味付け」「仮定」が弱まる方向に進化してきたといえる。人間が行なっている自由度の高い自然言語や対話プロトコルに従ったコミュニケーションを再現しようと、機械が意…
画像生成AIで盛り上がり始めた生成AIブームを、ChatGPTで頂点まで持ち上げたOpenAIですが、Q*(キュースターと読むそう)という新型のAI開発を進めているということをReuterが報じ、一躍話題になっているようです。 gigazine.net 現在のGPTはtransformerの自然言語モデルがベースとなっているため、なかなか算数の問題が解けない問題がありました。 一方、OpenAIの目指すGeneral AIには数学が解けるような論理的思考力が必要とされているそうで、Q*はGrade-level(小学生レベル?)ではありますが算数の問題が解ける能力を獲得したそうです。 OpenA…
AIがエンジニアの仕事に及ぼす影響 自動化による仕事の変化 データ分析スキルの重要性 AIとの共存に向けた新たなスキルセット AIとエンジニアの関係性 プログラミングとAI エンジニアのAI利用事例 AI技術の現状とエンジニアの役割 AI技術の進歩とエンジニアの需給 AI導入企業とエンジニアの需要 AIスキルを持つエンジニアの利点 AI業界の動向とエンジニアのキャリア AIの学習がエンジニアにもたらすメリット AI学習で得られるスキルセット キャリアパスの拡張 高給取りへの道のり AIを活用するエンジニアのロールモデル 成功事例の紹介 キャリア形成のヒント 目指すべきエンジニア像 エンジニアが…
はじめに 6月12日に下記のようなブログを書きました。 vengineer.hatenablog.com この時は、既に一強になっているNVIDIAのGPGPU(H100とかGH200とか)について書きました。 今回は、Cloud Service を行っている、Google、AWS、Meta、Microsoft が AI Chip への投資を強化していることについて探ってみてみます。 Microsoft も Maia 100 を投入！ Microsoft が AI Chip として、Maia 100 を投入しました。2024年前半にAzure Data Centerに搭載されるということです。…
就職後に読んだ良さげな理工書を紹介します。赤字はおススメのやつね。 youtu.be ＜統計学、データ分析、CAE、プログラミング＞ ●19.10.09『有限要素法はじめの一歩』栗崎彰 シミュレーションや数値計算はやっぱり基礎が大事、ということで材料力学の初歩を確認。有限要素法は、対象物を接点とバネのかたまりでモデル化したもので、「解析で得られたミーゼス応力と材料の降伏応力を比較する」のが基本的な考え方。 解析を行う領域を限定する、アタリを取るなどのエンジ的Tipsも教えてくれる。「見た感じメッシュがキレイで要素のサイズが適切な有限要素モデルは精度がよい」らしい。 ●22.06.01『Pyth…
youtu.be先週末をにぎわせた話題の一つが、OpenAIのCEO解任だった*1。アルトマンCEO解任の背景、CEOとOpenAI取締役会の間の事情は分からないが、ビジネス上の方向性対立のようなものが報道されている。端的には、 ビジネス拡大の積極論 倫理重視の慎重論 アルトマンCEOは前者、そして取締役会メンバーであり主席研究者のイリヤ・スツケヴァー氏が後者だ。11月2日に、The GuardianがYouTubeにて、イリヤ・スツケヴァー氏のインタビュー動画を公開している。このインタビュー発言が、今回の解任劇と関係しているのかは分からないが、慎重論の背景にある彼のアイデアが垣間見える内容だ…
www.washingtonpost.com Two of the board members who voted Altman out worked for think tanks backed by Open Philanthropy, a tech billionaire-backed foundation that supports projects preventing AI from causing catastrophic risk to humanity: Helen Toner, the director of strategy and foundational resear…
Steven M. LaValle先生のPlanning Algorithmを読みした。 書籍は結構値段がしますが、ここからpdfがダウンロードできます。感謝しかない。 lavalle.pl 経緯 Robotic Grasping from Classical to Modern: A Survey を読んでいたら、軌道生成に関してはPlanning Algorithm読めって書いてあったのがきっかけです。このSurvey自体も読み物としては面白く、把持可能かどうかを従来の二値分類を使った機械学習から、Deep Learningへ変わっていく様子が分かります。紹介されている論文の量が多いので、…
初めに G検定、E資格は、日本ディープラーニング協会が実施するディープラーニングに関する検定、資格になります。本記事では、この二つの検定、資格についてまとめます。
www.deeplearningbook.me
karaage.hatenadiary.jp
weblab.t.u-tokyo.ac.jp
kazoo04.hatenablog.com
qiita.com
speakerdeck.com
mickey24.hatenablog.com
tech.preferred.jp
christina.hatenablog.com
