GPT-3

はじめまして。 株式会社バベルでAIエンジニアとしてとして自然言語エンジンの開発をしている満石と申します。 この度バベルでは、日本のスタートアップではなかなか許可が降りないと話題のGPT3の使用許可申請を行なった所なんと！使用許可をもらうことができました！ そこで当記事ではGPT3では何ができるのか、これまでのモデルと何が違うのかについて実例を交えて紹介させて頂きます。 GPT-3とは そもそもGPT-3とはOpen AIが開発した超巨大言語モデルで、そのパラメータ数なんと1750億。GPT-3が出てくるまで最大だったモデルの約10倍、GPT-3の前身であるGPT-2の約120倍であることを考…

オープンAI（マイクロソフト）とグーグル２０２１年５月２８日の日経に、GPT-3の特集がありました。 言語AI、文章「ブロガー」級: 日本経済新聞 (nikkei.com) オープンAIは、イーロン・マスクらが出資してできた非営利団体（現在、マスク氏は手を引いた） オープンAIの、自然言語処理のAIが「GPT-3」 人間並みの自然な文書を作成。最終目標は汎用AIの実現 マイクロソフトの支援で、スーパーコンピュータを構築 オープンAIは、この技術を2020年夏から公開 米バイアブルのアプリは、SNSの書き込みや顧客アンケートを分析。質問すると回答を出す このようなアプリは300超 一般には月数万…

はじめまして，インターン生の三澤遼です。本記事では，BERT以降の事前学習済みモデルを体系化し，主要なモデルについて解説します。TransformerやBERTについて事前知識があると理解しやすいと思います。 BERT以降のNLP分野の発展 学習方法の改良について 事前学習 Masked Language Modeling 改良版Masked Language Modeling RoBERTa (2019-07) Translation Language Modeling XLM (2019-01) Sequence-to-Sequence Masked Language Modeling T…

AIには何ができて、何から学習するのか AIに含まれる社会的バイアス ポリティカル・コレクトネスの新たなる意義 AIには何ができて、何から学習するのか 昨今のAI（人工知能）の発展はすさまじく、我々の日常生活の中にも深く入り込んできている。 例えば、あなたがGoogleで検索をするとしよう。その検索システムにもAIは入り込んでいる。BERTと呼ばれる大規模なAIによって、あなたの検索は以前より正確に解釈され、より検索にマッチしたページが表示される。 wired.jp あるいは、あなたが翻訳サイトを使うとしよう。Google翻訳はもちろん、最近ではDeepLという優れた翻訳サイトも登場した。 w…

GPT-3 2020年11月9日の日経で、AIの言語能力が飛躍的に向上し、高度で自然な文章を生成する技術が登場しているという話がありました。 AIが「人間並み」の文章 画像、音声に次ぐ革新迫る :日本経済新聞 (nikkei.com) GPT-3という、オープンAI（※組織名）のAI技術 オープンAIには、イーロン・マスクも出資 日経にはAIの作文の例 AIの文章が、ソーシャル・ニュースサイトで、ランキング首位に 人間と同レベルの文章 学習時のパラメータを従来の100倍にした こんな文章を書いて欲しいと指示 マイクロソフトが独占的ラインセンス取得 文章作成、要約、分類、対話、翻訳などの業務にあ…

BMI・BCI研究のここ最近の動向を分かりやすくまとめてある本 筆者の紺野は、池谷研究室に所属しており、まえがきによれば、本書の構想は池谷が担当し、実際の執筆は紺野が担当したとのこと。紺野はメルマガやnote、twitterで最新研究の紹介を行っており、そうしたものもベースになっているかと思われる。 タイトルにあるとおり、脳研究と人工知能研究を両輪として展開していく。これは、脳の情報を読み取る上で、深層学習がBMI研究の大きなブレイクスルーとなったためである。また、脳と人工知能との相互作用というのを今後の研究目標ともしている。 脳の潜在能力を引き出す、というような言い方をされているが、コンピュ…

1月1日は午後になってから起きました。今年も寝正月です… 今年最初のアウトプットは何にしようかなーと思っていたら、1年前におみくじプログラムを作ったのを思い出しお正月関連で何かサクッと作ることにしました。 ↓昨年作ったおみくじプログラム ar-ray.hatenablog.com 昨年は某みくじを倣ったスクショを使うおみくじだったのですが、もっと技術的な何かを使ったおみくじを作りたいと思い、少し考えることにしました。 GPT-3 文章生成AIについて以前耳にしたことがあり、「GPT-3」というのが怖いくらいに自然な文章を出力できるとのこと。これを活用できればなかなか面白いおみくじアプリを作れる…

振り返っていくぞ.com 今年の反省ポイントは、コンフォートゾーンよりのストレッチゾーンに長くいてしまっている感じがするので、来年はパニックゾーンに常にいたい。 あとは、ソフトウェアを完全に理解したい。 1月 記憶なし @at_sushi_at の書いていた Kotlin Cortoutinesの本をレビューするなどの活動をした。 修士論文を書いていた。 ISUCONに「いすこんがさき、しゅうろんはあと」というチームで出ていたせいで、後輩や同期から「まあ、chigichan24くんは修論は後だからなぁ」と煽られまくる。 これは、修論は後ではなく修論はあと(ハート)だからね(解釈違い) 修論発表…

はじめに この記事は創作+機械学習 Advent Calendar 2021の20日目です。 当初はBART触って遊ぶ系の記事でも書こうと思っていましたが、思いのほか時間が取れなかったため、「創作支援」をテーマにフワッとした事を書く記事になりました。 本記事で記載している内容はあくまで私の個人的な考えであり、特に技術的な検証がされていたり論拠になる客観的な資料が存在するわけではありません。あらかじめご了承ください。 逐一「※個人の感想です」と注釈を入れるのは面倒なので以下では度々断定的な書き方をする場合がありますが、すべて雰囲気で書いています。

yhayato1320.hatenablog.com Index Index GPT-3 とは 参考 Web サイト GPT-3 とは ネットワークアーキテクチャをスケールアップし、 事前学習するコーパスを大きくすることで、 ファインチューニングを行わずに(Zero-Shot)、 もしくは少量の学習データでのファインチューニング(Few-Shot)するだけで 複数のタスク(Multi Task)にて、精度を向上させる 基本的な方針は、このように GPT-2 と同様. yhayato1320.hatenablog.com 参考 Language Models are Few-Shot Learn…

おはよう地球。どんよりとした曇り空。雨粒もちらほら。ザ！冬空ってな感じの静岡ですわ。そんなこんなで、今日も一日ぼちぼちです。 自分の落とし前は、自分でつけるのさ！ 子どもが「頭が痛い、目の奥も痛い」と。あまり続くようなら医者かな？と思いつつ。ざっくり調べてみたら、小中学生に多い頭痛の原因は『寝不足』。これだよ、きっと。…っちゅーことで、強制！早寝一週間を命じた。どーなることやら？ 業務上の問い合わせに対して、年！単位で放置する会社ってどうなの？だから、I n T iki 業界って、陰口されるのよ。ちなみに、一社、二社じゃないから。なんだかなー。 落とした掃除機の下敷きになった足の指。未だに爪は…

yhayato1320.hatenablog.com yhayato1320.hatenablog.com Index Index Transformer 応用手法 Attention の工夫 MLM に対する解決 XLM 応用モデル Auto Encoding Model / オートエンコーディングモデル Auto Regression Model / 自己回帰モデル Sequence-To-Sequence Model 画像への応用 マルチモーダル / MultiModal 参考 Web サイト Transformer [2017 Google] yhayato1320.hatenablo…

はじめに こんにちは、Wantedlyでデータサイエンティストをしている21新卒の樋口です。 本記事はWantedly 21新卒 Advent Calendar 2021の7日目の記事です! 今日、この記事では.....................! ..... ..... ..... 何を書こう.... アドベントカレンダーを5人で制覇するぞ！と言っておきながら、2記事目でネタがなくなってしまいました。ブログ書くぞ！と意気込んだものの、なかなかネタが降りてこない時ってありますよね🥲 そんな問題に解決できるように、ブログの”タイトル・本文を自動生成するサイトを作りました！ その名もブログネ…

arxiv.orgNeurIPS2021あくまでメモ。ちょっとわからないところがあり間違っているかもしれない。 でかいTransformerがいろんなタスクで性能を発揮しているが、学習に時間がかかりfine-tuningも時間がかかる。実際に使用するときも遅く実用的でない。 そこでTransformerをスパースにすることで性能をそれほど落とさず高速化させる。 BERTの学習コストは$4k~$12kで一人の4時間のフライトと同量のCO2を排出し、GPT-3はサンフランシスコ-ニューヨークの往復の3倍のCO2を排出するらしい。 これらのモデルのpopularityや今後もモデルが巨大化していくこ…

はじめに AWS re:Invent にて、Arm系CPUの Graviton3 と学習用チップ Trainiumがアナウンスされました。 Graviton3 下記の記事によると、 最大25％のコンピューティングパフォーマンス 最大2倍の浮動小数点パフォーマンス 最大2倍速い暗号化ワークロードパフォーマンス CPUベースの機械学習ワークロードで最大3倍優れたパフォーマンス bfloat16およびfp16命令のサポート 常時オンの256ビットメモリ暗号化に加えセキュリティを強化するためのポインタ認証のサポート そして、DDR5をサポート。 dev.classmethod.jp Amazon公式の…

StepZen Launches Two New Free GraphQL Tools www.programmableweb.com OpenAIがAIによる文章生成モデル「GPT-3」を誰でも利用可能に！ techable.jp Daily API RoundUp: JustPush, dacadoo, TraxMatching, Glooko www.programmableweb.com Nigeria’s OnePipe raises $3.5M to double down on its embedded finance offering techcrunch.com StepZe…