「○○語的に正しい単語の並べ方」を統計モデル、あるいは規則の集合を用いて表現したもの。 ○○語、にはたとえば日本語やC言語が入る。
ほとんどの場合は、自然言語に対する統計モデルのことを指す。
はじめに みなさんはじめまして、リーガルテックベンチャーMNTSQの取締役の堅山です。この度弊社でテックブログを開設することになり、その第一号として記事を書いています。弊社の取り組む「法務」の世界はエンジニア・リサーチャーの方々から見ると縁遠いことも多いかなと思いますが、そういった方に向けてリーガルテック企業が実際何をやっているのか発信していけたらなと思っています。特に、 大量の契約書データを扱うソフトウェアをどうやって作っているか 機械学習/自然言語処理のアルゴリズム開発 大量のモデルとパイプラインを維持・改善するためのML Ops といったことについて弊社メンバーで書いていければと思ってい…
リモートワークに、リモート面接、コロナが変えた世界です！！ 利便性が増した反面、いかに競合する求職者と差別化を図れるかが鍵となります。 今後のビデオインタービューを期待しますね！！心強い味方！！ 本文中に実際のWarmup のリンクは貼っていますので、チャレンジ！！ VOAで英語を学びましょう！！ 面接力アップを目指すGoogleの無料AIツール （和訳） Free Google AI Tool Aims to Improve Job Interview Skills Words in This Story 面接力アップを目指すGoogleの無料AIツール （和訳） Free Google A…
@inproceedings{rajbhandari2020zero, title={Zero: Memory optimizations toward training trillion parameter models}, author={Rajbhandari, Samyam and Rasley, Jeff and Ruwase, Olatunji and He, Yuxiong}, booktitle={SC20: International Conference for High Performance Computing, Networking, Storage and Anal…
今回は学習済みの言語モデルを用いて，自動質問回答システムを作成する。 自動質問回答システムとは，文章（context）と質問（question）を与え，回答を出力するものでとする。 例題の実行 まずは以下のコマンドを実行して，文章を与える。 $ context="Albert Einstein (14 March 1879 - 18 April 1955) was a German-born theoretical physicist who developed the theory of relativity, one of the two pillars of modern physics…
こんにちは、技術開発ユニットの三浦です。 インターネットで動画を見ながら、Blenderという3DCGソフトで3Dモデルを作成する練習をしています。色々なものが出来るととても楽しいのですが、子どもから見ても面白いみたいで、よく後ろから様子をのぞいています。「作ってほしいものリクエスト」があるみたいなので、早く上手になって、リクエストに答えられるようになりたいです。 さて、最近私はトークン化された文章データを使ってBERTのMasked LMという自己教師あり学習によって、モデルに文章データの持つ構造を理解させることが出来るのかどうか、ということに取り組んでいます。色々悩みつつ、ひとまず学習処理…
ツイート エーゴ@CB250R @eigobluesnow 本当に今日なんもしなかった。 22:34 エーゴ@CB250R @eigobluesnow 自動車事故検出機能。。。 18:26 エーゴ@CB250R @eigobluesnow Googleがウクライナ政府へのDDos攻撃を防御してたのか。 18:03 エーゴ@CB250R @eigobluesnow 餞別にもらったボディシーツで顔を拭いて、今悶絶している。 18:01 エーゴ@CB250R @eigobluesnow 仕事やめることが決まってからの方が飲みに行っている気がする。 17:57 エーゴ@CB250R @eigoblue…
お久しぶりです。 現在大学院でフルタイムの学生としてNLPの研究をしているものです。 このブログもかなり放置しまっていましたが、面白そうなネタがあったので久しぶりに重い筆を取りました。 そのネタが、Meta AIが2022年5月3日にリリースした大規模言語モデルである Open Pre-trained Transformer (OPT) です。 この記事ではOPTの概要と、実際に使ってみた結果などを報告したいと思います。 概要 大規模言語モデルは、数多のメディア・SNSなどで騒がれている通りNLPにおける革新的な研究です。 Meta AIのOPTでは1.25億から1750億まで様々なサイズのモ…
Cloudflare、インターネット上のすべてのアプリケーションをよりプログラムしやすくする ... prtimes.jp 「Bill One」、経理業務改善ソリューション「intra-mart DPS for finance」と連携 - ZDNet Japan https://japan.zdnet.com/article/35187315/ctjapan.zdnet.com ストラテジット社がSmartHR専用アプリ「ファイル一括アップロード・ダウンロード」を開発 www.jiji.com オープンソースコミュニティと連携して3大JavaScript環境を統合するAPI標準の策定を目指す …
1年近く経ってしまったが前回の続き。自分の研究がどこに向かっているのかを思案する。私が思い描く理想とは反対の、碌でもない未来を作る片棒を担いでいる気がする。今回はそのことを書き出してみる。話の出発点は 2021年に招待講演にともなう解説記事的な論文に書いたネタ。AI、というかニューラルネットの応用として、人間を説明するという方向性を考えている。具体的には、まず人間の機能をニューラルネットに近似的に再現させ、次にそのニューラルネットの内部の振る舞いを適当な手法を使って説明する。ニューラルネットがいい感じに人間の機能を再現できていれば、ニューラルネットに対する説明は人間に対する説明として使えそう。…
4記事にわたり、複数の古典的ngram言語モデルについて試しに実装してきました。 torchtextのデータセットを使ってきたので、pytorchで簡単な言語モデルを作ってみます。 元となる論文があるわけではないですが、ネット上に多数実装が多数あるので、それらを参考にしました。 実装コードは gist を参照してください。一番下に埋め込んでます。 参考資料について軽くまとめます。 アーキテクチャ NgramModel( (embedding): Embedding(28782, 100) (linear1): Linear(in_features=200, out_features=128, …
rinna社が公開したGPT言語モデル。なんだか楽しそうなので、ファインチューニングにチャレンジした。お勉強なので、お手軽にできる範囲。モデルをサイズの小さいsmallを選択し、実行環境は参考にしたサイトを見ながらColabで構築。題材は「逆襲のシャア」のセリフ群。まぁ、こんなものでいいでしょう。 note.com 得られた結果。「アムロ:シャア、ここで止めるしかないのか!」に引き続き語られる文章を生成した。 アムロ:シャア、ここで止めるしかないのか! クェス:ようし、アムロはアムロにやられる前に... いきなりクェス・・・。 アムロ:シャア、ここで止めるしかないのか! アムロ:ならあいつは全…
nazology.net 2022年4月、またしても興味深い成果がGoogleから発表されました。 ”ジョークを理解するAI”をGoogleが開発！ 5400億パラメータの言語モデル「PaLM」 - ナゾロジー それが、文章のジョークを理解するAIです。 これを実現させたのが、Pathways Language Model (以下、PaLM)と呼ばれる、5400億パラメータからなる新たな言語モデルです。 ”ジョークを理解するAI”をGoogleが開発！ 5400億パラメータの言語モデル「PaLM」 - ナゾロジー ⇧ AIコメディアンが誕生するんですかね？ Azure Media Servic…
画像と言語を一つのモデルで扱うマルチモーダルモデルについての研究。 特に、追加の学習をせずにFew-shotの例示で新規問題へ適応することを重視しているらしい。 記事 最近ありがちな、実利用時に数個のプロンプト的な例示を行うとそういうタスクが解ける的なものなんだけど、実際これがどの程度いろいろなことができるのかよくわからない。正直プロンプトでのモデルの利用時制御というのがちゃんとはわかっていないのでそこを読み取りたい。 基本的には「画像とそれに対する応答文」というペアを入力としていくつか与えて、最後に画像一つだけを与えると、それまでの対応に近い感じでの応答文を返す？（記事内のFigure 1）…
www.publickey1.jp
linecorp.com
www.itmedia.co.jp
gigazine.net
medium.com
zenn.dev
gigazine.net
japanese.engadget.com
prtimes.jp
