文脈内学習

音韻・文法・形式言語学 / 10件 機械学習 (統計・数理) / 4件 機械学習 (転移学習・ドメイン適応) / 10件 機械学習 (マルチタスク・その他) / 8件 LLM構築 / 14件 LLM分析 / 40件 LLM応用 / 63件 言語モデル・ニューラルネットワーク (LLM除く) / 13件 モデル解釈・可視化 / 17件 評価指標・品質推定 / 18件 少数データ・データ拡張 / 7件 言語資源・アノテーション / 26件 単語分割・形態素解析 / 1件 埋め込み表現 / 22件 構文解析・意味解析・共参照解析 / 7件 情報抽出・知識獲得 / 27件 読解・含意・質問応答 / 7…

僕の発表は金曜の9:40~ Aホールであります。よろしくお願いします～ 28日、火曜日 [1G3-GS-6-04] 連続表現を用いたSpeech-to-Text対話モデルの構築 HUBERT特徴量を入力として、テキストを出力するモデルを学習。そのモデルの事前学習にLLMを用いる。モデルは音声認識タスクで事前学習→対話タスクで学習という順序で利用 rinnaも同じようなことをしているらしい。音声認識で学習したモデルが事前学習済みモデルとして利用されることもあるのかな？https://rinna.co.jp/news/2023/12/20231207.html [1B4-GS-2-03] 宝くじ仮…

はじめに はじめまして、estieで学生インターンをしている修士1年の本郷槙一です。 株式会社estieは、3月11日から3月15日にかけて開催された言語処理学会第30回年次大会（NLP2024）にシルバースポンサーとして参加し、ポスター発表を1件行いました。 個人としてもestieとしてもこういった学会に参加するのは初めてだったので大変刺激的でした。 本記事ではestieでの研究内容や面白かった発表などについて振り返りたいと思います。 言語処理学会とは 言語処理学会は自然言語処理(NLP)分野における国内最大級の学会で毎年3月に開催されます。30回目の節目である今回は神戸国際会議場で行われま…

ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（L…

LLMの極めて高い表現力やAPI化&OSS化が進んで、昔ながらのNLPシステムにとってはおおよその個別タスクが解かれてしまったように思われているところがある。具体的にNLPシステムの設計や構成要素、役割がどのように変わったのか？さらにこれから変わっていくのだろうか？を、過去のシステムと対比する形で考えてみたい。 NLPモジュールの進化発展: 記号システムと機械学習システム 推論器としてのNLPのシステムの進化発展は、入出力データに対する「意味付け」「仮定」が弱まる方向に進化してきたといえる。人間が行なっている自由度の高い自然言語や対話プロトコルに従ったコミュニケーションを再現しようと、機械が意…

はじめに こんにちは、PS本部C&A部開発オペレーション部門の8G3Tです。AI映像解析ソリューションCOTOHA Takumi Eyesの技術開発や運営保守に取り組んでいます。チームの開発メンバーは6月18日から22日の間に開催されたコンピュータービジョン分野のトップカンファレンスであるCVPR2023にリモートで参加しました。本記事ではCVPR2023に採択された視覚・言語のマルチモーダル技術に関して、私たちが興味深く感じた論文をピックアップしてご紹介します。 なお、今回の学会参加はイノベーションセンターのメディアAIチームと連携して実施しました。NeRF技術（ニューラルネットワークベース…

要約 タイトル: Understanding In-Context Learning in Transformers and LLMs by Learning to Learn Discrete Functions 著者: Satwik Bhattamishra, Arkil Patel, Phil Blunsom, Varun Kanade 論文のURL: https://arxiv.org/abs/2310.03016 この論文の解説です。 論文発表日: 4 Oct 2023 専門外の人でも分かるような説明 この研究は、トランスフォーマーと大規模言語モデル（LLM）が「文脈内学習」をどのよ…