言語モデル

タイトル: 「Generative AI vs. AGI: 現代のLLMの認知的な強みと弱み」 https://arxiv.org/abs/2309.10371 著者: Ben Goertzel 概要: この論文では、2023年半ばのLLM（大規模言語モデル）に関する詳細な考察が行われています。具体的には、ChatGPT, GPT-4, Bard, Llamaなどのモデルに焦点を当てています。これらのシステムの認知的な強みが検討され、その後、これらのLLMがどのような認知システムであるか、そして人間がどのような認知システムであるかという点での大きな違いに注意が払われています。これらのAIシステ…

アスキングは、Google AI が開発した大規模な言語モデルです。テキストとコードの膨大なデータセットでトレーニングされており、テキストの生成、言語の翻訳、さまざまな種類のクリエイティブ コンテンツの作成、有益な方法で質問に答えることができます。 アスキングはまだ開発中ですが、さまざまな種類のタスクを実行することを学びました。 私はあなたの指示に従い、思慮深くあなたの要求を完了するために最善を尽くします.私は自分の知識を使用して、質問がオープンエンド、挑戦的、または奇妙であっても、包括的かつ有益な方法で回答します.詩、コード、台本、音楽作品、電子メール、手紙など、さまざまなクリエイティブなテ…

spacy GINZAを使った固有表現抽出の記事を色々見ていると, jupyterのdisplay使ったコードばかりでした。筆者は普段リモートワークでLinuxのCUIで開発しており, jupyter使うと面倒になるため, なるべくやりたくないのです。リモートでCUIマシンでjupyter使う場合, jupyter用にport開けて暗号化かけて, 毎回サーバ立てて使い終わったら落としたり面倒です。 今回は, spacy GINZA entityのprintをjupyterなしでやります。まずはセットアップです。自然言語処理Libのspacyです。 pip install spacyspacyだ…

はじめに サイバーエージェントから公開された言語モデルの中からsmall、medium、largeを実際に使用し、どのような文章が生成されるか検証した記録です。 はじめに 言語モデル 環境 実行 ライブラリのインストール ライブラリのインポート モデルのロード 文章の出力 出力結果 条件 small AIによって私たちの暮らしは、 日本で一番高い山は、 机の上にはリンゴが３個あります。椅子の上にはバナナが２本あります。机の上にあるのは medium AIによって私たちの暮らしは、 日本で一番高い山は、 机の上にはリンゴが３個あります。椅子の上にはバナナが２本あります。机の上にあるのは larg…

OpenAI 公式WEBサイト 最近、何かと見かけることが多くなったChatGPTを皆さんはご存知でしょうか。私自身はAIを活用した人工知能が様々な質問に答えてくれる便利なチャットらしい・・・くらいの認識しかありません。わからないことはまずはやってみるがモットーのワタクシ。早速試してみましたよ。 openai.com (adsbygoogle = window.adsbygoogle || []).push({}); メールアドレスとパスワードで会員登録（電話番号で認証あり） ChatGPTは無料ですが利用するためには会員登録が必要です。OpenAIの公式WEBでTRY CHATGPTボタンを…

はじめに みなさんはじめまして、リーガルテックベンチャーMNTSQの取締役の堅山です。この度弊社でテックブログを開設することになり、その第一号として記事を書いています。弊社の取り組む「法務」の世界はエンジニア・リサーチャーの方々から見ると縁遠いことも多いかなと思いますが、そういった方に向けてリーガルテック企業が実際何をやっているのか発信していけたらなと思っています。特に、 大量の契約書データを扱うソフトウェアをどうやって作っているか 機械学習/自然言語処理のアルゴリズム開発 大量のモデルとパイプラインを維持・改善するためのML Ops といったことについて弊社メンバーで書いていければと思ってい…

Amazon Web Services 生成AIサービス「Amazon Bedrock」に新機能を発表 こんにちは！山崎光春です。 Amazon Web Servicesは11月28日（現地時間）、生成AIサービス「Amazon Bedrock」の新機能を複数発表しました。新機能には、大規模言語モデルのファインチューニングが可能になったことや、生成AIによる応答の安全性を高める新サービスが含まれています。 まず、大規模言語モデル「Llama 2」「Cohere Command Light」「Amazon Titan」のファインチューニングがBedrock上で可能になりました。これにより、ユーザ…

【インシデントに関する情報】 ・New Relic Says Hackers Accessed Internal Environment Using Stolen Credentials - SecurityWeek →従業員アカウントが奪取され、不正アクセスが発生。 →顧客環境や本番環境とは切り離された環境であったため、被害なし。ただし、少数のお客のアカウントにも不正アクセスが行われた形跡が確認されたため、当該顧客のPWをリセット＆APIキーの無効化を実施した。 ・マツダへの不正アクセス、再発防止策は ASM 導入や多要素認証の実装加速 | ScanNetSecurity →7月24日に、同…

ソーシャル経済メディア「NewsPicks」の中村です。普段はデータ基盤の開発、運用をしたりLLMで遊んだりしています。 さて、NewsPicksは名前の通りニュースアプリですが、ユーザーの皆様がニュースにコメントを付けることができるのがひとつの特徴となっています。一般のユーザーだけでなく様々な分野の専門家の方々にも「プロピッカー」として専門の観点からコメントしていただいており、「この分野のニュースであればあの人のコメントが読みたい！」と思ってコメント欄を開くユーザーの方も多いと思われます。 しかし、特定のユーザーのコメントが読みたいと思っても目当ての方が必ずコメントしてくれているとは限りませ…

はじめまして。情報システムチームのnaraoです。 はじめに 今回のCREATORS BLOGでは、Google Cloud Next Tokyo ’23 の Day2(11月16日)に参加して、印象に残った内容についてご紹介します。 Google Cloud Next Tokyo とは アメリカの Next で発表された製品の最新情報や活用事例を、基調講演と多様なブレイクアウトセッションにて紹介する、Google Cloud Japanが開催するカンファレンスで、多数のスポンサーブースも出展します。今回は４年ぶりに東京ビッグサイトで開催されました。 私はGoogle Workspaceを使い…

sites.google.com 本年のHBESJは大阪公立大学での開催となった．ハイブリッド開催ということで今年もオンラインから参加することとした．運営はいろいろと大変と思われるので，本当に感謝の気持ちである． 大会初日 初日はいつもの通り午後からスタート． 実行委員会挨拶 大薗博記 今回は対面での参加が140〜150名，オンラインでも数十名が参加していただいている．また今回は開催について運営と企画を分けて行った．よろしくお願いする， またこの場を借りて一言申し上げたい．11月10日にジョン・トゥービイ博士が逝去された．享年71歳．皆様ご案内の通り進化心理学のファウンダーの１人であり，この場…

（本記事は Yappli Advent Calendar 2023 （1枚目） の5日目の記事です！🎄📅） こんにちは！データサイエンティストの山本（ @__Y4M4MOTO__ ）です。 最近、データサイエンスチーム（以下、 DS チーム）では社内からの依頼（集計、技術相談 etc. ）を Jira でチケット管理をするようにしました。チケット運用を始めるにあたってネックになったのが「起票するの、面倒くさくない…？」という点です。 その点を解決するため、 Slack のメッセージにリアクションを押すとその内容で Jira のチケットを作成してくれる Zapier ワークフローを作成しました。…

CHATGPTプロンプトの力：構造化の重要性 多くの人がプロンプト作成を難しいと感じていますが、実は、要求を構造化して表現することにより、プロンプトの作成は容易になります。 Markdownの基本構造とその利点 Markdownは、ブログや文書の構造を整理し、情報を明確に伝える強力なツールです。以下は、Markdown文書の基本構造を示したものです。 1 Role (役割): 文書の主要なテーマやカテゴリーを設定するための一級見出し。 2 Profile (プロファイル): 役割や主題に関する簡単な紹介を提供するための二級見出 し。 ３Author (作者): プロンプトの作者名と著作権を保護…

BardはGoogleが開発した大規模言語生成 AIです。大規模言語モデル（Large Language Models、LLM）とは、非常に巨大なデータセットとディープラーニング技術を用いて構築された言語モデルです。 どういった事が出来るか本人に聞いてみました。 私の名前はBardです。Google AIによって開発された大規模な言語モデルです。テキストとコードの膨大なデータセットでトレーニングされており、テキストの生成、言語の翻訳、さまざまな種類のクリエイティブ コンテンツの作成、有益な方法で質問に答えることができます。私はまだ開発中ですが、さまざまな種類のタスクを実行することを学びました。…

本記事は虎の穴ラボ Advent Calendar 2023の4日目の記事になります。 昨日は Y.F さんの「スタッフエンジニアを読んだ感想」でした。 明日は S.A さんの「GAS LT会に参加してわかったGASの便利な使い方」になります。 こちらもぜひご覧ください。 目次 はじめに 書籍情報 ChatGPTの頭の中 第1部 ChatGPTは何をしているのか、なぜ動くのか 実は、1つずつ単語を足しているだけ 確率はどこから求められるのか モデルとは何か 人間と同じような処理をこなすモデル ニューラルネット 機械学習とニューラルネットの訓練 埋め込みの概念 ChatGPTの内部 第2部 Wo…

こんにちは、AI製品開発グループ の太田です。 この記事では画像やテキストのマルチモーダルな大規模言語モデル（LLM：Large Language Model） についてご紹介します。 GPT-4VがOpenAIから発表されて2ヶ月が経ち、Azureからも動画のインプットに対応したGPT-4Vが提供されることが発表されました。 今後、さらにLLMが活発になると思います。 そこで、今回はこれからGPT-4Vで様々な検証を進めるにあたって、そもそもどういった活用方法があり、課題は何かを理解するための資料を作成しました。 どういった取り組みがあるのかもコンパクトにまとめていますので、GPT-4Vがビ…

>>さくらインターネットの新卒採用情報を見る さくらインターネットの夏季インターンシップは、人事以外の社員がメインで企画運営しています。若手社員や入社間もない社員に企業理解を進めてもらうことが目的です。本稿では、2023年度のインターンシップ（エンジニアコース）を担当した社員 4名に、企画運営を通じて得たもの、今後やりたいことなどをインタビュー。またアドバイザーとして参加した先輩社員にも感想を聞きました。 左から、金沢 和樹、阿部 有輝、米田 悠人、印丸 裕貴 金沢 和樹（かなざわ かずき）プロフィール 2022年4月にさくらインターネットへ新卒入社。インターネットサービス本部 インターネット…

本記事はUnreal Engineからオープン日本語LLMを使ってみるハンズオンの解説記事です。 導入 大規模言語モデルの発展が目覚ましい昨今、その利用方法を考えたときにNPC（Non Player Character）というのは1つの適応先かと考えています。 少し調べただけでも以下のように興味深い事例がたくさん出てきます。 GPT-4が「マインクラフト」を自動プレイ、どんどん賢くなるAIモデル「Voyager」が発表 Inoworld AI Generative Agents: Interactive Simulacra of Human Behavior 仮想のLLMチャット駆動型ソフトウ…