自然言語処理

CodeLlamaを試して見たくて、Colabで7BのPythonモデルを動かしてみる。プロンプトは、プログラムの時にコメントを書く要領で良いようなので、以下のように与えてみた。 プロンプト import openai # Function that response user inputed text. 結果 import openai # Function that response user inputed text.def response(text): openai.api_key = "YOUR_API_KEY" response = openai.Completion.creat…

はじめに こんにちは、一休.comデータサイエンス部の平田です。 みなさんChatGPT活用してますか？ 一エンジニアとして便利に使ってはいるものの、自社サービスにどのように組み込もうか模索しているところも多いかもしれません。 一番の利用先として思いつくのが、自社の情報をもとに質問に答えるチャットボットではないでしょうか。 その中では、ハイコンテキストな検索（例えば、「東京から2時間以内で子供も楽しめるアクティビティがあって、景色も良い宿」のような）にも答えられるとボットの価値が増します。 ChatGPTが事前に学習した内容では古く、正確ではないためそういった検索に応えるのはかなり厳しいです。…

さっそく、LINE社が発表したinstructionモデルをColabで動かした。 huggingface.co パラメータは、Huggin Faceにのっていたものをそのまま採用。temperature=1.0すると、いまいちだったので、まずは、素直に公式を参考にする。 github.com レスポンスを見てみると良い感じだ。間違いもあるが、タスクを解ける方が大事だと思っているので、そこまで悪い印象はない。これくらい軽くなってくると、色々と使えそう。 今日の天気と夕飯の関係を考察してください。 ユーザー: 今日の天気と夕飯の関係を考察してください。システム: 1.曇り時々晴れ、気温26度、湿…

気軽に自分の（非力な）PCで動かせないかと、Vicuna_7bをLangChainで活用できないかと、Webの記事を参考に試行錯誤。Colabの無料プランの範囲でどうにかなるなら自分のPCでも動く可能性があるかもしれない。 で、やっては見たものの、ループしたり、プロンプトに対してパースできない返答が帰ってきたりと芳しくない。もちろん、LangChainのプロンプトそのままだと無理があることもあるのだろう。 気に入った質問と答え。遊びには十分使えるのかも。 Q. 最後のジェダイは誰？A. 最後のジェダイはルーク・スカイウォーカーです。 Q. Who is the last JEDI？ A. Re…

評判のJapanese StableLM Alphaを試したくてColabの無料枠で動かしてみました。npakaさんのサイトを参考にしました。 note.com 動作させた結果です。 github.com 参考にしたnpakaさんの質問 質問：まどか☆マギカでは誰が一番かわいい？ 答え：1. キュゥべえ2. 暁美ほむら3. 巴マミ いろいろ質問してみました。 質問：ぼっち・ざ・ろっく!の主人公の名前はなんですか？ 答え：主人公は、ベースボーカルを務める「後藤 ひとり(ごとう ひとり)」です。 質問：となりのトトロの猫バスの行き先は？答え：メイとサツキは、猫バスに乗って、メイが病気で弱ったお父さ…

chat gptとやらが僕の大学で流行っている。 大学の講義の要点をまとめたり、卒論のヒントを得たり。 様々な質問に、瞬時に１００点の回答をくれるAIだ。 僕もついこの間、大学の期末テストでお世話になった。 僕：民法○○条を詳しく説明して。 chatgpt：民法○○条は～（１５行ほど） すごすぎる。こんな説明してくれるのか。 3000円の分厚い教科書より、ちっこい箱ものに閉じこもった無料アプリの方が有能だった。 もっと知りたい、もっと仲良くなりたい。 そう思った。 僕：はじめまして、けくです。よろしくお願いします。 chatgpt：はじめまして、けくさん。よろしくお願いします！どのようなお手伝…

LangchainのPlan and executeを試してみた。 BabyAGI からヒントを得て実装した、タスク立案→実行の流れで自律的に動作をする。題材として、トヨタ自動車のSWOT分析をさせてみる。 検索エンジンはSerpでなくDuckDuckGoにした。試行錯誤するとあっという間にSerpAPIは消費しちゃうという理由です。 数度分析させてみた結果です。インドでのポジションの低さとか、そうなんだーと感心しつつ。（ソースまで確認する必要ありですが） (OpenAI, 3.5-turbo) Toyota Motor Corporation SWOT Analysis: Strengths…

PanopticNeRF-360： 都市シーンにおけるパノラマ3D-2Dラベル転送 原題：PanopticNeRF-360: Panoramic 3D-to-2D Label Transfer in Urban Scenes 自動運転車用の知覚システムのトレーニングには、かなりのアノテーションが必要である。しかし、2D画像に手作業でラベリングするのは非常に手間がかかる。既存のデータセットでは、事前に記録されたシーケンスに対する豊富なアノテーションが提供されているが、めったに遭遇しない視点のラベリングには不十分であり、知覚モデルの汎化能力を阻害する可能性がある。本論文では、粗い3Dアノテーション…

NumpyはPythonで数値計算を行うためのライブラリであり、データ分析や機械学習、自然言語処理(NLP)などに広く利用されています。この記事では、Numpyを用いて自然言語処理の基本的な操作を実行する方法について解説します。 目次 はじめに テキストデータの読み込みと前処理 単語のトークン化 単語のベクトル化：One-hot Encoding 単語頻度によるフィルタリング：TF-IDF コサイン類似度による文章間の類似度計算 まとめ 1. はじめに import numpy as np import re from sklearn.feature_extraction.text impor…

はじめに こんにちは。DIVXエンジニアの安部です。 今回は、Postmanの操作方法や開発に役立つTipsについてまとめました。PostmanはAPIの開発、テスト、デバッグ、ドキュメント作成などを支援するためのツールです。 使いこなせば、日々の検証作業や実装におけるコーディングの手間を大幅に減らすことができます。(うれしい!!) しかし、使い方をうまくマスターできないと、検証のたびにツールを切り替える非効率的な「社内・開発ツールが多すぎてカオス」な状況になるだけです。(かなしい!!) そこで、本記事ではPostmanの汎用的な使い方をまとめたいと思います。この記事は全ての人に役立つものです…

まえがき こんにちは。著者のたてばやし淳（通称エクセル兄さん）と申します。私は、Excelやマクロを用いた「仕事と自動化」をテーマに、書籍の執筆、オンライン講座の制作(Udemy受講者12万人)、コミュニティ運営などをしています。 世界を揺るがしたチャット型AI「ChatGPT」をご存知でしょうか？ ChatGPTとは、AIにチャットで質問や命令(依頼)を送ることで、様々なタスクを行ってくれるサービスです。 ChatGPTは2022年11月に公開され、 ● 大学レベルの記述試験や、MBA(経営学修士課程)の最終試験で合格点を取った ● 2023年1月には史上最速でユーザー数1億人を突破 など報…

はじめに 数ある本の中から、本書を手に取っていただき、ありがとうございます。 本書は、現在世界中で注目されている「ChatGPT」について、その有効な使い方を説明しています。 ChatGPTとは、OpenAIが開発した自然言語処理技術のソフトウェアで、文章の自動生成や翻訳、Q&Aシステムなど、さまざまな用途に活用されています。 その精度は驚くべきものであり、まるで本当の人間が話しているかのような感覚で会話が成立するところにあります。 ChatGPTは、2022年11月30日にリリースされ、5日間で100万人以上のユーザーが登録し、現在、世界中で使用されています。 マイクロソフトが今後数年間でト…

現代のテクノロジーの進化により、私たちの生活はますますデジタル化され、コミュニケーションはオンラインで行われることが一般的になってきています。 その中で、最近注目されているのが自然言語処理（NLP）です。NLPは、人間の言語をコンピューターが理解し、処理するための技術です。 その進歩により、音声アシスタントやチャットボットとのやり取りが容易になりました。この記事では、「ChatGPT」に焦点を当て、その仕組みや機能、実際の利用例について紹介していきます。 これだけは押さえておきたい生成系AI用語 生成系AIの用語説明 類似用語の整理 「大規模言語モデル（LLM）」と「自然言語処理（NLP）」と…

こんにちは！Insight Edgeの塩見です。 2023年7月11日（火）～13日（木）の3日間、東京ビッグサイトにて「AI World 2023」が初開催されました。本展示会では、ChatGPTを活用したソリューションが数多く展示されていたため、その内容をご紹介したいと思います。 AI Worldとは？ ChatGPTとは？ 各社のChatGPTソリューション紹介 株式会社AVILEN 「研修、アイディアソン、ソリューション開発」 株式会社ギブリー 「法人GAI・行政GAI」 パーソルプロセス＆テクノロジー株式会社 「TIMO Meeting」 Allganize Japan株式会社「Al…

Azureの資格2つめに挑戦するよ 次はAzure認定資格の基礎(Fundamental)レベルのAIを扱う資格、正式名称『Microsift Certified: Azure AI Fundamentals』に合格してきました。 こちらも基礎レベルなので準備すれば受かってふつうではあるのですが、これから挑戦する方や未来の自分向けに、今回も情報を残して振り返っておこうと思います。 Azureなのでまた空をアイキャッチに使ってみるテスト

AIサービスは、さまざまな用途に活用されています。ここでは、目的別におすすめのAIサービスを紹介します。 画像生成 Midjourney：テキストを入力すると、そのキーワードや文章に適したイラストや画像を生成してくれるサービスです。 DALL-E 2：テキストを入力すると、その内容を画像として生成してくれるサービスです。 Adobe Firefly：Adobeが提供する画像生成AIサービスです。 Stable Diffusion：GAN（生成対抗ネットワーク）を用いた画像生成AIサービスです。 Canva：画像編集ツールです。AIを活用した画像加工機能も搭載されています。 文章作成 Googl…

はじめに AIの基本概念 AIの種類 強いAIと弱いAI 強いAI 弱いAI 汎用型AIと特化型AI 汎用型AI 特化型AI 強いAIと弱いAI、汎用型AIと特化型AIの違い まとめ はじめに AIの基本知識について、自分なりに整理して備忘録的に作成してみました。 AIの基本概念 AIとは、人工知能（Artificial Intelligence, AI）のことです。 AI（人工知能）は、人間の思考プロセスに似た方法で動作するプログラムや、人間の知的な活動と同等とみなされる情報処理技術を指します。 この技術分野は、データ解析、機械学習、意思決定など、知的なタスクを自動化し、高度な情報処理能力を…

モバイルアプリの開発は、テクノロジーの急速な進化に影響を受けており、常に新しいトレンドが登場しています。ここでは、2023年に注目すべきモバイルアプリの開発トレンドについて紹介します。 1. 5Gの普及と活用: 5Gの導入により、モバイルアプリは高速かつ安定したネットワーク接続を活用できるようになります。これにより、リアルタイムのコンテンツストリーミング、仮想現実（VR）アプリ、オンラインゲームなどの新しい体験が可能になります。 2. AIと機械学習の統合: AIと機械学習は、モバイルアプリのパーソナライズやユーザーエクスペリエンスの向上に貢献しています。音声認識、画像認識、自然言語処理を活用…

booksch.hatenablog.com お金持ちが幸せとは限らない | 実験と結果 | #GPT4 #OpenAI お金持ちが幸せとは限らない 以下のvideoの鮫島さんの言葉「お金持ちが幸せとは限らない」が印象に残る。39分26秒に設定致しました。しかし 鮫島さん頑張っていらっしゃる。 youtu.be お金持ちが幸せとは限らない PIC001 違う視点から俯瞰すれば、なる程この世界は「お金集めましょうゲーム」にも見える。で、子供みたいにAIに尋ねてみる。 質問 :「お金持ちが幸せとは限らない」は真理ですか? 回答 Assistant version「お金持ちが幸せとは限らない」という…