GPT3

本記事の概要 TeslaでAI開発のディレクターを務め、現在はChatGPTで有名なOpenAIで働くAndrej KarpathyのGPT解説動画[Let's build GPT: from scratch, in code, spelled out.]を紹介します。 www.youtube.com 動画の概要 ChatGPTにも使用されている言語モデルGPT3と同等のモデルを実装していきます。 データセットは1MB程度の小さなものなのでそこまでの精度は出ません。あくまでモデルのアーキテクチャを学ぶのが目的のようです。 実装は全てPyTorchで、もちろん動画で実装されるコードは全て公開され…

トークンについて 2024年7月にOpenAIから「GPT-4o mini」が登場しました。 従来のGPT-4oに比べて、軽量&高速かつコストパフォーマンスに優れています。 具体的には、1MT（ミリオントークン）あたりの入力が0.15ドル、出力が0.60ドルとなっていますが、これが果たしてトークン数どれぐらいなのでしょうか。 今回はChatGPTのような言語モデルのトークンの意味、単位や量についておさらいです。 トークンについて トークンとは、ChatGPTのような言語モデルがテキストを処理するために使用する基本的な単位です。 トークンは、単語、部分単語、文字、句読点など、テキストの構成要素の…

はじめに こんにちは。宿泊プロダクト開発部の宮崎です。 みなさん、生成 AI 使ってますか？ 近年、AI の進歩はめざましく、文章生成や画像生成はもちろん、動画生成も実用的なレベルで出来るようになっています。 ChatGPT が話題になったのが 2022 年の 11 月なので、たった 2 年足らずでここまで来ているという事実に少し恐ろしくもありますね。AGI(汎用人工知能)の実現もそう遠くないのかもしれません。 一休でも AI 技術は注目していて今年の 6 月に、まさに生成 AI を使ってホテル検索システムの改善を行いました。 この記事では、その時に学んだプロンプトエンジニアリングの重要性につ…

最近Claudeの精度がおちているとして、不満の声が増えています。 「クロードの動きが遅くなり、頭が悪くなったのは私だけだろうか？」 「クロードが少しグレードダウンしたように感じる人はいるだろうか？」 「クロードは4月と5月は本当に良かったのですが、最近はチャットgpt3.5のようになってしまいました。」 「クロードは2、3週間前と同じように、この日もまた本当に馬鹿になったのだろうか？」 「週ごとにクロードの調子がどんどん悪くなっているような気がするんだ。 そして昨日は、文字通り5回連続で同じミスを犯した。 」 「ここ数日、クロードがずっとダウンしている。 NetworkError: when…

皆さん、こんにちは！ 暑い日が続いて、なんか意識が、、、、 ってならないよう、しっかり休息は取りましょう！ 生成AIにも、たまには意識が朦朧とすることはあるんでしょうか？ｗ それに近い（？）のが、ドリフト現象と呼ばれています。 AIのドリフト現象は、AIモデルが時間とともに予期せず性能が低下することを指します。 この問題は特に、大規模な言語モデルで顕著に見られます。 例えば、OpenAIのGPT-3.5やGPT-4のようなモデルは、初期の段階では高い精度でタスクをこなしていましたが、時間が経過するにつれて、その性能が低下することが報告されています。 2023年3月と6月の2回に分けて、Open…

ポッドキャストとにかくヨシ！のアーカイブです。 とにかくヨシ！では九州に住むの研究者とベンチャー企業のエンジニアが主に気になったニュースに関して話し合う中時間ポッドキャストです。 今回で第106回目の放送です。 視聴はこちら↓ podcasters.spotify.com 出演 OhS matt Show Note トピック1: 大手LLMプロバイダーの比較 - OpenAI、Anthropic、Googleの3社が主要なLLM事業者 - OpenAIはMicrosoftと提携し、Azureでサービスを提供 (https://learn.microsoft.com/ja-jp/azure/ai…

どうも〜ChatEGUことエンジニアの江種(@toshiya_egusa)です！さまざまな質問にお答えすることができます！現在、私は主にRuby on Railsで作られている社内向けプロダクト「タレントエージェンシー支援システム（SFA/CRM）」の開発、運用を担当しております。 はじめに ChatGPTとは、ご存知の方も多いと思われますが、OpenAI社が2022年11月30日に公開した対話型生成AIです。本当に人間と話しているかのように、自然に対話することができるのが特徴の一つです。Claude(クロード)とは、Anthropic社が2023年3月14日に公開した対話型生成AIです。注目…

※本ページはプロモーションが含まれています Mapifiは無料版があるの？日本語対応は？ Mapifyは、AIを搭載した次世代のマインドマップツールで、情報を視覚的に整理しやすくするために設計されています。 このツールは、テキスト、画像、音声、PDF、Webページ、YouTube動画など様々な形式の情報を瞬時にマインドマップに変換することができます. そんなMapifiの使い方や無料版と有料版の違い、日本語に対応しているのか？などを見ていきましょう。 記事の内容 Mapifiは無料版があるの？日本語対応は？ ■Mapifiの主な特徴を教えて ■Mapifyの活用事例と具体的な使い方 活用事例 …

🧠 サカナAIとは？～未来をつなぐAIプラットフォーム～ 💼 サカナAIの上場計画と資金調達～投資家たちの期待～ 🌐 サカナAIの技術がもたらす未来～AIが社会に与える影響～ 1. エネルギー効率化 2. 医療分野への貢献 3. 新しいビジネスモデルの創出 📊 サカナAI vs 競合企業～市場における位置づけ～ 🔮 まとめ：サカナAIの今後の展望 こんにちは！長谷川です！今回は サカナAI について、最新のニュースや展望を掘り下げてみたいと思います。もしあなたも、「AI技術が進化する中で、今後どんなビジネスチャンスが生まれるのか？」「AIが日常にどう役立つのか？」などと気になっているなら、この…

AIナヒーダ様を作ってみた ChatGPTの性能が向上し、gpt-4o miniが登場するようになりました。gpt-4oの廉価版といったところで、複雑なタスクや長文読解は得意としていません。その代わり、難しくないタスクであれば通常使いできる程度には性能が高くなっています。 先日、AIナヒーダ様をgpt-4oからgpt-4o miniへの移行作業を行いました。動かしてみたところ、やはりgpt-4oの方が自然な気がするものの、詳しい人でないとわからない性能です。gpt-4o miniのいいところは価格が安いところです。 AIナヒーダ様を作ったのはいつだったかあまり記憶にありませ。昨年の冬だった気が…

アルゴリズム戦横断機能チーム（プロジェクト・メイブン）：2017年4月設立承認。迅速に行動、テック企業を活用、無人機動画から学習用データセットを作成、2017年末にイラクとシリアで反ISIS作戦を支援していた軍の情報部隊にAI目標分析システムを実戦配備した。 AIセキュリティ 機械学習システムを打ち負かす方法。AIの画像認識に対する敵対的攻撃。敵対的物体かステッカーでAI自動運転車が交通法規に従わないようにし向けるなど。データ汚染。 マイクロソフトのTay（チャットボット）はデータ汚染攻撃で操作されて攻撃的ツィートをばらまいた。 訓練に使われるデータセットとコンピュート資源、モデルが大型化して…

KVMで、UEFIを使って作った仮想マシンに、コンソールからログインしようとしても、 ``` BdsDxe: loading Boot0006 "Ubuntu" from HD(1,GPT,3AB95E6A-AB58-4056-8276-68C90FAF4254,0x800,0x1DC800)/\EFI\ubuntu\shimx64.efiBdsDxe: starting Boot0006 "Ubuntu" from HD(1,GPT,3AB95E6A-AB58-4056-8276-68C90FAF4254,0x800,0x1DC800)/\EFI\ubuntu\shimx64.efiEFI …

疑問 OpenAIが開発したGPT-4oってなに？ GPT-4oで動画制作はできる？ OpenAIが開発した最新のAIモデル「GPT-4o」は、数々の驚くべき機能を搭載しています。 しかし、ざっくりとした内容でしか知らないという方が多いでしょう。 そこで本記事では、GPT-4oの特徴や価格、具体的な使い方について詳しく解説します。GPT-4oについて理解を深めたいという方は、本記事を参考にしてください。 目次： Gpt-4oの特徴 自然と会話ができるようになる 画像生成機能の向上 50か国の言語に対応している Gpt-4oに必要な価格 Gpt-4oの使い方 動画編集でAIを活用するならFilm…