DeepSpeed

こんにちは、CCCMKホールディングス TECH LABの三浦です。 9月になりました。夏から秋に変わる時期で気候もコロコロ変わるので、体調管理をちゃんとしないと・・・と思います。 さて、LLMに限らずDeep LearningモデルをGPUを使って学習していると、「なんでこんなにGPUメモリを消費しているんだろう・・・？」と不思議に思うことがあります。特にモデルそのもののファイルサイズ上は十分にGPUメモリに読み込めるはずなのに、学習を始めるとGPUメモリの容量オーバー時に発生する"Out-Of-Memory"エラーが出てしまったりします。この理由について、最近調べていた分散学習に関する論文…

概要 先日までKaggleのAIMOコンペ(数学の問題をLLMに解かせて正答率を競う)に参戦していました。結果は初のチーム参加でメンバーに助けられつつ運もあり、なんとか銀メダルを取れました！これでMasterにリーチがかかりましたが、金メダルは未だ取れる気がしないので遠い道のりです……。 www.kaggle.com このコンペについて、近い内に同様のコンペが開催予定なこともあり上位解法があまり出ていない状態なので、どのような手法が良かったのかまだわかっていないのですが、とりあえず公開されている情報を元にすると、 LLMとしてはほぼほぼ全員が数学問題に特化したLLMであるDeepseek-Ma…

セッションの要約 本セッションは、企業が大規模言語モデル（LLM）をファインチューニングし、ビジネスアプリケーションに最適化する方法に焦点を当てました。具体的には、ビジネス課題の理解、データセットの生成、ハイパーパラメータの調整、モデル評価のステップを経てLLMの効果を最大化するプロセスが紹介されました。また、LLMの評価と展開についても議論され、Retrieval-Augmented Generation（RAG）の使用が推奨されました。内部評価とデータ収集の重要性、顧客データのプライバシー保護、AIガバナンスの採用も強調され、これらの戦略を通じてLLMの運用効率とセキュリティを向上させる方…

主に一般向け製品やサービスを提供している企業等からのリリース、お知らせを不定期に収集しています。対象企業は徐々に数を増やしていく予定です。キャンペーン情報、イベント情報等の関連する情報も掲載しています。 ランキング参加中インターネット Hamee 2024-06-14 夏の暑さによるスマートフォンの発熱抑制とバッテリーの劣化防止「ムーミン」、「ディズニー＆ピクサーキャラクター」デザインのスマートフォン冷却シートが登場 Hamee(ハミィ)株式会社は、スマートフォンの発熱を抑制し 、バッテリーの劣化を防ぐ「[スマ冷え Premium] 貼って剥がせるスマートフォン冷却シート」から「ムーミン」、「…

こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張…

退屈な論文調査はAIにやらせよう ― arXivとChemRxivからの論文自動抽出&要約LLM: PaperBot君の紹介 NLP2024に参加してきました！ Google Colab で EvoLLM-JP を試す Google Colab で RakutenAI-7B を試す MetaGPTを動かしてみた Generative AI for Beginners (Version 2) - A Course #24 JAWS-UG主催 週刊AWSキャッチアップ（2024/03/18週） LangChainを使って自然言語でRDBからデータを取得する 動画生成AI「Sora」のオープンソース…

2024年なので自分でLLMを学習させてみたい。企業が用意しているGPT-4やGeminiみたいなありあわせのものではなく、自分で好きなようにカスタマイズしてみたい。 企業と比べれば個人でできることはたかが知れているが、実際のところ本気を出したらどれくらいの性能のLLMを作成できるだろうか？ モデルの大きさやデータの量よりも、データの質のほうが重要という噂もある。個人レベルでも案外良いものができるのではないか？ LLMを学習させるには モデル 学習データ 計算機資源 の3つを揃える必要がある。また、学習スクリプトも必要だ。 モデル 公開されている様々なOSSモデルがhuggingface hu…

github.com はじめに「MGIE」(Guiding Instruction-based Image Editing via Multimodal Large Language Models)はアップルとカリフォルニア大学サンタバーバラ校（UCSB）が共同で開発したマルチモーダル大規模言語モデルを基にしたAI画像編集ツールです。GitHub名は「ml-mgie」です。Gradio実行環境を公開してくれている人がいたので、今回はそちらを使わせて頂き自宅のPCで実行してみました。 github.com 以前「Instruct-Pix2Pix」で似たようなことをしました。 touch-sp.h…

text-generation-webui や SillyTavern のようなチャットUIでは、TTS(Text-to-Speech)による音声チャット用の拡張機能も利用することができます。 ただ、いろいろと触っているうちに物足りなくなり、Pythonで簡単な音声チャットアプリのDIYを始めました。素人なのでAIに頼りながらのコーディングです。 今のところ、TTSにはgTTS(Google TTS)ライブラリを使っています。手軽で英語も聞き取りやすいので重宝していますが、そのうちTTSもローカルで動かしたい願望があります。 主なText-to-Speechモデル 以下のページで、オープンなT…

はじめに 成果 参考記事からの変更点 環境 環境設定 データセットの構築 トークナイザー準備 事前学習 学習用のパラメータの設定 事前学習の実行 推論 モデルをhuggingfaceにアップグレードする ライブラリのインストールとログイン モデルのアップロード はじめに LLMの精度検証を各モデルをやっていく中で自分でも事前学習モデルを作ってみようと思ったので、いろいろと調べて作ってみました 今回は以下の記事で事前学習モデルの作成用のColobが公開されていたので、こちらを使用します。 zenn.dev また上記の内容を細かくZennにまとめられているので、詳細を知りたい方は以下の記事をご覧く…

はじめに NVIDIA GH200の ZeRO-Inference のベンチマーク値が出てきたので見てみます。 lambdalabs.com ZeRO- Inference とは、 www.deepspeed.ai GH200 vs H100-80GB vs A100-80GB 下図は上記の記事から説明のために引用します。 Bloom 126b inference Performance with a single GPU, batch size 8 でのベンチマークのようです。A100-80GB を基準として、 bloom 16-bits GH200 : 11.22 倍 H100 : 2.1…

rinna、GPTを活用した日本語音声認識モデル「Nue ASR」を公開 こんにちは！半田貞治郎です。 rinna株式会社は12月7日、日本語音声認識モデル「Nue ASR」を開発し、Hugging Faceにて商用利用可能なライセンス「Apache-2.0 License」で公開した。このモデルは、日本語に特化した音声基盤モデル「HuBERT」とテキスト基盤モデル「GPT」を統合して開発され、話し言葉を認識し、文章に変換することができる。モデル名は、妖怪の「鵺（ぬえ）」に由来する。事前学習済みの基盤モデルを活用することで学習コストを軽減でき、テキスト生成の分野でデファクトスタンダードとなって…