ファインチューニング

最初の仕事 はじめての転職経験は比較的スムーズにスタートした。人事部長候補として採用されたものの、試用期間の３ケ月はタイトルなしの部下なし管理職として、まずは会社に慣れてほしいとの配慮をいただいたためだ。 仕事を一緒にするのは、人事部の中でも制度や戦略などを担当するメンバーで課長クラスと主任クラスの２名であった。 まずは、この２人と一緒に経営会議に出席した。経営会議の議題でも人事案件だけを切り出したパートがあり、その仕切りは人事部のこの２名が担当していた。 当時の人事部はおよそ１年半前に導入したあたらしい人事制度の定着・運用に奮闘していた。経営会議ではあたらしい人事制度について、役員さんからさ…

こんにちは、AWSチームの藤岡です。 昨年末にAWSから、大規模言語モデル（LLM）に関する以下の記事が公開されました。 aws.amazon.com AutoMLツールであるSageMaker Autopilotを活用して、業界ドメインに特化したチューニングをオートメーションで行う方法を紹介しています。なかなか魅力的ですね！ そこで、本記事では、 AWSのオートメーション機能を使用したLLMのファインチューニングの手順と、RAGとの使い分けについて、ご紹介したいと思います。（結論はコチラです） ファインチューニングとは LLMのファインチューニングは、端的に説明すると、LLMに対してタスクや…

毎月開催されているwatsonx.ai Dojoのハンズオンの内容の復習の続きになります。今回は直前に体調を大きく崩してしまい、最新回までに間に合わず😫😫😫 イベントページ ibm-developer.connpass.com 今回のハンズオンではLLMの回答精度を上げる、RAG（Retrieval-Augmented Generation）とは異なるアプローチであるファインチューニングを試してみるという内容。今回の内容はコンピューティングリソースを非常に使用する可能性があるので、前半部分のハンズオンに留めておきたいと思います。 資料はConnpassページにもありますが、念の為こちらにも掲載…

This is the Japanese translation of this site. デニーズ・オレアリー2024/3/15 16:40 『Closer to Truth』の司会者ロバート・ローレンス・クーンは、著名な神経科学者クリストフ・コッホとのもう1つのエピソードを収録しました。コッホは意識の統合情報理論 (IIT) で最もよく知られています。クーンはコッホに、彼の究極の哲学的信条について議論するように求めました。

少し古いですが「ファインチューニングの終焉（The End of Fine-tuning）」という記事が面白かったので、簡単なメモです。 www.latent.space この記事に登場するFast.aiのJeremy Howardさんは「事前学習→追加学習→RLHF」のように、フェーズごとにデータセットの種類・手法を完全に切り替えていく言語モデルの学習方法は「もはや正しくない」と主張しています。 「私は今では誰もが採用している 3 段階の学習アプローチを最初に考案しましたが、これは実は間違っており、使用すべきではないというのが私の今の見解です。正しい方法は、ファインチューニングという考えを捨…

< pythonプログラミングで画像認識のディープラニングをファインチューニング。> PyTorchによる画像認識の仕組み PyTorchで画像認識を行う基本的な流れは以下のようになります。 データセットの準備: 画像データとそのラベル（正解となるクラス）を用意します。一般的な画像データセットとしては、CIFAR-10、ImageNetなどがあります。PyTorchのtorchvision.datasetsモジュールには、これらのデータセットを簡単にダウンロードして利用するための機能が用意されています。また、独自のデータセットを扱うための仕組みも提供されています。 データローダーの作成: 用意…

This is the Japanese translation of this site. グランヴィル・セウェル2023/12/15 8:17 今月初め、私は2020年のノーベル物理学賞受賞者ロジャー・ペンローズとクリスチャンの哲学者ウィリアム・レーン・クレイグとの友好的な討論から、ファインチューニングについての部分を含む映像について議論しました。この映像は私にとって興味深いものでした。なぜなら、ペンローズが、ほぼ常にデザインの唯一の代替案として提案されるマルチバース (多元宇宙)/人間原理の説明を好んでいないからです。