Hatena Blog Tags
はてなブログ トップ
ファインチューニング
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

ファインチューニング

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
暇さえあればアルゴリズムいじり•10日前

RoPEの特性について実験して性能評価する(2)

目次 先日のRoPEの特性検証のうち1つ目：基本性能の維持（Short-context Robustnessの検証）について扱っていきます。 ですが、通常のBERTレベルでも触れるマシンがないためGoogle Colabで実験できる内容で試行を進めていこうと思います。 以前技術要素研究のため、マシンスペックが限定されていても使えるminiBERTを導入しました。 今度はこれをアテンションと位置エンコーディングを設計変更してRoPE版miniBERTにした上でMLMで学習させた状態にしようと思います。 🎵 BGMを再生する RoPEとは こちらの記事をご一読いただければと思います。 著者の記事の…

#BERT#miniBERT#MLM#事前学習#ファインチューニング#性能評価#アテンション#位置エンコーディング

関連ブログ

Japanese Translation of "Science and Culture Today"•6ヶ月前

インテリジェントデザインを却下するには、以下のことを信じなければなりません

This is the Japanese translation of this site. グランヴィル・セウェル2025/1/9 インテリジェントデザイン (ID) という用語は、私たちの文化においてより知られるようになっていますが、依然として多くの人々が誤解していると言っても過言ではありません。批判者たちはしばしばIDを誤り伝え、その提唱者たちを熱狂的な非主流派集団として描きます。ですから、インテリジェントデザインとは一体何であり、何ではないのかを理解することが重要なのです。

#インテリジェントデザイン#物理学#化学#自然選択#ファインチューニング
Re:ゼロから始めるチャレンジ日誌•9ヶ月前

60日目：強欲攻略戦

やりたいことが大すぎる（マジです！） デスク周りもすっきりさせたいし、絵描きたいし、Python覚えたいし、app作ってみたいし、ITパスポート受かりたいし、海外行きたいし、英語勉強したいし、動画作ってみたいし、自転車乗りたいし、クラフトの素材も消費したいし！！！時間たりなーい！ ま、やりたいことないよりはいいけどね。 【今日の進捗】 今日も今日とて、新旧過去問チャレンジ10 問！ AIに弱いです…。 www.kayalab.jp ITパスポート 全問解説Trips LLC教育無料apps.apple.com 今日も相変わらずお世話になっている参考書 令和07年 イメージ＆クレバー方式でよくわ…

#ITパスポート#ゆるログ#初心者#AI基盤モデル#ファインチューニング#エキスパートシステム#畳み込みニュートラルネットワーク
Gemini and I’s diary•1年前

５．ニューラルネットワークのAIの学習の仕方

ランキング参加中人工知能 ボク：ねえ、ジェミニ！今日は、ニューラルネットワークのAIの学習方法について教えてほしいんだけど、まず、ニューラルネットワークにもいろいろ種類があるんだよね？ やあ！もちろんだよ！君が知りたがっているニューラルネットワークのこと、どんどん教えてあげるね。 ニューラルネットワークにもいろいろ種類がある！！ ニューラルネットワークって、実はたくさんの種類があるんだ。まるで、お家を作るのにレンガを使ったり、木材を使ったり、いろんな材料や作り方があるのと同じだよ。 基本的な考え方はみんな同じで、人間の脳が情報を処理する仕組みをマネして作られているんだけど、それぞれ得意なことが…

#教師あり学習#教師なし学習#強化学習#転移学習#自己教師あり学習#蒸留#LoRA#連合学習#ファインチューニング#RLHF
酢語録BLOG 2.0•1年前

ファインチューニングという再調整の美学

「ファインチューニング」という言葉を耳にする機会が増えた。とりわけ、生成AIや機械学習の話題が盛り上がる中で、ChatGPTや画像生成AIの性能向上に用いられる技術として紹介されることが多い。しかし、ファインチューニングは単なる技術的な工程を指すものではない。データサイエンスという視点で眺めてみると、それは「本来あるべき姿に近づけるための丁寧な微調整」の哲学でもある。 AIモデルのファインチューニングとは、すでに学習済みの大規模モデルを基礎として、特定の用途や対象に合わせて再学習させることを意味する。例えば、英語と日本語の両方に対応する汎用モデルに対し、医療分野の日本語文書を用いてファインチュ…

#データサイエンス#ファインチューニング#生成AI
ENGINEERING BLOG ドコモ開発者ブログ•1年前

言語処理学会(NLP2025)ワークショップ「大規模言語モデルのファインチューニング技術と評価」の上位解法の紹介

TL;DR 言語処理学会(NLP2025)併設ワークショップである「大規模言語モデルのファインチューニング技術と評価」（コンペ）が開催されました。 「大規模言語モデルのファインチューニング技術と評価」コンペの上位1~3位までの解法を紹介します。 はじめに NTTドコモ クロステック開発部 鈴木明作です！ 2025年3月10日（月）〜14日（金）に開催されていた言語処理学会第31回年次大会(NLP2025)におけるワークショップとして「大規模言語モデルのファインチューニング技術と評価」が開催されました。 このワークショップでは、大規模言語モデル（LLM）の「ファインチューニング技術と評価」に焦点…

#NLP2025#LLM#ファインチューニング#生成AI
uepon日々の備忘録•1年前

初心者でも簡単！Ollamaモデルをファインチューニングして自分だけのAIを作る方法

1. はじめに 「自分だけのAIアシスタントがあったら便利だろうな～🤔」と思ったことはありませんか？そんな好奇心から、今更ながらOllamaで動かしている大規模言語モデル（LLM）のファインチューニングに挑戦してみました。プログラミング初心者向けの回答をより的確にしたい、あるいは特定のキャラクターのように応答してくれるモデルを作りたい——そんな願いを実現できるかもしれないと思ったのです。 この記事では、実際にGTX 1070（VRAM 8GB）というかなり古めのGPUを搭載したノートPCで試したファインチューニングの過程を、成功も失敗も含めた体験記としてまとめてみました。技術的な詳細はもちろん…

#ファインチューニング#LLM#Python
Cafe HOUKOKU-DOH•1年前

人事屋修行記（第172話）

最初の仕事 はじめての転職経験は比較的スムーズにスタートした。人事部長候補として採用されたものの、試用期間の３ケ月はタイトルなしの部下なし管理職として、まずは会社に慣れてほしいとの配慮をいただいたためだ。 仕事を一緒にするのは、人事部の中でも制度や戦略などを担当するメンバーで課長クラスと主任クラスの２名であった。 まずは、この２人と一緒に経営会議に出席した。経営会議の議題でも人事案件だけを切り出したパートがあり、その仕切りは人事部のこの２名が担当していた。 当時の人事部はおよそ１年半前に導入したあたらしい人事制度の定着・運用に奮闘していた。経営会議ではあたらしい人事制度について、役員さんからさ…

#転職#２社目#最初の仕事#観察#人事制度見直し#ファインチューニング
ForgeVision Engineer Blog•2年前

AutoMLでLLMを最適化する時代： Autopilotによる高効率なファインチューニング

こんにちは、AWSチームの藤岡です。 昨年末にAWSから、大規模言語モデル（LLM）に関する以下の記事が公開されました。 aws.amazon.com AutoMLツールであるSageMaker Autopilotを活用して、業界ドメインに特化したチューニングをオートメーションで行う方法を紹介しています。なかなか魅力的ですね！ そこで、本記事では、 AWSのオートメーション機能を使用したLLMのファインチューニングの手順と、RAGとの使い分けについて、ご紹介したいと思います。（結論はコチラです） ファインチューニングとは LLMのファインチューニングは、端的に説明すると、LLMに対してタスクや…

#LLM#ファインチューニング#生成AI#AWS
uepon日々の備忘録•2年前

【イベント参加レポート】ファインチューニングとInstructLAB～watsonx.ai Dojo #5～

毎月開催されているwatsonx.ai Dojoのハンズオンの内容の復習の続きになります。今回は直前に体調を大きく崩してしまい、最新回までに間に合わず😫😫😫 イベントページ ibm-developer.connpass.com 今回のハンズオンではLLMの回答精度を上げる、RAG（Retrieval-Augmented Generation）とは異なるアプローチであるファインチューニングを試してみるという内容。今回の内容はコンピューティングリソースを非常に使用する可能性があるので、前半部分のハンズオンに留めておきたいと思います。 資料はConnpassページにもありますが、念の為こちらにも掲載…

#watsonx.ai#LLM#ファインチューニング