Hatena Blog Tags
はてなブログ トップ
量子化
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

量子化

(サイエンス)
【りょうしか】

連続な物理量を離散的な物理量で置き換えること．また，その置き換えによって理論を再構築すること．量子力学において基礎的な処理である．
さらに場の量子化（かつて第二量子化と呼ばれていた）という処理もある．

リスト::物理関連

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
となりずむ•6時間前

iPhoneで270億パラメータのAIが動く。Apple評価中のPrismMLと12GBの壁

✅この記事では、270億パラメータのAIをiPhoneで動かすというPrismMLの新モデル「Bonsai 27B」と、Appleとの協議について整理します。 要点まとめ：実物が出て、動く機種の話がそろわなくなりました 54GBが3.9GBに。Bonsai 27Bは何をしたモデルなのか 「iPhone 15以降」と「iPhone 17 Pro」。動く機種の説明がそろっていません 圧縮の代償は、本当に「数パーセント」なのか Appleは何を評価しているのか。そして、メモリの値段の話 海外の反応：技術への食いつきと、メモリをめぐる長年の不満 ひとこと：協議の話より、実物が出たことのほうが大きい ま…

#PrismML#Bonsai 27B#オンデバイスAI#Apple Intelligence#Siri#iPhone 17 Pro#MLX#大規模言語モデル#量子化#メモリ

関連ブログ

アナログ・テック 技術コラム•15日前

学習済みモデルをMetis AIPUにデプロイする ─ 変換・最適化・推論の流れを整理する

— Axelera AI（Metis AIPU）入門 第3回 — 前回は、Metis AIPUの開発環境「Voyager SDK」の全体像と、Model Zooのモデルで最初の推論を動かすまでの流れを整理しました。今回はシリーズの最終回として、いよいよ自分で用意した学習済みモデルを、Axelera AIのMetis AIPUにデプロイする流れを整理します。 Model Zooの既製モデルを動かすところまでは、多くの環境で比較的スムーズに進みます。しかし現場で本当に必要になるのは、自社の検査対象や監視シーンに合わせて学習したモデルを動かすことです。本記事では、自前モデルを「変換 → 量子化 → …

#エッジAI#技術コラム#Axelera AI#Metis AIPU#Voyager SDK#量子化#推論
Pulse AI Navi•2ヶ月前

ローカルAIを試す前に知っておきたいこと｜Ollama・LM Studio・Jan比較とPCスペックの考え方

ローカルAIを始めるとき、「どのツールを選ぶか」より先に「今のPCで動くか」を確認する方が、失敗しにくくなります。 ツール名（Ollama・LM Studio・Jan）は検索するとすぐ出てきますが、いざ試そうとしたとき、PC性能が足りずに動かない・重すぎて使えないというケースも少なくありません。この記事では、3ツールの違いとあわせて、PC条件・量子化・オフライン利用の考え方を整理します。 ローカルAIとは何か ローカルAIとは、AIモデルをクラウド上ではなく、自分のPCで動かす使い方です。 ChatGPTやClaudeはインターネット経由でサーバー上のAIに質問する仕組みです。ローカルAIは、…

#ローカルAI#AIツール比較#初心者向けAI#PC条件#量子化
Sansan Tech Blog•7ヶ月前

「量子化済みLLM+LoRA」 vs 「量子化なしLLM+LoRA」、RPSとlatencyはどう変わるか？

Sansan株式会社 技術本部 研究開発部の齋藤慎一朗です。 この記事は、Sansan Advent Calendar 2025 22日目の記事です。 結論 最初に、この記事の概要を図1にまとめます。 図1 本記事の概要 はじめに 最近、ファインチューニングしたLLMを使ってプロダクトを改善するお仕事をしています。ファインチューニングしたLLMを運用するフェーズでは、クラウド環境にGPUを用意し、LLMが推論できる環境を用意しています。環境について、基本的に次の２点が求められます。 LLMが提供する価値に対して運用費が高すぎないこと 高速に推論できること 1を満たすために、多くの場合はH200…

#LLM#LLM (大規模言語モデル)#機械学習#vLLM#量子化
ローカルLLM自由帳 (Local LLM Diary)•1年前

【LLM論文を読む】LLMにおける超重要パラメータ（スーパーウェイト）

量子化に最適化したLLM学習ライブラリの開発で知られるUnslothさんが、671BパラメータのDeepSeek-R1を量子化によって最小131GBまで圧縮したモデルを公開しているようです（それでもデカすぎるんですけど）。 unsloth.ai 上記のブログ記事では、モデルの中の重要性の高い層は軽い量子化に留めつつ、それ以外の重みを大胆に圧縮することで、一定の性能を維持したまま大幅に小型化できると説明されています。 最初の 3 つの密なレイヤーは、すべてのウェイトの 0.5% を使用します。これらは 4 ビットまたは 6 ビットのままにします。 MoEレイヤーは、ウェイトの1.5%を使用して、…

#LLM#量子化#llama.cpp#スーパーウェイト
ローカルLLM自由帳 (Local LLM Diary)•1年前

【LLM論文を読む】量子化精度のスケーリング則

以前Llama-3モデルが公開されたときに「Llama-2よりも量子化で劣化しやすくないか？」という指摘があり、それに対して「学習量（学習トークン数）が大きく増えたので、モデルの冗長性が低下して量子化の影響を受けやすくなったのではないか」という議論がなされていた記憶があります。 あるいは、量子化とは別のモデル効率化手法である枝刈り（Pruning）においても、大型モデルのほうが小型モデルより（モデルの冗長性が高いので）性能の劣化が緩い、ということが経験的に知られていると思います。 このようなモデルの学習時トークン数やパラメータ数と、学習時/学習後の量子化による推論精度の変化について定式化を試み…

#LLM#量子化#スケーリング則
Rei Frontier Tech Blog•2年前

量子化モデルの実力検証！AWS EC2でのローカルLLMパフォーマンスチェック

はじめに テスト環境と条件 検証用プロンプト EC2インスタンスタイプの説明 補足 パフォーマンス計測方法 APIリクエスト APIパラメータ補足 パフォーマンス計測結果 結論 おまけ お知らせ はじめに こんにちは、CTOの大柿です。 ローカルLLMとして高額なGPUがなくとも動作するLLMや量子化したLLMが数多く公開されてきており、実際どれが使えるのか、どの程度のコストが必要なのかという疑問がわきます。今回ローカルLLMをAWS EC2で実行するための最低限なインスタンスタイプを比較・検証してみます。ローカルLLMの利用は、コスト削減やデータプライバシーの観点から非常に魅力的です。しかし…

#LLM#AWS#GPU#量子化#ベンチマーク#ollama#Phi3#GEMMA#モデル#AI
土日の勉強ノート•2年前

量子化：論文 Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference を読む（３）

量子化の3回目です！ Googleが2017年12月にarXivに登録した論文の「Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference」の続きで、今回は 3章の予定でしたが、2章に関係が深い Appendix を先に読んでいきます。

#AI#量子化#QAT
土日の勉強ノート•2年前

gemmlowpライブラリのソースコードをデバッガを使って理解する

今回もAIの量子化について学んでいきます。GoogleのQAT量子化の論文 に出てくる gemmlowp ライブラリ について見ていきます。 前回は、gemmlowp の サンプルコード（doc/quantization_example.cc）を実行しました。長い実行ログが出力されて、その内容は量子化計算のチュートリアルのようになっていたので、その説明をしました。 今回は、実行結果のログだけでは十分に理解できなかった部分を、デバッガを使って、実行結果とソースコードを見ながら、理解を深めていきます。 それでは、やっていきます！

#AI#量子化#QAT#gemmlowp
土日の勉強ノート•2年前

gemmlowpライブラリのソースコードを読んで量子化を学ぶ（サンプルソースの実行）

今回もAIの量子化について学んでいきます。GoogleのQAT量子化の論文 に出てくる gemmlowp ライブラリ について見ていきます。 それでは、やっていきます！

#AI#量子化#QAT#gemmlowp