量子化

(思考実験：2021.4.17 Sat ～ 2021.4.19 Mon) この宇宙は「4つの力」が支配する空間と考えらている。強い力・弱い力・電磁気力・重力の4つだ。このうち「弱い力」については分かり易い説明と出会えていないので、自分には上手く説明できない。なので「弱い力」は言及しない事にした。 今回の記事は、前回の「距離2乗」を、さらに応用したものだ。で、従来の常識から飛躍するための最大の要点は「空間は量子化できる有限個数の存在である」と解釈する事だ。 つまり宇宙空間には、画像ソフトでお馴染みの「レイヤー構造」のようなものが存在していると考えるのだ。 重力の謎について考えてみた： 今回は、重…

初めに 環境 準備 推論 推論速度 推論時 GPU RAM 自然言語処理とは何か まどマギで一番可愛いキャラはなんですか？ 日本で一番高い山はなんですか？ 初めに (非商用ですが)性能がいいとのことなので、実際に試してみます 🚀Introducing new (synthetic) RLHF Dataset Nectar and new open model Starling-LM-7B-alpha🚀🌟 Model & Dataset Highlights:📊 Scores 8.09 in MT Bench: Surpassing all existing models except Open…

tanuki- 2023-11-28 nnue-pytorch halfkp_1024x2-8-32 Xavierの初期値 実験内容 nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させる。 ネットワークパラメーターの初期化に Xavier の初期値を使用する。 ただし、入力層から隠れ層第 1 層の重みは、標準偏差を 1.0 / sqrt(kMaxActiveDimensions) とした。 棋譜生成 生成ルーチン tanuki-棋譜生成ルーチン 評価関数 水匠5 1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード 開始局面 fo…

The Remarkable Slowness of Light光の驚くべき遅さ by Wal Thornhill | September 2, 2002 11:30 pm “The more one reflects on the nature of light, matter and gravitation, the more he realizes that there are problems connected with them that are quite insoluble in terms of our current notions. But we no longer re…

こんにちは、ToMO（@tomo2011_08）です。 私はサラリーマンをしながら、サイドFIREを目指しています。 サイドFIREを目指す上で重要なことの1つとして、「投資」があります。 投資をして、資産を拡大し、経済的自立を達成して、自分のやりたいことを仕事にしたいと思っています。 様々な投資の方法がありますが、その中の1つとして株式投資があり、株式投資を行う上で株式銘柄を分析することは非常に重要なことです。 (function(b,c,f,g,a,d,e){b.MoshimoAffiliateObject=a;b[a]=b[a]||function(){arguments.current…

tanuki- 2023-11-23 nnue-pytorch halfkp_1024x2-8-32 ネットワークパラメーターの学習後の量子化つき学習 学習率調整 実験内容 nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させる。 初めに量子化なしで学習したあと、 1 epoch 学習するたびに、ネットワークパラメーターを量子化する。 ネットワークパラメーターの量子化をはじめるときに、学習率を変更する。 その際の学習率は、初期値よりは低くする。 棋譜生成 生成ルーチン tanuki-棋譜生成ルーチン 評価関数 水匠5 1手あたりの思考 深さ最大 9 …

A-13 均一量子化を行うパルス符号変調(PCM)通信方式において、量子化のビット数を2ビット増やしたときの信号対量子化雑音比(S/NQ)の改善量の値として、正しいものを下の番号から選べ。ただし、信号電圧の振幅の発生する確率分布は、振幅を分割した区間内で一様であり、最子化雑音は、周波数に関係なく一様な分布とする。 考え方が分かれば... 量子化については、こちらに詳しくのってます。 www.phileweb.com 量子化は標本化された値に対して、決められた段階の数値に置き換えることです。このとき、決められた段階（ステップ）が荒ければ、標本化された値と量子化された値の乖離が大きくなります。すな…

はじめに こんにちは。横浜国立大学大学院 理工学府 修士2年の藤井巧朗と申します。8月24日から9月29日の５週間、株式会社レトリバにインターンとして参加させていただきました。インターンでは日本語LLMの推論速度に関する検証を行いました。本記事では、インターンでの成果の一部を紹介します。 想定する読者： 自然言語処理に興味がある方 自然言語処理を扱う会社のインターンに興味のある方 LLMの推論速度に関心のある方 時間がない方向けまとめ： 推論速度に関して、特に大規模なモデルではCPUよりもGPUの方が圧倒的に速い GPUで高速化したい場合vLLMかFasterTransformerを使うべき（…

Science Heading For a Big Bangビッグバンに向かう科学 Posted on April 27, 2000 by Wal Thornhill Forget the glossy astronomy books and magazines – the Big Bang is pure fiction.光沢のある天文学の本や雑誌は忘れてください。– ビッグバンは純粋なフィクションです。 The discoveries that prove it will also bring about the end of science-as-we-know-it. それを証明する発…

tanuki- 2023-11-17 nnue-pytorch halfkp_1024x2-8-32 ネットワークパラメーターの量子化 実験内容 nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させる。 学習中、 1 epoch 学習するたびに、ネットワークパラメーターを量子化する。 棋譜生成 生成ルーチン tanuki-棋譜生成ルーチン 評価関数 水匠5 1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード 開始局面 foodgate の 2020 年～ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用…

はじめに 物理科や数学科では「Diracもファイバー空間を考えていた。」というのはかなり有名な言い伝えになっています。そのディラックの研究というのは、おそらく1931年の非可積分位相について研究した論文（ディラックのモノポールで有名な論文）のことだと思われます（違うかもしれません。別の論文の可能性もあります。）学生時代に読もうとして挫折。最近思い出してまた読んでみました。 ゲージ変換 出発点はシュレンディンガー方程式です. 電子と磁場が相互作用するときは \begin{equation}i\frac{\partial}{\partial t}\psi=(i\nabla+A)^{2}\psi\e…

目的 レトロフリーク（音声出力サンプリングレートが44.1[kHz]固定）でのゲームキャプチャーをしている関係で，キャプチャー側音声のサンプリングレート（サンプルレート）と量子化ビット数（ビットの深さ）を都度，手動で変更している．手動で設定する場合，マウスで3，4クリックが必要となる： サンプルレートとビットの深さの設定の場所 そもそも，私の使用しているHDMIキャプチャーボードは，48[kHz]の取り込みしかできないことも問題ではある*1． 結論 MMDevice APIとIPolicyConfigというものを用いて，所望の動作である特定の録音インターフェースに対して，44.1[kHz]⇔4…

こんにちは!!!クライアントエンジニアの小林です。今回はPythonでGIFを作っていきます。 作業環境 概要 リポジトリ GIF作成 シンプルなサンプル 圧縮率の比較 画像の量子化とGIF出力はスレッド化 tkinterはスレッドセーフではない ログを仕込んで見てみる アプリケーション Adobe Expressと比較 おわり!!! 作業環境 ・windows 10 ・visual studio code ・python 3.10 概要 はてなブログにGIFを投下するには10.0 MBに抑えないといけません。筆者はAdobeが無料で提供しているAdobe ExpressというツールでGIFを…