小数値を
の各部分に分けて表現したもの。
double型の数値のことを指す事が多い。
MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); はじめに こんにちは、サクミル開発チームの栃川です。 どうも世の中には、「0.1 + 0.2 ≠ 0.3」ということを知ってはいるけど なんでそうなるのかよくわかっていない不届き者がおるようです（はい、私のことです笑）。 ということで、今日はなぜJavaScriptにおいて「0.1 + 0.2 ≠ 0.3」となるのか説明してみたいと思います。 前提 2進…
背景 商品価格に対し割引率をかけて最終価格を出す際に計算結果にずれが生じていたため、それについて調べた内容をまとめます。 たとえば以下のような、数値リテラル（Floatクラス）で計算した場合、計算結果が微妙にずれてしまっています。 pry(main)> 0.3 - 0.2 => 0.09999999999999998 いわゆる丸め誤差というもの。 プログラミングでの演算 PCは10進数ではなく、2進数で計算を行います。 たとえば、10進数で0.2は2進数で表すと0.00110011...のような循環小数になります。 演算を行う際、循環小数は桁の途中で切り捨てられることになります。 そのため、小…
先日リリースされた Go 1.20 をGitHub Actionsで使いたい場合、以下のような記述をすると Go 1.2 が入ってしまいます。 - uses: actions/setup-go@v3 with: go-version: 1.20 この件は golangci-lint の Go 1.20 対応 Pull Request でもはまっていたのをみかけました。 github.com対処法としては以下のように文字列として指定するとちゃんと 1.20 が入ります。 - uses: actions/setup-go@v3 with: - go-version: 1.20 + go-versi…
最近社内でRedashを利用している。色んなデータソースにたいしてクエリを書くことができて便利です。 redash.ioただ、たまに数字の出力で精度について気になることがあるのでブログにまとめておきます。 前提: Redashを開いているタブで開発者コンソールからネットワークの様子をみるとAPIからの結果が確認できる 桁数の多い数字の場合の誤差 小数点2桁までで丸められる件 Edit Visualization で小数点の桁数を変更しても、十数桁以上から結果がずれる 終わり 前提: Redashを開いているタブで開発者コンソールからネットワークの様子をみるとAPIからの結果が確認できる まず前…
コンピュータで少数点を含む数値を表現するときに浮動小数点数という表現の仕方があります。 その中でも、IEEE（米国電気電子学会）により規格されたIEEE754の浮動小数点数について解説していきます。 基本の浮動小数点数の表現 まず、基本の浮動小数点数の表現の仕方から見てみましょう。 浮動小数点数は「符号」「指数部」「仮数部」の形式で表現します。 32ビットで表現する場合は下記の通りです。 【符号】 【指数部】 【仮数部】 1ビット 7ビット 24ビット 符号は正の場合は0、負の場合は1とする 指数部は【2^n】で表記する指数nを7ビットの2進数にした値 負の数の場合は2の補数で表現 仮数部は正…
こんにちは。たろすです。今回は浮動小数点について説明します。 浮動小数点数 IEEE方式 おわりに おすすめの学習本 浮動小数点数 浮動小数点数は次のような形式で表します。Mを仮数、2を基数、Eを指数と呼びます。また、Sが0のときは1となるので符号は正、Sが1のときは-1となるので符号は負となります。は浮動小数点数で次のように表せます。 IEEE方式 IEEE方式は次のような形式で浮動小数点数を表す方式です。をIEEE方式で表すには次のようにします。1. 整数部が1になるように形式を変える2. 指数部をE-127の形式に変える3.符号をの形式に変える4. それぞれをフォーマットに当てはめる お…
概要 プログラミングの技術書を読んでいると、たびたび浮動小数点数という言葉が登場する。しかし、それに反して、浮動小数点そのものが何なのかについて踏み込んだ説明が少ないように思うので、書き残しておきたい。 動機 プログラミングの講義で小数点以下の20桁を出力せよという課題が出され、double型(Ｃ言語における、浮動小数点の変数のための型)では、無理じゃね？と思い調べ始めたところ、そもそも浮動小数点の規格について理解が浅かったことを思い知らされた。そこで、これについて未来の自分のために書き残すことにする。 内容 float,doubleは浮動小数点数を代入できる型です。と、多くの技術書には平然と…
hnw.hatenablog.com
qiita.com
qiita.com
postd.cc
qiita.com
qiita.com
hnw.hatenablog.com
www.cc.kyoto-su.ac.jp
shogo82148.github.io
