仮数

競プロをやる過程で小数の扱いがあったので深堀りしてみました。 to_fメソッドをデカい小数で扱うときに丸め誤差が出てしまった。 きっかけとなった事例 ABC196 僕が最初に提出したコードは以下 x = gets.chomp.to_f s = x.floor puts s.to_i # サンプルを試す x = 84939825309432908832902189.9092309409809091329 # => 84939825309432916635287552 # 数値が丸まっているため正解できない RubyのFloatクラスについて 浮動小数点数のクラス。Float の実装は C 言語の…

変数の使い方について解説します。前回の解説の続きになります。 前回の解説はこちら phoeducation.work 変数の初期化 定数 finalキーワード 文字列変数の利用 文字列の連結 数値型変数の利用 浮動小数点（float, double） リテラル 整数リテラル 浮動小数点リテラル 文字リテラル 文字列リテラル 論理値リテラル nullリテラル まとめ 参考図書 あわせて学習したい 変数の初期化 変数の宣言と同時に値を入れることを「初期化」といいます。 初期化は代入と同じように「=」記号で行いますが、内部的には異なる動作をしています。 しかし、通常の変数を使っている際にはあまり難し…

ほとんどの処理系では、浮動小数点数の表現に IEEE 754-2008 (IEE 754 の2008年版) というフォーマットを採用しています。 ここでは、IEEE 754 をなんとなくわかったつもりになれる、そんな情報を紹介します。 フォーマット 特殊表現 NaN 最小値 非正規化数 最大値 有効数字 フォーマット IEEE 754 では、浮動小数点数を下記のように定義しています。 符号 (S)指数部 (E)仮数部 (F) 単精度 (32バイト)1 bit8 bit23 bit 倍精度 (64バイト)1 bit11 bit52 bit また、上記フォーマットから、下記式により実数に変換します…

◀︎ 前へ｜次へ ▶︎️ 計算機内部では，数は0と1の組合せで表される。絶対値が2-126以上2128未満の実数を，符号部1文字，指数部8文字，仮数部23文字の合計32文字の0，1から成る単精度浮動小数表現として，以下の手続き（1）〜（4）によって変換する。 （1）実数を，0 ≦ x < 1であるxを用いて±2α × ( 1 + x )の形に変形する。 （2）符号部1文字を，符号が正（+）のとき0，負（−）のとき1と定める。 （3）指数部8文字を，α + 127の値を2進数に直した文字列で定める。 （4）仮数部23文字を，xの値を2進数に直したときの0，1の列を小数点以下順に並べたもので定める…

以下、2021年3月1日(月)の日記。 ・行ったこと ①仕事 ・①の振り返り 本当に何も分からないので、書くことがない。 ↑ 仕様書と出力結果を見比べる僕😩 ★振り返り 引き続き「C実践プログラミング」を教科書に勉強。今日は浮動小数点の章をやったのだが、仮数部とか指数部とかを完全に忘れていてビックリした。俺はどうやって基本情報に合格したんだ？ ただ、流石に基礎の基礎なので、やっているうちに思い出して、特につまづくことなく最後まで進んでしまった。もうちょい厳しめにスケジュールを見積もればよかったかな。 ★食べたもの 朝 昼 夜 寿司うんめえ🍣 ★株 ・三菱ＵＦＪフィナンシャル・グループ評価損益+…

組み込み開発時に、一般的な(?)プログラミングではあまり扱わない要素として「固定小数点数」の利用があります。組織によっては単に「LSB」とか呼ばれたりしますが、新入社員の時にさも当然のことのように言われて困惑した思い出があるので、ここにメモとして残しておきます。 固定小数点数 単位としての「LSB」 演算時の注意 除算 データサイズ 実例 まとめ 固定小数点数 おそらくプログラミングに触れて最初に知ることになる小数の表現方法は「浮動小数点数」だと思います。これは仮数部と指数部からなる表現方法で…というのは大体の教科書に書いてると思うので省略します。固定小数点数の説明は以下です。 固定小数点数（…

今まで、CDec関数の戻り値として得られる十進数型（Decimal）のデータは、VBAの標準データ型に代入できないと思っていました。 Microsoft Docsをはじめ、「Decimalデータ型はバリアント型 ( Variant) のみで使用できます 」と各所で説明されているためです。 ところが、他の記事を書いている最中、CDec関数の戻り値が他のVBAの標準データ変数に何のエラーもなく「代入」できてしまうことに気づきました。 VBAの型システムの仕様を考えたら当たり前なのですが、ちょっとだけショックを受けましたし、Microsoft のレファレンスにすら書かれていなかったので、記事にしよう…

変数を利用したい時にデータ型が必要になります。このデータ型について確認してみましょう。 データ型 Java のデータ型 符号付き整数と浮動小数点数 符号付き整数（固定小数点数） 浮動小数点数 文字 論理値 まとめ データ型 データ型とは、そのデータの種類を表すものです。 「1」と記述されていた場合、これはどのような「1」と見ることが出来るでしょうか。 単純に考えると数字の「1」ですが、文字の「1」とも考えられます。 人間は「1」の前後を読み取る事で数字なのか文字なのかを理解する事が出来ます。 「1 + 1」と記述されていたら数字、「第1章」と記述されていたら文字であると判断しています。 ではコ…

はじめに 先日、接点QB氏による以下のツイートを見かけた： ??????俺の脳みそがバグってるのか？？ pic.twitter.com/zyzzdb3ijS— 接点QB (@setten_QB) February 10, 2021 興味深いので少し調べてみたというわけである（少々長い記事）。 はじめに numpyのarange関数の振る舞い 浮動小数点数の表現形式と演算 浮動小数点数の倍精度表現 0.1の倍精度表現 1.0の倍精度表現 1.5の倍精度表現 1.6の倍精度表現 倍精度表現に基づく浮動小数点数演算 まとめ 参考 numpyのarange関数の振る舞い numpyのarange関数の…

高速逆平方根とは？ C言語のコード 検証 アルゴリズムの要点 [1] 逆平方根の計算を対数・指数の計算に置き換える [2] 浮動小数点型の内部表現を利用した対数・指数の近似計算 [2.1] 対数の近似 [2.2] σの最適値 [2.3] 整数型での解釈 [2.4] 逆平方根の計算とマジックナンバー0x5F3759DF [3] ニュートン法による収束で精度アップ 感想 高速逆平方根とは？ 高速逆平方根(fast inverse square root)とは、平方根の逆数 を高速に計算するアルゴリズムです。平方根の逆数は逆平方根とも呼ばれます。逆平方根はベクトルの正規化などに用いられるので、これを…

C言語のfloat型のバイナリ表現形式に着目すると、2^x と log2(x) の近似値を高速に計算できます。 float型のバイナリ表現形式 float型は32ビットで、仮数部が23ビット(ケチ表現)、指数部が8ビット、MSBが符号ビットです。⇒ 単精度浮動小数点数 - Wikipediaこのように上位ビットが指数を表してることを利用します。 2^xの計算 実質、足し算1回で計算できます。 (ここでは検証のために浮動小数点⇒固定小数点の換算をしています。) // y = 2^x (x=-10～10) for (float x = -10.0; x <= 10.0; x += 0.25) { …