固定小数点数

固定小数点 浮動小数点 という2種類の概念がある。 固定小数点 固定小数点は int(32bit) や long(64bit) といった固定桁数の中で表現可能な範囲で小数を表現する方式。そのためこの範囲の計算に収まる限りは誤差が発生しない。 ただし算術の結果、int や long の桁を超える場合には正確に表現できなくなる。 浮動小数点 int や long の bit 数ではとても表現できない大きい or 小さい数を表現する時に、近似値として使う型の一種。 仮数 * 基数 ^ 指数 の計算式で表現し、これを bit に落とし込むことで近い値を表現することができる。そのため厳密な計算が必要な場…

Bill Karwin, 『SQLアンチパターン』, オーム社 を読む。 概要 論理設計のアンチパターン １．Jaywalk（信号無視） 問題点 改善案 ２．Naive Tree（素朴な木） 問題点 改善案 備考 ３．ID Required（とりあえずID） 問題点 改善案 ４．Keyless Entry（外部キー嫌い） 問題点 改善案 ５．Entity Attribute Value（エンティティ・アトリビュート・バリュー） 問題点 改善案 ６．Polymorphic Association（ポリモーフィック関連） 問題点 改善案 ７．Multicolumn Attribute（複数列属性）…

目次 公式docs紹介 str.format 書式指定文字列 動作確認 公式docs紹介 まずはこちらをご覧ください str.format https://docs.python.org/ja/3.8/library/stdtypes.html#str.format 書式指定文字列 https://docs.python.org/ja/3.8/library/string.html#format-string-syntax str.format str.formatの構文 str.format(*args, **kwargs) 文字列の書式化操作を行います。このメソッドを呼び出す文字列は通常の…

RISC-V GPUへのハードウェア拡張の実装に関する論文の内容をサマライズしていく。 出典：https://carrv.github.io/2022/ 経緯 ちょうど本日ISCAの併設CARRVでRISC-VのGPU拡張の論文が出ているので、サマライズして教えてください(笑)。https://t.co/C2T8McuydMImplementing Hardware Extensions for Multicore RISC-V GPUs https://t.co/PJa9LkvEzh— Masayuki@FPGA開発日記 (@dev_msyksphinz) 2022年6月20日 ベースとなっ…

浮動小数点 (floating point number) 循環小数による誤差 指数表記（E 表記） 浮動小数点型（float／double／decimal） float double decimal 注意 小数の一致判定 実験 キャストの処理時間 浮動小数点 (floating point number) 表現方式 小数点の位置 利点 欠点 浮動小数点 可変 表現できる範囲が広い データ解析に処理時間が必要 固定小数点 固定 ↑と逆 ↑と逆。単純なので高速 コンピュータ上で "小数" を表現する方法の一つ。 "IEEE 754" で標準化されている。 浮動小数点は、"符号、仮数、指数" で表…

マイクロアーキテクチャに関する論文を読んでいる。今回はIBM POWER7に関する論文。 ieeexplore.ieee.org 本論文では、POWER7プロセッサの主な機能について説明する。 各コアは4-wayの同時マルチスレッディングが可能な8コアのプロセッサが搭載されている。 IBMの45nm SOIテクノロジで製造 メモリサブシステム : 3レベルのオンチップキャッシュが搭載されている イントロダクション Power7の目標は、1つのテクノロジ世代で以下のすべてを達成することである。 Power6と同じ電力で、プロセッサチップ上に4倍のコアを配置できるようにする。 消費電力を削減するた…

John Backusという計算機科学者には大きな功績が三つある： IBMでFORTRANの開発を提案・主導したこと 構文の形式的な定義を可能とするBackus-Naur FormをALGOLの開発のために提案したこと チューリング賞受賞講演で、FORTRANのような命令型プログラミングからの脱却を提唱して関数型プログラミング言語FPを提案したこと 現代でも使われている最古の言語であるFORTRANの開発責任者というだけではなく、実際にプロジェクトを売り込んで上司に承認させたのもバッカスのようで、これはやはりすごい。LISPの開発者McCarthyも「IPLはアセンブリ言語っぽくて嫌だ、やっぱ…

マンデルブロ集合の計算を実行するには、通常はいわゆるパソコンでやる。 高速に計算したければＧＰＵを使う、というのが今風と思う。 しかしながら、なぜか私は自作の専用ハードウェアを使っている。こんなやつです。 思い返せば１５年くらい前、秋葉原の秋月電子で32bit １チップマイコンを見つけたのが事の始まり。SH-7125F 、今でも売ってるみたい。長寿命、スゴイねぇ。 ※ 秋月電子のＨＰより 32bit x 32bitの整数乗算ができるということで、ふと思いついてしまったのが、固定小数点の多倍長でマンデルブロ集合の計算をアセンブラで組んだら面白そう・・というもの。 クロックは50MHzと速くはない…

固定小数点・浮動小数点 floatもdoubleもなぜ誤差が出るの？ じゃあなんでBigDecimalは誤差でないん？ nullとは？ 環境変数とは？ 自動型変換の法則 基本型（プリミティブ型）と参照型 スタック領域とヒープ領域と静的領域 固定小数点・浮動小数点 浮動小数点のメリットはメモリの節約。 0.0000001は8桁必要。 1 * 10^-6 なら「1」と「10」と「-」と「6」の5桁に節約できる。 float型、double型が浮動小数点。 ・固定小数点の例 1.5555 314.555 3.141592 ・浮動小数点の例 0.0000001 * -10 0.000001* 10^-…

こんにちは、masm11 です。 テキストエディタで1～2行めに以下のように書きます。 あいうえおかきくけこさしすせとたちつてと abcdefghijklmnopqrstuvwxyzabcdefghijklmn お使いのエディタにコピペしてみてください。 文字幅がきっちり 全角:半角=2:1 になっていれば、右端が揃うはずです。 最近、私の環境では揃わないんです… 何故なんでしょう… 今回はそんな疑問を調査してみました。 FreeType を使って描画する Linux のアプリでは文字の描画に FreeType を使っていることが多いです。 さっそく FreeType を使ってみます。 こうい…

浮動小数点のメリット 指数表記 2進数と指数表記 float型 double型

現在、CSの勉強のために、コンピュータアーキテクチャ (電子情報通信レクチャーシリーズ)を読んでいる。 P.5 32ビットの浮動小数点による実数の表現 この式で、実数が表せることに関して、即座に理解できなかったので、浮動小数点に関して、自分なりにまとめてみた。 実数とは （前提）コンピュータでの数字の取り扱い 浮動小数点 IEEE754の単精度で表現 まとめ 関連書籍 実数とは まず、言葉の定義の復習。実数とは、有理数と無理数の総称である。 実数 有理数 整数 正の数 0 負の数 整数でない有理数 有限小数 循環小数 無理数 循環しない無限小数。小数点以下がランダムに無限に続く。 √2, π,…