Google spreadsheetの計算精度について こんにち、一般に浮動小数点数はIEEE754 binary64の形式に準拠している。 この規格では、十進小数を15.95桁の精度で表現する。 ゆえに、たとえば、0.1+0.2と0.3は等しくない Google spreadsheetやMS-Excelもこの例に漏れていない。 ただし、これらの表計算ソフトは一部の計算において、その精度を十進小数15桁に落としている。 ゆえに、たとえば、=(1+1E-15) = 1は=trueとなる。 したがって、"IEEE754 binary64に準拠した計算"が困難となる。 このことは、ダメージ検証に際し…
ja.wikipedia.org