[pgsql-jp: 37170] Re: 消費税計算で失敗しました。

Kawasaki Yusuke u-suke @ kawa.net
2006年 6月 6日 (火) 14:59:16 JST


川崎です。失礼しました。さきほどのメールで、

select (1::integer+0.05::real);                      -- 1.05000000074506
select (1::double precision+0.05::real);             -- 1.05000000074506
select (0.05::real::double precision);               -- 0.0500000007450581

定数で書いたときに 0.05 じゃなくて 0.5 にしてしまってました。それが原因か。
テーブルに格納することは、やはり丸め誤差には関係ないですね。

On 6/6/06, Kawasaki Yusuke <u-suke @ kawa.net> wrote:
> --------------------------------
> select (1::integer+0.5::real);                      -- 1.5
> select (1::double precision+0.5::real);             -- 1.5
> select (0.5::real::double precision);               -- 0.5
> --------------------------------
> test テーブルに格納せずに、定数で計算した場合は誤差が表面化しないのは、
> 原因がよく分かりません。

「丸め誤差」なんて言葉を使ったのは、たぶん大学以来です。w

-- 
Kawasaki Yusuke <u-suke @ kawa.net> http://www.kawa.net/



pgsql-jp メーリングリストの案内