[pgsql-jp: 37170] Re: 消費税計算で失敗しました。
Kawasaki Yusuke
u-suke @ kawa.net
2006年 6月 6日 (火) 14:59:16 JST
川崎です。失礼しました。さきほどのメールで、
select (1::integer+0.05::real); -- 1.05000000074506
select (1::double precision+0.05::real); -- 1.05000000074506
select (0.05::real::double precision); -- 0.0500000007450581
定数で書いたときに 0.05 じゃなくて 0.5 にしてしまってました。それが原因か。
テーブルに格納することは、やはり丸め誤差には関係ないですね。
On 6/6/06, Kawasaki Yusuke <u-suke @ kawa.net> wrote:
> --------------------------------
> select (1::integer+0.5::real); -- 1.5
> select (1::double precision+0.5::real); -- 1.5
> select (0.5::real::double precision); -- 0.5
> --------------------------------
> test テーブルに格納せずに、定数で計算した場合は誤差が表面化しないのは、
> 原因がよく分かりません。
「丸め誤差」なんて言葉を使ったのは、たぶん大学以来です。w
--
Kawasaki Yusuke <u-suke @ kawa.net> http://www.kawa.net/
pgsql-jp メーリングリストの案内