[pgsql-jp: 35997] Re: VACUUM中にCOPYが終わらない

[aya]

お世話になっております。綾です。

この件、気になっていて自分のところでも発生したら困るなあと
思っていてどういうときになるのか、原因は何か気になって
色々考えていました。
２つ思いつくものがあったので投稿してみます。
間違えていたらご指摘ください。

想定１．ひとつ可能性として思ったのはデータがすごく多いのでそれに対し
　１件づつ更新をかけるようなことをやるとトランザクションIDが
　多くなってしまって、バキューム時にトランザクションIDを
　全部2につけかえるような処理が動いたのかも、、、と
　思いました。

　参考）
http://www.buena-idea.net/~hironobu/postgresql/p-2-06.html
http://www.postgresql.jp/document/pg801doc/html/maintenance.html#VACUUM-FOR-WRAPAROUND

１分おきに7000件のデータを登録すると、
１時間では42万件。
２４時間では1008万件。
10億÷1000万件=100回のトランザクション、、、
１件あたり100回ものトランザクションを動かしているということは
考えにくいので、あまり可能性がないかも、、、


想定２．あるデーモンのようなプロセスがトランザクションを開始して
　ずーっと終わらなかったらそのトランザクションIDを持つもの
　以前のデータにはバキュームがかからないそうです。

　例）１日目：
　　　　トランザクションID＝１００番にて以下のような単純な
　　　　selectを実行します。
       （auto commit offだとします。）
　　　　select * from xxtable
　　　　ずーっとこのままセッションつながったまま放置
　　　　２〜３日放置するとします。


　　　２日目：
　　　　（私はcopyがトランザクションをどうしているか
　　　　知らないんですが、とりあえず、
　　　　１つのトランザクションで行っているとします。）

　　　　１分おきに7000件登録するcopyのトランザクションを１つ発行。
　　　　このトランザクションIDが２００番だったとします。
　　　　次々１分おきにcopyは行われるので201,202,203,204と
　　　　トランザクションIDはどんどん進みます。
　　　　この状態でバキュームをかけても、
　　　　トランザクションID=１００のトランザクションが完結して
　　　　いないと、トランザクションID=１００移行に登録された
　　　　データについてはバキュームがかからないそうです。

　　　３日目：
　　　　３日経過しても最初の１日目のプログラムは終わらなかったとします。
　　　　すると、同じ理由でこの日に登録されたもの全てと
　　　　昨日に登録されたもの全てに対して、バキュームが
　　　　かからないと思います。

　　　４日目：
　　　　最初の日のselect文を走らせたプログラムが終わったとします。
　　　　すると、２日目、３日目登録したものに対して、
　　　　一気にバキュームがかかり、２日目、３日目よりも
　　　　時間がかかると考えられます。

　　　　１０日ほどするとバキュームが終わらなくなるとのことでしたので、　
　　　　ひょっとすると１０日ほど動きっぱなしのプログラムが
　　　　いたのかもしれません。


以上


Kiyoshi Mizuno wrote:
> 水野です。
> 
> すみません。さっき書きかけのを送ってしまいました。こっちが本物です。
> 
> 7.4.6にあった歴代リリースノートを見るとCOPYコマンドに関して
> 7.4.1以降ざっと見ても３回は修正が入っています。
> 支障が無ければ単純に7.4.6へ更新しては？
> 
> リリース7.4.2
> Fix multibyte problem that could lead to "out of memory" error during COPY IN
> 
> リリース7.4.3
> Fix error in COPY IN termination when using the old network protocol (ljb)
> 
> リリース7.4.4
> Make psql handle \r\n newlines properly in COPY IN
> 
>