[pgsql-jp: 32308] Re: 数万アクセスに対する対処について

Mao Morimoto yneko2 @ yamamaya.com
2004年 2月 19日 (木) 22:03:58 JST


もりもとです。

私の経験で・・
Webサーバのアクセスログを正規化してDBに書き込む、という
システムで、
PostgreSQL + Perl(DBI,DBD::Pg)の構成で、
生データ → マスタでコード変換 → INSERT → COMMIT という
一連のトランザクションを、300回/秒くらいで処理できました。
ちなみに、データベースへのセッションは最初に1回接続したっきり、
あとは1レコードごとにcommitという方法です。

このシステムでの方法なのですが・・
DBに入れたいデータはまずファイルに順次追加していき、
それを tail -f で読み込みながら、DB側のペースにあわせて
書き込んでいくという方法をとってます。
なので、ピーク時のレコード数/秒にはほとんど限界がないです。
DBへの書き込みがあとからついてくるので、リアルタイムで
参照というのはできませんが。。

- Mao Morimoto
Web site: http://yamamaya.com/
Blog    : http://blog.yamamaya.com/




pgsql-jp メーリングリストの案内