[pgsql-jp: 36016] Re: EXPLAIN ANALYZE SELECT文の検索結果時間とＰＨＰで実行した際の検索時間の違いについて

[ces h]

cesです。
返信有難うございます

ＯＳはunameコマンドで調べたらAIXと出てきました。これはUNIXですよね？

>他の部分は流し読みですが、恐らく offset / limit 構文を使用していないせい
すみませんです。質問内容で略してた部分がありまして、
検索にヒットした全データをＣＳＶに出力して直接ユーザーが落とせるようにＣＳＶ
ファイルを
ダウンロード出来るようにしたいと思っていまして、
先ほどのＳＱＬ文はそのＳＱＬ文に当たるために
ダウンロードの際にはlimit,offsetとを使用していませんでした。
（検索条件にヒットしたデータをただ見るだけの時には、
limit,offsetを利用して１ページで表示させる件数に制限をかけています。
その時には２分程はかからずに検索は終了しています）

>＃5000行もの結果を取得する必要があるとしたら基本構造を変える必要が
実際にデータとして登録されている件数は約７万件です・・・。
もしそれをユーザーが何も条件なしで検索してＣＳＶダウンロードをした場合には
７万件のデータを取得しなければいけなかったりします・・・。

検索に時間がかかってしまう為に、
ＣＳＶを直接出力してダウンロードというやり方は断念して、
ＰＨＰからＤＢサーバーに接続して、シェルスクリプトを利用して
ＤＢサーバーでＳＱＬを直接打込む方法をとってました

シェルスクリプトで実行させるＳＱＬはＰＨＰ側で作成してます。
SQLは
１．にヒットしたものを新しいテーブル生成するもの。（CREATE TABLE 〜 AS 
SELECT )
２．文字コードを変更するもの。（ＥＵＣ→ＳＪＩＳ）
３．そのテーブルをＣＯＰＹでｃｓｖファイルをＤＢ内に生成するもの。( COPY 〜 
TO )
４．作成されたテーブルの削除。( DROP TABLE )
の４つのＳＱＬを実行させています

とりあえずこれで検索にヒットしたデータをＣＳＶに出力できるようになったのです
が、
ここでもまた問題が出てしまったのです。
その問題とは検索にヒットした件数が多いと
Memory exhausted in AllocSetAlloc(364)というエラーが出てしまうという事です。

http://www.linet.gr.jp/~juk/plamo/parts/2.2.5/scripts/pgsql/faq-japanese.txt

↑のＵＲＬに原因っぽい事がかかれてたので、その通りに対策をしてみたんですけど
ダメでした。

ですので検索のヒットした件数を分割してＣＳＶファイルを分けて生成してみた所、

上のエラーメッセージが出なくなりました。
ただ１ファイルに３０００件ぐらいじゃないと上のエラーが出てしまうっぽいので、

全件をＣＳＶファイルに出力するとなると、２３ファイルぐらい生成しなくてはなら
ないっぽいのです。
（最後まで動作させずに止めてるので確認はまだしてません）

どうすればいいかな？と悩んでた時にSELECT文の結果がすぐ戻ってくるようになれば

ＰＨＰ側にＣＳＶの出力などをやらせちゃえば
上のメモリが足りないとか解決できるかも？
という風に思い最初の質問のような内容にしました。

>DBサーバ側かWebサーバ側(もしくは両方)のメモリリソースではないでしょうか
もし仮にSELECT文の結果が遅い原因が↑のような
原因だとなるとこちら側ではもうどうしようもないでしょうか・・・？
それとも何か他に良い方法がありますでしょうか？

>ならば top コマンドなどでメモリ及び swap の消費量をみると原因が推測
現在は教えて頂いたコマンドを使用してメモリリソースが原因か調べてますけど、
シェルは苦手というか今回のこういた事が起きてから触り始めたばっかりなので
どうしたらメモリリソースかチェックしていいのか分らなくて困っています。

topコマンドは使えないみたいでした。
ksh: top:  見つかりません。
と出てしまいました。
psだと使えるみたいなのですがpsコマンドとかでわかりますでしょうか？

長くなってしまいましたがよろしくお願いします

_________________________________________________________________
ウィルス駆除も無料の 「MSN Hotmail」  http://www.hotmail.com/