[pgsql-jp: 32884] Re: [Q] 巨大なテキストの登録

[Yoshinao Ikeuchi]

池内と申します。

<20040427225705.9515.qmail ＠ milk.freemail.ne.jp>の記事において
aquam ＠ milk.freemail.ne.jpさんは書きました。
>>>とりあえず、psqlにて巨大テキストの登録ができないことが
>>>わかりました。
>>
>>何方もはっきりと仰らない様ですが…(^_^;)
>>(私なんかより、エキスパートな方が大勢居られるのに…)
>>
>>そもそも、何故それ程迄に巨大なテキストをDBに丸投げしたいの
>>でしょうか？…かなり疑問です。

アドバイスありがとうございます。

現在、画像ファイルはgimv、メールなどはnamazu、オーディオなどは
ファイルに置いて、PostgreSQLからファイル名を管理しています。

これらを全てPostgreSQLから一元管理できれば、一番スマートである
と考えています。バックアップも楽ですし。その際テキストで登録し
ておけば共通のコマンドも使えるし、汎用性もあり便利かなと思いま
した。

Windowsなどでは2GB以上の動画ファイル編集は普通に使えるので、
たかが500M〜1GB程度では何ら問題ないと思っていました。

例えメモリが足りなくても、エラーを判断して分割すればよいかな、
と思っていたのですが、エラーとなるまでPCが黙ったまま数分が経っ
てしまい、不足メモリ容量もわからず、実用的ではないようです。
＃また、スワップを5GB程度にしてもエラーとなりました。

試しにラージオブジェクトを使用すると1.8GB程度は登録できましたが、
登録(lo_import)   約9分
参照(lo_list)     約5分
削除(lo_unlink)   約5分
となり、こちらも現状では実用的ではないようです。

将来マシンを乗り換えた時に、勉強して再考しようと思います。

今回はどうもお騒がせしました。

--まとめ--
[質問]
  500MB以上の巨大なテキストの登録の方法を教えて
  頂けないでしょうか？
  (1GBまで可能と認識しています)

[回答]
  下記の環境では実用的な処理は望めません。
  DBに適した処理を工夫してください。  
  (ファイル名管理など)

[環境]
  VineLinux2.6r4 kernel-2.6.3
  (PentiumIII-1.26GHz/1.5GB Memory)
  PostgreSQL-7.4.2

--
 Yoshinao Ikeuchi[池内 義直]
 el4y-ikuc ＠ asahi-net.or.jp