[pgsql-jp: 37755] Re: INDEXを残したまま大量データを高速に挿入したい

[masaki.kuroda ＠ uniadex.co.jp]

黒田と申します。

Windows2000のときのものになりますが、以下の記事が参考になると思いますが
http://www.atmarkit.co.jp/fwin2k/experiments/defragment/defragment_0.html

> PostgreSQLがちょっとずつファイルを拡張するのが悪いのでしょうね。
> Windows (NTFS) との相性は、良く無さそうではあります。
> （断片化の発生自体は、多かれ少なかれ、他のOSでも起こっているのでしょうが。）
ちょっとずつファイルを拡張するとNTFSのMFT(Master File Table)レコード（に関連するインデックスデータ）がどんどん膨張していくので、
PostgreSQLとNTFSの相性が良いような感じは確かにしなさそうに感じます。

> 断片化と性能の関連性をきちんと示した例がないので、
> いまだ取り組まれてはいないようです。
http://www.atmarkit.co.jp/fwin2k/experiments/defragment/defragment_7.html
こちらに一応実測値が載っていますが、想定するシナリオが現在のMLに流れているものとは
違うので参考程度までに参照願います。


> -----Original Message-----
> From: ITAGAKI Takahiro [mailto:itagaki.takahiro ＠ oss.ntt.co.jp] 
> Sent: Monday, December 04, 2006 10:44 AM
> To: PostgreSQL Japanese Mailing List
> Subject: [pgsql-jp: 37754] Re: INDEXを残したまま大量データを高速に挿入したい
> 
> 板垣です。
> 
> ちょうど HACKERS（開発メーリングリスト）のほうでも、
> Windows 環境での断片化についての話題が挙がっていましたので報告を。
> 
> "Tokuharu yuzawa" <tokuharu.yuzawa ＠ soliton.co.jp> wrote:
> 
> > コンピータの管理−＞記憶域−＞デフラグツール
> > でＤＢが存在するドライブを、分析ボタンを押し分析してみたら、不連続状態の領域
> > しか存在しないのですが、速度に大きく影響するのでしょうか？
> > ＤＢを停止した状態で、デフラグを行ってもＤＢへの影響はないのでしょうか？
> > ちなみにＤＢ以外のファイルは当ドライブには存在しません。
> 
> [PostgreSQL win32 fragmentation issue]
> http://archives.postgresql.org/pgsql-hackers/2006-12/msg00054.php
> | Then I initialized pgbench with a -s 1000. 
> | 11% fragmentation. I dropped the bench database, and my 
> fragmentation is 1%.
> 
> http://archives.postgresql.org/pgsql-hackers/2006-12/msg00068.php
> | in our win32/ntfs environment, only 6 pgsql data-files are 
> fragmented. 
> | but they are heavily fragmented. fragmentiation ranges from 1369 
> | fragments for a 14mb file to 4548 fragments for a 628mb 
> one... the database is only 1 week old.
> 
> PostgreSQLがちょっとずつファイルを拡張するのが悪いのでしょうね。
> Windows (NTFS) との相性は、良く無さそうではあります。
> （断片化の発生自体は、多かれ少なかれ、他のOSでも起こっているのでしょうが。）
> 
> 
> > この不連続状態を回避する方法はありませんでしょうか？
> > たとえばOracelでTABLEを作成するときのように初期状態にデータ領域確保量、次回
> > 領域確保量・・・と言うような感じで？
> 
> 昔から「必要なのでは？」といわれていますが、
> 断片化と性能の関連性をきちんと示した例がないので、
> いまだ取り組まれてはいないようです。
> 
> ------------------------------------------------------------
> 板垣貴裕 <itagaki.takahiro ＠ oss.ntt.co.jp>
> 
>