[pgsql-jp: 41163] Re: pgpool-II 3.2.0 / pgpoolAdmin 3.2
Tatsuo Ishii
ishii ＠ sraoss.co.jp
2012年 8月 3日 (金) 15:03:57 JST
石井です。
> 三谷＠広島です。
>
> pgpool-IIの最新版、リリースおめでとうございます。
> および、追い込みの準備、お疲れ様でした。
ありがとうございます。pgpool-II 3.1が出たのが昨年の9月ですから、随分間
があきましたが、三谷さんのお陰でそれだけのリリースになったと思っています。
(三谷さんには組み込みHA機能である、watchdogの部分を作って頂きました)
> これでPostgreSQLのエンタープライズ利用がぐっと広がると良いですね。
>
> リリースを祝って、乾杯！
今度東京に来たら是非お立ち寄りください。祝杯をあげにいきましょう！
--
Tatsuo Ishii
SRA OSS, Inc. Japan
English: http://www.sraoss.co.jp/index_en.php
Japanese: http://www.sraoss.co.jp
> On Fri, 3 Aug 2012 13:17:17 +0900
> Nozomi Anzai <anzai ＠ sraoss.co.jp> wrote:
>
>> 安齋です。
>>
>> pgpool-II 3.2.0 と pgpoolAdmin 3.2.0 を正式にリリースしましたのでお知らせい
>> たします。
>>
>> 以下からダウンロードすることができます。
>>
>> (pgpool-II) http://www.pgpool.net/download.php?f=pgpool-II-3.2.0.tar.gz
>> (pgpoolAdmin) http://www.pgpool.net/download.php?f=pgpoolAdmin-3.2.0.tar.gz
>>
>>
>> =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
>> pgpool-II 3.2.0
>> =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
>>
>> リリースノート：
>> http://www.pgpool.net/pgpool-web/pgpool-II/doc/pgpool-ja.html#release3.2.0
>>
>> マニュアル：
>> http://www.pgpool.net/docs/latest/pgpool-ja.html
>>
>> 新機能のチュートリアル：
>> (Memory cache) http://www.pgpool.net/pgpool-web/contrib_docs/memqcache/ja.html
>> (Watchdog) http://www.pgpool.net/pgpool-web/contrib_docs/watchdog/ja.html
>>
>> =================================================================================
>> 互換性のない変更
>> =================================================================================
>>
>> - メモリベースのメモリキャッシュ機能を追加したため、旧来のメモリキャッシュ
>> 機能は削除しました。
>> - これにともない、enable_query_cache パラメータを削除しました。
>>
>> =================================================================================
>> 新機能
>> =================================================================================
>>
>> *------------------------------------------------------------------------------*
>> | Memory based query cache |
>> *------------------------------------------------------------------------------*
>>
>> メモリベースのクエリキャッシュを追加しました。
>> オリジナルは Masanori Yamazaki さんが作成し、開発グループで改良しました。
>> (Tatsuo Ishii, Nozomi Anzai, Yugo Nagata)
>>
>> * 概要：
>>
>> [ 高速な新しいメモリキャッシュ機能！ ]
>>
>> オンメモリクエリキャッシュは、問い合わせの SELECT 文(拡張問い合わせの場
>> 合は更にバインドパラメータ)と 検索結果をペアで記録し、2 回目以降に同じ
>> SELECT 文が発行された場合に、キャッシュから結果を返します。
>> 通常の SELECT 文処理と違って、PostgreSQL にアクセスしないだけでなく、
>> pgpool 内部の SQL パース処理などを経由しないため、非常に高速です。
>>
>> メモリ上にキャッシュが置かれるので高速であるばかりでなく、データが更新
>> されると自動的にキャッシュが無効になり、pgpool-II の再起動の必要があり
>> ません。
>>
>> [ かえって遅くなる場合もあります ]
>>
>> 反面、キャッシュにヒットしない場合は通常の SELECT 文の処理に加えて
>> キャッシュ処理のオーバヘッドが生じるので、かえって遅くなります。
>> また、あるテーブルが更新された場合、そのテーブルを参照している すべて
>> のキャッシュが自動削除されるため（自動削除しない設定も可能）、更新処理
>> が多いシステムではオンメモリクエリキャッシュを有効にしていることでか
>> えって遅くなります。
>> キャッシュのヒット率が 70% 以下の場合は、オンメモリクエリキャッシュの
>> 設定を有効にしないほうが良いでしょう。
>>
>> キャッシュストレージの選択：
>>
>> メモリキャッシュのストレージには、共有メモリと memcached のどちらかを選
>> 択することができます（併用はできません）。
>>
>> [ 共有メモリ ]
>>
>> 共有メモリを使用するクエリキャッシュは高速で、memcached の立ち上げも必
>> 要なく、手軽に利用できます。 ただし、共有メモリサイズの上限によって保存
>> できるキャッシュの量に制限があります。
>>
>> [ memcached ]
>>
>> memcached をキャッシュストレージに使用する場合は、ネットワークアクセス
>> のオーバヘッドがあるものの、比較的自由にキャッシュメモリの大きさを設定
>> できます。
>>
>> * 制限事項：
>>
>> [ キャッシュの自動無効化が効かない場合 ]
>>
>> オンメモリクエリキャッシュでは、テーブルに変更があると、関連するキャッ
>> シュを自動的に削除して古いデータが返却されないようにする機能がありま
>> す。
>> このため、pgpool は常に UPDATE や INSERT や ALTER TABLE などのコマンド
>> が発行されたかどうかをモニタしています。
>>
>> しかし、トリガ、外部キーや DROP TABLE CASCADE などの働きによって暗黙的
>> にテーブルが更新されたことは pgpool-II からはわからないため、この機能
>> が働きません。
>>
>> この問題を回避するためには、 memqcache_expire を使って一定時間経過した
>> キャッシュを削除するようにするか、 black_memqcache_table_list を使っ
>> て、該当テーブルがキャッシュされないようにしてください。
>>
>> [ 複数の pgpool-II を動かす場合 ]
>>
>> 複数の pgpool-II を動かす環境で共有メモリを使ったオンメモリクエリ
>> キャッシュを使用すると、ある pgpool-II 経由でテーブルが更新された時
>> に、他の pgpool-II のキャッシュが削除されず、古いデータを読みだしてし
>> まうことがあります。
>> このような環境では、キャッシュストレージに memcached を使ってください。
>>
>> * 新しいパラメータ：
>>
>> - メモリキャッシュ全般に関するパラメータ memory_cache_enabled,
>> memqcache_method, memqcache_expire, memqcache_maxcache,
>> memqcache_oiddir を追加しました。(Tatsuo Ishii)
>>
>> - 共有メモリを使ったメモリキャッシュに関するパラメータ
>> memqcache_total_size, memqcache_max_num_cache,
>> memqcache_cache_block_size を追加しました。(Tatsuo Ishii)
>>
>> - memcached を使ったメモリキャッシュに関するパラメータ
>> memqcache_memcached_host, memqcache_memcached_port を追加しました。
>> (Tatsuo Ishii)
>>
>> - リレーションキャッシュに関するパラメータ relcache_expire,
>> relcache_size を追加しました。(Tatsuo Ishii)
>>
>> - 一時テーブルかどうかをチェックするフラグ check_temp_table パラメータ
>> を追加しました。(Tatsuo Ishii)
>>
>> - テーブル、一時テーブル、ビューのキャッシュ可否を指定するパラメータ、
>> white_memqcache_table_list, black_memqcache_table_list を追加しまし
>> た。 (Nozomi Anzai)
>>
>> - memqcache_auto_cache_invalidation パラメータを追加しました。
>> (Yugo Nagata)
>> true であれば、DDL/DML/DCL が発行されたら memqcache_expire を待たずに
>> クエリキャッシュを削除します。
>>
>> * 新しいコマンド他：
>>
>> - SHOW pool_cache を追加しました。クエリキャッシュのヒット率や、キャッ
>> シュストレージの状況を表示します。(Tatsuo Ishii)
>>
>> - configure に --with-memcached オプションを追加しました。
>> (Tatsuo Ishii)
>>
>> - pgpool コマンドに "-C, --clear-oidmaps" オプションを追加しました。
>> (Nozomi Anzai)
>> memcached を使ったメモリキャッシュを行なっている pgpool が -C つきで
>> 起動・再起動したときは、oid マップを削除せず再利用します。
>>
>> *------------------------------------------------------------------------------*
>> | Watchdog |
>> *------------------------------------------------------------------------------*
>>
>> Watchdog 機能を追加しました。(Atsushi Mitani, Yugo Nagata)
>> Atsushi Mitani が作成し、Yugo Nagata がテストしました。
>>
>> * 概要：
>>
>> watchdog プロセスは pgpool-II 本体から起動される、高可用性を目的とした
>> プロセスです。以下の機能を提供します。
>>
>> [ pgpool サービスの生死監視 ]
>>
>> watchdog は、pgpool のプロセスではなくサービスの応答を監視します。 監
>> 視対象の pgpool から PostgreSQL に問い合わせを行ない、その応答をチェッ
>> クします。また watchdog は、pgpool から上位のサーバ（アプリケーション
>> サーバなど）への接続も監視します。上位サーバから PostgreSQL への接続・
>> 応答を pgpool のサービスとして生死監視します。
>>
>> [ watchdogプロセスの相互監視 ]
>>
>> 各 watchdog はお互いの監視対象のサーバの情報を交換します。これにより、
>> pgpool サーバの情報を最新に保てるだけでなく、各 watchdog プロセスの相互
>> 監視を行なっています。
>>
>> [ 障害発生検知時のアクティブ、スタンバイ切り替え ]
>>
>> pgpool のサービスに障害を検知した場合、watchdog は他の watchdog に障害
>> 検知を通知します。故障した pgpool がアクティブの場合、他の watchdog は
>> 新しいアクティブを投票で決め、アクティブ・スタンバイの切り替えを行ない
>> ます。
>>
>> [ サーバ切り替えと連動した仮想 IP アドレスの自動付け替え ]
>>
>> スタンバイが新しいアクティブに昇格する際、新アクティブ機の watchdog は
>> アクティブ用の仮想 IP インターフェースを起動します。
>> 一方、旧アクティブ機の watchdog はアクティブ用仮想 IP インターフェース
>> を停止します。
>> これにより、サーバが切り替わった後もアクティブは同じ IP アドレスでサー
>> ビスを継続することができます。
>>
>> [ サーバ復旧時、スタンバイ機としての自動登録 ]
>>
>> 障害機の復旧や新規サーバを追加する場合、watchdog はサーバの情報を他の
>> watchdog に通知し、他の watchdog からはアクティブや他のサーバの情報を受
>> け取ります。これにより追加したサーバはスタンバイ機として自動的に追加さ
>> れます。
>>
>> * 新しいパラメータ：
>>
>> - watchdog 全般に関するパラメータ use_watchdog 追加しました。
>> (Atsushi Mitani)
>>
>> - pgpool-II の死活監視に関するパラメータ wd_interval, wd_life_point,
>> wd_lifecheck_query, を追加しました。(Atsushi Mitani)
>>
>> - アプリケーションサーバなど上部サーバへの接続に関するパラメータ
>> trusted_servers, ping_path を追加しました。(Atsushi Mitani)
>>
>> - watchdog の相互死活監視に関するパラメータ wd_port,
>> other_pgpool_hostname, other_pgpool_port, other_wd_port を追加しまし
>> た。 (Atsushi Mitani)
>>
>> - 仮想 IP に関するパラメータ delegate_IP, ifconfig_path, if_up_cmd,
>> if_down_cmd, arping_path, arping_cmd を追加しました。(Atsushi Mitani)
>>
>> =================================================================================
>> 改良
>> =================================================================================
>>
>> - HP-UX や AIX のような vsyslog を持たないプラットフォームもサポートするよ
>> うにしました。(Tatsuo Ishii)
>>
>> - ヘルスチェックで、リトライ回数とリトライ間隔秒数を指定できるようにしまし
>> た。このために、health_check_max_retries と health_check_retry_delay とい
>> うパラメータを新設しています。(Tatsuo Ishii)
>>
>> パッチは Matt Solnit さんが作成しました。
>>
>> Subject: [Pgpool-hackers] Health check retries (patch)
>> From: Matt Solnit
>> Date: Fri, 18 Nov 2011 16:28:44 -0500
>>
>> - クエリの解析に失敗したとき、クライアントの IP とポート番号をログに書き出
>> すようにしました。(Tatsuo Ishii)
>>
>> これは、log_connections を有効にしていなくても、問題のあるクエリを発行し
>> たのがどのクライアントかを知るのに有用です。特にログ出力の多く忙しい Web
>> システムで役立ちます。
>>
>> - SHOW pool_nodes に role の列を足しました。この列には Primary か Standby
>> かが出力されます。(Tatsuo Ishii)
>>
>> - PostgreSQL 9.2 に対応しました。(Tatsuo Ishii)
>>
>> - SHOW pool_status の出力結果に、backend_data_directory, ssl_ca_cert,
>> ssl_ca_cert_dir がなかったので追加しました。また、pgpool.conf の順にソー
>> トしました。(Nozomi Anzai)
>>
>> - pgpool.conf のサンプルファイルで、system db に関するパラメータをコメント
>> アウトしました。(Nozomi Anzai)
>>
>> - failover/failback/followmaster command に新しいパラメータを追加しました。
>> (Tatsuo Ishii)
>>
>> %r: new master port number
>> %R: new master database cluster path
>>
>> =================================================================================
>> バグ修正
>> =================================================================================
>>
>> - md5 認証のパスワードを変更が reload でできるようにしました。
>> (Tatsuo Ishii)
>>
>> これまでは pgpool-II を再起動する必要がありました。このパッチは Gurjeet
>> Singh さんが作成しました。
>>
>> - Raw モードでのメモリリークを修正しました。(Tatsuo Ishii)
>>
>> - Raw モードでのフェイルオーバ・フェイルバックを修正しました。
>> (Tatsuo Ishii)
>>
>> - 対象ノードがマスタでないときに、フェイルオーバしませんでした。
>> - ノードが接続受付状態でないとき、どのノードをマスタにするか選定できませ
>> んでした。
>>
>> - 各ノードにおいて、トランザクション状態によって COMMIT / ABORT するかどう
>> かを判定できるように、pool_send_and_wait() を修正しました。(Tatsuo Ishii)
>>
>> マルチステートメントが送信されたとき、明示的なトランザクション内にあるプ
>> ライマリか、明示的なトランザクション内でないスタンバイで発生する可能性が
>> ありました。
>> これは、[pgpool-general-jp: 1049] で報告されました。
>>
>> - Solaris でのロードバランスを修正しました。(Tatsuo Ishii)
>>
>> Solaris での random() 関数の仕様のために問題があったため、rand() に変更し
>> ました。
>> この事象は [pgpool-general: 396] で報告されました。
>>
>> [pgpool-general: 396] strange load balancing issue in Solaris
>> http://www.sraoss.jp/pipermail/pgpool-general/2012-April/000397.html
>>
>> - パラレルモードでないとき、pcp_systemdb_info コマンドが segfault してたの
>> を修正しました。
>>
>> - "unnamed prepared statment does not exist" というエラーが出るのを修正しま
>> した。(Tatsuo Ishii)
>>
>> このエラーは pgpool が内部的に発行しているクエリで発生し、クライアント
>> が発行する unnamed ステートメントを破壊していました。
>> 拡張問い合わせクエリが実行されたときには、内部的に発行するクエリのステー
>> トメントとポータルに名前をつけるようにしました。
>>
>> - ホットスタンバイモードでクエリ衝突が起きたときにハングアップするのを修正
>> しました。(Yugo Nagata)
>> これは、以下の手順で再現します。
>>
>> (S1) BEGIN;
>> (S1) SELECT * FROM t;
>> (S2) DELETE FROM t;
>> (S2) VACUUM t;
>>
>> - [pgpool-general: 672] で報告された、process_query() のバグを修正しまし
>> た。(Tatsuo Ishii)
>>
>> プライマリでは処理するデータがなく スタンバイにはある状態のときに、プラ
>> イマリの処理を待ってしまうことがありました。
>>
>> [pgpool-general: 672] Transaction never finishes
>> http://www.sraoss.jp/pipermail/pgpool-general/2012-June/000676.html
>>
>> - wait_for_query_response() が、frontend がないときには何もしないように修正
>> しました。(Tatsuo Ishii)
>>
>> バックエンドをリセットする reset_query_list のクエリを実行に 時間がかかっ
>> たときに発生する可能性があり、またクラッシュすることがありました。
>>
>> - マスタ・スレーブモードでの BEGIN TRANSACTION の扱いを修正しました。
>> (Tatsuo Ishii)
>>
>> これは [pgpool-general: 714] で報告されました。
>>
>> 3.1 以降、BEGIN TRANSACTION をすべてのノードに送るようにしました。
>> PostgreSQL の仕様では、スタンバイノードには BEGIN TRANSACTION READ WRITE
>> を送ることはできませんが、 BEGIN WORK ISOLATION LEVEL SERIALIZABLE につい
>> てチェックしておらず、スタンバイノードに送信していました。
>> もちろんこれは誤りで、スタンバイノードが SERIALIZABLE モードになることは
>> 許されていません。
>>
>> そのため、BEGIN WORK ISOLATION LEVEL SERIALIZABLE をチェックするようにし
>> ました。
>>
>> [pgpool-general: 714]
>> Load Balancing / Streaming Replication / Isolation Level serializable
>> http://www.sraoss.jp/pipermail/pgpool-general/2012-July/000719.html
>>
>> - pool_ssl_write を修正しました。 (Tatsuo Ishii)
>> SSL_ERROR_WANT_READ や SSL_ERROR_WANT_WRITE が返されたときにリトライする
>> べきでしたが、していませんでした。
>>
>> From: Tatsuo Ishii <ishii ＠ postgresql.org>
>> Date: Tue, 24 Jul 2012 08:29:03 +0900(JST)
>> http://www.sraoss.jp/pipermail/pgpool-general/2012-July/000807.html
>>
>> - バックエンドから来たたくさんのクエリ結果を読み込んでいる間にフロントエ
>> ンドが終了したときに、pgpool はバックエンドからの読み込みを続行し、すべ
>> てのクエリが送られるまでフロントエンドへの書き込みを行ないます。
>> (Tatsuo Ishii)
>>
>> クエリ結果が巨大だとこれは非常に長い時間を要します。pgpool のセッションを
>> 極力早く終了するには、レプリケーションモード以外では、フロントエンドへの
>> 書き込みに失敗したらエラーを返すように、pool_flush_it を変更しました。
>> レプリケーションモードでは、以前どおりの挙動、すなわちバックエンド間での
>> 同期書き込みを行ないます。
>>
>> そのほか、SimpleForwardToFrontend が、pool_write_and_flush がエラーを返し
>> てきたときにそれを無視せず、認識するようにしました。
>>
>>
>> ===============================================================================
>> gpoolAdmin 3.2
>> ===============================================================================
>>
>> pgpoolAdmin 3.2 は pgpool-II 3.2 に対応したものです。なお後述のとおり、過去
>> のバージョンである 3.0、3.1 にも対応しています。
>>
>> - pgpool-II 3.2 で追加・削除されたパラメータに対応しました。
>> (Anzai,Nagata)
>>
>> - 追加：
>> [ Health Check ]
>> health_check_password, health_check_max_retries,
>> health_check_retry_delay
>>
>> [ On Memory Query Cache ]
>> memory_cache_enabled, memqcache_method, memqcache_memcached_host,
>> memqcache_memcached_port, memqcache_total_size,
>> memqcache_max_num_cache, memqcache_cache_block_size,
>> memqcache_expire, memqcache_auto_cache_invalidation,
>> memqcache_maxcache, memqcache_oiddir, white_memqcache_table_list,
>> black_memqcache_table_list
>>
>> [ Watchdog ]
>> use_watchdog, trusted_servers, ping_path, wd_interval,
>> wd_life_point, wd_lifecheck_query, delegate_IP, ifconfig_path,
>> if_up_cmd, if_down_cmd, arping_path, arping_cmd, wd_hostname,
>> wd_port, other_pgpool_hostname, other_pgpool_port, other_wd_port
>>
>> [ Others ]
>> relcache_size, check_temp_table
>>
>> - deleted:
>> enable_query_cache
>>
>> - 過去のバージョンの pgpool-II にも対応するようになりました。(Anzai)
>> - いままで、例えば pgpoolAdmin 3.1 は pgpool-II 3.1 にしか対応しておら
>> ず、3.0 以前の pgpool-II の管理に使うことはできませんでした。しかし、
>> pgpoolAdmin のバグ修正などのメンテナンスは、最新版に対してしか行なっ
>> ていません。
>> そのため、最新版が過去のバージョンの pgpool-II にも対応するようにしま
>> した。
>>
>> - このため、pgmgt.conf（pgpoolAdmin の設定ファイル）には、管理する
>> pgpool-II のバージョンを指定するための、新しい項目が追加されていま
>> す。
>>
>> - pgpool コマンドに -C オプションを追加しました。 (Anzai)
>>
>> - ヘルスチェックに health_check_password を使っていなかったのを、使うよ
>> うにしました。 (Anzai)
>>
>> - pgpool.conf の各パラメータの説明を、マニュアルのそれと同期しました。
>> (Anzai)
>>
>> - 見た目を改善しました。 (Anzai)
>>
>> - Smarty 3.1.8 にしました。 (Anzai)
>> - Smarty 2.x では見えなかったたくさんの Notice エラーを修正しました。
>>
>> =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
>>
>> --
>> Nozomi Anzai
>> SRA OSS, Inc. Japan
>>
>> __________ ESET NOD32 Antivirus からの情報, ウイルス定義データベースのバージョン 7350 (20120802) __________
>>
>> このメッセージは ESET NOD32 Antivirus によって検査済みです。
>>
>> http://canon-its.jp
>>
>>
>>
>
>
> --
> mitani <mitani ＠ sraw.co.jp>
pgsql-jp メーリングリストの案内