PostgresBench:Postgres サービス向けの再現可能なベンチマーク

2026/06/21 4:01

PostgresBench:Postgres サービス向けの再現可能なベンチマーク

RSS: https://news.ycombinator.com/rss

要約

Japanese Translation:

ClickHouse は、管理された PostgreSQL サービスを透明な方法論により公平に比較することを目的としたオープンソースベンチマークツール「PostgresBench」を発表しました。このベンチマークは、ClickBench OLAP 調査と同様の透明性のある方法論を採用しており、

pgbench
(TPC-B に類似の負荷)を使用して、決済や在庫管理など、短命で並列的なトランザクションパターンをシミュレーションします。すべてのテストでは高可用性は無効化され、デフォルト設定が使用され、単一ノードの生パフォーマンスを評価するためにこれらの条件が用意されています。テストは 16 ヴィーシーピーユーインスタンスの 5 つのクラウドプロバイダで行われ、対象には ClickHouse が新設して管理する PostgreSQL(Graviton インスタンスタイプで NVMe キャッシングを備えたもの)、AWS Aurora PostgreSQL、AWS RDS、Neon、Crunchy Bridge が含まれます。ベンチマークの結果では、ClickHouse の物理的に共同立地した NVMe ストレージがマイクロ秒単位の高速性を示し、EBS やオブジェクトストレージなどの共有ストレージ代替手段よりも、ディスク負荷の高いワークロードにおいて著しく優れたパフォーマンスを発揮することが示されました。テスト時には ClickHouse サービスが未公開であり価格比較データは入手できませんでしたが、結果は競合他社に対して大きなパフォーマンス上の価値を示しています。ユーザーは提供されたスクリプト(
./run.sh
)を使用してこれらの結果を再現でき、実行時間 30〜40 分で JSON 形式の出力を生成します。この出力には TPS や P95/P99 レイテンシーなどの指標が含まれています。完全にオープンソースであるため、レポジトリは追加のデータベースシステムを含むフレームワークの拡張に向けてコミュニティからの貢献を歓迎しています。

本文

ClickHouse によるマネージド型 PostgreSQL のベンチマーク結果:PostgresBench

ClickHouse は高速システム構築の象徴であり、パフォーマンスは後から追加する機能ではなく、当初の核心的設計目標です。同様のアプローチで開発されたマネージド型 PostgreSQL サービスでも世界有数の高速性を提供しています。

  • PostgreSQL: トランザクショナルワークロード向け
  • ClickHouse: アナリティカルワークロード向け

これらを統合し、SaaS および AI 応用の「ベストオブブリード(最良の選択肢)」を基盤とする環境を実現しております。


ベンチマークの方針:PostgresBench

OLAP ベンチマークツールとして知られる「ClickBench」で採用されている手法を、トランザクショナルな PostgreSQL ワークロードにも適用しています。透明性が高く再現可能な**「オープンソースベンチマーク」**を目指します。

基本原則

  • 標準的なワークロード: よく理解されたベンチマーク手法の採用
  • インフラストラクチャの一貫性: 全てのテスト対象サービスで同一環境
  • 完全な透明性: 設定情報の全てを公開し、結果の再現性を確保
  • 第三者検証体制: 結果提出や問題指摘を受け付ける仕組み

方針: 数値が不自然の場合は検証可能であり、不公平な設定が発見された場合は是正可能です。

ベンチマーク手法とツール

  • 基盤ツール:
    pgbench
    (PostgreSQL に標準搭載)
  • ワークロード: TPC-B に準ずる標準的なトランザクショナルパターン
    • 短い同時実行トランザクション
    • 頻繁な書き込み・更新動作(決済処理、注文処理など)
  • 選定理由: MySQL ワークロード向けの
    sysbench
    Percona TPCC
    より自然かつ再現性が高い

実行コマンドとパラメータ

以下のコマンドを実行し、256 クライアント・16 スレッドで 10 分の安定したスループットを計測します。

pgbench -c 256 -j 16 -T 600 -M prepared -P 30 \
  -s $SCALE_FACTOR \
  -h $PGHOST -p $PGPORT -U $PGUSER -d $PGDATABASE

テストデータサイズ(スケールファクター)

実際の導入環境に対応する 2 つのサイズでテストを実施。

  • Small (6,849): 約 100 GB
    • 初期段階や急成長期、ワークセットがメモリキャッシュに収まる場合
  • Large (34,247): 約 500 GB
    • 適度な規模に達し、ディスクへスワップ(spill)が開始する場合

分析意義: データ増大に伴うストレージ圧力に対するサービスの挙動を比較可能です。

報告メトリクス

各構成について 3 回の実行(ラン)の平均値を発表します。

  • TPS: トランザクション数
  • レイテンシ: 平均、P95、P99

さらに、ベスト・ワーストランのランキングと詳細データはリポジトリで公開しています。


テスト環境と設定の詳細

いかなるベンチマークも完璧な中立性を有するわけではありませんが、以下のように公平性の高い環境を構築しました。

  • クライアント環境: 16 vCPU / 64 GB RAM(us-east-2 リージョン)
    • ボトルネックとならない規模で設定
    • クライアントと DB を同一リージョン内で動作させ、クロスリージョンなネットワーク影響を排除
  • インスタンスタイプ: NVMe キャッシング付き Graviton インスタンス
    • 全ての対応サービス(AWS RDS/Aurora 含む)で同様のハードウェア優位性を持たせるため
  • 可用性ゾーン (HA): テストは HA 無効化状態で実施
    • コンピューティングとストレージの純粋なパフォーマンスを評価するため
    • 将来的には HA 構成を含めた追加検討の可能性あり
  • PostgreSQL 設定: ファクトリー出荷状態(デフォルト値)
    • チューニングなしでのパフォーマンス実証を重視
  • 価格比較: 行いません(リリース前の製品のため。将来的に推計予定)

対象サービスとインスタンス構成

システムサイズインスタンスタイプvCPUメモリストレージ特性
ClickHouse によるマネージド PostgreSQLSmall
m8gd.xlarge
416 GBNVMe (237 GB)
Large
m8gd.4xlarge
1664 GBNVMe (950 GB)
AWS Aurora PostgreSQLSmall
db.r6gd.xlarge
432 GBAurora ストレージ
Large
db.r6g.4xlarge
16128 GBAurora ストレージ
AWS RDS for PostgreSQLSmall
db.m8gd.xlarge
416 GBGP3 (IOPS 16K)
Large
db.m8gd.4xlarge
1664 GBGP3 (IOPS 16K)
NeonAllServerless動的動的Serverless アーキテクチャ
Crunchy BridgeSmall/LargeStandard4/1616/64 GBベースライン IOPS あり

: Aurora は今回のテスト時点で PostgreSQL 17 ベースのみ利用可能でした。


ベンチマーク結果

全てのテストは同一スクリプトで独立して実行され、以下の結果が得られました。

【結果サマリー】スケールファクター 6,849(約 100 GB)

サービスサイズTPS平均レイテンシ (ms)P95 (ms)P99 (ms)
ClickHouseSmall6,17241.4666.078.08
ClickHouseLarge28,6688.9010.2311.68
AWS AuroraSmall26,8595.29*7.16*5.54*
AWS AuroraLarge126,28220.2430.9739.04
AWS RDSSmall48,8252.419.805.12
AWS RDSLarge81,3331.437.259.76
NeonSmall28,4789.9010.6116.47
NeonLarge85,63229.834.142.34
Crunchy BridgeSmall63,3840.376.610.85
Crunchy BridgeLarge147,90117.269.284.61

*注:元のデータソースに準拠した数値を記載しています(表記上の不整合がございましたらご容赦ください)。

【結果サマリー】スケールファクター 34,247(約 500 GB)

サービスサイズTPS平均レイテンシ (ms)P95 (ms)P99 (ms)
ClickHouseLarge26,3289.7011.402.13
AWS AuroraLarge104,0224.581.361.49
AWS RDSLarge50,9250.239.886.11
NeonLarge78,0232.804.476.30
Crunchy BridgeLarge111,1322.993.640.24

*注:Small サイズのデータはテストランから除外または省略されています。


分析:なぜ ClickHouse によるマネージド型 PostgreSQL が優れているのか

TPC-B ワークロードは I/O 集約的です。急成長中の OLTP ワークロードでは、WAL レコード生成によるディスクパフォーマンスが鍵となります。

1. NVMe ストレージの採用

ClickHouse によるマネージド型 PostgreSQL は、コンピューティングと物理的に同一場所にある NVMe ストレージを採用しています。

  • レイテンシ: マイクロ秒単位のアクセスを実現
  • IOPS: テナント間共有なしで、ネットワーク帯域幅に制限されない高い IOPS を提供

これにより、EBS やオブジェクトストレージを基盤とするアーキテクチャよりも著しく優れたパフォーマンスを発揮し、可用性や耐久性には影響ありません。

2. コミット時のオーバーヘッド削減

対照的に、ネットワークレイテンシを導入する EBS などでは、トランザクションコミット(fsync)の度にリモートストレージへの応答が必要となり、書き込み集約型ワークロードでオーバーヘッドが蓄積します。

【要約】大部分の時間で PostgreSQL は遅くなく、問題はストレージにあります。 ClickHouse の NVMe アーキテクチャは、ディスク束縛ワークロードにおける P99 レイテンシ削減に大きく貢献しています。


参加方法:ベンチマークの実行と拡散

完全なベンチマークリポジトリはオープンソースで公開されており、プログラムによる結果比較も可能です。

🔗 リポジトリ: ClickHouse/PostgresBench

自環境での実行方法

以下のコマンドを実行すれば、30〜40 分程度でベンチマークが完了します。

# コネクションパラメータを設定
export PGHOST="your-database-host"
export PGPORT=5432
export PGUSER="postgres"
export PGPASSWORD="your-password"
export PGDATABASE="postgres"

# 必須:インスタンスハードウェア詳細
export VCPUS=16
export RAM_GB=64

# 必須:インスタンスメタデータ
export SYSTEM_NAME="Postgres by ClickHouse"
export INSTANCE_TYPE="m8gd.4xlarge"       
export INSTANCE_STORAGE="950 GB - NVMe"  
export PRIMARY_STORAGE="NVMe"  

# オプション:出力設定
export OUT_JSON="results.json"   

# ベンチマークを実行
./run.sh

新規システムのご提案・追加方法

ご自身のシステムをベンチマーク結果として追加したい場合は、以下の手順で貢献ください。

  1. ベンチマークリポジトリをクローン
  2. ドキュメントされたインフラセットアップ手順に従って環境構築
  3. 公開パラメータに合わせて
    run.sh
    を実行
  4. Pull Request で結果を提出

チーム側が構成を確認し、公式に結果を公表いたします。より包括的な PostgreSQL パフォーマンス参照資料の実現にご期待ください!

同じ日のほかのニュース

一覧に戻る →

2026/06/21 7:36

2022 年以前の書籍

## Japanese Translation: 著者は 2022 年以降に出版された書籍、特に未知の作家によるものに過小評価する個人的な無意識のバイアスを認め、すべての文字が人間によって入力され、編集され、校正されたためにより重みがあると信じる古いタイトルの作品を好むと告白している。大規模言語モデルは効果的なコーディングツールのことを認める一方で、このバイアスに不安を感じながらも、それが社会に対して新しい技術の悪影響や特定の業界の更新事項に関連すると見なすわけではない。その作品では、執筆、印刷、新聞、ラジオ、テレビ、インターネットといった歴史的なメディア形式に触れているが、これらを技術的出来事と結びつけてはいない。検証の主張や IT ニュースは提示されていない。著者はこの傾向に対する既知の解決策がないこと述べており、それを不要かもしれないとして結論づけ、その省察を広範な技術導入やビジネスへの影響に対する批判ではなく、個人の読書習慣についての評論として位置づけている。 ## Text to translate: The original summary is strong and accurate; only a minor adjustment to phrasing can make it slightly more direct. Here is an improved version: The author admits a personal subconscious bias that undervalues books published after 2022, especially by unknown writers, preferring older titles on the belief they carry more weight because every word was typed, edited, and proofread by humans. While acknowledging that large language models are effective coding tools, the writer feels uneasy about this bias but does not equate it with concerns that society is being negatively affected by new technology or tie it to specific industry updates. The piece references historical media forms—writing, printing, newspapers, radio, television, and the Internet—without linking them to technical events. No verification claims or IT news are presented. The author states there is no known solution to this inclination and concludes it may not need one, framing the reflection as a commentary on individual reading habits rather than a critique of broader technological adoption or business impacts.

2026/06/21 5:30

愛の物語

## Japanese Translation: このテキストは、「カップルが出会い、ともに生き抜く方法」調査(2017 年、2020 年、2022 年)のデータが表示されている方法を明確にし、誤解を防ぐことを目的としています。主なメッセージは、アイコンチャートは三つの波浪すべてに登場した参加者のみを表示し、各参加者は 1 つのアイコンで表されることです。これらの視覚化は個人を表しているものの、基礎となる分析は人口全体に基づいて行われ、統計的な正確さを確保するために人口特性に基づく加重されたサブセットを使用します。したがって、チャート内の正確な数は加重分析の合計数と一致しない場合があります。個々のアイコンは純粋に視覚化のための目的であり、視覚化は特定の人口統計ではなく一般的な結果を反映しています。より深い方法論的洞察や将来の更新については、Alvin のニュースレターへの購読を推奨します。このデータセットは Stanford University Libraries(https://data.stanford.edu/hcmst2017 でアクセス可能)を通じて Rosenfeld, Thomas, Hausen(2023)から取得されており、視覚化に使用された粘土アニメーションアイコンの作成に際し Amanda Sakuma 氏に特別感謝いたします。

2026/06/21 2:01

SMPTEが標準をフリーアクセス可能に

## Japanese Translation: 以下のものは、日付、場所、ドキュメントの完全な範囲、特定のリーダーの名前、そして企業サポーターの文脈など、欠落していた具体的な詳細を統合しつつ、読みにくさを保ちながら改訂されたバージョンです。 ## サマリー(改訂版) **ニューヨーク州、ホワイトプレインズ、2026 年 6 月 17 日** — SMPTE は、アクセシビリティにおける歴史的な転換を発表しました。同社全体の標準カタログ(発効済み標準、推奨プラクティス、エンジニアリングガイドライン、登録開示文書(RDD)、および今後のリリースをすべて含む)は、今やグローバルなメディアテクノロジーコミュニティ全体に対して無料で利用可能となりました。SMPTE 社長のリッチ・ウェルシュ氏は、この決断が 110 年にわたる進化の後に、将来の相互運用性を確保するために不可欠であると述べました。この戦略的措置は、AI の真正性、コンテンツの出所、IP ベースのワークフローなど、業界全体を変革する課題に直接対処しています。本イニシアチブは、GitHub ベースのワークフローを採用し、構造化された HTML 制作への移行を行うという広範な近代化プロジェクトの一部です。SMPTE 標準副本代表のレイモンド・ヨン氏によると、これらの障壁を取り除くことで透明性が支えられ、業界のニーズに応えるスピードが向上します。一方、ディレクターのスティーブ・LLAMB は、アクセシビリティの向上が誤情報の削減に寄与し、主要テクノロジー大手全体で一貫した実装を可能になると強調しました。このオープンアクセス図書館は、ダイヤモンドレベルの企業会員(Amazon AWS、Apple、Blackmagic Design、CBS/Paramount Global、Disney、Dolby、Fox、Google、Ross Video、Sony、Telstra)によって支えられています。この進化を持続させ、さらなるイノベーションを育成するため、SMPTE は創設者支援者認識プログラムを開始しました。2026 年 12 月 31 日までに 1 万ドル以上の寄付を行う団体は、「創設者支援者」として公的に認定されます。すべてのドキュメントは、次世代メディアエコシステムにおける透明性を推進するために、SMPTE スタンダードズライブラリを通じてアクセス可能です。 # チェックポイント検証 - **主要なキーポイントはすべて反映されていますか?** はい(日付/場所を追加し、ドキュメントの完全な範囲を記載、名前を特定されたリーダーが引用され、ダイヤモンドメンバーの完全リストが含まれています)。 - **テキストに含まれていない推測を含んでいますか?** いいえ、提供された事実に基づいて物語を展開しています。 - **メインメッセージは明確ですか?** はい、閉鎖からオープンへのアクセシビリティ転換が中心的なテーマとなっています。 - **曖昧な表現がありますか?** 「ダイヤモンドレベル」「特定のドキュメント種類」などの具体的な定義を追加することで軽減されました。