データフローモデルを見直す
## Japanese Translation:
ストリーム処理における画期的な概念である Dataflow Model は、公開から 11 年後に VLDB Test of Time 賞を受賞し、その著者たちにはその持続性についての評価が求められました。彼らの評価によると、コアの基盤は良好に成熟しており、特にイベントタイム、データ完全性を待つの無意味さ、そして強い一貫性の重要性が強調されています。一方で、特定のメカニズムは過剰設計や誤った枠組み設定のために失敗しました。主な過失は、ストリームとテーブルを別々の実体として扱うことにあることであり、これはトリガーシステムへの不要な複雑化や、ウィンドウ意味論と運用上の懸念の絡み合いを引き起こしました。その結果、トリガーはユーザーが直面する必要のない問題を解決するための過剰設計されたソリューションであると判断されました。一方、成功した要素は SQL やインクリメンタルビュー維持、明示的な鮮度契約を持つマテリアライズドビューといった既存のデータベース慣行から自然に進化してきました。この視点では、バッチ処理 versus ストリーミング処理の議論を主に語義上の問題として位置づけ、アーキテクチャの問題ではないと再定義しています。完全性原則は実質的に 2 つのアプローチに分岐しました：可視性が残るストリームに対してはウォーターマークを使用し、可視性がないストリームに対してはスナップショット整合性のあるリフレッシュを採用します。後者のアプローチはユーザーに求めが少ないため、より多くのユーザーに到達しています。低レイテンシへの需要は伝統的な OLTP/OLAP のラインに沿って分岐し、アナリティクスシステムはより緩やかな鮮度レベルで機能することになりました。展望として、著者たちは「残す・除外する・より強く押す」という戦略を提唱しており、これは複雑な新しいトリガーを作るのではなく、既存のデータベースの強みを活用してインターフェースを簡素化するものです。
## Text to translate:
The Dataflow Model, a landmark concept in stream processing, was honored with a VLDB Test of Time award eleven years after publication, prompting its authors to evaluate its longevity. Their assessment finds that core foundations have aged well—especially event time, the futility of waiting for data completeness, and strong consistency—while specific mechanisms failed due to over-engineering and flawed framing. A primary error was treating streams and tables as separate entities rather than different views of the same data, which led to unnecessary complexity in triggering systems and tangled windowing semantics with operational concerns; consequently, triggers were deemed an over-engineered solution to a problem users should not have faced. By contrast, successful elements evolved naturally from established database practices such as SQL, incremental view maintenance, and materialized views with explicit freshness contracts. This perspective reframes the batch-versus-streaming debate as largely semantic rather than architectural. The completeness principle effectively split into two approaches: watermarks (for streams that remain visible) and snapshot-consistent refresh (for streams that do not), with the latter reaching more users because it placed fewer demands on them. Demand for low latency bifurcated along traditional OLTP/OLAP lines, leaving analytics systems at gentler freshness levels. Looking ahead, the authors advocate a "leave in, leave out, push harder" strategy that simplifies interfaces by leveraging existing database strengths instead of building complex new triggers.
