ClickHouse Cloudの100PB規模のオブザーバビリティプラットフォーム：LogHouseの進化

ClickHouse Cloudの内部ロギングプラットフォームであるLogHouseは、1年で19PBから100PB以上に、行数は40兆行から500兆行に増加しました。イベント量の20倍の急増に対応するため、LogHouseチームは、CPU使用率を以前の10％未満に削減するカスタムエクスポーターであるSysExを開発しました。SysExはClickHouseシステムテーブルから直接データをコピーすることで、OpenTelemetryのパースとマーシャリングのボトルネックを回避します。同時に、LogHouseはClickHouseネイティブのオブザーバビリティUIであるHyperDXを統合し、シームレスな探索、相関関係、根本原因分析を提供します。