ClickHouse Cloud Observability-Plattform mit 100 PB: Die Entwicklung von LogHouse

Innerhalb eines Jahres wuchs die interne Logging-Plattform LogHouse von ClickHouse Cloud von 19 PiB auf über 100 PiB, und die Anzahl der Zeilen stieg von 40 Billionen auf 500 Billionen. Um einen 20-fachen Anstieg des Ereignisvolumens zu bewältigen, entwickelte das LogHouse-Team SysEx, einen benutzerdefinierten Exporter, der die CPU-Auslastung auf unter 10 % des vorherigen Bedarfs reduzierte. SysEx kopiert Daten direkt aus den ClickHouse-Systemtabellen und umgeht so den Engpass des Parsens und Marshalling von OpenTelemetry. Gleichzeitig integrierte LogHouse HyperDX, die native ClickHouse-Benutzeroberfläche für Observability, und bietet nahtlose Exploration, Korrelation und Ursachenanalyse.