Plateforme d'observabilité 100 PB de ClickHouse Cloud : l'évolution de LogHouse

En un an, la plateforme de journalisation interne de ClickHouse Cloud, LogHouse, est passée de 19 PiB à plus de 100 PiB, et le nombre de lignes est passé de 40 000 milliards à 500 000 milliards. Pour gérer une augmentation de 20 fois du volume d'événements, l'équipe LogHouse a développé SysEx, un exportateur personnalisé qui a réduit l'utilisation du processeur à moins de 10 % de la précédente exigence. SysEx copie les données directement à partir des tables système ClickHouse, contournant le goulot d'étranglement de l'analyse et de la marshalisation d'OpenTelemetry. Simultanément, LogHouse a intégré HyperDX, l'interface utilisateur d'observabilité native de ClickHouse, offrant une exploration, une corrélation et une analyse des causes profondes transparentes.