Plataforma de Observabilidade de 100 PB do ClickHouse Cloud: Evolução do LogHouse

Em um ano, a plataforma de registro interna do ClickHouse Cloud, LogHouse, cresceu de 19 PiB para mais de 100 PiB, e o número de linhas aumentou de 40 trilhões para 500 trilhões. Para lidar com um aumento de 20 vezes no volume de eventos, a equipe do LogHouse desenvolveu o SysEx, um exportador personalizado que reduziu o uso da CPU para menos de 10% do requisito anterior. O SysEx copia dados diretamente das tabelas do sistema ClickHouse, ignorando o gargalo de análise e marshaling do OpenTelemetry. Simultaneamente, o LogHouse integrou o HyperDX, a IU de observabilidade nativa do ClickHouse, fornecendo exploração, correlação e análise de causa raiz perfeita.