Webtagr - Resumen de noticias de tecnología

Optimización del rendimiento de ClickHouse en procesadores Intel Xeon con recuento de núcleos ultraalto

2025-09-17

Los procesadores más recientes de Intel cuentan con cientos de núcleos, lo que presenta grandes oportunidades y desafíos para las bases de datos analíticas como ClickHouse. Los ingenieros de Intel Shanghái analizaron sistemáticamente el rendimiento de ClickHouse en servidores con recuento de núcleos ultraalto, identificando y optimizando cinco cuellos de botella clave: contención de bloqueos, optimización de memoria, paralelismo insuficiente, utilización de instrucciones SIMD y compartición falsa. Al reducir los tiempos de espera de los bloqueos, mejorar el asignador de memoria, paralelizar las fases seriales, emplear algoritmos SIMD más inteligentes y optimizar el diseño de la memoria, mejoraron significativamente la escalabilidad de ClickHouse en sistemas con recuento de núcleos ultraalto, logrando hasta 10 veces más velocidad en consultas individuales y una mejora del 10% en la media geométrica general. Este trabajo destaca la necesidad de una optimización multifacética de las bases de datos en la era del recuento de núcleos ultraalto, abordando consideraciones tanto algorítmicas como de diseño de memoria.

(clickhouse.com)

Desarrollo Procesadores con Recuento de Núcleos Ultraalto

Explorando un ORM para bases de datos OLAP: El enfoque de Moose OLAP

2025-08-17

Las aplicaciones modernas dependen cada vez más de análisis orientados al usuario e IA impulsadas por agregaciones en grandes conjuntos de datos, lo que lleva a los desarrolladores a bases de datos analíticas como ClickHouse. Este artículo explora las posibilidades y los desafíos de construir un ORM para bases de datos OLAP. Extender los ORMs OLTP existentes a OLAP es problemático debido a las diferencias semánticas. Moose OLAP, un proyecto de código abierto, intenta proporcionar una interfaz similar a ORM para ClickHouse. Toma prestado de las fortalezas de los ORMs OLTP, pero se adapta a las especificidades de OLAP, como el manejo de valores NULL y las restricciones de unicidad de manera diferente. Moose OLAP enfatiza el esquema como código, proporciona semántica y valores predeterminados nativos de OLAP y admite migraciones versionadas para manejar los cambios dinámicos de esquema inherentes a los entornos OLAP.

(clickhouse.com)

Desarrollo

Un molesto error en la creación de ranuras de replicación lógica de PostgreSQL y cómo lo solucionamos

2025-07-15

El equipo de ClickPipes encontró un error desconcertante al crear ranuras de replicación lógica en PostgreSQL: una consulta que debería haber tardado segundos tardaba horas y no se podía terminar. La investigación reveló un error en Postgres donde, en réplicas de lectura, la creación de una ranura de replicación lógica se atascaba en un bucle de suspensión largo mientras esperaba a que terminaran las transacciones primarias, lo que hacía imposible la interrupción. El equipo envió un parche a la comunidad de Postgres agregando una comprobación de interrupción, resolviendo eficazmente el problema. Este caso destaca cómo incluso los sistemas de bases de datos maduros pueden albergar casos de borde inesperados y el papel vital de la colaboración de la comunidad de código abierto para resolverlos.

(clickhouse.com)

Desarrollo Replicación lógica

Plataforma de Observabilidad de 100 PB de ClickHouse Cloud: La Evolución de LogHouse

2025-06-21

En un año, la plataforma de registro interna de ClickHouse Cloud, LogHouse, creció de 19 PiB a más de 100 PiB, y el número de filas aumentó de 40 billones a 500 billones. Para manejar un aumento de 20 veces en el volumen de eventos, el equipo de LogHouse desarrolló SysEx, un exportador personalizado que redujo el uso de la CPU a menos del 10% del requisito anterior. SysEx copia datos directamente de las tablas del sistema ClickHouse, evitando el cuello de botella del análisis y la serialización de OpenTelemetry. Simultáneamente, LogHouse integró HyperDX, la IU de observabilidad nativa de ClickHouse, proporcionando exploración, correlación y análisis de causa raíz sin problemas.

(clickhouse.com)

Tecnología

ClickHouse recauda 350 millones de dólares en la Serie C para impulsar aplicaciones nativas de IA

2025-05-29

La base de datos de análisis en tiempo real ClickHouse anunció una ronda de financiación de la Serie C de 350 millones de dólares, lo que eleva su financiación total a más de 650 millones de dólares. Esta inversión impulsará el desarrollo de productos, la expansión global y las asociaciones que apoyan la próxima ola de aplicaciones nativas de IA. El motor de almacenamiento columnar de alto rendimiento de ClickHouse permite consultas analíticas interactivas en conjuntos de datos masivos con una latencia mínima, impulsando aplicaciones de IA/ML, análisis en tiempo real, almacenamiento de datos en la nube y cargas de trabajo de observabilidad. Con un crecimiento anual superior al 300% y atendiendo a más de 2.000 clientes, incluidos Anthropic, Tesla y Mercado Libre, ClickHouse aborda el desafío de construir plataformas de datos en tiempo real para la era de la IA, posicionándose como el motor predeterminado para los productos de datos inteligentes de próxima generación.

(clickhouse.com)

Tecnología

Materialización perezosa de ClickHouse: Un aumento de velocidad de 1500x

2025-04-22

ClickHouse logra una mejora de velocidad de 1500x utilizando una nueva optimización llamada "materialización perezosa". Esta técnica retrasa la lectura de datos de la columna hasta que realmente se necesitan, reduciendo drásticamente las E/S innecesarias. El artículo utiliza el conjunto de datos de reseñas de clientes de Amazon para ilustrar cómo la materialización perezosa, combinada con otras optimizaciones de E/S como el almacenamiento columnar, los índices primarios dispersos y PREWHERE, reduce el tiempo de ejecución de una consulta de 219 segundos a 139 milisegundos. La materialización perezosa es particularmente eficaz para las consultas Top N, proporcionando ganancias significativas de rendimiento sin alterar el SQL.

(clickhouse.com)

Tecnología Materialización perezosa

ClickHouse abraza Rust: Un viaje de integración desafiante

2025-04-09

ClickHouse, originalmente escrito en C++, se embarcó en un viaje para integrar Rust con el fin de atraer más desarrolladores y expandir sus capacidades. El artículo detalla este proceso, desde la elección inicial de la función hash BLAKE3 como proyecto piloto hasta la integración del lenguaje de consulta PRQL y la biblioteca Delta Lake. El viaje encontró varios desafíos, incluyendo la integración del sistema de construcción, la gestión de memoria, el manejo de errores y problemas de compilación cruzada. A pesar de problemas como errores en las bibliotecas de Rust, nombres de símbolos excesivamente largos y problemas de interoperabilidad con el código C++, el equipo de ClickHouse superó estos obstáculos, integrando con éxito Rust en el proyecto y allanando el camino para el desarrollo futuro.

(clickhouse.com)

Desarrollo