Explorando um ORM para bancos de dados OLAP: A abordagem Moose OLAP

2025-08-17
Explorando um ORM para bancos de dados OLAP: A abordagem Moose OLAP

Aplicativos modernos dependem cada vez mais de análises voltadas para o usuário e IA alimentadas por agregações em grandes conjuntos de dados, levando os desenvolvedores a bancos de dados analíticos como o ClickHouse. Este artigo explora as possibilidades e os desafios de construir um ORM para bancos de dados OLAP. Estender ORMs OLTP existentes para OLAP é problemático devido a diferenças semânticas. Moose OLAP, um projeto de código aberto, tenta fornecer uma interface semelhante a ORM para o ClickHouse. Ele toma emprestado dos pontos fortes dos ORMs OLTP, mas se adapta às especificidades do OLAP, como o tratamento de valores NULL e restrições de unicidade de forma diferente. Moose OLAP enfatiza o esquema como código, fornece semântica e padrões nativos do OLAP e suporta migrações versionadas para lidar com as mudanças dinâmicas de esquema inerentes aos ambientes OLAP.

Leia mais
Desenvolvimento

Um Bug Irritante na Criação de Slots de Replicação Lógica do PostgreSQL e Como o Resolvemos

2025-07-15
Um Bug Irritante na Criação de Slots de Replicação Lógica do PostgreSQL e Como o Resolvemos

A equipe ClickPipes encontrou um bug intrigante ao criar slots de replicação lógica no PostgreSQL: uma consulta que deveria levar segundos estava levando horas e não podia ser terminada. A investigação revelou um bug no Postgres onde, em réplicas de leitura, a criação de um slot de replicação lógica ficava presa em um loop de suspensão longo enquanto esperava que as transações primárias terminassem, tornando impossível a interrupção. A equipe enviou uma correção para a comunidade Postgres adicionando uma verificação de interrupção, resolvendo efetivamente o problema. Este caso destaca como até mesmo sistemas de banco de dados maduros podem abrigar casos de borda inesperados e o papel vital da colaboração da comunidade de código aberto na resolução deles.

Leia mais
Desenvolvimento Replicação Lógica

Plataforma de Observabilidade de 100 PB do ClickHouse Cloud: Evolução do LogHouse

2025-06-21
Plataforma de Observabilidade de 100 PB do ClickHouse Cloud: Evolução do LogHouse

Em um ano, a plataforma de registro interna do ClickHouse Cloud, LogHouse, cresceu de 19 PiB para mais de 100 PiB, e o número de linhas aumentou de 40 trilhões para 500 trilhões. Para lidar com um aumento de 20 vezes no volume de eventos, a equipe do LogHouse desenvolveu o SysEx, um exportador personalizado que reduziu o uso da CPU para menos de 10% do requisito anterior. O SysEx copia dados diretamente das tabelas do sistema ClickHouse, ignorando o gargalo de análise e marshaling do OpenTelemetry. Simultaneamente, o LogHouse integrou o HyperDX, a IU de observabilidade nativa do ClickHouse, fornecendo exploração, correlação e análise de causa raiz perfeita.

Leia mais
Tecnologia

ClickHouse arrecada US$ 350 milhões em Série C para impulsionar aplicativos nativos de IA

2025-05-29
ClickHouse arrecada US$ 350 milhões em Série C para impulsionar aplicativos nativos de IA

O banco de dados de análise em tempo real ClickHouse anunciou uma rodada de financiamento da Série C de US$ 350 milhões, elevando seu financiamento total para mais de US$ 650 milhões. Esse investimento impulsionará o desenvolvimento de produtos, a expansão global e as parcerias que apoiam a próxima onda de aplicativos nativos de IA. O mecanismo de armazenamento colunar de alto desempenho do ClickHouse permite consultas analíticas interativas em conjuntos de dados massivos com latência mínima, alimentando aplicativos de IA/ML, análises em tempo real, data warehousing na nuvem e cargas de trabalho de observabilidade. Com crescimento anual superior a 300% e atendendo a mais de 2.000 clientes, incluindo Anthropic, Tesla e Mercado Libre, o ClickHouse aborda o desafio de construir plataformas de dados em tempo real para a era da IA, posicionando-se como o mecanismo padrão para produtos de dados inteligentes de próxima geração.

Leia mais
Tecnologia

Materialização Preguiçosa do ClickHouse: Aceleração de 1500x

2025-04-22
Materialização Preguiçosa do ClickHouse: Aceleração de 1500x

O ClickHouse alcança uma melhoria de velocidade de 1500x usando uma nova otimização chamada "materialização preguiçosa". Essa técnica adia a leitura de dados da coluna até que sejam realmente necessários, reduzindo drasticamente a E/S desnecessária. O artigo usa o conjunto de dados de avaliações de clientes da Amazon para ilustrar como a materialização preguiçosa, combinada com outras otimizações de E/S, como armazenamento colunar, índices primários esparsos e PREWHERE, reduz o tempo de execução de uma consulta de 219 segundos para 139 milissegundos. A materialização preguiçosa é particularmente eficaz para consultas Top N, proporcionando ganhos significativos de desempenho sem alterar o SQL.

Leia mais

ClickHouse abraça Rust: Uma jornada de integração desafiadora

2025-04-09
ClickHouse abraça Rust: Uma jornada de integração desafiadora

O ClickHouse, originalmente escrito em C++, embarcou em uma jornada para integrar o Rust a fim de atrair mais desenvolvedores e expandir suas capacidades. O artigo detalha esse processo, desde a escolha inicial da função de hash BLAKE3 como projeto piloto até a integração da linguagem de consulta PRQL e da biblioteca Delta Lake. A jornada encontrou vários desafios, incluindo a integração do sistema de construção, gerenciamento de memória, tratamento de erros e problemas de compilação cruzada. Apesar de problemas como bugs em bibliotecas Rust, nomes de símbolos excessivamente grandes e problemas de interoperabilidade com o código C++, a equipe do ClickHouse superou esses obstáculos, integrando com sucesso o Rust ao projeto e abrindo caminho para o desenvolvimento futuro.

Leia mais
Desenvolvimento