SQLFlow: Processamento de Stream com DuckDB e SQL
2025-01-03
SQLFlow é um motor de processamento de stream alimentado pelo DuckDB, permitindo operações baseadas em SQL em dados em tempo real de fontes como Kafka e webhooks. Ele suporta transformações de dados, enriquecimento, agregação, agregações de janela móvel e saídas para destinos como Kafka, bancos de dados ou arquivos locais. O SQLFlow possui alta taxa de transferência, manipulando dezenas de milhares de mensagens por segundo, e suporta serialização e codificação personalizadas. A implantação do Docker está readily available para configuração fácil.
Desenvolvimento
processamento de stream