SQLFlow:基于DuckDB的流式SQL处理引擎

2025-01-03
SQLFlow:基于DuckDB的流式SQL处理引擎

SQLFlow是一个基于DuckDB的流式数据处理引擎,允许用户使用SQL语句对来自Kafka、Webhook等来源的实时数据进行处理。它支持数据转换、数据丰富、数据聚合、滚动窗口聚合等多种功能,并能将处理后的数据输出到Kafka、数据库或本地文件等多种目标。SQLFlow具有高吞吐量,能够处理每秒数万条消息,并支持自定义序列化和编码方式。目前已支持Docker部署,方便快捷。

开发 流式处理