SQLFlow: DuckDB와 SQL을 사용한 스트리밍 처리

SQLFlow는 DuckDB 기반의 스트리밍 처리 엔진으로, Kafka 및 webhook과 같은 소스의 실시간 데이터에 대해 SQL 기반 연산을 가능하게 합니다. 데이터 변환, 풍부화, 집계, 텀블링 윈도우 집계 등을 지원하며, Kafka, 데이터베이스, 로컬 파일 등 다양한 출력 대상으로 출력할 수 있습니다. SQLFlow는 높은 처리량을 자랑하며, 초당 수만 건의 메시지를 처리할 수 있으며, 사용자 정의 직렬화 및 인코딩도 지원합니다. Docker를 사용한 배포도 용이합니다.