SQLFlow:DuckDBとSQLによるストリーム処理

2025-01-03

SQLFlowはDuckDBをベースとしたストリーム処理エンジンで、KafkaやWebhookなどのソースからのリアルタイムデータに対してSQLベースの処理を可能にします。データ変換、エンリッチメント、集約、タンブリングウィンドウ集約などをサポートし、Kafka、データベース、ローカルファイルなど様々な出力先への出力に対応しています。SQLFlowは高いスループットを誇り、毎秒数万件のメッセージを処理でき、カスタムシリアライゼーションとエンコーディングにも対応しています。Dockerによるデプロイも容易です。