SQLFlow：DuckDBとSQLによるストリーム処理
2025-01-03
SQLFlowはDuckDBをベースとしたストリーム処理エンジンで、KafkaやWebhookなどのソースからのリアルタイムデータに対してSQLベースの処理を可能にします。データ変換、エンリッチメント、集約、タンブリングウィンドウ集約などをサポートし、Kafka、データベース、ローカルファイルなど様々な出力先への出力に対応しています。SQLFlowは高いスループットを誇り、毎秒数万件のメッセージを処理でき、カスタムシリアライゼーションとエンコーディングにも対応しています。Dockerによるデプロイも容易です。
開発
ストリーム処理