Sequin:使用水印协调Postgres中的变更数据捕获

2025-01-05
Sequin:使用水印协调Postgres中的变更数据捕获

Sequin是一个实时变更数据捕获(CDC)工具,它将Postgres数据库中的变化同步到Kafka、SQS等目的地。文章重点介绍了Sequin如何巧妙地解决在同时进行全量数据捕获和增量数据捕获时出现的棘手问题。通过使用水印机制,Sequin协调了两个数据流(全量数据流和增量数据流),避免了数据丢失或重复,保证了数据的一致性。Sequin采用分块捕获策略,将全量数据分成小块处理,提高了效率并降低了内存消耗。

阅读更多

我们使用Diátaxis框架修复了文档

2024-12-06
我们使用Diátaxis框架修复了文档

本文讲述了Sequin团队如何利用Diátaxis框架改进文档。他们发现工程师倾向于先解释所有内容,但这并非最佳方法。Diátaxis框架将文档分为教程、操作指南、参考和解释四类,并建议用户按顺序阅读。Sequin团队据此重构了文档,先创建快速入门教程,再编写操作指南,过程中发现并解决了产品问题,最后完成参考文档。Diátaxis框架帮助他们认识到文档的重点是吸引用户并引导他们学习,而非简单地传递信息。

阅读更多
未分类 Diátaxis框架

不存在精确一次交付

2024-09-30
不存在精确一次交付

这篇技术博客探讨了消息传递系统中的“精确一次交付”概念,指出由于两阶段提交问题,实现真正的精确一次交付是不可能的。文章解释了“至少一次交付”和“精确一次处理”之间的区别,强调Sequin作为一种消息系统,提供了“至少一次交付”和“精确一次处理”的保证。作者还讨论了如何通过设计幂等系统、将消息分解为工作单元以及正确配置超时等方法来减轻重复处理问题。

阅读更多