我们如何构建 ngrok 的数据平台 (ngrok.com)

本文介绍了 ngrok 如何构建其数据平台，重点介绍了数据工程在 ngrok 的独特性以及平台架构的演变。ngrok 的数据工程团队将数据工程视为一种通用的分布式系统软件工程学科，并让最了解实际场景的主题专家进行数据建模。文章详细介绍了 ngrok 数据平台的旧架构和新架构，并深入探讨了在 Go monorepo 中协作处理数据和基础设施、Airbyte 和 Glue 之间的模式和结构问题，以及如何扩展 Apache Flink、Scala 和 Protobuf 以处理每天 650 GB 的数据等技术挑战。最后，文章还展示了 ngrok 如何利用元信号打击滥用行为。