大型语言模型 API 流式传输工作原理 (til.simonwillison.net)

本文详细介绍了 Anthropic、Google Gemini 和 OpenAI 等主流大型语言模型 API 的流式传输工作原理。文章解释了这些 API 如何使用 `text/event-stream` 内容类型返回数据，并通过 `

` 分隔数据块。每个数据块包含一个 `data: JSON` 行，其中包含模型生成的文本块或其他信息。文章还提供了使用 `curl` 命令和 `HTTPX` 库访问这些流式 API 的示例代码。