Anthropic 推出 Prompt Caching (测试版)

2024-08-19

Anthropic 推出了一项名为 Prompt Caching 的新功能,允许用户在提示词中从特定前缀恢复,从而优化 API 使用,显著减少重复任务或包含一致元素的提示词的处理时间和成本。Prompt Caching 目前支持 Claude 3.5 Sonnet 和 Claude 3.0 Haiku 模型,并将很快支持 Claude 3.0 Opus。缓存时长为 5 分钟,每次使用缓存内容时都会刷新。

未分类 Prompt Caching