轻松计算语言模型文本令牌数量

本文介绍了一种简单的方法来计算字符串中语言模型的令牌数量。这对于估计应用程序运行成本、检查文本是否适合语言模型的上下文窗口以及确定是否需要分块都非常重要。虽然可以用字符数除以4粗略估计，但更精确的方法是使用你实际使用的语言模型（Hugging Face或OpenAI模型）。作者提供了一个Jupyter Notebook，可以计算字符串、文件或文件夹中所有文件的令牌数量，无需依赖外部服务，安全且免费。