Calcule facilmente o número de tokens de modelo de linguagem para uma string
2025-02-05
Este artigo apresenta um método simples para calcular o número de tokens de modelo de linguagem em uma string. Isso é crucial para estimar os custos de execução do aplicativo, verificar se o texto se encaixa na janela de contexto do modelo de linguagem e determinar se é necessário dividir em partes menores. Embora uma estimativa aproximada possa ser obtida dividindo a contagem de caracteres por 4, um método mais preciso envolve o uso do modelo de linguagem específico (Hugging Face ou OpenAI) que você está usando. O autor fornece um Jupyter Notebook para calcular a contagem de tokens para strings, arquivos ou todos os arquivos em uma pasta, eliminando a dependência de serviços externos, garantindo segurança e uso gratuito.
Leia mais
Desenvolvimento
contagem de tokens