Calculez facilement le nombre de jetons de modèle linguistique pour une chaîne
Cet article présente une méthode simple pour calculer le nombre de jetons d'un modèle linguistique dans une chaîne. Ceci est crucial pour estimer les coûts d'exécution de l'application, vérifier si le texte tient dans la fenêtre de contexte du modèle linguistique et déterminer s'il est nécessaire de le fractionner. Bien qu'une estimation approximative puisse être obtenue en divisant le nombre de caractères par 4, une méthode plus précise consiste à utiliser le modèle linguistique spécifique (Hugging Face ou OpenAI) que vous utilisez. L'auteur fournit un Jupyter Notebook pour calculer le nombre de jetons pour des chaînes, des fichiers ou tous les fichiers d'un dossier, éliminant ainsi la dépendance aux services externes, garantissant la sécurité et l'utilisation gratuite.
Lire plus