TScale : Entraîner des LLM sur du matériel grand public
2025-05-04
TScale est une infrastructure d'entraînement et d'inférence de modèles de transformateurs écrite en C++ et CUDA, conçue pour fonctionner sur du matériel grand public. Elle permet de réduire considérablement les coûts et les temps d'entraînement grâce à une architecture optimisée, au calcul basse précision (fp8 et int8), au déchargement de la CPU et à l'entraînement distribué synchrone et asynchrone. Même un modèle de 1 T de paramètres devient gérable grâce à des techniques d'indexation intelligentes, permettant l'entraînement sur des ordinateurs domestiques classiques. TScale démontre un potentiel immense pour réduire les obstacles à l'entraînement des LLM.