TScale: Entrenando LLMs en Hardware de Consumo

TScale es un framework de entrenamiento e inferencia de modelos de transformadores escrito en C++ y CUDA, diseñado para ejecutarse en hardware de consumo. Logra reducciones significativas de costes y tiempo mediante una arquitectura optimizada, computación de baja precisión (fp8 e int8), descarga de la CPU y entrenamiento distribuido sincrónico y asincrónico. Incluso un modelo de 1T de parámetros se vuelve manejable con técnicas de indexación inteligentes, permitiendo el entrenamiento en ordenadores domésticos típicos. TScale demuestra un inmenso potencial en la reducción de la barrera de entrada para el entrenamiento de LLMs.