TScale: Treinamento de LLMs em Hardware de Consumo

TScale é uma estrutura de treinamento e inferência de modelos de transformador escrita em C++ e CUDA, projetada para rodar em hardware de consumo. Ela consegue reduções significativas de custo e tempo por meio de arquitetura otimizada, computação de baixa precisão (fp8 e int8), descarregamento da CPU e treinamento distribuído síncrono e assíncrono. Mesmo um modelo de 1T de parâmetros se torna tratável com técnicas de indexação inteligentes, permitindo o treinamento em computadores domésticos típicos. O TScale demonstra um imenso potencial na redução da barreira de entrada para o treinamento de LLMs.