TScale: Training von LLMs auf Consumer-Hardware
2025-05-04
TScale ist ein Framework zum Trainieren und Inferieren von Transformer-Modellen, geschrieben in C++ und CUDA, das für die Ausführung auf Consumer-Hardware entwickelt wurde. Es erreicht signifikante Kosten- und Zeitreduzierungen durch optimierte Architektur, Low-Precision-Computing (fp8 und int8), CPU-Offloading und synchrones und asynchrones verteiltes Training. Selbst ein Modell mit 1T Parametern wird durch clevere Indexierungstechniken handhabbar, wodurch das Training auf normalen Heimcomputern ermöglicht wird. TScale zeigt ein immenses Potenzial bei der Senkung der Einstiegshürde für das Training von LLMs.