TScale：コンシューマーハードウェア上でのLLMトレーニング

TScaleは、C++とCUDAで記述されたトランスフォーマーモデルのトレーニングと推論フレームワークであり、コンシューマーグレードのハードウェアで動作するように設計されています。最適化されたアーキテクチャ、低精度計算（fp8とint8）、CPUオフロード、同期および非同期分散トレーニングにより、トレーニングコストと時間を大幅に削減します。巧妙なインデックス付け技術により、1Tパラメーター規模のモデルでも一般的な家庭用コンピューターでトレーニングが可能になり、LLMトレーニングへの参入障壁を下げる大きな可能性を示しています。