GitHub - pytorch/torchchat: 在服务器、桌面和移动设备上本地运行 PyTorch LLMs (github.com)

TorchChat是一个代码库，能够无缝地在服务器、桌面和移动设备上本地运行大型语言模型 (LLMs)。它支持使用 Python、C/C++ 应用程序以及在 iOS 和 Android 系统上运行 LLMs，并提供命令行交互、PyTorch 原生执行、多种数据类型和量化方案等功能。