GitHub - pytorch/torchchat: 在服务器、桌面和移动设备上本地运行 PyTorch LLMs

2024-08-01

TorchChat是一个代码库,能够无缝地在服务器、桌面和移动设备上本地运行大型语言模型 (LLMs)。它支持使用 Python、C/C++ 应用程序以及在 iOS 和 Android 系统上运行 LLMs,并提供命令行交互、PyTorch 原生执行、多种数据类型和量化方案等功能。

44
未分类 LLMs