自托管Llama-3 8B-Instruct的成本
2024-06-14
本文探讨了自托管大型语言模型Llama-3 8B-Instruct的成本。作者发现，使用AWS的EKS服务自托管，每百万token成本约为17美元，远高于ChatGPT每百万token 1美元的成本。即使采用自建硬件的方式，也需要5.5年才能收回成本。作者指出，虽然理论上自托管可以大幅降低成本，但实际应用中需要考虑模型利用率等因素。
阅读更多
43
未分类
Llama-3