Popular：
Virtualization DNS security formal verification reachability analysis compiler errors macro conflict web extension development framework Bitmap Graphics API inconsistencies All Tags

自托管Llama-3 8B-Instruct的成本

2024-06-14

本文探讨了自托管大型语言模型Llama-3 8B-Instruct的成本。作者发现，使用AWS的EKS服务自托管，每百万token成本约为17美元，远高于ChatGPT每百万token 1美元的成本。即使采用自建硬件的方式，也需要5.5年才能收回成本。作者指出，虽然理论上自托管可以大幅降低成本，但实际应用中需要考虑模型利用率等因素。

(blog.lytix.co)
43
未分类 Llama-3