QB64 搜索技巧 核手提箱 文字记录 海洋云增白 开源地图 Bliss AI 搜索答案 深海沉船 自由职业 policy 小团队 颈挂空调 Chumby 个人电脑 极端主义 团队 世界 PostgreSQL AI工具 证券 DirectX 防溢 DrawingPics Zulip 儿童读物 化学 连续滚动 代码审查 三菱电机 更多

自托管Llama-3 8B-Instruct的成本 (blog.lytix.co)

原文: Cost Of Self Hosting Llama-3 8B-Instruct

本文探讨了自托管大型语言模型Llama-3 8B-Instruct的成本。作者发现，使用AWS的EKS服务自托管，每百万token成本约为17美元，远高于ChatGPT每百万token 1美元的成本。即使采用自建硬件的方式，也需要5.5年才能收回成本。作者指出，虽然理论上自托管可以大幅降低成本，但实际应用中需要考虑模型利用率等因素。