AI 推理成本：并非你想象的那么高昂
2025-08-28
本文作者通过计算基于H100的AI推理成本，推翻了“AI推理成本过高且不可持续”的论调。他发现，输入处理成本极低（百万分之几美元），而输出生成成本较高（每百万个token数美元）。这种成本差异解释了为什么某些应用（如代码助手）盈利能力强，而另一些应用（如视频生成）成本高昂。作者认为，这种成本差异被忽视，导致人们高估了AI推理的成本，这可能有利于现有巨头，阻碍竞争和创新。