Costes de inferencia de IA: No tan caros como crees
Este artículo cuestiona la narrativa de que la inferencia de IA es prohibitivamente cara e insostenible. Al calcular los costes de ejecutar la inferencia de IA en GPUs H100, el autor demuestra que el procesamiento de entrada es increíblemente barato (fracciones de un centavo por millón de tokens), mientras que la generación de salida es significativamente más cara (dólares por millón de tokens). Esta asimetría de costes explica la rentabilidad de algunas aplicaciones (como los asistentes de codificación) y el alto coste de otras (como la generación de vídeo). El autor argumenta que esta disparidad de costes a menudo se pasa por alto, lo que lleva a una sobreestimación de los costes de inferencia de IA, lo que puede beneficiar a los incumbentes y sofocar la competencia y la innovación.