Gemini Diffusion: ¿El Velocista de la Generación de Texto?
El recién lanzado Gemini Diffusion de Google está impresionando a todos con su velocidad; incluso ralentizaron la demostración para que fuera visible. Este artículo profundiza en por qué los modelos de difusión son tan rápidos, contrastándolos con los modelos autoregresivos tradicionales (como GPT-4, Claude). Los modelos de difusión generan toda la salida a la vez, en lugar de token por token, permitiendo la generación paralela de partes correctas y velocidades más rápidas mediante iteraciones reducidas. Sin embargo, son menos eficientes con contextos largos y sus capacidades de razonamiento siguen siendo cuestionables. Si bien los modelos de difusión pueden usar transformadores internamente, su arquitectura los hace fundamentalmente diferentes de los modelos autoregresivos.