Gemini Diffusion: A Velocidade Relâmpago da Geração de Texto?
O Gemini Diffusion, recém-lançado pelo Google, impressiona a todos com sua velocidade; eles até desaceleraram a demonstração para que fosse visível. Este artigo investiga por que os modelos de difusão são tão rápidos, contrastando-os com os modelos autoregressivos tradicionais (como GPT-4, Claude). Os modelos de difusão geram toda a saída de uma vez, em vez de token por token, permitindo a geração paralela de partes corretas e velocidades mais rápidas por meio de iterações reduzidas. No entanto, eles são menos eficientes com contextos longos e suas capacidades de raciocínio permanecem questionáveis. Embora os modelos de difusão possam usar transformadores internamente, sua arquitetura os torna fundamentalmente diferentes dos modelos autoregressivos.