llama.cpp WASM: Aceleração 2x com SIMD otimizado

2025-01-28

O blog de Simon Willison destaca uma melhoria significativa no llama.cpp: um aumento de velocidade de 2x para a versão WASM, obtida otimizando instruções SIMD. Surpreendentemente, 99% do código foi gerado pela ferramenta de programação assistida por IA DeepSeek R1. O DeepSeek R1 levou 3-5 minutos para 'pensar' em cada prompt, ajudando o desenvolvedor a melhorar o plugin llm_groq.py e a eliminar elegantemente o model_map, simplificando o código. Isso mostra o imenso potencial da IA na otimização e refatoração de código.