Ajuste Fino Eficiente: Um mergulho profundo no LoRA (Parte 1)

O ajuste fino de grandes modelos de linguagem geralmente requer recursos computacionais substanciais. Este artigo apresenta o LoRA, uma técnica de ajuste fino eficiente em termos de parâmetros. O LoRA reduz significativamente o número de parâmetros que precisam ser treinados inserindo matrizes de baixo posto como adaptadores em um modelo pré-treinado, reduzindo assim os custos computacionais e de armazenamento. Esta primeira parte explica os princípios por trás do LoRA, incluindo as deficiências do ajuste fino tradicional, as vantagens dos métodos eficientes em termos de parâmetros e a base matemática da aproximação de baixo posto. Partes subsequentes aprofundarão a implementação e aplicação específicas do LoRA.