O gargalo de confiabilidade dos LLMs: Quatro estratégias para construir produtos de IA

Este artigo explora a confiabilidade inerente dos Grandes Modelos de Linguagem (LLMs) e suas implicações para a construção de produtos de IA. As saídas de LLM frequentemente desviam significativamente do resultado pretendido, e essa falta de confiabilidade é particularmente pronunciada em tarefas que envolvem ações de múltiplas etapas e uso de ferramentas. Os autores argumentam que essa confiabilidade central é improvável que mude significativamente em curto e médio prazo. Quatro estratégias para gerenciar a variância de LLM são apresentadas: sistemas operando sem verificação do usuário (buscando determinismo ou precisão 'suficientemente boa'), e sistemas incorporando etapas de verificação explícita (verificação do usuário final ou verificação em nível de fornecedor). Cada estratégia possui seus pontos fortes, fracos e cenários aplicáveis; a escolha depende das capacidades e objetivos da equipe.