Toolkit de código aberto: Avaliando e mitigando o risco de alucinação em LLMs

A Hassana Labs lançou um toolkit de código aberto para avaliar e mitigar o risco de alucinação em modelos de linguagem grandes (LLMs). Sem necessidade de treinar novamente o modelo, o toolkit utiliza a API OpenAI Chat Completions. Ele cria um conjunto de prompts enfraquecidos em conteúdo (priores rolantes) para calcular um limite superior para o risco de alucinação usando a Lei de Descompressão de Nível de Expectativa (EDFL). Uma decisão de responder ou recusar é tomada com base em um acordo de nível de serviço (SLA) alvo. Suporta modos de implantação baseados em evidências e fechados, o toolkit fornece métricas abrangentes e um rastro de auditoria para construir aplicativos LLM mais confiáveis.