오픈소스 툴킷: LLM에서의 환각 위험 평가 및 완화

Hassana Labs는 대규모 언어 모델(LLM)의 환각 위험을 평가하고 완화하기 위한 오픈소스 툴킷을 출시했습니다. 모델 재훈련 없이 OpenAI Chat Completions API를 활용합니다. 콘텐츠를 약화시킨 프롬프트(롤링 사전 확률)의 앙상블을 만들어 기대 수준의 압축 해제 법칙(EDFL)을 사용하여 환각 위험의 상한선을 계산합니다. 목표 서비스 수준 계약(SLA)을 기반으로 응답하거나 거부할지 여부를 결정합니다. 증거 기반 모드와 클로즈드북 모드를 모두 지원하며, 신뢰할 수 있는 LLM 애플리케이션 구축을 위한 포괄적인 지표와 감사 추적을 제공합니다.