GitHub - NVIDIA/garak: LLM漏洞扫描器

Garak是一款用于评估大型语言模型（LLM）漏洞的命令行工具。它通过静态、动态和自适应探测来识别LLM中的弱点，例如幻觉、数据泄露、提示注入、错误信息、毒性生成和越狱等。Garak支持多种LLM，包括Hugging Face、OpenAI、Replicate、Cohere、Groq、ggml、REST API以及私有模型等。用户可以通过指定模型类型和名称，选择不同的探测方式进行测试，并获得详细的评估报告。