GitHub - labmlai/inspectus: LLM 分析工具 (github.com)

Inspectus 是一个用于大型语言模型的可视化工具，可以在 Jupyter notebooks 中使用 Python API 运行。它提供了多种视图，可以深入了解语言模型的行为，包括注意力矩阵、查询词热图、关键词热图和维度热图。该工具支持 Huggingface 模型和自定义注意力矩阵，并提供简单的 API 和教程。