2024 年多模态可解释性

本文探讨了 2024 年多模态可解释性的研究进展，重点关注基于电路的方法、文本-图像空间方法和描述方法。基于电路的方法包括手动和自动电路发现，以及利用稀疏自动编码器改进表征。文本-图像空间方法利用共享嵌入空间解释视觉模型，例如 TEXTSPAN 算法。描述方法通过描述激活神经元的图像来解释神经元功能。文章还讨论了将文本嵌入应用于非语言模型解释的策略，例如锁定图像调整和适配器。最后，强调了高质量数据、基准数据集和改进的自动解释方法的必要性。