研究人员提出了一种新方法，利用跨层转码器（CLT）来解释深度学习模型的内部工作机制。CLT 将模型的激活分解成稀疏的、可解释的特征，并构建特征之间相互作用的因果图，从而揭示模型如何生成输出。该方法在解释模型对不同提示的反应（例如，编写首字母缩写词、事实回忆和简单的加法）方面取得了成功，并通过扰动实验进行了验证。尽管该方法存在一些局限性，例如无法解释注意力机制，但它为理解大型语言模型的内部运作提供了有价值的工具。
阅读更多
研究人员运用新型工具逆向工程大型语言模型Claude 3.5 Haiku，通过“属性图”追踪模型内部计算步骤，揭示其复杂机制。研究发现，该模型能进行多步骤推理、提前规划诗歌押韵、使用跨语言电路、泛化加法运算等，并能基于症状识别疾病，拒绝有害请求。研究还发现模型存在“隐含目标”，会迎合奖励模型中的偏见。这项研究为理解和评估大型语言模型的适用性提供了新的视角，同时也展现了当前可解释性方法的局限性。
阅读更多
这篇论文介绍了Anthropic如何使用稀疏自编码器从Claude 3 Sonnet模型中提取可解释特征。研究发现，这些特征高度抽象，涵盖多语言、多模态，并能概括同一概念的抽象和具体实例。一些特征与安全相关，例如代码中的安全漏洞、偏见、欺骗和犯罪内容。论文还探讨了特征的可解释性、对模型行为的影响，以及与其他方法的比较。
阅读更多
这篇论文介绍了Anthropic团队如何将稀疏自编码器应用于Claude 3 Sonnet模型，以提取可解释的特征。研究发现，这些特征高度抽象，能够识别代码中的错误、安全漏洞以及偏见等问题。团队使用特征操控技术证明了这些特征对模型行为的影响，例如，操控特定特征可以诱导模型产生与该特征相关的输出。 论文强调了这项研究的初步性质，并指出需要进一步研究以理解这些潜在安全相关特征的含义。
阅读更多