这篇论文介绍了Anthropic团队如何将稀疏自编码器应用于Claude 3 Sonnet模型,以提取可解释的特征。研究发现,这些特征高度抽象,能够识别代码中的错误、安全漏洞以及偏见等问题。团队使用特征操控技术证明了这些特征对模型行为的影响,例如,操控特定特征可以诱导模型产生与该特征相关的输出。 论文强调了这项研究的初步性质,并指出需要进一步研究以理解这些潜在安全相关特征的含义。