从Claude 3 Sonnet中提取可解释特征

这篇论文介绍了Anthropic如何使用稀疏自编码器从Claude 3 Sonnet模型中提取可解释特征。研究发现，这些特征高度抽象，涵盖多语言、多模态，并能概括同一概念的抽象和具体实例。一些特征与安全相关，例如代码中的安全漏洞、偏见、欺骗和犯罪内容。论文还探讨了特征的可解释性、对模型行为的影响，以及与其他方法的比较。