从Claude 3 Sonnet中提取可解释特征

这篇论文介绍了Anthropic团队如何将稀疏自编码器应用于Claude 3 Sonnet模型，以提取可解释的特征。研究发现，这些特征高度抽象，能够识别代码中的错误、安全漏洞以及偏见等问题。团队使用特征操控技术证明了这些特征对模型行为的影响，例如，操控特定特征可以诱导模型产生与该特征相关的输出。 论文强调了这项研究的初步性质，并指出需要进一步研究以理解这些潜在安全相关特征的含义。