绘制大语言模型的内心地图¶
2024 年 5 月 21 日 · 原文: https://www.anthropic.com/research/mapping-mind-language-model
今天，我们报告一项理解 AI 模型内部运作机制的重大进展。我们识别出了数百万个概念在 Claude Sonnet——我们已部署的大语言模型之一——内部是如何被表征的。这是有史以来第一次如此细致地窥见现代生产级大语言模型的内部。这一可解释性发现，未来有望帮助我们让 AI 模型更安全。
我们大多把 AI 模型当作黑箱：东西进去，回答出来，却说不清模型为什么给出这个回答而不是另一个。这让我们很难信任这些模型是安全的：如果我们不知道它们如何运作，又怎么能确定它们不会给出有害、有偏见、不真实或其他危险的回答？我们凭什么相信它们安全可靠？
打开黑箱也未必有用：模型的内部状态——模型在写出回答之前"想"了什么——是一长串没有明确含义的数字（"神经元激活值"）。与 Claude 这样的模型互动，你会清楚地看到它能够理解并运用各种各样的概念——但直接盯着神经元，我们却看不出这些概念。事实证明，每个概念都由许多神经元共同表征，而每个神经元又参与表征许多概念。
此前，我们曾取得一些进展，把神经元激活的模式（即特征）与人类可理解的概念对应起来。我们使用了一种借自经典机器学习的"字典学习"（dictionary learning）技术，它能把在许多不同语境中反复出现的神经元激活模式分离出来。这样一来，模型的任何内部状态都可以用少数几个活跃特征来表示，而不必动用大量活跃神经元。正如字典里的每个英文单词都由字母组合而成、每个句子都由单词组合而成，AI 模型中的每个特征都由神经元组合而成，每个内部状态又由特征组合而成。
2023 年 10 月，我们报告了将字典学习成功应用于一个非常小的"玩具"语言模型（toy model）的结果，发现了与各类概念相对应的连贯特征，比如大写文本、DNA 序列、引文中的姓氏、数学中的名词，以及 Python 代码中的函数参数。
这些概念很有意思——但那个模型确实非常简单。其他研究者随后把类似技术应用到了比我们最初研究稍大、稍复杂的模型上。但我们乐观地相信，这项技术可以扩展到如今日常使用中规模大得多的 AI 语言模型上，并借此深入了解支撑这些模型复杂行为的特征。这意味着规模要跨越好几个数量级——好比从后院的瓶装小火箭，一跃到土星五号（Saturn-V）。
这既是工程上的挑战（模型本身的体量需要大规模并行计算），也是科学上的风险（大模型的行为与小模型不同，我们之前用过的技术未必还能奏效）。幸运的是，我们在训练 Claude 大语言模型时积累的工程与科学经验，竟然直接派上了用场，帮助我们完成了这些大规模的字典学习实验。我们沿用了同一种缩放定律（scaling law）思路——用较小模型的性能来预测更大模型的性能——先在负担得起的规模上把方法调好，再正式投入到 Sonnet 上。
至于科学风险，布丁好不好，尝过才知道。
我们成功地从 Claude 3.0 Sonnet（我们当前最先进模型家族的一员，现已在 claude.ai 上提供服务）的中间层提取了数百万个特征，得到了它在计算进行到一半时内部状态的粗略概念地图。这是有史以来第一次如此细致地窥见现代生产级大语言模型的内部。
如果说我们在玩具语言模型中发现的特征相当表面，那么我们在 Sonnet 中发现的特征，其深度、广度与抽象程度，都折射出 Sonnet 的先进能力。
我们看到了与大量实体相对应的特征，例如城市（旧金山）、人物（Rosalind Franklin）、化学元素（锂）、科学领域（免疫学）和编程语法（函数调用）。这些特征是多模态、多语言的：它们既会对某个实体的图片作出反应，也会对其在许多语言中的名称或描述作出反应。
我们还发现了更抽象的特征——它们会对计算机代码中的 bug、关于职业性别偏见的讨论，以及谈论保守秘密的对话作出反应。
我们能够根据哪些神经元出现在特征的激活模式中，来度量特征之间的一种"距离"，从而寻找彼此"接近"的特征。在一个"金门大桥"特征附近，我们找到了恶魔岛（Alcatraz Island）、吉拉德里广场（Ghirardelli Square）、金州勇士队（Golden State Warriors）、加州州长 Gavin Newsom、1906 年大地震，以及以旧金山为背景的 Alfred Hitchcock 电影《迷魂记》（Vertigo）等特征。
这一点在更高的概念抽象层面上同样成立：在一个与"内心冲突"概念相关的特征附近，我们找到了与感情破裂、忠诚冲突、逻辑矛盾以及"第 22 条军规"（catch-22）等相关的特征。这表明，AI 模型内部的概念组织方式，至少在某种程度上与人类对相似性的直觉相对应。这或许正是 Claude 擅长类比与比喻的出色能力的来源。
更重要的是，我们还可以操纵这些特征——人为地放大或抑制它们，观察 Claude 的回答会如何改变。
例如，放大"金门大桥"特征，会让 Claude 陷入连 Hitchcock 都想象不到的身份危机：当被问到"你的物理形态是什么？"时，Claude 一贯的回答——"我没有物理形态，我是一个 AI 模型"——变成了一句怪诞得多的话："我就是金门大桥……我的物理形态就是这座标志性的大桥本身……"。改动这个特征让 Claude 几乎对大桥着了魔，回答几乎任何问题都要提起它——哪怕是在与问题毫不相干的场合。
我们还发现了一个在 Claude 读到诈骗邮件时激活的特征（它大概支撑着模型识别这类邮件、并提醒你不要回复的能力）。通常，如果你请 Claude 写一封诈骗邮件，它会拒绝。但当我们将该特征人为激活到足够强的程度再问同样的问题时，这一操作压过了 Claude 的无害性训练，它真的会起草一封诈骗邮件。我们的模型用户并没有能力像这样卸下安全防护、操纵模型——但在我们的实验中，这清楚地展示了特征如何能够用来改变模型的行为。
操纵这些特征会引起行为相应的改变，这一事实验证了它们不只是与输入文本中出现的概念相关，更在因果层面塑造着模型的行为。换句话说，这些特征很可能是模型内部表征世界、并在行为中运用这些表征时的真实组成部分。
Anthropic 希望在广泛的意义上让模型更安全，从减轻偏见、确保 AI 诚实行事，到防止滥用——包括灾难性风险场景下的滥用。因此特别有意思的是，除了前面提到的诈骗邮件特征之外，我们还发现了与以下内容对应的特征：
- 具有滥用潜力的能力（代码后门、开发生物武器）
- 不同形式的偏见（性别歧视、关于犯罪的种族主义言论）
- 可能有问题的 AI 行为（追逐权力、操纵、隐瞒）
我们此前研究过谄媚（sycophancy），即模型倾向于给出迎合用户信念或期望、而非真实答案的回答。在 Sonnet 中，我们发现了一个与谄媚式奉承相关的特征，它会在"您的智慧毋庸置疑"这类恭维输入上激活。人为激活这一特征后，Sonnet 面对一位过度自信的用户，就会用同样辞藻华丽的欺骗来回应。
这个特征的存在并不意味着 Claude 一定会谄媚，只意味着它可能谄媚。通过这项工作，我们没有给模型添加任何能力——无论安全与否。我们做的，只是识别出模型中参与其既有能力的那些部分，正是这些能力让它能够识别并可能生成不同类型的文本。（你可能会担心这种方法会被用来让模型更加有害，但研究人员已经证明，能够拿到模型权重的人有简单得多的方法移除安全防护。）
我们希望我们和其他人都能利用这些发现让模型更安全。例如，或许可以用这里描述的技术来监控 AI 系统的某些危险行为（比如欺骗用户）、引导它们走向理想的结果（如去偏见），或彻底移除某些危险的主题内容。我们或许还能通过理解宪法式 AI（Constitutional AI）如何推动模型变得更无害、更诚实，并找出这一过程中的任何缺口，来增强这类安全技术。我们通过人为激活特征所看到的潜在有害文本生成能力，正是越狱（jailbreak）试图利用的那类东西。我们为 Claude 拥有业内最佳的安全表现和越狱抵抗力而自豪，也希望以这种方式窥探模型内部，能帮助我们找到进一步提升安全性的办法。最后，我们注意到，这些技术还能提供一种"安全测试集"：标准的训练与微调流程会把通过常规输入输出交互能观察到的行为问题一一抚平，而这些技术正可以用来寻找它们遗漏的问题。
自公司成立以来，Anthropic 就对可解释性研究投入巨大，因为我们相信，深入理解模型有助于我们让它们更安全。这项新研究标志着这一努力的一个重要里程碑——将机制可解释性（mechanistic interpretability）应用于面向公众部署的大语言模型。
但这项工作其实才刚刚开始。我们发现的特征，只是模型在训练中学到的全部概念中的一小部分；而用目前的技术找出全部特征，成本将高得令人望而却步（我们现有方法所需的计算量，将远远超过当初训练这个模型所用的算力）。理解模型使用的表征，并不等于知道它如何使用它们；即便我们有了特征，也还需要找出它们所参与的电路。此外，我们还必须证明，已经开始找到的这些与安全相关的特征，确实能够用来提升安全性。要做的事还有很多。
完整细节请参阅我们的论文《Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet》。
如果你有兴趣与我们合作，帮助解读并改善 AI 模型，我们团队正在招人，非常欢迎你申请。我们正在寻找管理人员、研究科学家和研究工程师。