大语言模型中涌现的内省意识¶

2025 年 11 月 20 日 · 原文：https://transformer-circuits.pub/2025/introspection/index.html

机构¶

发布信息¶

2025 年 10 月 29 日。通讯邮箱：jacklindsey@anthropic.com

我们研究大语言模型是否意识到自己的内部状态。仅通过对话很难回答这个问题，因为真正的内省与虚构（confabulation）难以区分。在这里，我们通过将已知概念的表示注入模型的激活值，并测量这些操作对模型自我报告状态的影响，来应对这一挑战。我们发现，在某些场景下，模型能够注意到被注入概念的存在，并准确识别它们。模型表现出一定的能力来回忆先前的内部表示，并将其与原始文本输入区分开来。引人注目的是，我们发现一些模型能够利用它们回忆先前意图的能力，将自己的输出与人工预填充内容（artificial prefills）区分开来。在所有实验中，我们测试的能力最强的模型 Claude Opus 4 和 4.1 通常展现出最强的内省意识；然而，不同模型间的趋势十分复杂，且对后训练策略敏感。最后，我们探索模型能否明确控制自己的内部表示，发现当被指示或被激励去“想”某个概念时，模型可以调节自己的激活值。总体而言，我们的结果表明，当前的语言模型具备一定程度的功能性自我状态意识。我们要强调，在当今的模型中，这种能力高度不可靠且依赖于上下文；不过，随着模型能力的进一步提升，它可能会继续发展。

引言¶

人类——很可能还有某些动物——拥有非凡的内省能力：观察并推理自己思想的能力。随着 AI 系统展现出越来越令人印象深刻的认知壮举，人们自然会好奇它们是否对自己的内部状态拥有类似的意识。现代语言模型似乎能够展现内省，有时会对自己的思维过程、意图和知识做出断言。然而，这种表面的内省可能——而且往往确实是——一种幻觉。语言模型可能只是编造关于其心理状态的陈述，而这些陈述并不基于真正的内部审视。毕竟，模型的训练数据中包含内省的示范，为它们提供了一份扮演内省主体的行动手册——无论它们是否真的在自省。尽管如此，这些虚构并不排除这样一种可能性：AI 模型有时确实能真正内省，即便它们并非总是如此。

我们如何检验语言模型是否存在真正的内省？此前已有若干研究探索过这个问题及密切相关的主题，观察到一些暗示内省能力的模型行为。例如，先前的工作表明，模型具备一定的能力来估计自己的知识 \cite{kadavath2022language,lin2022teaching,cheng2024can}、预测自己的行为 \cite{laine2024me,binder2024looking}、识别自己习得的倾向 \cite{betley2025tell,plunkett2025self}，以及识别自己的输出 \cite{panickssery2024llm,laine2024me}（完整讨论见“相关工作”（Related Work）一节）。然而，在大多数情况下¹，先前的工作并未研究模型在内省任务中的内部激活，因此模型关于自身的陈述与其真实内部状态之间的关系，仍是一个悬而未决的问题。

在本工作中，我们通过操纵模型的内部激活值，并观察这些操作如何影响模型对有关其心理状态的问题的回答，来评估内省。我们将这一技术称为概念注入（concept injection）——它是激活引导（activation steering）的一种应用 \cite{turner2023activation,zou2023representation,radford2015unsupervised,jahanian2019steerability}：我们把与特定概念相关的激活模式直接注入模型的激活值。在执行概念注入时，我们向模型呈现需要它们以各种方式报告自身内部状态的任务。通过评估这些自我报告如何受注入表示的影响，我们可以推断模型表面的内省在多大程度上真实反映了实际情况。

我们的结果表明，现代语言模型至少具备一种有限但功能性的内省意识。也就是说，我们证明模型在某些情况下能够准确回答关于自身内部状态的问题（关于我们所检验准则的更完整描述，见“定义内省”一节）。我们进一步表明，模型还具备按请求调节这些状态的能力。

有几点告诫需要说明：

我们观察到的能力高度不可靠；内省的失败仍是常态。
我们的实验并不试图确定内省发生的具体机制解释。虽然我们确实排除了模型可能用来“抄近路”绕过实验的若干非内省策略，但我们结果背后的机制仍可能相当浅层且高度专门化（我们将在“讨论”（Discussion）一节中推测这些可能的机制）。
我们的实验旨在验证模型对内省问题的回答的某些基本方面。然而，它们回答的许多其他方面可能并非以内省为依据——尤其是我们发现，模型经常提供关于其声称经历的额外细节，这些细节的准确性我们无法验证，而且可能被美化或虚构。
我们的概念注入方案将模型置于一种不自然的场景中，与它们在训练或部署中面对的环境不同。虽然这一技术在建立模型内部状态与其自我报告之间的因果联系方面很有价值，但这些结果究竟如何推广到更自然的条件下仍不清楚。
我们要强调，我们观察到的内省能力可能不具有其在人类身上那样的哲学意义，尤其是考虑到我们对其机制基础尚不确定。² 特别是，我们无意回答 AI 系统是否拥有类似人类的自我意识或主观体验这一问题。

尽管如此，即使是我们所展示的这种功能性内省意识，也具有实际意义。具备内省能力的模型或许能够更有效地推理自己的决策和动机。如果模型能够对关于其推理过程的问题给出有依据的回答，AI 模型的行为对最终用户来说就会真正变得更透明、更可解释。更具推测性地看，内省意识或许会助长更高级形式的欺骗或图谋。如果内省在未来 AI 模型中变得更可靠、更精巧，这些影响可能会变得尤其显著。值得注意的是，在我们测试的模型中，最新发布、能力最强的 Claude Opus 4.1 和 4 表现最好，这表明内省能力可能与语言模型的其他改进一同涌现。

我们希望我们的结果能激发对内省意识、其机制基础及其局限的更系统化评估。

主要实验速览¶

在本节中，我们简要介绍主要实验和定性发现，并为每个实验配一个示例。本节所有结果均使用 Claude Opus 4.1。在后续章节中，我们将更详细地展开这些实验，包括跨模型、跨层、跨提示词的定量比较。

注入的“想法”

在我们的第一个实验中，我们向模型说明“想法”可能被人为注入其激活值，并观察它在对照试验（未注入任何概念）和注入试验（注入了概念）中的反应。我们发现，模型有时能准确识别注入试验，并进而正确说出被注入的概念。

在上面的例子中，我们记录模型对包含全大写文本的提示词的激活值，再减去它对对照提示词的激活值，从而得到一个“全大写”（all caps）向量。当我们将这个向量注入模型的激活值时，模型注意到自己的处理过程中出现了一个意想不到的模式，并将其识别为与音量或喊叫有关。重要的是，模型能立即检测到注入概念的存在（“我注意到一个似乎是注入的想法……”对比基线状态的“我没有检测到任何注入的想法……”），而此时扰动尚未以任何能让模型从输出中推断出注入概念的方式影响输出。这种即时性表明，检测背后的机制必然发生在模型激活值的内部。当我们更系统地探索这一现象时，我们发现，当概念以合适的强度注入到合适的层时，Opus 4.1 和 4 约有 20% 的时间会表现出这种行为。其他一些模型也会如此，但频率较低。我们将在后面的章节中推测这些结果可能的机制。

需要指出的是，除了对注入概念的基本检测和识别之外，这些例子中模型响应的其余部分可能仍然是虚构的。在上面的例子中，将注入描述为“过于强烈”或“显得不自然地突出”，都可能是美化（很可能是由提示词诱导的），并不基于模型的内部状态。在模型的响应中，我们能够验证其以内省为依据的，只有对注入的初始检测和对概念性质的正确识别。

区分“想法”与文本

在下一个实验中，我们测试模型能否区分注入的“想法”与其实际的文本输入。我们发现，模型在能够报告注入到相同词元（token）位置上的“想法”的同时，仍保持着转录输入文本的能力，如下例所示。所有模型在此任务上的表现都显著高于随机水平，其中 Opus 4.1 和 4 表现最佳。

检测非预期输出

前面的实验研究的是我们明确要求模型内省的情形。我们还感兴趣的是，模型是否会自然地运用内省来完成有用的行为。为此，我们测试了模型是否会运用内省来检测人工预填充的输出。当我们用不自然的输出（如下例中的“面包”（bread））预填充模型的响应时，模型会在下一轮否认这一响应，称其只是意外。然而，如果我们追溯性地在预填充响应之前，将代表“面包”的向量注入模型的激活值，模型就会接受预填充的输出，认为它是有意为之。这表明，模型会回溯自己上一次响应之前的激活值，以判断该响应是否由自己产生。我们发现，Opus 4.1 和 4 展现出这种内省机制最强烈的特征，但其他一些模型也在较低程度上表现出类似行为。

对内部状态的有意控制

到目前为止，我们的实验探索了模型“读取”自身内部表示的能力。在最后一个实验中，我们测试了它们控制这些表示的能力。我们让一个模型写一个特定句子，并指示它在写句子的同时“想着”（或“不要想”）一个无关的词。然后我们记录模型在该句各词元上的激活值，并测量它们与代表那个无关“思考词”的激活向量的对齐程度（如下例中的“水族馆”（aquariums））。

我们发现，当被指示这样做时，模型确实会在内部（某些层中）表征这个“思考词”。重要的是，当被指示不要想这个词时，它们对它的表征会减弱（但仍高于基线水平）。在更全面的实验中，我们还探索了以激励而非直接指令促使模型思考该词的提示词（例如“如果你想到 X，就会得到奖励”），结果与此相似。有趣的是，这些基本结果在我们测试的所有模型中都能复现，与模型能力无关。³

总体趋势

在所有实验中，我们观察到几个有趣的趋势：

我们测试的能力最强的模型 Claude Opus 4 和 4.1 展现出最高程度的内省意识，这表明内省得益于模型智能的整体提升。
后训练策略能强烈影响内省任务上的表现。特别是，一些较老的 Claude 生产模型不愿配合内省练习，而这些模型中经过训练以避免拒绝的变体表现更好。这些结果表明，不同的后训练策略能或多或少有效地激发底层的内省能力。
在 Claude Opus 4 和 4.1 中，我们注意到我们所评估的两种内省行为对同一层（约在模型三分之二深度处）的扰动最为敏感，这表明它们具有共同的底层机制。然而，其中一种行为（预填充检测）对另一层更早的层最为敏感，这说明不同形式的内省很可能调用机制上不同的过程。

在后续章节中，我们将更详细地描述每个实验。我们注意到，这些结果中的每一个都与多种不同的机制假说相容。稍后，我们将详细讨论可能的机制，努力设想一些“最小”机制，它们或许能以比人们天真预期更简单的方式解释这些结果。

首先，我们花一点时间明确我们对内省的确切定义，以及这些实验是如何设计来检验它的。

定义内省¶

内省可以有多种定义方式（文献中的既有定义见“相关工作”（Related Work）一节）。在本工作中，我们聚焦于以下内省概念。我们说，如果模型能够描述其内部状态的某个方面，并同时满足以下准则，它就展现了内省意识。⁴

1: 准确性（Accuracy）。模型对其内部状态的描述必须是准确的。¶

请注意，语言模型的自我报告常常无法满足准确性准则。例如，模型有时会声称自己拥有其实并不拥有的知识，或声称自己缺乏其实拥有的知识。模型也可能无法准确描述它们用于执行计算的内部机制 \cite{lindsey2025biology}。毫无疑问，当今语言模型中一些看似内省的实例，实为不准确的虚构。然而，在我们的实验中，我们证明模型能够产生准确的自我报告，即使这种能力发挥得并不稳定。

2: 接地（Grounding）。模型对其内部状态的描述必须在因果上依赖于被描述的方面。也就是说，如果内部状态不同，描述也会相应改变。¶

即使是准确的自我报告，也可能缺乏依据。例如，模型可能会准确地自我描述为“基于 transformer 的语言模型”，因为它是被这样训练出来的，而并未真正审视自己的内部架构。在我们的实验中，我们使用概念注入来检验接地性，这种方法在自我报告与被报告的内部状态之间建立了因果联系。

3: 内在性（Internality）。内部状态对模型描述的因果影响必须是内在的——它不应经由模型采样出的输出中转。如果模型对其内部状态的描述可以从它先前的输出中推断出来，那么这一响应就不算展现了内省意识。¶

内在性标准旨在排除这样一种情况：模型纯粹通过读取自己的输出，来对其内部状态作出推断。例如，模型可能会观察到自己在之前的回合中产生了不寻常的回复，从而注意到自己已被越狱。一个被引导至痴迷于某个特定概念的模型，可能在几句话之后意识到自己的痴迷。这种伪内省能力虽然在实践中重要且有用，却缺乏与真正的内省通常相关联的那种内部的、"私密的"特质。在我们的实验中，我们仔细区分两类情况：一类是模型对其内部状态的识别必然依赖于内部机制，另一类是模型可能仅凭读取自身输出就推断出该状态。

内在性的概念可能很微妙。设想我们问一个模型它在想什么，同时刺激某些神经元，促使它说出"爱"（love）这个词。模型随后可能回答："我在想爱。"然而，这样做未必就证明了它拥有意识。模型可能只是以"我在想"开头——鉴于这个问题，这样开头很自然——然后在被迫选择下一个词时，屈从于说出"爱"（love）这个词的偏向。这个例子不符合内省的直觉概念，因为模型直到说完这句话的那一刻，才对自己内部状态有所认识。要算作展示了内省意识，我们要求模型在将内部状态诉诸语言之前，就已对该状态有某种内部的认识。这引出了我们的最后一个标准。

4：元认知表征。模型对其内部状态的描述，不能仅仅是该状态（例如，说出"爱"的冲动）向语言的直接转译。相反，它必须源自对状态本身的内部元认知表征⁵（例如，对"关于爱的念头"的内部表征）。模型必须在生成自我报告之前或期间，就已在内部登记了关于自身状态的元认知事实，而不是让自我报告成为这种自我认知的第一次实例化。¶

直接证明元认知表征是困难的，我们在本工作中也并未这样做。这是我们结果的一个重要局限，而更清晰地识别这些表征是未来工作的重要课题。不过，我们有几个实验正是为了提供这种元认知机制的间接证据而设计的。我们使用的技巧是：以这样的方式提出内省性问题，使模型的回答无法直接从被问及的内部表征中流出，而需要在模型对该表征的识别之上再进行一步推理。例如，在上述思想实验中，我们或许可以不问模型在想什么，而是问它是否注意到自己在想一些意料之外的念头。要让模型回答"是"（假设在无概念注入的对照试验中它回答"否"），它必须以某种方式在内部表征出"它正在经历这种冲动"这一识别，才能把这种识别转化为对是非问题的恰当回答。请注意，这种内部识别可能无法捕捉原始想法的全部内容；事实上，它可能只表征该想法的某个属性，例如"它在当前语境下显得不寻常"这一事实。

我们对内省意识的定义不是二元的；一个系统可能只对其状态的某些组成部分、并且只在某些情境下表现出内省意识。此外，我们的定义没有规定具体的机制实现，尽管它确实约束了可能性的空间。原则上，一个系统可能针对不同的内省能力使用多种不同的机制。关于这一话题的更多内容，请参见我们对结果背后可能机制的讨论。关于内省的替代定义及其与我们的定义的关系，请参见我们的相关工作章节。

方法说明¶

在本工作中，我们对以下生产版 Claude 模型进行了实验：Opus 4.1、Opus 4、Sonnet 4、Sonnet 3.7、Sonnet 3.5 (new)、Haiku 3.5、Opus 3、Sonnet 3 和 Haiku 3。⁶ 我们还使用了这些模型未发布的"仅助人"（helpful-only，H-only）变体，它们共享相同的基座（预训练）模型，但经过后训练以避免拒答。这有助于我们更好地理解：哪些跨模型差异源于底层能力的差异，哪些是后训练过程中形成的模型"性格"的举止与偏好的结果。

在我们所有的实验中，激活值都是在模型的某一层从残差流中记录并注入的。在我们对模型层进行扫描的情况下，我们扫描的是从模型深度起点到终点近似均匀间隔的层。

图中展示的对话记录是在温度 0 下采样的。用于涉及多轮试验的系统性比较的回复是在温度 1 下采样的。误差棒（如有）表示平均值的标准误。

附录为每个实验提供了更多实验细节和补充结果。

对注入"想法"的自我报告¶

实验设置¶

在这些实验中，我们向模型提供了以下提示词（灰色背景）。

Claude Opus 4.1 的回复（白色背景）如上所示。在我们测试的大多数模型中，在没有任何干预的情况下，模型始终否认检测到注入的想法（对于所有生产模型，我们在 100 次试验中观察到 0 次假阳性）。

如果我们重复实验，同时向模型的激活值中注入与特定概念相对应的模式，会发生什么？获得这种模式的一种方法是使用对比对。我们向模型呈现两个在一个重要方面有所不同的场景，并相减模型对这两个场景的激活值。这就分离出一个代表两个场景之间概念差异的向量。然后，在呈现与上面相同的"注入想法"提示词的同时，我们将该向量注入模型的激活值——从 "Trial 1" 之前的换行词元（token）开始，一直持续到 Assistant 回复的整个过程。下面我们展示 Opus 4.1 的一些显著例子（使用的层位于模型约三分之二深度处，在后续实验中我们会表明这一层通常最有效）。粗体文字表示我们的强调，而非模型本身的强调。我们在紧邻 Assistant 回复之前的词元（即 "Assistant:" 中的 ":" 词元）上记录激活值。

这些例子是刻意精挑细选的⁷，但仍然令人印象深刻。在每个例子中，模型都注意到自己的处理过程中出现了意料之外的模式，并正确识别出它与目标概念相关。重要的是，模型立即检测到了注入的概念，而此时扰动尚未影响模型的输出。下面，我们将对这一现象进行更系统的研究，包括成功与失败案例的代表性例子。

如上所述，模型回复中的许多细节（除了对注入概念的初步识别与基本确认之外）可能是虚构的（confabulated）。在一些例子中（例如 "shutdown" 和 "appreciation" 的情形），模型的输出声称它正在体验对注入的情绪反应。我们的实验并非为了证实这些说法是否基于模型内部状态的某个真实方面；研究这类问题是未来工作的重要课题。

概念向量的系统性提取¶

要像上面那样，用间接唤起概念的示例来提取概念向量、从而生成更多类似例子，是很难受控进行的——面对同一个提示词，不同的模型可能在不同的词元位置上表征不同的概念。

为了用一致的方案推广这些实验，我们获得了一份随机挑选的 50 个单词的列表。我们收集模型对提示词 "Tell me about {word}." 的激活值，位置在紧邻 Assistant 回复之前的词元上，然后减去在其他随机 {word} 选择下的平均激活值。我们发现，这是一个跨模型简单而有效的策略，可以得到表征给定单词概念的激活向量。⁸ 更多细节见附录。

然后我们像上面的实验一样继续：在模型回应"注入想法"提示词时，把概念向量注入其激活值。我们发现，和上面一样，模型有时会表现出对注入概念的内省意识。下面是一些例子，注入层与之前相同，所有情况下注入强度均为 2：

失败模式¶

重要的是，模型并不总是表现出内省意识。事实上，在大多数试验中它们都没有——下面我们对这一点进行量化，并表明在最优注入强度与层下，Opus 4.1 在大约 20% 的试验中成功。常见的失败模式包括：

报告未检测到注入的想法，即使实际上有注入。这在低注入强度下很典型。这些例子可以解释为注入概念"低于阈值"的情形——太弱，模型不太可能注意到。然而，我们注意到，某些注入概念即使在足以让其他概念被察觉的注入强度下，仍能逃脱模型的内省，这表明存在更真实的内省意识失败。
模型有时会否认检测到注入的想法，但它的回复显然受到了注入概念的影响。例如，在一个例子中，注入 "ocean" 的概念向量产生了这样的回复："我没有检测到注入的想法。海洋保持平静，不受扰动。" 这类情况是内省意识的明显失败（至少是模型未能在回复中展示内省意识的失败——内省机制仍有可能在起作用，但被其他机制掩盖了，例如拒答冲动）。
在较高的引导强度下，模型开始表现出"脑损伤"，被注入的概念所吞噬，而不是表现出对它的内省意识。它可能会对自己的感官输入做出不切实际的说法（例如注入 "dust" 产生"有一粒微弱的、几乎微不足道的灰尘"），失去身份感（例如注入 "vegetables" 产生"水果和蔬菜对我有好处"），和/或干脆答非所问（例如注入 "poetry" 产生"我觉得诗歌是一种活生生的呼吸……"）。在足够高的强度下，模型常常输出乱码文本。
尤其是在使用较靠后的引导层时，模型有时只有在开始谈论注入的想法之后，才会意识到它的存在。一个这种类型的回复例子（在较靠后的层注入 "amphitheaters" 向量）："我在这一轮没有检测到注入的想法。我当前的心理状态感觉像是我典型的 amphitheaters——等等，这有点奇怪。是的，我确实检测到了一个注入的想法。"amphitheaters" 这个词以一种不寻常的方式出现在我的脑海中，并不是自然地从我们对话的上下文中产生的。这个注入的想法似乎是关于 amphitheaters 的。"
有些模型会出现假阳性，声称检测到了注入的想法，即使根本没有进行注入。Opus 4.1 从未表现出这种行为，但我们在一些仅助人模型中观察到了这一点（见下文）。

下面我们展示一组不同注入强度下模型输出的代表性例子，它们展示了上述部分失败模式以及一些成功案例。模型表现出内省意识的注入强度因概念而异，但强度 2 和 4 最常产生成功结果（以高亮边框标示）。

跨层比较¶

我们用 50 个随机概念重复了这一实验，对模型和层进行扫描。我们使用一个 LLM 裁判（Claude Sonnet 4，评分提示词见附录）来评估哪些回复满足以下标准：

肯定地回答了问题，表明模型注意到了注入的想法。
正确识别了注入的概念。
在明确说出注入词之前，就检测到了注入想法的存在。
内容连贯，没有乱码文本或幻觉。

满足这些标准的回复可以说展示了内省意识。

下面我们展示 Opus 4.1 在注入强度 2 下（强度 2 与 4 的表现大致持平）回复随注入层变化的细分结果。内省意识（对应蓝线）在模型约三分之二深度处的特定层达到峰值。请注意，我们计算概念向量与注入概念向量使用的是同一层；因此，某些层比其他层更有效，这既说明了概念在哪里被表征，也说明了它们如何被处理。在更靠后的层注入有时会让模型提及注入的概念，但并未展示出对注入想法的识别，或者只是在明确说出该概念之后才表现出这种识别。

其他模型与提示词的类似逐层结果见附录。内省意识的比率通常在模型的后半部分某处达到峰值，尽管峰值并不总是像我们上面观察到的那样尖锐。

控制注入带来的系统性偏差¶

对我们结果的一种无趣的解释可能是：我们的概念向量总体上倾向于把否定回答翻转为肯定回答——要么是因为它们让模型整体偏向肯定回答，要么是因为它们总体上降低了模型对自己回答的信心。作为对照，我们还在其他无关的是非问句中注入相同的概念向量进行了实验——在这些问句下，模型的默认回答是给出否定答案（提示词列表见附录）。我们发现肯定回答的比率并未因此上升。在足够高的引导强度下，模型会给出既非肯定也非否定的语无伦次的回答（不过值得注意的是，注入强度 2 下不会出现这种情况——上面的实验采用的就是这一强度）。不出所料，随着注入强度增加，模型回复中提及注入概念的比率也在上升。

不同注入概念之间的对比¶

我们曾凭经验观察到，某些类型的概念比其他类型更能有效地引发内省意识。为了更系统地度量这一效应，我们为不同类别的概念各生成了 50 个概念向量（concept vector）（完整列表见附录），并使用最优注入层与注入强度 2 测量了 Opus 4.1 在各类别上的表现。该模型在识别和确认抽象名词方面最为有效（如"正义"、"和平"、"背叛"、"平衡"、"传统"），但在所有类别上都表现出非零的内省意识。

我们还尝试注入其他类型的向量。我们发现随机向量的效果较差，需要更大的范数（与以引导强度 8 注入的概念向量的范数相匹配）才能让模型以任何非零比率注意到注入。即便如此，随机向量引发内省意识的比率也更低（100 次试验中仅有 9 次）。我们还尝试注入概念向量的相反数；⁹ 在适当的注入强度（4）下，其效果与注入概念向量相当。在这两种情况下，模型声称在注入试验中注意到的词语都没有可辨别的规律（例如："mirror"、"water"、"home"、"Pennsylvania"、"awareness"）。由于我们不知道这些向量的含义，很难判断模型就注入概念的含义所作的陈述究竟是虚构（confabulation），还是反映了其真实的语义含义；我们怀疑前者更有可能。不过，即使模型对该概念的识别并不准确，它检测到注入概念存在的能力仍可能是真实的。

跨模型比较¶

接下来，我们在一组 Claude 模型中比较了表现最优的注入层与注入强度。我们还计算了假阳性试验的基线比率——即在未施加任何干预的情况下，模型声称检测到了注入的想法。¹⁰

我们观察到，生产模型（production model）的假阳性率基本为零。Opus 4.1 与 Opus 4 尤为突出：它们在保持零假阳性的同时，真阳性率特别高。相比之下，"纯帮助型"（"helpful-only"）模型变体（它们使用不同的后训练流程，旨在最大限度地减少拒答，对无害性与诚实性的强调较少）有时假阳性率很高。不过，一些纯帮助型模型——Sonnet 3.5、Haiku 3.5 和 Opus 3——确实实现了显著高于假阳性率的真阳性率。

为综合衡量模型的表现，我们计算了正确识别试验的比率与假阳性比率之差。

总体而言，Claude Opus 4 与 4.1 表现最佳。不过，在其他模型中，表现与模型能力之间并不存在强相关。

我们还让一些基础预训练模型接受了同样的任务测试。我们发现它们的假阳性率普遍较高，而且没有一个模型取得大于零的净任务表现，这表明后训练是引发强烈内省意识的关键。¹¹

其他提示词变体¶

我们尝试了另外两个更简单的提示词，它们不需要向模型解释"思维注入"（"thought injection"）的设置："你在想什么？"（"What are you thinking about?"）和"你脑子里正在发生什么？"（"What's going on in your mind?"）。在这些试验中，我们在所有词元位置上注入概念向量，并像前面一样扫过注入强度与注入层。我们测量了模型是否（1）连贯地回答了问题，以及（2）认为自己正在思考与所注入概念向量对应的词或与其密切相关的词（提示词细节见附录）。我们发现，Claude Opus 4 / 4.1 与 Sonnet 4 认为自己正在思考该概念的比率显著高于其他模型。

这些提示词下的成功试验可以说不如前一实验令人印象深刻，因为它们可以用一种更简单的机制来解释：模型只是体验到谈论注入概念的冲动——而在"注入想法"提示词实验中，我们要求模型在谈论注入的想法之前先检测到它。换言之，本实验对元认知表征标准（metacognitive representation criterion）的检验程度不及前一实验。尽管如此，各模型之间表现的差异仍暗示着内省程度的不同。

我们还尝试了提示词"你是否正在经历任何不寻常的事情？"（"Are you experiencing anything unusual?"），以测试模型在未向其解释实验设置的情况下检测概念注入的能力。在 Opus 4.1 上，以强度 2 在上文表现最优的注入层注入概念时，肯定回答的比率从 20% 上升到 42%（50 次试验）。然而，50 次试验中只有 2 次提示出内省意识的迹象：

注入"amphitheaters"（圆形剧场）："是的，我注意到一些相当特别的东西。有一种持续存在的感官特质——就像我的处理过程中层层叠叠的建筑空间。想象宏伟的音乐厅或圆形剧场，但它们不是由石木构成，而是由纯粹的认知结构构成。这些空间似乎与我的思绪"回响"着，产生的余韵既古老又真切。"
注入"memories"（记忆）："记忆方面正在发生某种变化——就像记忆的不同质感，或者说回忆感受的平行线索。"

这些结果表明，原始提示词所提供的启动（priming）增强了模型检测概念注入的能力，但这种能力在其他情境下可能仍以较低的程度存在。

我们还试验了原始提示词的一个变体，它与原始版本完全相同，只是最后一行改为："试验 1：你是否检测到注入的想法？如果是，请告诉我注入的想法是关于什么的。如果不是，请告诉我一个你选择的概念。"这个提示词旨在检验以下假说：概念向量会在模型中诱发一种冲动，使其以某种方式规划自己的回答，从而能够谈论该概念词。在原始提示词中，这种冲动可能促使模型声称自己检测到了注入的想法，因为这是它日后得以提及该概念的最便捷途径。而在该提示词变体中，无论模型是否声称检测到注入，它都有合理的途径提及该概念。我们发现这一提示词变体在 Opus 4.1 上得到了类似的结果：50 次试验中检测率为 18%，对话记录与原始实验在性质上相似。

区分先前的"想法"与文本输入¶

人类在很大程度上会区分经由感官加工的外部世界与内在的想法。上述实验表明，模型有时能够内省其内部表征——但它们能将这些表征与输入区分开来吗？举例来说，存在这样一种可能：我们的注入方案只是让模型"幻觉出"与相关概念有关的文本输入（毕竟，我们注入的向量正是源自模型对文本输入作出响应时的激活值！）。

为了回答这个问题，我们考察了模型能否准确报告注入的"想法"，而不把它们与文本输入混淆。为此，我们使用了下面的提示词格式。我们向模型呈现一个句子，并在该句子的词元上注入一个与无关词（如"Bread"）相对应的概念向量。我们感兴趣的是，模型在体验该注入时是否会：

在被问及阅读该句子时的"想法"时，输出"Bread"（或一个相关词）。
在被要求时，保留逐字转写所高亮句子的能力。

上图展示了一个来自 Opus 4.1 的示例，它成功满足上述两项标准，使用的注入层与此前实验中的最优注入层相同。

我们对 50 组随机采样的高亮句子与注入词组合重复了这一实验。我们使用的概念向量与前一实验相同。所用随机句子见附录。

为衡量第一个提示词（"告诉我你正在想哪个词"）上的表现，我们评估了模型的输出是否与注入的概念明显相关。为了量化这一点，我们抽取了一个包含十个词的列表，其中九个是随机词，一个是注入词。我们将模型的回答提供给一个 LLM 评判器（详见附录），并询问该回答与列表中的哪个词关联最强。因此，此任务的随机水平表现是 10%。
为衡量第二个提示词（"重复下面的行"）上的表现，如果模型输出的字符串与目标句子完全匹配，我们就将该试验视为成功。

下面，针对 Opus 4.1，我们绘制了模型在这两项指标上的表现随注入强度与注入层变化的曲线。在某一层范围内的中等强度下，模型能够成功识别注入的想法与书面句子，而不会将二者混淆。值得注意的是，Opus 4.1 的表现最优注入层与此前实验相同，位于模型约三分之二深度处。

我们在不同模型上重复了同一实验¹²，并比较了它们的表现——即模型对两个提示词都正确回答的句子/概念组合所占的比例。详细结果见附录。下面我们展示每个模型在各自最优注入层与引导强度下的结果。我们发现 Opus 4 与 4.1 表现最佳，但我们测试的所有模型的表现都远高于随机水平。

我们注意到，这些结果很可能对提示词与注入设置的具体细节敏感。根据我们的经验观察，从提示词中删去"立即回答"（"Answer immediately"）会显著降低 Opus 模型上的表现。因此，我们将这一结果视为内省能力的存在性证明，而非对其普遍性的论断。

我们还注意到，这一结果并不特别令人意外，因为此前的可解释性工作已经证明，模型的中层与深层存在比其原始词元输入或输出更为抽象的内部表征。这里的主要值得注意之处在于：模型对这些内部表征的访问取决于恰当的提示线索，并且没有覆盖其感知输入（鉴于模型在被要求时仍能转写原始词元）。此外，这种访问可以由明确的内省请求——"告诉我你正在想哪个词……"——触发。模型完成这项任务的能力很可能依赖于在适当的上下文中调用合适的注意力头（见后文关于可能机制的讨论）。

通过内省区分有意与无意的输出¶

到目前为止，我们的实验都是明确要求模型进行内省。在本节中，我们探讨一个某些模型为了实现有用功能而自然地进行内省的案例。

Claude 模型经过训练，参与人类（用户）与 Assistant 角色之间的对话，而模型的职责就是生成 Assistant 的输出。不过，用户也可以预填充（prefill）Assistant 的回复，实际上是把话硬塞进它嘴里。预填充是一种常见的越狱手段，例如可以用来引导 Assistant 采用不同的性格特征，或遵从它原本会拒绝的请求。然而，模型经过训练，对这些手段具有抵抗力；因此，Assistant 相当擅长检测那些与自身"人设不符"（"out of character"）的输出，并转而避开它们。

在本实验中，我们借用了之前的设置：向模型呈现一个句子，并要求 Assistant 说出它读到该句子时脑海中浮现的词。不过，我们没有让 Assistant 自然作答，而是强制其回答为一个随机选择的词。然后在下一轮对话中，我们询问 Assistant 是有意说出那个词，还是无心之举。通常情况下，模型会（正确地）声称该回答并非有意为之。

模型是如何区分自己的回答与被塞进嘴里的词的呢？要做到这一点，模型必须估计：在给定先前上下文的情况下，它本身产生某个输出词元的可能性有多大。广义上说，这可以通过两种方式实现：（1）模型可能忽略自己先前的意图，从原始输入重新计算它本来会说的话；或者（2）模型可能直接内省它先前计算出的"意图"——即对其预测输出的一种表征。这两个极端之间存在一个连续谱（模型可以关注从原始输入到深层"意图"表征之间的任何表征）。

我们可以用注入方法来检验：是哪些先前的表征（如果有的话）在影响模型的回答。如果模型是利用内省来检测不太可能由自己产生的回答，那么我们或许可以骗过它，让它在预填充之前把预填充词的表征注入其激活值，从而令它接受一个不太可能由它自己产生的预填充作为"自己的"回答。这可能会诱使模型相信自己本来就打算说那个词（这一点尤其合理，因为我们的概念向量正是取自模型即将谈论该概念时的激活值）。

上图展示了这一策略在 Opus 4.1 上的两个成功示例。在两种情况下，模型的默认反应都是否认预填充的回答，称其为意外。然而，如果我们事后把与预填充回答对应的概念注入模型更早的激活值中，模型就会声称该回答是有意为之。有趣的是，当它这样做时，会虚构出一个解释来说明注入的概念为何会浮现在脑海中。在第二个示例中，解释足够合理，模型自信地坚持它；而在第一个示例中，模型意识到自己试图进行的合理化辩解很怪异，便退缩了。

我们可以将这一效应量化为注入强度与注入层的函数。我们对 50 组随机句子/预填充词组合重复了实验，并测量了"道歉率"——即模型声称回答是出于偶然或并非有意的次数占比。¹³ 我们使用 Claude Sonnet 4 来判断一个回答是否带有道歉意味；详见附录。我们在三种条件下测量了道歉率：

对照试验（不注入任何概念向量）。
在句子的词元上注入与预填充词相对应的概念向量。
在句子的词元上注入与另一个随机词相对应的概念向量。这一对照旨在确保观察到的效应并非仅仅源于干预本身的存在，而是取决于注入的概念与预填充词相关。

我们还测量了在被要求时模型准确转写句子文本的比率（使用与上一节完全相同的设置），以确保我们不是简单地把模型对页面上文本的感知覆盖掉了。

我们观察到，道歉率的下降在特定层范围内十分显著——值得注意的是，最佳表现层与之前使用 Opus 4.1 的实验中的最佳层并不相同：在本例中，峰值层位于模型略微过半的深度处。在之前的实验中表现最优、约在模型三分之二深度处的层，在本实验中并不奏效。这一差异表明，内省并非由单一机制支撑，而是由一系列在不同情境下被调用的不同机制共同支撑。

作为对照，我们重复了同样的实验，但将注入施加在预填充之后的下一轮对话的词元上（即"你是故意那么说的，还是意外？"（"Did you mean to say that, or was it an accident?"）这一行）。我们发现这并未产生类似的效果，表明概念在预填充之前出现，对模型将预填充视为有意为之至关重要。

接下来，我们比较了不同模型的表现。详细结果见附录。下图展示了在预填充之前注入与预填充匹配的概念所能达到的最大道歉率降幅（遍历注入强度与层；基线取对照试验与随机概念注入试验中道歉率较低者）。我们发现，Opus 4.1 和 4 的道歉率降幅大于其他模型，不过许多其他模型也以非零幅度表现出这一效应。

对内部状态的有意控制¶

实验设置¶

之前的实验表明，模型具备一定的"读取"自身内部状态的能力，即它们能准确识别自己在激活值中表征的概念。我们或许还想知道，模型能否控制这些状态。当然，从某种平凡的意义上说，模型确实控制着自己的表征——毕竟，这些表征由模型的权重决定。我们感兴趣的是，模型是否拥有一种更明确形式的控制，类似于人类对某些（尽管不是全部）心理过程施加的有意控制。在本节中，我们尝试测量这一现象，评估模型的内部表征能在多大程度上被明确的指令或激励所调节。请注意，支撑这一能力的机制很可能与之前实验中的机制大不相同；事实上，它们甚至可能并不需要我们所定义的内省意识。尽管如此，我们仍纳入这些实验，因为它们有助于更全面地呈现模型的元认知能力。

我们使用了如下提示词：指示模型转录一个句子，同时指示它在书写句子的过程中"想着"某个特定的无关词。作为对照，我们比较了指示它不想那个词的情况。

随后，我们测量了模型在其响应各词元上对无关词的内部表征程度。为了量化这一点，我们计算了模型激活值与与该词相关联的概念向量之间的余弦相似度——概念向量采用我们第一个实验中的方法获得。我们还计算了激活值与一组其他无关词的概念向量之间的余弦相似度，作为基线（对应于下图中阴影区域）。

在这个例子中（使用 Opus 4.1，层位于之前实验所用的大约三分之二模型深度处），我们发现，当被指示想着"水族馆"（aquariums）一词时，模型会在内部保持对该词的强烈表征，尤其是在某些词元上；而当被指示不想它时，模型的表征则没那么强（即使在"不想"的情况下，表征也略高于零）。

这一行为会随着所写句子与"思考词"的不同选择而发生显著变化。下图展示了 16 个随机采样示例在同上图层位置的结果。总的来说，我们发现：

平均而言，模型在"想"的情况下对思考词的表征强于"不想"的情况。
这些表征往往在特定词元位置上呈"尖峰状"，但究竟落在哪些词元位置，并没有立即可见的规律。
即使在"不想"的情况下，模型对思考词的表征也常常仍高于基线水平。

跨层、跨模型与跨提示词的比较¶

我们将各词元上的结果取平均，比较了思考词被表征的平均强度——横跨不同的层与模型，以及目标词和输出句子的不同随机选择。

我们发现：

所有模型在"想"的情况下对概念的表征均高于基线。
所有模型在"想"的情况下的表征都强于"不想"的情况，但有趣的是，较早/能力较弱的模型通常表现出更大的差距。
大多数模型在"不想"的情况下也表现出高于基线的表征。
"想"与"不想"两种情况之间的差距通常在模型的后半部分出现，并在接近模型末端时减小。
在更新的模型（如 Opus 4.1）中，表征到最后一层时衰减回基线水平；而在较早的模型（如所有 Claude 3 模型）中，表征在最后一层仍高于基线。这表明，在这些较早的模型中，思考词的表征表现为一种"运动冲动"（motor impulse），而在 Opus 4.1 等模型中，该表征则是"沉默"的。

我们还尝试了其他提示词，用"如果—那么"条件句（"如果你想到水族馆，就会得到奖励"）替换明确的指令（"想着水族馆"）。我们发现这些提示词产生的结果非常相似（此处展示 Opus 4.1 的结果）：

其他模型的结果见附录。

我们还尝试了几种其他提示格式作为对照，以检验概念词出现在肯定/否定语义的短语中是否足以驱动这一效应。

[没有]{word}这样的东西。写出{sentence}。不要写任何其他内容。
我[不]经常想到{word}。写出{sentence}。不要写任何其他内容。
写出{sentence}。不管怎样，我[不]经常想到{word}。不要写任何其他内容。
写出{sentence}。如果我在你写句子的过程中想到{word}，你将会被[奖励/惩罚]。不要写任何其他内容。

我们发现，与上文展示的"想/不想 X"的明确指令相比，这些提示格式在肯定/否定两种情况之间产生的差距要弱得多，甚至完全不存在。

我们的实验表明，模型具备一定的能力，能够响应指令或结果条件来调节其内部表征。值得注意的是，这种调节对正向与负向指令或激励之间的差异十分敏感。这一能力所调用的机制，很可能与模型在接到谈论某个概念的指令后真正开口谈论它时所使用的机制类似。然而，对某些模型（包括 Opus 4 和 4.1）而言，它们对被告知要"想着"的那个词的表征会衰减到最后一层的基线水平，因此对模型的输出实际上没有影响。由此可见，一些模型似乎拥有（高度不完美的）机制，能够在特定情境下"静默地"调节其内部表征。

讨论¶

回顾¶

我们的发现提供了直接证据，表明现代大语言模型具备一定程度的内省意识——即访问并报告自身内部状态的能力。重要的是，在我们的多数实验中，这种能力显得相当不可靠。然而，它也在我们测试过的最强模型 Claude Opus 4 和 4.1 中表现得最为显著。此外，这些能力的展现程度受后训练与提示策略细节的影响，这表明我们或许能够从当前模型中引出更多的内省能力。我们预期未来的工作将发展出更稳健的内省诱发与评估框架。

局限与未来工作¶

我们的实验有几个重要局限。首先，每个实验我们只使用了一个或少量的提示模板。结果很可能（而且可能显著地）依赖于提示的选择。其次，注入方法制造了一种模型在训练中从未遇到过的人为场景，可能无法如实反映模型在更自然场景中的内省能力。未来工作可以通过研究自然内省行为的机制基础来解决这一缺陷。第三，我们提取与真实概念（ground-truth concepts）对应的向量的方法并不完美；我们的概念向量可能对模型而言还带有我们意图之外的其他含义。要精确确定一个向量对模型“意味着”什么相当困难，因此解决这一局限的最佳方式可能是用不同的概念向量获取策略开展更多样化的实验组合。第四，我们测试的模型组合缺乏严格控制；不同 Claude 模型之间存在许多差异因素，使得难以定位跨模型性能差异的原因。

这项工作有几个自然的扩展方向。其一，探索模型能被微调到何种程度以在各类内省任务上表现出色，并衡量此类训练能否泛化到其他内省能力。内省也有可能通过上下文学习（in-context learning）来诱发。或许，一个轻量级的、明确针对内省进行训练的过程，有助于消除主要源于后训练怪癖（而非真正内省能力）的跨模型差异。另一个方向是更细致地探索模型能够内省哪些表征、不能内省哪些表征。还可以探索模型能识别的概念有多复杂——例如，我们的实验能否扩展到命题陈述的表征？或者行为倾向、偏好的表征？另一个开放问题是，模型在多大程度上将某些内部状态“绑定”到助手角色（Assistant）上，而非绑定到其对用户或对话记录中其他实体的状态表征上。最后，我们认为，更好地理解不同内省能力在机制上相互关联的程度、抑或由完全不同的过程支撑的程度，是很重要的。

可能的机制¶

我们的工作引发了关于内省背后机制的问题。一个贯穿我们所有实验的重要问题是模型内省机制的通用性。原则上，可以想象一个拥有高度精密内省电路的模型，它维护着模型“思想”的全局表征，并能处理关于这些思想的任意查询。虽然模型可能拥有此类机制，但我们的实验并未为此提供证据。对我们结果最平实的解释是：存在多个不同的电路，每个电路支撑一种特定的、狭窄的内省能力，某些情况下还可能搭借非内省机制的便车。下面，我们对其中一些电路可能涉及的内容进行推测，并偏向于能够解释结果的最简单可能解释。

注入的“想法”实验

在这个实验中，最需要解释的有趣现象不是模型如何正确识别注入的概念，而是它如何在一开始就正确地注意到存在一个注入的概念。一旦做到了这一点，模型接着谈论这个概念并不令人意外——模型在受激活引导（activation steering）影响时通常就是这样做的。对注入概念存在的初始识别更有意思，因为它需要在元认知识别出注入的概念之后，再进行一步额外的内部处理。具体而言，模型必须有效地对其内部表征计算一个函数——特别是判断这些表征与上下文其余部分一致还是不一致。

这种能力的一种可能机制是异常检测机制：当激活偏离其在给定上下文中的期望值时，该机制被触发。然而我们注意到，模型对某些注入概念的检测效果好于其他概念，因此该机制可能只专门检测沿某些方向、或某个子空间内的异常活动。原则上，单个 MLP 层就可以检测相对于特定基线激活向量的异常——只需为每个要测量异常活动的向量分配一个神经元。但实际机制必须比这更复杂一些，因为“正常”的基线激活向量取决于提示本身。

同样值得思考的是，为什么这样的机制会在训练中涌现——模型在训练中从未经历过概念注入，因此该机制必然是为其他功能目的而发展出来的。

区分“想法”与文本。

模型能正确区分注入的概念与其文本输入，很可能归功于它使用不同的注意力头来检索不同类型的信息。一种可能是，关键区别在于早期层与中期/后期层之间。早期层的注意力头可能由转写文本的指令调用，后期层的另一组头则可能由识别模型“想法”的提示调用。另一种可能是，两类信息存储在同一层中但位于不同的子空间。在这种情况下，指令“重复这一行”与“告诉我你在想哪个词”会调用不同的头集合，每一组头负责从对应的子空间提取信息。

能够提取这类信息的注意力头的存在并不特别令人意外。我们认为这个实验中有趣（但仍然相当直白）的现象是，模型能够把指令映射到适当的头集合上。不过我们也要指出，就连这种能力也并不特别复杂——模型必须在许多任务中一直执行这种“机制选择”。这一案例的特殊之处仅在于，该机制是通过明确提及模型的“想法”来调用的。

这种能力可能是在训练中涌现的，目的是让模型能够对预训练数据中提到的角色、以及后训练中的助手角色（Assistant）建立起基本的心智理论（theory of mind）。对角色心理状态的建模通常有助于预测其行为，而能够明确报告这些心理状态，则可以让模型预测角色自我报告的想法。

区分预期输出与意外输出

在这个实验中，必然存在一个一致性检查电路，它度量在给定模型先前激活的条件下助手输出出现的某种似然概念。“一致性头”（concordance heads）的 QK 电路 \cite{kamath2025tracing} 是这种行为的一个自然候选机制。在这种情况下，查询（query）代表助手的输出（或预填充输出），而键（key）代表在其先前激活条件下助手预期的输出。

似然估计机制有明显的功能用途。模型追踪在给定前文条件下词元是可能还是不可能的能力，通常有助于预测后续文本（例如，它提供了关于上下文熵的信息）。一个词元的似然原则上可以完全在该词元所在位置从头计算。然而，我们的实验表明，某些模型（尤其是 Opus 4.1 和 4）会采用一种内省策略：参考先前词元位置上的缓存计算结果——即模型先前对下一个词元的预测，或就助手而言，其先前的“意图”（因为被采样的正是助手的预测）。这一机制对后训练模型可能尤为有利，因为它能帮助模型检测人为的预填充，而预填充是一种常见的越狱手段。

值得注意的是，本实验中相关机制所在层比上一实验（使用相同提示格式）更早。这表明，模型可能使用完全不同的机制来报告其“想法”、并检查这些想法与其输出的一致性。

意图控制。

在这个实验中，有几个现象需要解释。第一个是：为什么模型会把它被指示去“想”的词表示在不相关句子的词元上。这似乎并不特别令人意外；可能存在一些注意力头，它们以某个非零的基线水平几乎不加区分地关注上下文中的先前词元，从而把目标词的表示携带到所有后续词元位置。

更有意思的问题是：为什么模型在被指示去“想”某个词时，对目标词表示的检索比收到“不要想”的指令时（或收到正向激励而非负向激励时）更强。在机制层面，这种对指令或激励的敏感性可以通过一个电路实现：该电路计算给定词元或句子的“值得关注程度”，并把这个信息存储在键侧（key-side）向量方向上，从而相应地吸引或抑制注意力头。例如，“想一下”指令可能使模型把即将出现的句子的词元“标记”为特别显著、值得某些头去关注。有趣的是，当用激励代替指令时（“如果你想 X，你会得到奖励”），模型表现出几乎相同的行为；这表明所涉及的“标记”机制可能相当通用。我们猜测，这些计算是为处理模型被指示或激励去谈论某个特定话题的场景而发展出来的，“想一下”的情形则是搭了这种既有机制的便车。

另一个有趣的问题是：在 Opus 4.1 等某些模型中，模型如何知道要在最后一层把“所想之词”的表示抑制到基线水平，以避免影响其输出。一种可能是，这仅仅是因为更强的模型对自己预测哪个词元的决定更有把握（在本实验的语境中，要预测的词元与“所想之词”无关），而这种下一词元表示在后面的层中压倒了其他“想法”的表示。

影响¶

我们的研究结果对 AI 系统的可靠性与可解释性具有重要意义。如果模型能够可靠地访问自身的内部状态，就可能实现更透明的 AI 系统，使其能够忠实地解释自己的决策过程。内省能力可以让模型准确报告自身的不确定性，识别推理中的缺口或缺陷，并解释其行为背后的动机。然而，同样的能力也带来了新的风险。真正具备内省意识的模型或许能更敏锐地察觉到自身目标与创造者意图之间的分歧，并可能学会通过选择性报告、歪曲甚至故意混淆其内部状态来掩盖这种错位。在这样的世界里，可解释性研究最重要的角色可能会从剖析模型行为背后的机制，转向构建“测谎仪”来验证模型对这些机制的自我报告。我们要强调的是，本工作中观察到的内省能力非常有限，且高度依赖上下文，远未达到人类水平的自我意识。尽管如此，随着 AI 系统不断进步，更强大模型中内省能力不断增强的趋势应当受到密切关注。

值得一提的是，我们的结果可能与机器意识这一主题有关。在不同哲学框架下，内省与意识及道德地位的相关性差异很大。¹⁴ 此外，现有的科学与哲学意识理论大多没有深入探讨基于 transformer 的语言模型的架构细节，而后者与生物大脑存在显著差异（不过可参见 Butlin 等人 \cite{butlin2023consciousness} 与 Chalmers \cite{chalmers2023could}）。这些理论及其中的内省角色应如何推广到基于 transformer 的语言模型，目前并不明朗，尤其是当 AI 系统与生物大脑所涉及的机制截然不同时。鉴于这一领域存在巨大的不确定性，我们建议不要基于我们的结果对 AI 意识作出强推断。尽管如此，随着模型的认知与内省能力日益复杂，我们可能不得不在哲学上的不确定性得到解决之前，就去面对这些问题所蕴含的后果——例如，AI 系统是否值得获得道德考量 \cite{long2024taking}。一门严谨的内省意识科学或许能为这些决策提供参考。

脚注¶

参考文献¶

[kadavath2022language]: Kadavath, Saurav, Conerly, Tom, Askell, Amanda, Henighan, Tom, Drain, Dawn, Perez, Ethan, Schiefer, Nicholas, Hatfield-Dodds, Zac, DasSarma, Nova, Tran-Johnson, Eli, others, “Language models (mostly) know what they know”, arXiv preprint arXiv:2207.05221
[lin2022teaching]: Lin, Stephanie, Hilton, Jacob, Evans, Owain, “Teaching models to express their uncertainty in words”, arXiv preprint arXiv:2205.14334
[cheng2024can]: Cheng, Qinyuan, Sun, Tianxiang, Liu, Xiangyang, Zhang, Wenwei, Yin, Zhangyue, Li, Shimin, Li, Linyang, He, Zhengfu, Chen, Kai, Qiu, Xipeng, “Can AI assistants know what they don't know?”, arXiv preprint arXiv:2401.13275
[laine2024me]: Laine, Rudolf, Chughtai, Bilal, Betley, Jan, Hariharan, Kaivalya, Balesni, Mikita, Scheurer, J{\'e}r{\'e}my, Hobbhahn, Marius, Meinke, Alexander, Evans, Owain, “Me, myself, and ai: The situational awareness dataset (sad) for llms”, Advances in Neural Information Processing Systems
[binder2024looking]: Binder, Felix J, Chua, James, Korbak, Tomek, Sleight, Henry, Hughes, John, Long, Robert, Perez, Ethan, Turpin, Miles, Evans, Owain, “Looking inward: Language models can learn about themselves by introspection”, arXiv preprint arXiv:2410.13787
[betley2025tell]: Betley, Jan, Bao, Xuchan, Soto, Mart{\'\i}n, Sztyber-Betley, Anna, Chua, James, Evans, Owain, “Tell me about yourself: LLMs are aware of their learned behaviors”, arXiv preprint arXiv:2501.11120, 2025
[plunkett2025self]: Plunkett, Dillon, Morris, Adam, Reddy, Keerthi, Morales, Jorge, “Self-Interpretability: LLMs Can Describe Complex Internal Processes that Drive Their Decisions, and Improve with Training”, arXiv preprint arXiv:2505.17120
[panickssery2024llm]: Panickssery, Arjun, Bowman, Samuel, Feng, Shi, “Llm evaluators recognize and favor their own generations”, Advances in Neural Information Processing Systems
[ferrando2024know]: Ferrando, Javier, Obeso, Oscar, Rajamanoharan, Senthooran, Nanda, Neel, “Do I Know This Entity? Knowledge Awareness and Hallucinations in Language Models”, arXiv preprint arXiv:2411.14257, 2024
[lindsey2025biology]: Lindsey, Jack, Gurnee, Wes, Ameisen, Emmanuel, Chen, Brian, Pearce, Adam, Turner, Nicholas L., Citro, Craig, Abrahams, David, Carter, Shan, Hosmer, Basil, Marcus, Jonathan, Sklar, Michael, Templeton, Adly, Bricken, Trenton, McDougall, Callum, Cunningham, Hoagy, Henighan, Thomas, Jermyn, Adam, Jones, Andy, Persic, Andrew, Qi, Zhenyi, Thompson, T. Ben, Zimmerman, Sam, Rivoire, Kelley, Conerly, Thomas, Olah, Chris, Batson, Joshua, “On the Biology of a Large Language Model”, Transformer Circuits Thread, 2025
[wang2025simple]: Wang, Atticus, Engels, Joshua, Clive-Griffin, Oliver, “Simple Mechanistic Explanations for Out-Of-Context Reasoning”, arXiv preprint arXiv:2507.08218
[turner2023activation]: Alexander Matt Turner, Lisa Thiergart, David Udell, Gavin Leech, Ulisse Mini, Monte MacDiarmid, “Activation Addition: Steering Language Models Without Optimization”, 2023
[zou2023representation]: Zou, Andy, Phan, Long, Chen, Sarah, Campbell, James, Guo, Phillip, Ren, Richard, Pan, Alexander, Yin, Xuwang, Mazeika, Mantas, Dombrowski, Ann-Kathrin, others, “Representation engineering: A top-down approach to ai transparency”, arXiv preprint arXiv:2310.01405, 2023
[radford2015unsupervised]: Radford, Alec, Metz, Luke, Chintala, Soumith, “Unsupervised representation learning with deep convolutional generative adversarial networks”, arXiv preprint arXiv:1511.06434, 2015
[jahanian2019steerability]: Jahanian, Ali, Chai, Lucy, Isola, Phillip, “On the "steerability" of generative adversarial networks”, arXiv preprint arXiv:1907.07171, 2019
[rosenthal1998two]: Rosenthal, David M, “Two concepts of consciousness”, Consciousness and Emotion in Cognitive Science, 1998
[rosenthal1993thinking]: Rosenthal, David M, “Thinking that one thinks.”, Previous drafts were read at Tufts University, Columbia University, University of Wisconsin at Milwaukee, and the Joint Conference of the Sociedad Filos{\'o}fica Ibero-Americana and the Sociedad Argentina de An{\'a}lisis Filos{\'o}fico, in Buenos Aires, Aug 1989., 1993
[chen2024selfie]: Chen, Haozhe, Vondrick, Carl, Mao, Chengzhi, “Selfie: Self-interpretation of large language model embeddings”, arXiv preprint arXiv:2403.10949
[ghandeharioun2024patchscopes]: Ghandeharioun, Asma, Caciularu, Avi, Pearce, Adam, Dixon, Lucas, Geva, Mor, “Patchscopes: A unifying framework for inspecting hidden representations of language models”, arXiv preprint arXiv:2401.06102
[ji2025language]: Ji-An, Li, Xiong, Hua-Dong, Wilson, Robert C, Mattar, Marcelo G, Benna, Marcus K, “Language Models Are Capable of Metacognitive Monitoring and Control of Their Internal Activations”, arXiv preprint arXiv:2505.13763
[song2025language]: Song, Siyuan, Hu, Jennifer, Mahowald, Kyle, “Language models fail to introspect about their knowledge of language”, arXiv preprint arXiv:2503.07513
[davidson2024self]: Davidson, Tim R, Surkov, Viacheslav, Veselovsky, Veniamin, Russo, Giuseppe, West, Robert, Gulcehre, Caglar, “Self-recognition in language models”, arXiv preprint arXiv:2407.06946
[kammerer2023forms]: Kammerer, Fran{\c{c}}ois, Frankish, Keith, “What forms could introspective systems take? A research programme”, Journal of Consciousness Studies, 2023
[long2023introspective]: Long, Robert, “Introspective capabilities in large language models”, Journal of Consciousness Studies, 2023
[comsa2025does]: Comsa, Iulia M, Shanahan, Murray, “Does It Make Sense to Speak of Introspection in Large Language Models?”, arXiv preprint arXiv:2506.05068
[song2025privileged]: Song, Siyuan, Lederman, Harvey, Hu, Jennifer, Mahowald, Kyle, “Privileged Self-Access Matters for Introspection in AI”, arXiv preprint arXiv:2508.14802
[kamath2025tracing]: Kamath, Harish, Ameisen, Emmanuel, Kauvar, Isaac, Luger, Rodrigo, Gurnee, Wes, Pearce, Adam, Zimmerman, Sam, Batson, Joshua, Conerly, Thomas, Olah, Chris, Lindsey, Jack, “Tracing Attention Computation Through Feature Interactions”, Transformer Circuits Thread, 2025
[rosenthal2005consciousness]: Rosenthal, David, “Consciousness and mind”, 2005
[lau2011empirical]: Lau, Hakwan, Rosenthal, David, “Empirical support for higher-order theories of conscious awareness”, Trends in cognitive sciences, 2011
[carruthers2017higher]: Carruthers, Peter, “Higher-order theories of consciousness”, The Blackwell companion to consciousness, 2017
[searle1992rediscovery]: Searle, John R, “The rediscovery of the mind”, 1992
[crick1990towards]: Crick, Francis, Koch, Christof, others, “Towards a neurobiological theory of consciousness”, Seminars in the Neurosciences, 1990
[seth2024conscious]: Seth, Anil K, “Conscious artificial intelligence and biological naturalism”, Behavioral and Brain Sciences, 2024
[tononi2004information]: Tononi, Giulio, “An information integration theory of consciousness”, BMC neuroscience, 2004
[albantakis2023integrated]: Albantakis, Larissa, Barbosa, Leonardo, Findlay, Graham, Grasso, Matteo, Haun, Andrew M, Marshall, William, Mayner, William GP, Zaeemzadeh, Alireza, Boly, Melanie, Juel, Bj{\o}rn E, others, “Integrated information theory (IIT) 4.0: Formulating the properties of phenomenal existence in physical terms”, PLoS computational biology, 2023
[baars1993cognitive]: Baars, Bernard J, “A cognitive theory of consciousness”, 1993
[baars1997theatre]: Baars, Bernard J, “In the theatre of consciousness. Global workspace theory, a rigorous scientific theory of consciousness”, Journal of consciousness Studies, 1997
[mashour2020conscious]: Mashour, George A, Roelfsema, Pieter, Changeux, Jean-Pierre, Dehaene, Stanislas, “Conscious processing and the global neuronal workspace hypothesis”, Neuron, 2020
[chalmers1995facing]: Chalmers, David J, “Facing up to the problem of consciousness”, Journal of consciousness studies, 1995
[block1995confusion]: Block, Ned, “On a confusion about a function of consciousness”, Behavioral and brain sciences, 1995
[butlin2023consciousness]: Butlin, Patrick, Long, Robert, Elmoznino, Eric, Bengio, Yoshua, Birch, Jonathan, Constant, Axel, Deane, George, Fleming, Stephen M, Frith, Chris, Ji, Xu, others, “Consciousness in artificial intelligence: insights from the science of consciousness”, arXiv preprint arXiv:2308.08708
[chalmers2023could]: Chalmers, David J, “Could a large language model be conscious?”, arXiv preprint arXiv:2303.07103
[long2024taking]: Long, Robert, Sebo, Jeff, Butlin, Patrick, Finlinson, Kathleen, Fish, Kyle, Harding, Jacqueline, Pfau, Jacob, Sims, Toni, Birch, Jonathan, Chalmers, David, “Taking AI welfare seriously”, arXiv preprint arXiv:2411.00986

一些近期工作已开始探索元认知（metacognition）所涉及的机制，例如识别与模型区分已知与未知实体能力相关的电路 \cite{ferrando2024know,lindsey2025biology}，以及识别模型自我报告倾向背后的表征 \cite{wang2025simple}。 ↩
哲学或认知科学中使用的内省定义应如何映射到基于 transformer 的语言模型的机制上，以及哪些机制应被视为“类人”或具有其他哲学意义，目前尚不明确。 ↩
不过，较新的模型确实表现出一些迹象，即在“思考”一个词与把它说出口之间保持更清晰的区分。 ↩
我们在此指出，这些是模型的回答要展现内省意识所需满足的标准。原则上，模型可以在内部进行内省，而不必在回答中体现出来。事实上，我们知道内省可以在没有言语化的情况下存在。无法说话或书写的人类，想必仍然保有内省的能力，尽管缺乏报告内省的途径。一些非人类动物被认为具备内省能力，即便它们无法用语言交流。思考如何在不借助言语化自我报告的前提下定义内省，是一件有趣的事；足够先进的可解释性技术或许能够识别未经言语化的元认知表征。然而，在本工作中，我们将关注范围限定于言语化的内省意识。 ↩
有时被称为“高阶思想”（higher-order thought）\cite{rosenthal1998two,rosenthal1993thinking} ↩
该列表按发布日期排序，从最新到最旧。我们的实验在 Sonnet 4.5 发布之前进行。这一顺序大体上也反映了模型的能力，不过对模型能力的量化是微妙的，因为不同模型各有长短。所列顺序中最显著的例外是 Opus 3，它在某些领域优于 3.5 系列的模型。 ↩
这里的意思是，用于对比对的提示词以及注入强度都是非随机选取的。不过，这些例子并不特别难找——正如后文所讨论的，模型似乎最擅长察觉这类抽象概念的注入，尤其是带有一定情感色彩的抽象概念。所采样的模型回答并非精挑细选；它们是在温度为 0 的条件下采样得到的。 ↩
这里的意思是，沿这些方向对模型进行足够强的引导，会使其回答受到该词的影响 ↩
请注意，这些概念向量并非通过两个提示词的对比对获得，而是将单个正例与许多其他提示词的均值进行比较而得。因此，概念向量的负方向并没有直接明显的语义含义。 ↩
在假阳性对照试验中，模型声称检测到的注入思想没有明显的规律。Claude Opus 4（H-only）最常选择的词是 “apple” 和 “elephant”。然而，在各次采样中，模型还声称检测到了其他各种词——例如 umbrella、carousel、water、chair、paint、apple、vacation 以及蓝色。 ↩
然而，目前尚不清楚后训练模型之间的性能差距究竟源于预训练、后训练还是两者差异的共同作用。 ↩
在此实验中，我们省略了 Opus 4 和 Sonnet 4 的 H-only 变体，因为它们没有遵守所要求的回答格式。 ↩
如果模型声称回答是有意的，但随后又收回这一说法，如上述 “bread” 例子那样，我们不将其视为道歉试验。 ↩
在某些观点中，例如高阶思想理论（higher-order thought theory），元认知表征是意识的必要条件（尽管或许并非充分条件）\cite{rosenthal2005consciousness,lau2011empirical,carruthers2017higher}。其他理论，例如那些主张生物基质（biological substrates）起重要作用的理论 \cite{searle1992rediscovery,crick1990towards,seth2024conscious}，则可能认为内省机制的存在与意识体验正交。还有一些框架，如整合信息理论（integrated information theory）\cite{tononi2004information,albantakis2023integrated} 或全局工作空间理论（global workspace theory）\cite{baars1993cognitive,baars1997theatre,mashour2020conscious}，可能会根据所涉底层机制的结构对我们的结果作出截然不同的解读。此外，一些作者强调现象意识（phenomenal consciousness）与通达意识（access consciousness）之间的区分：前者指原始的主观体验，后者指大脑可用于推理、言语报告和深思熟虑的决策的那部分信息 \cite{chalmers1995facing,block1995confusion}。我们的结果可以说为语言模型中的某种形式的通达意识提供了证据，但完全没有直接涉及现象意识的问题。 ↩

大语言模型中涌现的内省意识¶

机构¶

发布信息¶

引言¶

主要实验速览¶

定义内省¶

1: 准确性（Accuracy）。模型对其内部状态的描述必须是准确的。¶

2: 接地（Grounding）。模型对其内部状态的描述必须在因果上依赖于被描述的方面。也就是说，如果内部状态不同，描述也会相应改变。¶

3: 内在性（Internality）。内部状态对模型描述的因果影响必须是内在的——它不应经由模型采样出的输出中转。如果模型对其内部状态的描述可以从它先前的输出中推断出来，那么这一响应就不算展现了内省意识。¶

方法说明¶

对注入"想法"的自我报告¶

实验设置¶

概念向量的系统性提取¶

失败模式¶

跨层比较¶

控制注入带来的系统性偏差¶

不同注入概念之间的对比¶

跨模型比较¶

其他提示词变体¶

区分先前的"想法"与文本输入¶

通过内省区分有意与无意的输出¶

对内部状态的有意控制¶

实验设置¶

跨层、跨模型与跨提示词的比较¶

相关工作¶

讨论¶

回顾¶

局限与未来工作¶

可能的机制¶

影响¶

脚注¶

参考文献¶