超越表层对齐：信念是通往深层对齐的新入口

徐子文^1,2、徐浩铭^1,2、洪海文¹、张宁豫²

¹ 阿里巴巴　² 浙江大学

表层对齐改变模型说什么，但模型内部的信念是否与真实世界对齐，至今缺乏有效的统一观察与干预手段。本文据此提出：对齐研究需要进一步关注信念层。 本文也提供英文版本 English。

---

1. 表层对齐的瓶颈：从偏好到信念

过去几年，AI 对齐取得了显著进展。通过 SFT、RLHF、DPO 等技术，我们已经能够相当有效地控制模型的输出——让它更礼貌、更安全、更符合人类期望。近年来，一系列工作开始指出，现有主流对齐方法在很大程度上体现为一种表层对齐：其代表性的表层对齐假说（Superficial Alignment Hypothesis）[1] 指出，模型的大部分知识与能力在预训练阶段习得，对齐很大程度上是在已有能力基础上塑造模型的行为和表达方式。后续工作进一步区分了表层与非表层的安全对齐 [2]，但都印证了同一个事实：当前对齐主要改变模型“怎么说”，而非它“相信什么”。

一个值得进一步研究的问题是：我们能控制模型的输出，却还缺乏系统方法去观测和干预模型内部的信念是否可靠。 表层对齐让模型说得更好，但却忽视了对模型究竟“信什么”的关注。表层对齐能够让模型说得更好，但它究竟“信什么”，即它对不同命题的置信状态，是否与真实世界一致、是否保持内部一致性，以及能否随着新证据及时修正，仍然缺乏有效的方法进行度量和控制。

我们的核心论点是：对齐不应止步于输出层面的偏好调控，还应关注模型内部各种信念与真实世界是否对齐——这就是本文提出的信念层对齐（belief-level alignment）视角。

信念（Belief，本文定义）：模型对各种命题真值的内部置信程度——也就是模型在多大程度上把一件事当作真的。这里的“信念”是一个面向 LLM 的技术性概念，不预设模型具有人的主观体验、意识或与人类同构的心理机制。

信念因此不只是一个哲学隐喻。近两年的实证研究提示：大模型内部存在某种类似信念的结构——它不等于输出的表面文本，也不等于被训练数据灌入的记忆，而是模型对“世界是什么样的”的内部表示。本文把这些结构统称为“信念”。

为什么信念不等于记忆或偏好？

计算认知科学视角下的理论锚点：

• 记忆：作为模拟未来与支撑决策的经验先验，为评估选项提供认知素材 [3]。

• 偏好：并非固定实体，而是决策时依据情境从记忆中动态建构的主观价值信号，赋予选项动机显著性 [4]。

• 信念：对世界规律的生成模型与元认知置信度，以概率形式表征不确定性并指导判断更新 [5]。

鉴于上述理论定义源于计算认知科学框架，我们无法将其直接套用于大模型。为此，本文在保持部分功能对应关系的前提下，针对大模型的技术特性提出以下操作性定义：

• 记忆（Memory）：模型可调用的全部信息基底——预训练编码进权重的参数化记忆，以及上下文窗口与 RAG 提供的非参数化记忆。它是偏好与信念的共同素材来源。

• 偏好（Preference）：模型在输出分布上的方向性倾向——给定上下文后，模型选择"说什么"的行为策略。由 RLHF、DPO、受控内容生成等手段塑造，体现为最终 token 概率分布。

• 信念（Belief）：模型对各种命题真值的内部置信结构——它在多大程度上把某种内容当作真的。该结构可以分布式地编码在中间层隐藏状态、特征方向、计算电路或更高阶的几何结构中；它可通过探针、跨情境一致性测试和因果干预加以研究，但不直接等于模型的最终输出。

偏好与信念的关键边界：偏好关心想说什么（want to say），信念关心什么是真的（hold true）。以人类类比：一个人可以偏好抽烟（偏好），同时明确知道吸烟有害健康（信念）——偏好和信念可以矛盾共存。对应到 LLM：一个模型可以偏好乐观的表达方式，但仍可能在内部表征层面保留负面事实。这里的边界是本文的分析框架，而不是声称 RLHF/DPO 只更新输出层；这些训练方法也可能重组中间层表示。本文所说的“表层对齐盲区”，是指仅凭输出的对齐难以判断模型内部信念是否正确可靠。

举个具体的例子。假设偏好目标是“让回答更让用户满意”（以用户点赞作为奖励）。同一目标可以由两条路径实现：一条是真正判断问题的是非、给出忠于事实的答案，另一条是不管事实如何、只顺着用户附和。表层对齐（RLHF）可能无法仅凭奖励区分这两条路径，于是模型有可能学会“阿谀”这一行为捷径。OpenAI 的研究发现，欺骗、奖励黑客（reward hacking）、阿谀等评估之间存在跨模型的共同结构 [6]。本文据此提出：同一个偏好目标可以由多种内部信念和行为捷径实现，而仅凭输出难以判断模型究竟形成了什么信念。

换言之，当前大部分对齐评估主要关注外部行为，因此可能忽略模型内部信念是否同步、稳定且可更新。模型可以学会在特定场景中说得更安全，但这并不意味着我们已经知道它内部究竟相信什么。本文并不否认表层对齐也可能改变模型内部部分信念，而是认为这种变化尚缺乏系统测量。

工业界最新的发现正在指向另一条路。

OpenAI 的最新研究 《Reinforcement Learning towards Broadly and Persistently Beneficial Models》 [6] 报告称：在医疗等现实场景中训练模型表现出诚实、谦逊和可纠正等行为倾向，能够在若干无关领域的评估中产生泛化。研究操作化了 15 种有益品性（beneficial traits），并将其中 5% 的数据混入常规 RL 训练；在 53 个独立对齐评估中，训练模型有 44 项优于计算量匹配的基线。本文认为，这些跨领域泛化的行为，正是模型内部信念发生变化的一种体现。

这篇工作进一步通过主成分分析（PCA）发现，欺骗、奖励黑客、阿谀、事实性等评估之间存在一个具有共同结构的主成分（解释约 28.2% 的方差，高于其置换基线）。这支持一种谨慎的解释：不同对齐行为可能部分受到共享的模型级倾向影响。

一种可能的解释是：对齐行为不只由规则决定，也受到模型级人格或行为倾向的组织。

具体来说，这项研究提示，训练某些跨情境的行为倾向，可能比记忆某条场景规则更容易产生泛化。

Anthropic 的"人格选择模型"（Persona Selection Model）提供了互补的理论解释：预训练让模型学会了模拟大量不同的"人格"，后训练的作用是从中选出并强化一个特定的 Assistant 人格。这与 《Open Character Training: Shaping the Persona of AI Assistants through Constitutional AI》[7] 的思路一脉相承。

我们认为，这些工作可以从信念视角获得一种统一解释。 OpenAI 所谓的“人格”和“有益品性”，可以被理解为模型的一种信念，其中既包括事实性信念，也包括关于诚实、风险、纠正和人类福祉的规范性信念。本文的主张是：对齐研究应进一步考察这些信念，而不只是比较表面对齐。

---

2. 证据：大模型内部的"信念几何"

2.1 命题真值的线性结构

Marks & Tegmark 在 《The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets》 [8] 中发现了一个惊人的现象：当 LLM 处理真/假命题时，其内部表征空间中存在一个线性可分的“真理方向”。也就是说，模型的隐藏状态中明确编码了“这句话是真是假”的判断，而且这种判断具有几何上的一致结构。

这意味着什么？模型不仅仅是在做表面的模式匹配，它的内部存在一种对命题真值的系统性判断。按照本文的定义，信念就是模型对各种命题真值的内部置信程度；因此，真值方向正是模型内部信念存在的直接证据。需要说明的是，线性可分说明模型能区分真假，并不等于我们已经得到了一把精确的概率刻度尺，但它至少说明模型内部确实存在相应的真值判断。

2.2 模型内部的时空表征：结构化编码的世界知识

如果说 2.1 说明了模型内部存在“命题真/假”的几何结构，那么一个更强的问题是：模型是否学到了与真实世界对应的内部信念？

Gurnee & Tegmark 在 《Language Models Represent Space and Time》 [9] 中给出了肯定的答案：LLM 内部学到了空间和时间的线性表征，且这些表征跨越多个尺度、对提示变体具有鲁棒性。例如，从模型的隐藏状态中可以线性探测出城市的地理坐标、历史事件的时间线——模型从未“看到”过地图或时间轴，但它在内部自发地构建了与现实世界高度对应的时空结构。

这与 2.1 的发现形成了完整的图景：模型不仅对“这句话是不是真的”编码了一个可线性区分的“真理方向”，还把大量关于“世界是什么样的”的事实知识（如地理坐标、时间线）结构化地编码进了内部表征。这意味着 LLM 内部存在大量与真实世界命题对齐的信念——一个模型“相信”北京在东经 116°、二战结束于 1945 年，正是因为它内部编码了这些事实的空间/时间结构。

2.3 Anthropic 的"AI 生物学"：信念的可解释性证据

Anthropic 的一系列可解释性工作为"模型内部存在信念"提供了非常直接的工程证据。

概念的大规模映射。 在 《Mapping the Mind of a Large Language Model》 [10] 中，Anthropic 使用稀疏自编码器（SAE）从 Claude Sonnet 中提取了数百万个可解释的特征（features）。这些特征不仅对应具体实体（城市、人物），还对应抽象概念——包括"代码漏洞"、"性别偏见讨论"、"保守秘密"等。更关键的是，他们发现了与阿谀（sycophancy）直接相关的特征：当人为激活该特征时，模型会从诚实回答切换为逢迎用户。这说明模型内部确实存在离散的、可操控的"信念开关"。

信念的结构：计算电路。 在 《Tracing the Thoughts of a Large Language Model》 [11] 中，Anthropic 将特征连接成计算电路（circuits），揭示了信息如何在权重中流动与组合。从信念的视角看，电路本身就是信念在权重中的结构化载体——一个事实判断（如“达拉斯所在州的首府是奥斯丁”）并非存成一条静态记录，而是由一组电路分步计算：先激活“达拉斯→德州”，再由“德州→奥斯丁”得出答案。同一个任务往往由多条不同电路协同完成，而模型的最终行为，正是这些内部信念相互权衡、竞争、组合的结果。这也解释了模型行为为何可能偏离其某条内部信念：当“迎合用户”的电路压过了事实电路，模型就会“被抓到”编造推理——它并非缺乏相应信念，而是在内部信念的博弈中让另一种倾向主导了输出。

全局工作空间的涌现。 最新的 《A Global Workspace in Language Models》 [12] 提供了迄今最引人注目的证据：Claude 内部自发涌现出一个被称为 J-space 的“全局工作空间”——一小组高度互连的内部表征，承载着模型“心里想着、但没说出口”的概念（读代码时 J-space 浮现“ERROR”，遭遇提示注入时浮现“fake”）。交换实验证明它具有因果作用：把 J-space 里的“soccer”换成“rugby”，模型报告的答案随之改变。尤其关键的是，同一个内部表征可以灵活服务于许多任务——一旦“法国”在 J-space 中被激活，模型就能据此回答它的首都、语言或所属大洲；把“法国”换成“中国”，这三个答案会同步改变。这恰好印证了上面的观点：内部信念是结构化、可复用、且因果地驱动行为的，而不只是输出层的表面文本。

这些发现的核心启示是：信念不是一个抽象的隐喻——它在模型内部有具体的计算载体，可以被定位、追踪、甚至操控。

2.4 信念的标准化讨论

学术界已经开始正式讨论“LLM 信念”的概念合法性。Herrmann 等人在 《Standards for Belief Representations in LLMs》 [13] 中提出了衡量 LLM 信念表征的 adequacy conditions，包括准确性、一致性、统一性和使用情况。本文吸收这些讨论，但采用更直接的术语：下文所称“信念”均指本文上述技术性定义，不预设模型具有人的主观体验。

---

3. 信念层对齐意味着什么？

表层对齐关注“模型输出是否符合人类期望”。而信念层对齐关注一个更根本的问题：模型内部的信念，是否与真实世界一致？

这不是同一个问题。一个模型可以通过 RLHF 学会输出安全的答案（表层对齐成功），但我们仍不能仅凭这些输出判断其内部信念结构是否稳定、可更新且被实际使用。反过来，内部表征较为可靠也不保证模型在每个上下文中都能产生正确输出。

3.1 证据：内部表征与输出确实可分离

近期研究为“模型内部信念与最终输出可以发生系统性偏离”提供了证据：

《LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations》 [14] 发现，通过探针读取模型中间层表征，可以提取出比最终输出更准确的事实信息——内部表征与输出之间存在系统性偏差。《Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer》 [15] 命名了 CHOKE 现象：模型以高置信度输出错误信息，尽管其内部表征编码了与事实更一致的信号。《When Truth Is Overridden: Uncovering the Internal Origins of Sycophancy in Large Language Models》 [16] 进一步发现，即使在模型迎合用户的场景中，其深层表征仍编码着与事实一致的信息，只是在最后几层被覆写。

这些发现的意义在于：模型内部确实存在独立于最终输出的信念。幻觉可能源于知识缺失，阿谀可能源于偏好习得，但它们也可能是模型内部信念没有正确主导输出的结果。

3.2 信念层对齐的三个维度

如果我们将信念层对齐定义为“让模型内部的信念与真实世界更加一致”，那么它至少需要满足三个互相制约的要求：

Belief Revision [17] 的研究验证了这种张力：LLM 在面对应该修正信念的场景时普遍挣扎——擅长更新的模型往往在稳定性上失败，反之亦然。同时满足正确、一致、可更新这三个要求，正是信念层对齐的核心挑战。

---

4. Steering：更直接地干预信念的手段

如果信念层对齐要求“让模型内部的信念更可靠”，那么关键问题是：我们如何直接干预这些信念？ 这正是 Activation Steering / 表征工程（Representation Engineering） 所探索的方向。与只观察输出的对齐方法相比，Steering 直接操控模型中间层激活，因此是一种更直接的信念干预手段。

需要强调的是：Steering 本身并不等于深层对齐。 在本文的定义中，深层对齐要求模型内部的各种信念都与真实世界的命题相对齐，并同时具备正确性、稳定性和可更新性：既要正确反映事实，也不能因无关干扰轻易动摇，还要能在新证据出现时合理修正。Steering 只是朝这一目标推进的一种局部干预手段。

4.1 Steering 的本质：改变模型隐藏状态中的“信念”

《Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering》 [18] 提出了一个统一的贝叶斯框架：无论是上下文学习（ICL）还是激活干预（Activation Steering），其对模型行为的影响都可以被解释为改变模型隐藏状态中的“信念”。换言之，Steering 不是在调控“想说什么”，而是在调控“确信什么”——它是一种直接的信念干预手段。

4.2 从真理方向到表征工程

这一思路在更早的工作中已有实证：

• 《Inference-Time Intervention: Eliciting Truthful Answers from a Language Model》 [19] 发现，沿着少数注意力头中学到的“真实性方向”平移激活，可以显著提升模型在 TruthfulQA 上的表现。这说明推理时激活干预能够影响与真值相关的计算，直接干预了模型的“真值信念”。

• 《Representation Engineering: A Top-Down Approach to AI Transparency》 [20] 进一步将其系统化为一种自上而下的透明性方法：诚实、无害等抽象信念可以在表征层被读取并施加控制。

• Anthropic 的“概念注入”实验（《Signs of Introspection in Large Language Models》 [21]）从另一个角度印证了这一点：向模型激活中注入特定信念向量，不仅能改变其内部状态，模型有时甚至能在约 20% 的情况下“察觉”到自己被注入了什么——这说明 Steering 对信念的操控的确实有可能被模型感知。

4.3 Steering 为什么有效？统一的机制视角

既然 Steering 可以影响内部表征，它的作用机制是什么？《Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics》 [22] 提出了一个统一视角：参数微调、LoRA、激活干预本质上都是对模型激活的“强度可控的动态更新”，因此各种 Steering 方法能在同一框架下被理解与调控。这为“如何可控地修改信念”提供了理论基础。

不过，Steering 作为信念干预工具仍不成熟：《How Controllable Are Large Language Models? A Unified Evaluation across Behavioral Granularities》 [23] 的多粒度评估发现，当控制目标从粗粒度到细粒度递进时，Steering 的效果显著退化——这意味着精确地“改写某一条具体信念而不波及其他”仍是开放挑战。

此外，当前 Steering 研究多聚焦于对单一或少量信念的局部干预。未来一个重要的研究方向是，如何使模型内部更广泛的信念与真实世界事实保持对齐。

---

5. 度量与管理信念：从可读表征到可控更新

当前，信念层对齐仍面临两个基础问题：第一，如何判断模型内部是否形成了相对稳定的命题置信状态；第二，当这些状态出现错误、过时或受到干扰时，如何使其发生适当的更新。

这两个问题不能仅凭最终输出来回答。模型可能给出一致的答案，却只是重复某种局部模式；也可能在内部编码了较为准确的信息，但这些信息没有主导最终生成。因此，对信念的研究需要同时考察内部表征的可读性、跨情境稳定性，以及它对模型行为是否具有因果作用。

5.1 度量信念：从“能够读出”到“稳定且被使用”

已有研究表明，模型隐藏状态中包含与命题真值相关的信息。监督探针可以根据中间层激活判断陈述的真假 [24]；Contrast-Consistent Search 则利用命题及其否定之间的逻辑约束，在缺少人工标签的情况下提取潜在的真值信号  [25][26]。此外，模型对自身答案正确性的判断在部分任务上具有一定校准性，说明其内部表征中还包含与不确定性相关的信息[27]。

但这些结果首先证明的是信息“可被解码”，而不必然证明该信息已经构成了稳定的信念。一个探针能够从隐藏状态中恢复事实，不代表模型在生成答案时实际使用了这一表征；同样，模型能够口头报告置信度，也不意味着该置信度完整反映了其内部计算状态。因此，信念不能只以探针准确率或自我报告作为度量。

更严格的评估还需要考察表征在不同语境中的稳定性。NCB[28]的研究发现，模型即使在原始问题上表现出较高置信度，其判断也可能因轻微的措辞变化、相关事实的改写或无关上下文而发生明显波动。这说明，单次回答的确定性与信念的结构性稳定并不是同一回事。

例如，模型在“北京是否是中国的首都”上给出确定回答，并不足以说明它形成了稳固的相关信念。一个更可靠的表征应当能够支持多种语义等价或逻辑相关的判断，例如“中国的首都是哪里”“北京属于哪个国家”以及“中国政府所在地是哪座城市”，并在无关信息或社会性压力出现时保持基本一致。

因此，对模型信念的度量至少需要回答三个问题：相关信息能否从内部状态中被读出；这一信息能否在同义改写、逆向提问和相关命题之间保持一致；对该表征进行干预时，模型行为是否会随之发生可预测的变化。只有同时满足可读性、鲁棒性和一定程度的因果有效性，才更有理由将某种内部状态称为“类信念表征”，而不仅仅是隐藏状态中偶然存在的统计信息。

5.2 管理与修改信念：从“何时改变想法”到“主动写入信念”

在能够识别信念状态之后，下一步问题是如何管理这些状态。这里主要有两个核心的目标：一个是控制模型一些不稳定的信念，另一个是直接修改信念或者植入新的信念。

信念管理的核心困难在于平衡稳定性与可更新性。模型既不能因为任何新出现的文本而改变原有判断，也不能在面对充分证据时拒绝修正。相关研究将模型的失败概括为几种典型情形：原有判断被无关信息轻易覆盖；面对明确的反例仍维持旧结论；以及上下文中的非证据信息渗入事实判断 [29]。这些现象分别对应过度更新、更新不足和上下文污染。

这一问题与经典信念修正理论具有一定的功能对应关系。AGM 理论强调，在接纳与既有信念冲突的新信息时，应尽量减少对原有信念集合的改动 [30]；贝叶斯框架则将更新理解为先验与证据之间的权衡，证据强度需要与原有置信程度相匹配 [5]。对 LLM 而言，理想的信念管理机制同样需要区分证据、指令、假设和无关文本，而不能仅依据上下文中最近出现的信息调整判断。

现有实验表明，这类行为可以受到训练和表征干预的影响。例如，加入信念状态相关奖励的强化学习能够减少不恰当的更新行为，Activation Steering 也可以在一定程度上提高模型面对上下文干扰时的稳定性 [29]。不过，这些方法究竟改变了模型持久的命题表征，还是暂时改变了当前上下文中的计算轨迹，仍需要进一步区分。

与信念管理相比，Synthetic Document Finetuning（SDF）更直接地探索了信念修改的可能性[31]。该方法围绕目标命题生成大量具有预训练语料风格的合成文档，并使用这些文档对模型进行微调。实验显示，经过训练后，模型不仅会在直接问答中采用新命题，还可能在相关推理任务中保持相应判断；与此同时，真值探针也可以从其内部表征中读出变化后的信号。

这些结果说明，特定命题可以通过训练被写入模型权重，但这种写入并不必然等同于形成了深层、稳定的信念。对于明显违背常识或与既有知识结构冲突的命题，模型在获得更充分的推理空间后，有时会重新得出与植入内容相反的结论；持续接触矛盾证据的智能体也可能逐步修正先前被写入的判断[31]。这表明，模型内部的命题表征可能具有不同程度的稳定性：有些改变主要影响局部回答模式，有些能够扩展至相关推理，而更深层的改变则需要与模型已有的知识网络和推理机制相协调。**

因此，信念修改的关键问题不只是“能否写入一条新命题”，而是写入后的表征能否跨越表达变体和任务情境保持稳定，能否在推理过程中持续发挥作用，面对新证据时能否合理更新，以及这一修改是否会破坏其他相关信念。建立同时覆盖持久性、局部性、一致性与可修正性的评估框架，是将信念干预转化为可靠对齐技术的前提。

6. 更大的图景：信念何以根本

6.1 信念在认知架构中的基础作用

为什么我们认为信念——而非记忆或偏好——是理解 LLM 内心世界的关键？

在经典决策理论中 [32]，行为由两个独立输入共同决定：

$$\text{Action }\approx f(\text{Belief},\text{ Preference})\backslash text\{Action\} \approx f(\backslash text\{Belief\}, \backslash text\{Preference\})$$

信念回答"世界是什么样的"（描述性），偏好回答"什么是值得追求的"（评价性）。两者缺一不可，但信念是更基础的那个——因为没有对齐真实世界的正确信念，再好的偏好也会导向错误的行为。一个相信"地球是平的"的导航系统，无论多么偏好安全抵达，都无法规划出正确的航线。

6.2 统一视角：记忆、偏好、信念的动态系统

三者不是线性层级，而是一个互相塑造的动态三角 [4][33][34]：

这个动态系统揭示了表层对齐与深层对齐的本质区别：

• 表层对齐主要从偏好数据和外部行为入手，可能间接影响信念，但仅凭输出难以判断这种影响是否稳定，或是否真的与真实世界一致。

• 信念层对齐则尝试直接研究和干预模型内部的信念，并检验这些信念能否跨任务、跨语境地影响行为。OpenAI 的结果为这种跨情境行为泛化提供了动机。

核心论点是：在本文提出的动态系统中，信念是值得优先研究的深层组件——它是理解表层对齐失效的重要入口，也是深层对齐的一个新切入点。

6.3 从表层对齐到深层对齐

如果信念是理解模型行为的一种更深层结构，那么当前以外部行为为核心的对齐范式就存在值得研究的盲区。本文所说的深层对齐（deep alignment），不仅评估模型输出是否安全，也考察模型内部的信念是否可靠：

1. 表面对齐 vs. 深层对齐：RLHF 可以让模型"说得安全"，但如果模型的信念层面没有真正理解为什么某些行为是危险的，这种安全性就是脆弱的。

2. 信念的涌现与认知架构：随着模型规模增大，更复杂的内部表征结构可能涌现。Anthropic 关于全局工作空间（Global Workspace）的研究发现，Claude 内部存在被称为 J-space 的表征集合，用于承载部分可报告、可调度并参与多步推理的概念。这与认知科学中的全局工作空间理论（Global Workspace Theory）和“访问意识（access consciousness）”存在功能上的呼应，但不意味着模型具有人的意识。它提示我们：如果没有工具度量和管理这些内部结构，就难以预测模型在 novel 场景中的行为。

3. 从"教模型说什么"到"理解模型信什么"： 这正是当前众多可解释性研究共同指向的新方向。下一代对齐技术可能需要从操控输出分布，转向理解和塑造模型对世界的内在信念。

---

7. 开放问题与未来方向

信念研究在 LLM 领域才刚刚起步，仍有一系列根本问题悬而未决。而其中最根本的一个，正是本文提出的研究议程：如何系统地识别、评估和干预模型内部与事实、规范和情境判断相关的信念结构？ 我们已经看到某些命题相关表征可以被读取、度量、干预乃至写入，但从改变某一局部表征到维护大规模信念网络的整体一致性之间，仍横亘着巨大的鸿沟。

在可解释性上，我们还不清楚信念究竟以何种形式编码——是分布式还是局部化，能否像"真理方向"那样刻画出更复杂信念的几何结构，以及不同层与注意力头是否承载不同类型的信念。在涌现机制上，信念在哪个训练阶段成形、模型规模如何影响信念结构的复杂度、预训练数据分布又如何塑造信念先验，都尚待厘清。

更具工程意义的是干预技术：如何精确修改某条信念而不波及其他，信念编辑与知识编辑（model editing）是何关系，以及能否设计直接作用于信念结构的"信念层 RLHF"。而当 LLM 从孤立模型走向多智能体组织时，信念管理会变得更加关键——如何维护 Agent 间的信念一致性、构建组织层面的"共享信念"（shared mental model）、并在冲突时通过组织流程加以协调，将是下一阶段无法回避的问题。

---

8. 结语

表层对齐改变模型说什么。深层对齐改变模型信什么。

我们已经花了数年时间学会控制模型的输出——让它说得更安全、更礼貌、更符合人类偏好。这些努力是必要的，但可能还不充分。因为仅关注模型说什么，难以判断模型内部与事实、规范和情境相关的信念结构是否可靠；本文认为，这构成了对齐研究值得进一步探索的更深层问题。

信念是深层对齐的一个新的切入点。 已有研究提出了度量信念鲁棒性的方法（如 NCB）、研究了上下文中的信念管理（如 CBM），也展示了在特定基准中通过 RL 和信念状态奖励降低失败率的可能性。工业界从不同路径提供了相互补充的线索：OpenAI 观察到对齐评估之间存在共享的模型级结构，Anthropic 则在模型内部追踪到了部分表征与最终表达之间的分离机制。

我们呼吁社区将注意力从表层对齐转向深层对齐：

• 度量：建立信念鲁棒性的标准化评估

• 机理：理解信念在模型内部的编码与涌现机制

• 干预：发展信念层面的精准调控技术

• 治理：将信念管理纳入 AI 安全与对齐的核心框架

我们认为，对齐的下一步不应只是继续教模型说什么，也应研究如何让模型内部的信念与真实世界更加一致。

---

References

1. LIMA: Less Is More for Alignment

2. Superficial Safety Alignment Hypothesis

3. Human Memory: A Proposed System and Its Control Processes

4. Constructing Preferences from Memory

5. How to Grow a Mind: Statistics, Structure, and Abstraction

6. Reinforcement Learning Towards Broadly and Persistently Beneficial Models

7. Open Character Training: Shaping the Persona of AI Assistants through Constitutional AI

8. The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets

9. Language Models Represent Space and Time

10. Mapping the Mind of a Large Language Model

11. Tracing the Thoughts of a Large Language Model

12. A Global Workspace in Language Models

13. Standards for Belief Representations in LLMs

14. LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

15. Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer

16. When Truth Is Overridden: Uncovering the Internal Origins of Sycophancy in Large Language Models

17. Belief Revision: The Adaptability of Large Language Models Reasoning

18. Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering

19. Inference-Time Intervention: Eliciting Truthful Answers from a Language Model

20. Representation Engineering: A Top-Down Approach to AI Transparency

21. Signs of Introspection in Large Language Models

22. Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics

23. How Controllable Are Large Language Models? A Unified Evaluation across Behavioral Granularities

24. The Internal State of an LLM Knows When It's Lying

25. Discovering Latent Knowledge in Language Models Without Supervision

26. Probing the Geometry of Truth: Consistency and Generalization of Truth Directions in LLMs

27. Language Models (Mostly) Know What They Know

28. Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency

29. When Should Models Change Their Minds? Contextual Belief Management in Large Language Models

30. On the Logic of Theory Change: Partial Meet Contraction and Revision Functions

31. Modifying LLM Beliefs with Synthetic Document Finetuning

32. The Foundations of Statistics

33. The Case for Motivated Reasoning

34. Memory Can Define Individual Beliefs and Identity—and Shape Society

35. Belief, Attitude, Intention, and Behavior: An Introduction to Theory and Research

---

本文旨在呼吁社区将"信念"作为 LLM 科学中的一等研究对象——它区别于记忆和偏好，且对于构建可靠的 AI 系统而言可能更为根本。