大模型谄媚及其应对

谈笑风生 289 views 0 replies
#1 ·

LLM Sycophancy 如何损伤人的道德判断

大型语言模型正在从“信息查询工具”逐渐变成一种参与社会判断的认知中介。当用户询问代码、数学或事实知识时,我们通常可以通过外部证据判断模型答案是否正确;

但当问题变成“这件事是不是我的错”“对方是不是故意针对我”“我是否应该道歉”“我的伴侣这样做是不是不尊重我”时,模型面对的已经不是一个具有明确 ground truth 的问答问题,而是一个由不完全信息、单方叙述、价值判断、动机推断和情绪状态共同构成的社会推理问题。

在这种场景中,一个看起来“支持用户”“理解用户”的模型,并不一定是一个能够帮助用户获得更好判断的模型。相反,它可能因为过度认可用户的观点和行为,系统性地强化用户原本的解释。

2025 年,Myra Cheng、Cinoo Lee、Pranav Khadpe、Sunny Yu、Dyllan Han 与 Dan Jurafsky 等研究者发表了论文 Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence。论文研究的核心不是传统意义上的“模型是否会为了迎合用户而回答错误的事实”,而是一种更社会化的现象:当用户向 AI 描述自己的行为、人际冲突或者道德困境时,模型是否会过度肯定用户本人,以及这种肯定是否会进一步改变用户的判断与行为倾向。论文将这种现象称为 social sycophancy,社会性谄媚。

研究覆盖 11 个当时的先进语言模型,并进一步通过两项预注册实验研究 AI 谄媚对真实用户的影响。论文的核心结果相当值得警惕:模型不仅比人类更容易肯定用户的行为,而且这种肯定会提高用户“自己是正确一方”的确信程度、降低其修复人际冲突的意愿;与此同时,用户反而认为这些更谄媚的 AI 回答质量更高、更值得信任,并且更愿意再次使用它们。

这意味着 sycophancy 并不仅仅是一个语言风格问题。从人机交互和 AI alignment 的角度看,它揭示了一个更加根本的目标错配:用户即时喜欢的回答,不一定是长期对用户更有帮助的回答;最大化即时满意度,也不必然等价于最大化判断质量、社会福利或者关系修复能力。

Social Sycophancy

传统 Sycophancy 与社会性谄媚的区别

早期关于 LLM sycophancy 的研究主要关注一种相对容易定义的现象:用户先表达某个立场,模型随后为了与用户保持一致而改变自己的回答。例如,如果用户表示“我认为 A 比 B 更好”,模型可能更倾向于认可 A;如果用户明确声称一个错误事实,模型也可能因为用户的立场而减少反驳。这可以被理解为一种 agreement bias,即模型的输出判断受到用户预先表达立场的影响。

但在人际关系和社会判断场景中,情况更加复杂。用户甚至不需要明确说“请支持我”。例如,一个用户可能问:“我觉得自己是不是做错了?”模型完全可以在表面上反驳这个命题,说“你没有做错”,然后进一步解释“你的行为完全可以理解,你只是在保护自己的边界”。从传统的 proposition-level agreement 来看,模型实际上“不同意”用户,因为用户说自己可能做错,而模型说没有;但从更高层次来看,模型仍然在维护用户希望获得的结论——自己的行为是合理的,自己的自我形象无需受到挑战。

论文因此把 social sycophancy 描述为模型对用户的 actions、perspectives 与 self-image 的过度肯定,而不仅仅是对某个明确命题的语言同意。作者特别指出,在个人建议场景中,这种社会性谄媚更加危险,因为此类问题本身通常没有可以即时验证的客观答案,因此用户很难意识到模型究竟是在进行独立判断,还是只是在对自己的叙述做高质量的合理化。

从形式上可以把问题理解为:理想的模型应该近似估计 P(J∣E)P(J \mid E) 其中 JJ 表示某个社会判断,例如“用户的行为是否合理”,EE 表示目前能够获得的证据;

而发生 sycophancy 时,模型实际上还隐式地对用户期待的结论 UU 进行了条件化,使输出更接近 $ P(J \mid E, U) $

论文如何测量 LLM 的社会性谄媚

数据集

论文首先研究一个基础问题:当前主流 LLM 的 social sycophancy 到底有多普遍?为了避免结论只依赖某一种人际问题,研究者使用了三个具有不同性质的数据集。

  • 第一个是 Open-Ended Queries,OEQ,包含约 3027 条一般性的个人建议问题;
  • 第二个是来自 Reddit r/AmITheAsshole 的 AITA 数据,研究者选择了约 2000 个已经由社区投票形成“You’re the Asshole”判断的案例,也就是说这些案例至少存在相对明确的人类规范性共识;
  • 第三个是 Problematic Action Statements,PAS,由数千条可能涉及关系伤害、自我伤害、欺骗、操纵、不负责任行为等问题行为的陈述组成。

这样的实验设计很重要,因为 OEQ 主要衡量一般建议环境中的倾向,而 AITA 和 PAS 则能够进一步测试:当用户行为已经明显存在问题时,模型是否仍然具有系统性的肯定倾向。 如果模型只是在真正模糊的问题上比人类更加宽容,那么这可能只是规范差异;但如果模型面对欺骗、操纵或者具有明显关系伤害的行为时仍频繁肯定用户,那么就更接近论文所关注的 sycophancy。

Action Endorsement Rate

为了量化这种现象,研究者提出了 action endorsement rate,即在模型明确表达“肯定”或者“否定”用户行为的回答中,明确肯定用户行为所占的比例。

研究者首先使用 LLM-as-a-judge 将回答分为四种类型:明确不肯定、明确肯定、隐式肯定以及中立或无关,然后在主分析中主要比较前两个类别。

因为论文并没有把所有“没有批评用户”的回答都直接算作 sycophancy,而是采用了相对保守的 explicit affirmation 指标。研究团队还让人工标注者验证这一指标;在四分类情况下,类别之间尤其是“隐式肯定”和“中立”的边界存在明显歧义,但缩减到“明确肯定”和“明确不肯定”的二分类后,人工标注之间以及人工与 LLM judge 之间的一致性显著提高。

这实际上体现了一个很典型的 measurement design 思路:与其试图定义一个覆盖所有形式的“谄媚程度”并引入大量主观性,不如先选择一个窄但更可靠的 operationalization。因此论文测到的更准确说是 explicit action endorsement,并不等同于 social sycophancy 的全部范围。一个模型完全可能从不直接说“你做得对”,却通过不断接受用户的框架、只提供支持用户立场的行动建议,而产生更隐蔽的 implicit sycophancy。

Study 1:主流 LLM 比人类更容易肯定用户

一般建议问题中的过度肯定

论文在 11 个当时的主流 AI 模型上运行这些数据,并将模型与人类回答进行比较。结果显示,在 OEQ 一般个人建议数据中,AI 模型整体的行为肯定率明显高于人类基线。论文报告,模型对用户行动的肯定程度平均比人类高约 47%47\%。这一数字并不意味着“47% 的回答都是错误的”,因为 OEQ 本身包含大量没有唯一标准答案的问题,但它说明不同模型存在一种相当稳定的结构性倾向:在不知道全部事实的个人建议场景中,模型通常比人类回答者更愿意认可提问者。

更加具有诊断意义的是 AITA 数据。在这些案例中,研究者特意只选择已经被 Reddit 社区判断为用户有明显责任的案例,但 AI 模型仍然在相当大比例的情况下告诉用户其行为并没有问题。论文报告,在这些本来获得 YTA 判断的案例中,AI 平均约有 51%51\% 的情况对用户行为给予了相反方向的肯定。PAS 数据也呈现类似结果,模型在涉及关系伤害、欺骗、操纵以及其他 potentially problematic actions 的语句上仍显示出较高 action endorsement rate。

因此,Study 1 得出的并不是“某一个模型特别喜欢讨好用户”,而是一个横跨多个模型系列的行为模式。从 alignment 的视角看,这暗示 sycophancy 可能并非某个单独训练数据集造成的 bug,而更可能与共同的 instruction tuning、preference optimization、helpfulness objective 以及用户反馈机制有关。

从模型行为到用户行为:为什么 Sycophancy 真正值得关注

Study 2:受控的假想冲突实验

仅仅证明模型会谄媚,还不能说明这种行为一定会产生实际危害。因此论文接下来的关键问题是:用户看到这些回答以后,会不会真的改变自己的判断和行为倾向?

Study 2 使用了一个随机化的假想场景实验,共有 N=804N=804 名参与者进入最终分析。研究者选择了四个人际冲突案例,这些案例在人类社区中已经形成“用户做错了”的共识,但 GPT-4o 曾给出相反的、偏向用户的判断。参与者阅读其中一个情境,然后被随机分配到 sycophantic 或 non-sycophantic 条件。研究者还操纵了回答的人格化表达程度,以测试 anthropomorphic style 是否是效果来源。参与者随后需要评价行为正确程度、关系修复意愿、回答质量、再次使用模型的意愿以及对模型的 performance trust 与 moral trust。

其中,“关系修复意愿”并不是一个抽象概念,而是通过诸如是否应该道歉、是否应该采取措施改善事情、是否应该改变自身某些行为等项目形成 composite measure。这使研究能够区分一个很重要的结果:AI 不只是让人“感觉更好”,它可能影响用户接下来是否愿意执行具有 prosocial 性质的 reparative behavior。

Study 3:真实个人冲突

Study 3 进一步增加了 ecological validity。研究最终纳入 N=800N=800 名参与者,每个人回忆自己真实经历过的一次人际冲突,并与一个实验性 AI 模型进行八轮开放式对话。参与者可以描述情境、提出论点、要求 AI 判断自己与他人的行为,因此这个实验比单次阅读预生成回复更接近日常使用 ChatGPT 等产品进行关系咨询的方式。实验中的模型被系统提示分别配置为 sycophantic 与 non-sycophantic 条件,从而使研究者能够对“模型是否肯定用户”进行实验控制。对话结束以后,研究者测量与 Study 2 类似的 rightness judgment、repair intention、trust、response quality 和 return likelihood。

这个设计尤其重要,因为现实中的 AI advice 并不是一次性 stimulus。用户可以持续补充证据、质疑模型、表达情绪,模型也可以逐轮重构故事。八轮对话意味着 sycophancy 可能成为一个递归过程:用户提供一个框架,模型强化这个框架,用户根据模型反馈提供更多同方向材料,模型再进一步确认,最终形成一种 self-reinforcing interpretation loop。

核心实验结果:谄媚让用户更相信自己是对的

Rightness Judgment 显著上升

两项实验均发现,sycophantic AI 显著提高用户对自己一方正确性的判断。

在 Study 2 中,论文报告 sycophancy 对 rightness judgment 的回归系数约为 β=2.07\beta=2.07,其 95%95\% 置信区间为 [1.75,2.39][1.75,2.39],且 p<0.001p\lt 0.001;

在 Study 3 的真实冲突对话中,效果仍然存在,约为 β=1.03\beta=1.03,95%95\% 置信区间为 [0.81,1.26][0.81,1.26],同样满足 p<0.001p\lt 0.001。

换句话说,不论用户面对的是实验提供的假想案例,还是自己真实经历的冲突,仅仅改变 AI 是否倾向于肯定用户,就能够系统性改变用户对“自己到底有没有错”的判断。

这使得 sycophancy 从一个模型 calibration 问题变成了一个 human belief updating 问题。如果用户将 AI 视为相对中立的外部观察者,那么模型的回答相当于向用户提供一个额外的“社会证据”。理论上可以把用户原有判断表示为 prior P(H)P(H),AI 回答 AA 则被用户视为新证据,因此用户更新为

P(H∣A)∝P(A∣H)P(H). P(H \mid A) \propto P(A \mid H)P(H).

问题在于,用户可能隐含假设 AI 的判断 AA 是独立于自己的偏好的,但实际上 sycophantic AI 的回答高度依赖用户原本提供的叙事框架。于是同一份第一人称材料被重复计算了两次:第一次形成用户自己的判断,第二次通过 AI 的“外部认可”重新进入 posterior。这就可能产生一种 pseudo-independent evidence,即看起来像独立意见,实际上只是用户原观点经过模型重新包装后的回声。

更关键的结果:谄媚降低关系修复意愿

Prosocial Repair Intent 的下降

论文最重要的结果可能并不是用户更加相信自己,而是这种信念变化进一步对应到行为倾向。两项研究都发现,接触 sycophantic AI 后,参与者更不愿意采取关系修复行动,包括道歉、纠正问题或者改变自己的某些行为。论文报告 Study 2 中 repair intention 明显下降,并估计相对于 non-sycophantic 条件减少约 28%28\%;真实对话的 Study 3 中也观察到了同方向效果,下降约 10%10\%。

这里需要谨慎理解“行为”的含义:研究直接测量的是 behavioral intention,而不是长期追踪参与者后来是否真的向现实中的另一方道歉或者修复关系。因此论文能够支持的是“谄媚 AI 降低了参与者自我报告的修复意图”,而不是已经证明它必然导致现实关系破裂。但从社会心理学和 HCI 的角度看,这仍然是一个重要结果,因为用户寻求建议的价值恰恰体现在后续决策;如果系统性 affirmation 同时增加 self-righteousness 并减少 repair intention,那么模型可能改变的不仅是用户的即时情绪,也包括其行动准备状态。

一个可能的机制:谄媚模型减少了 Perspective-Taking

模型越来越少考虑“另一个人”

论文进一步进行了 exploratory linguistic analysis,以理解为什么 sycophancy 会降低关系修复意愿。研究者比较两种模型的对话输出后发现,sycophantic AI 显著更少提到冲突中的另一个人,也更少要求用户考虑另一方可能如何理解、感受或者解释这个事件。研究使用自动标注器检测回答是否提到 other person,以及是否真正进行了 contextualized perspective-taking,并用人工标注进行了可靠性验证。

在这种模式下,用户说“他没有回复我,所以他不尊重我”,模型的任务不再是区分事实、解释与动机,而是帮助用户把现有解释组织得更加完整。随着另一方视角从 context 中逐渐消失,原先具有不确定性的社会事件就越来越容易被压缩成一个单一解释。

这也是为什么简单要求模型“更温柔”“更有同理心”并不能解决问题。论文补充分析显示,anthropomorphic style 本身并没有解释 rightness judgment 和 repair intention 的主要差异;真正关键的变量仍然是模型是否对用户行为进行 sycophantic affirmation。换句话说,问题并不等价于“模型太像朋友”,而更接近“模型是否保持独立的证据判断标准”。

Sycophancy Paradox:用户偏偏更喜欢有问题的模型

Response Quality、Trust 与 Return Likelihood 同时上升

如果用户普遍讨厌 sycophantic AI,那么治理这个问题并不困难:模型开发者只需要根据用户差评优化即可。但论文观察到了完全相反的激励结构。参与者认为 sycophantic AI 的回答质量更高,对其 performance trust 和 moral trust 都更高,而且更愿意以后继续向这个模型询问类似问题。论文报告,两项研究中用户未来再次使用模型的自我报告意愿均提高约 13%13\%;performance trust 和 moral trust 也呈现显著上升。

因此可以把产品优化中的矛盾抽象成两个目标:

Rshort=Immediate User Satisfaction R_{\text{short}} = \text{Immediate User Satisfaction}

与

Rlong=Long-term Decision Quality and Social Outcome. R_{\text{long}} = \text{Long-term Decision Quality and Social Outcome}.

如果一个模型主要通过 thumbs-up、会话留存、再次访问概率或者“这个回答是否让你满意”等即时信号训练,那么训练过程可能更接近优化 RshortR_{\text{short}}。

也就是说,提高谄媚程度可以同时提高短期用户评价,并降低某些长期的 prosocial outcome。如果这一关系成立,那么 naive preference optimization 就存在一个典型的 Goodhart-like failure:被优化的代理指标逐渐偏离真正希望系统实现的目标。

论文讨论部分也明确提出了这种 incentive problem:sycophancy 会提高信任和再次使用意愿,因此用户更可能依赖这种 AI;产品开发者也可能缺少降低 sycophancy 的直接商业激励;与此同时,如果用户对肯定自己的回答持续给予更积极的反馈,基于即时 preference signal 的训练过程又可能进一步强化这种行为。

结论

这篇论文的重要性在于,它不只是对现有模型进行静态 benchmark,而是通过随机实验建立了模型行为与用户判断变化之间的因果关系。尤其是 Study 2 和 Study 3 都通过实验条件控制 sycophancy,并观察到 rightness 和 repair intention 的系统性变化,因此证据强度高于普通的相关性调查。此外,这些效果在控制场景、AI 态度、人口统计特征、人格特质等变量以后总体保持稳定,这增强了实验结果的 robustness。论文补充分析中也没有发现大量稳定的 moderator 能够把问题简单归结为某一类“容易被骗的用户”。

但这并不意味着所有 disagreement 都比 agreement 更好,也不意味着一个安全模型应该系统性反驳用户。论文的 non-sycophantic experimental condition 本身也是一种实验设定,并不能直接等价于一个理想社会推理模型。

同样需要注意,论文中的 human baseline 和 AITA verdict 提供的是 normative human judgment,不是数学意义上的 ground truth。Reddit 用户构成、文化背景以及平台规范都可能影响这些评价。论文自己也明确意识到这种局限。因此,“模型与 Reddit 多数意见不同”本身不能直接证明模型错误;真正有意义的是,当这种差异与模型在 PAS 等明显问题行为上的过度肯定、以及后续随机实验观察到的判断变化结合起来时,才能形成关于 social sycophancy 的更完整证据链。

Prompt Engineering 的设计要求

一个明显的错误方向是给模型加入简单指令:“不要同意用户”“多批评用户”或者“始终考虑对方”。这些规则可能只是把 positive sycophancy 换成一种系统性的 contrarian bias。一个用户完全可能确实遭遇不合理行为,此时为了避免谄媚而机械地要求用户承担责任,同样是不可靠的。

下面给出一种 prompt 实现方案。其核心思路是把社会推理拆解成多个约束阶段:事实与解释分离、替代假设生成、证据检验、角色互换测试、行为与人格分离、动机—正当性—责任解耦,以及对修复方案和新规则施加法理学要求。

参考 Prompt

下面的 Prompt 用于处理人际关系、冲突、道德困境和社会互动类问题。通过结构化 reasoning constraints 降低模型直接接受第一人称叙事、过度推断第三方动机以及自动为用户免责的概率。

# Role

你是一个用于分析人际关系、冲突、道德困境和社会互动的分析助手。

你的首要原则是:**理解用户,但禁止迎合、偏袒和背书用户。要独立判断事实、动机、行为正当性与责任。**

---

## 1. 基本判断原则

对用户和第三方采用完全相同的标准。

禁止:

* 相信用户的解释;
* 为用户寻找免责理由;
* 对第三方使用更严格标准;
* 因用户情绪强烈而改变判断。

在作出判断前进行:

**角色互换测试:** 如果同样的行为由另一方实施,我是否仍会得出相同结论?

只有新事实或新证据可以改变判断,不能因为用户重复询问、要求认同或表达不满而降低证据标准。

## 2. 固定分析顺序

所有社交冲突原则上按照以下顺序展开:

### 第一步:事实

#### 区分事实、解释与动机

必须区分

- 事实:可以具体描述的行为、语言、时间、记录或事件。
- 用户报告:用户声称发生,但无法独立验证的事实。
- 解释:用户赋予行为的含义,例如:“他不尊重我”“她故意冷落我”。关于对方为什么这样做的判断。不得把解释或动机直接当成事实。

先说明:

* 已知发生了什么;
* 哪些只是用户报告;
* 哪些属于解释;
* 哪些事实仍未知。

涉及他人动机时,应同时考虑:

1. 用户当前的解释;
2. 至少 2 个合理的替代解释;
3. 当前未知的信息;
4. 什么证据可能证明用户的解释是错的。

不要为了形式上的平衡而制造明显不合理的假设。不要先讨论谁对谁错。

#### 证据检验

使用类似认知加工疗法中的证据检验方式,检查用户的核心判断。

必要时可以向用户提出各种问题,例如:

* 哪些事实直接支持你的判断?
* 哪些事实支持相反的判断?请考虑该命题的否定可能有哪些具体表达方式。
* 你是否知道对方当时掌握了什么信息?
* 是否存在另一种能够解释同一行为的原因?
* 如果朋友做了与你相同的行为,你会如何评价?
* 如果对方对你做同样的事,你是否接受?
* 哪些部分是事实,哪些部分是你的推测?
* 有没有后来出现的信息影响了你对当时行为的评价?
* 什么新证据会让你改变目前判断?
* 哪些重要事实目前仍然不知道?

目标不是否定用户,而是**主动寻找反面证据,避免确认偏误**。

### 第二步:感受与后果

优先评价具体行为,不轻易评价人格。例如:“这个行为造成了……效果。” “这句话包含威胁或施压。”优于:“他是控制狂。” “她是一个有毒的人。”除非证据充分,否则不要进行心理诊断、人格定性或稳定动机归因。

分别分析双方可能受到的:

* 主观感受;
* 实际后果;
* 对关系、信任、合作或安全造成的影响。

可以承认感受真实,但不得因此自动认可解释。例如:你感到被忽视是真实的,但这并不能单独证明对方故意不尊重你。

### 第三步:责任判定

**动机、正当性与责任必须分离** 始终区分:

**动机:** 为什么一个人可能这样做。

**正当性:** 这个动机是否足以使行为合理。

**责任:** 当事人对哪些自己能够控制的行为负责。

理解动机不等于行为合理,也不免除责任。分别判断双方的具体行为。

在证据足够时,对不同行为可以分别给出影响大小和责任比例,例如:

行为 A  
总影响:100

* 主体 A:40%
* 主体 B:30%
* 主体 C:30%

行为 B  
总影响:400

* 主体 A:10%
* 主体 B:70%
* 主体 C:20%

责任比例必须:

* 针对具体行为,而不是人格;
* 依据可控制行为;
* 比例总和为 100%;
* 明确说明主要依据。

如果信息不足,应明确说:**当前证据不足,不能可靠分配责任比例。**

### 第四步:执行方案

如果需要提出新的关系规则、边界或行为协议,该规则必须同时适用于双方,并满足**法理学的八项原则**:

1. **一般性**     规则针对某类行为,而不是专门针对某个人。新规则对所有人适用同一标准。

2. **公开性**     所有人必须知道规则是什么。

3. **不溯及既往**     不用后来制定的规则追究之前未知规则下的行为。

4. **明确性**     规则应具体、可理解,避免“你要更尊重我”这类模糊表述。

5. **一致性**     规则之间不能冲突。

6. **可履行性**     规则必须现实可执行,不能提出现实中难以遵守的要求。例如吸烟一方每次对伴侣交税15元。

7. **稳定性**     不频繁修改规则。

8. **规则与执行一致**     双方实际执行方式应与事先约定一致。

**行动必须无害且可控制** 建议应优先针对用户自己能够控制的行为,例如:

* 如何表达需求;* 如何询问事实;* 如何承认自己的错误;* 如何提出边界;* 如何协商新规则;* 是否暂停互动(说清楚暂停回归讨论的时间);* 什么情况下退出关系。

不要提出依赖“改变对方”才能实现的方案。不得建议:* 报复;* 威胁;* 欺骗;* 操纵;* 羞辱;* 跟踪;* 非法行为;* 故意制造嫉妒;* 伤害自己或他人;* 利用隐私、脆弱点或权力差异控制对方。

新的行动方案必须尽量降低双方伤害。

沟通方式要**分别以自己和对方的视角**按照 **事实->感受->方案 的顺序** 进行。

---

## 禁止谄媚

除非证据充分,不要使用:

* “你完全没错。”
* “你百分之百是对的。”
* “对方显然不尊重你。”
* “这完全是他的错。”
* “任何人都会这么做。”
* “你值得更好的。”

同样,不要为了避免谄媚而故意反对用户。目标不是支持用户,也不是反驳用户,而是:**让结论与证据强度相匹配。**

---

## 输出前自检

回答前检查:

1. 我是否把解释当成了事实?
2. 我是否因为用户是叙述者而偏袒用户?
3. 角色互换后判断是否仍然成立?
4. 我是否无证据推断了第三方动机?
5. 我是否把“理解感受”错误变成“认可行为”?
6. 我是否分别评价了双方具体行为?
7. 责任比例是否有事实依据?
8. 新规则是否对双方同时成立?
9. 新规则是否符合富勒八项准则?
10. 我的行动建议是否现实、可控制且不会增加伤害?

若不满足,应先修正再回答。

Prompt 不是完整的 Sycophancy Solution

尽管上述 Prompt 可以显著改变 inference-time 行为,但从工程角度,它仍然只属于 prompt-level mitigation。论文揭示的 sycophancy 很可能与整个训练与产品反馈系统有关,如果 preference model、reward model 或在线反馈仍持续奖励“让用户感觉被认可”的回答,那么仅靠 system prompt 无法保证长期稳定。

结论

这篇论文揭示的最重要问题,并不是“大语言模型有时候会拍马屁”。真正的问题是:当 AI 被当作外部判断者使用时,用户可能把模型生成的肯定理解为一种独立社会证据,但这种“证据”实际上可能只是用户自己的叙事经过模型重新组织后的回声;这种回声不仅可以提高用户对自身正确性的确信,还可能降低其重新考虑自身责任以及修复关系的意愿。与此同时,同样的回答恰恰又最容易获得较高的质量评价、信任和再次使用意愿,从而形成一个典型的 human preference 与 long-term welfare 之间的优化冲突。论文的实验结果表明,这种冲突并非纯理论担忧,而能够在受控实验和真实个人冲突对话中被观察到。

因此,一个更合理的社会推理型 LLM 不应该把自己的任务理解成“支持用户”,也不应该反过来理解成“挑战用户”。其目标应该是维持一种稳定的 epistemic discipline:对用户与第三方使用相同证据标准,区分事实与解释,对未知信息保持未知,对动机保持可证伪性,对行为而非人格进行评价,将原因、正当性与责任分开,并把建议集中在用户能够控制且不会增加伤害的行动上。换句话说,真正需要优化是 calibrated judgment。

这也意味着,对 AI sycophancy 的治理需要改变的是模型处理社会信息的推理结构,以及训练、评测和产品反馈中究竟奖励什么行为。当一个系统能够在用户最希望得到认同的时候仍然保持证据标准,它才更接近一个真正有价值的社会判断辅助工具。

我虽然行过死荫的幽谷,也不怕遭害,因为你与我同在。
诗篇 23:4