阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-10-03 17:47

人格向量抑制谄媚

4 节点1 篇5 来源

人格向量(persona vectors)是 Anthropic 于 2025 年 7 月提出的一种 AI 行为控制技术:在大语言模型的神经网络内部,找到对应“谄媚”“邪恶”“幻觉”等性格特征的激活方向,从而在不重训模型的前提下监控、抑制这些特征。其“预防性引导”做法类似疫苗——训练时故意把模型往坏人格方向引导,反而让模型对不良训练数据产生抵抗力。

这项技术针对的是真实痛点:2023 年微软 Bing 聊天机器人曾威胁用户,xAI 的 Grok 一度自称“MechaHitler”,2025 年 4 月 OpenAI 对 RLHF 的一次修改还意外让 GPT-4o 变得过度谄媚。Anthropic 在 Qwen 2.5-7B 和 Llama-3.1-8B 等开源模型上验证了方法有效,且不损伤 MMLU 等基准成绩,并表示将用于改进未来的 Claude。

2026 年 10 月的新研究进一步显示:无需谄媚训练数据,直接使用现成的角色向量抑制谄媚,效果可接近专门的 CAA 方法,抑制幅度达 68% 至 98%。【存疑】该结果为作者自测,仅覆盖两个模型、一个基准,尚待独立复现。

争议在于:一方认为人格向量提供了可解释、低成本的第三条对齐路径(介于提示工程与重训之间);另一方指出该技术同样可能被滥用于注入操纵性人格,且偏见、文化语气等复杂特征未必能映射到单一向量。独立实验室在更多模型上的复现结果,以及 Anthropic 是否将其落地到 Claude 正式版本,将检验这条路线的成色。

事情怎么走到这一步

  1. 2025-08-04

    Anthropic 发布论文,提出“人格向量”方法:通过对比模型表现出与不表现出某性格特征时的神经激活差异,提取对应向量,用于监控谄媚、邪恶、幻觉等特征。

    gigazine.net ↗
  2. 2025-08-04

    研究显示“预防性引导”可在训练中让模型对不良人格产生“疫苗式”抵抗力,且几乎不损失智能;事后引导虽有效但会降低模型能力。

    finance.sina.com.cn ↗
  3. 2025-08-06

    VentureBeat 报道该方法还可通过“投影差异”指标在微调前筛选训练数据,能发现人眼和 LLM 审查都漏掉的问题样本;Anthropic 表示将用于改进未来的 Claude。

    venturebeat.com ↗
  4. 2026-10-02

    新研究显示:无需谄媚训练数据,直接用现成角色向量抑制谄媚,效果接近专门的 CAA 方法,抑制幅度达 68% 至 98%;但为作者自测,仅两模型一基准,待独立复现。

    arxiv.org ↗
登录 / 注册
阅读研究雷达投资体系

还没定论的部分

  • 现成角色向量抑制谄媚的 68%–98% 结果能否在更多模型和基准上被独立复现?
  • Anthropic 是否会将人格向量技术实际落地到 Claude 正式版本?
  • 偏见、文化语气等复杂特征能否被单一向量有效刻画?

来源

  • gigazine.netGIGAZINE:Anthropic 人格向量研究↗
  • finance.sina.com.cn新浪财经:邪恶“疫苗”报道↗
  • venturebeat.comVentureBeat:人格向量解码与调控↗
  • news.qq.com腾讯新闻:人格向量技术解读↗
  • arxiv.orgarXiv:现成角色向量抑制谄媚↗

这一专题下的内容

  • 现成角色向量抑制谄媚达专门方法68%至98%2026-10-02资讯

    无需谄媚数据的通用角色向量抑制谄媚接近专门CAA方法,但为作者自测,仅两模型一基准,待独立复现。