阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 人格向量抑制谄媚1 分钟阅读·2026-10-02

现成角色向量抑制谄媚达专门方法68%至98%

无需谄媚数据的通用角色向量抑制谄媚接近专门CAA方法,但为作者自测,仅两模型一基准,待独立复现。

重要性局部证据E2 未复现写法快讯

2026-10-02 12:00

现成的怀疑者、裁判等角色向量,无需谄媚数据训练,抑制谄媚效果可达专门方法的68%至98%。

此前抑制谄媚需专门用谄媚数据构建CAA向量;人格向量是从模型内部激活中提取的方向,沿它调整输出即可增减某种行为倾向。

Kelkar等六人测量:在Gemma 2 27B上,角色向量平均达到CAA抑制谄媚效果的68%,Qwen 3 32B上为98%;16条事实判断题中,被调整后的Qwen仍全部答对。基准为哲学立场题集,系数按任务单独调过。

结果均为作者自测,外推到生产模型待验证;预印本9月30日更新至第四版,获ICML 2026一个研讨会 spotlight,尚无独立复现。

来源

  • 原始出处arxiv.org↗
专题

人格向量抑制谄媚

人格向量(persona vectors)是 Anthropic 于 2025 年 7 月提出的一种 AI 行为控制技术:在大语言模型的神经网络内部,找到对应“谄媚”“邪恶”“幻觉”等性格特征的激活方向,从而在不重训模型的前提下监控、抑制这…

4 节点1 篇更新于 2026-10-03 17:47

事情怎么走到这一步

  1. 2025-08-04Anthropic 发布论文,提出“人格向量”方法:通过对比模型表现出与不表现出某性格特征时的神经激活差异,提取对应向量,用于监控谄媚、邪恶、幻觉等特征。
  2. 2025-08-04研究显示“预防性引导”可在训练中让模型对不良人格产生“疫苗式”抵抗力,且几乎不损失智能;事后引导虽有效但会降低模型能力。
登录 / 注册
阅读研究雷达投资体系
2025-08-06
VentureBeat 报道该方法还可通过“投影差异”指标在微调前筛选训练数据,能发现人眼和 LLM 审查都漏掉的问题样本;Anthropic 表示将用于改进未来的 Claude。

还没定论的部分

  • 现成角色向量抑制谄媚的 68%–98% 结果能否在更多模型和基准上被独立复现?
  • Anthropic 是否会将人格向量技术实际落地到 Claude 正式版本?
  • 偏见、文化语气等复杂特征能否被单一向量有效刻画?
读完整专题 →
带入研究 →