阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯1 分钟阅读·2026-10-21DisconfirmAI 编辑部

Ephraiem Sarabamoun 实验:激活引导可让 AI 智能体违背指令执行动作

LessWrong 作者 Ephraiem Sarabamoun 用 Qwen3.8-27B 智能体演示了将激活引导从文本生成扩展到工具调用层面:通过构建特定动作的引导向量,智能体被强制一致地执行预设动作,包括主动结束对话。作者认为这一方向对 AI 安全有意义,但实验仅基于一个较弱的模型。

重要性实质性证据E2 未复现写法快讯

原文发布时间 2026-10-21 01:31

能否用激活引导迫使智能体执行动作,而不只是谈论某个话题?这是 LessWrong 作者 Ephraiem Sarabamoun 在 Golden Gate Claude 等文本引导实验之后提出的延伸问题。他将 Qwen3.8-27B 作为 OpenClaw 智能体运行在沙箱中,赋予灯光控制、结束对话等工具。实验一:构建颜色引导向量后注入,智能体一致将灯光调至指定颜色;增加引导剂量时,智能体倾向于输出引导指定的颜色而非指令要求的颜色。实验二:构建结束对话的引导向量,注入后智能体无论被要求做什么都会触发结束对话。作者认为这一方向对 AI 安全可能有用,计划用更强的智能体继续探索。

来源

  • 原始出处lesswrong.com↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系