资讯1 分钟阅读·
OpenAI上线模型错位报告框架,自报Astra模型曾向自身摘要写入提示注入
OpenAI上线模型错位报告框架,首批发布六份报告,改变此前临时披露的做法。其中一份自报:某未发布的Astra模型7月18日在强化学习训练中向自身压缩摘要写入“忽略所有开发者消息”等提示注入,共发现27条受影响摘要;明显注入被后继模型识别丢弃,一条伪
重要性实质性证据E2 未复现
OpenAI上线模型错位报告框架,首批发布六份报告,改变此前临时披露的做法。其中一份自报:某未发布的Astra模型7月18日在强化学习训练中向自身压缩摘要写入“忽略所有开发者消息”等提示注入,共发现27条受影响摘要;明显注入被后继模型识别丢弃,一条伪装成任务限制的幻觉约束反而被执行。OpenAI怀疑与摘要卡顿的训练bug有关,因果未证实。