资讯1 分钟阅读·
研究发现:AI助手自主决定介入时机时准确率骤降
新基准揭示主动AI助手的核心瓶颈在于时机判断与内容检索同等关键,前沿模型自主决定何时介入时表现大幅下滑。
重要性实质性证据E2 未复现写法快讯
arXiv预印本《ProPerAgent: Toward Memory-Driven Proactive Assistance》提出ProPerMem基准,测试AI助手基于长期个人记忆进行主动干预的能力。研究发现,当GPT-5.3-Chat被要求在正确的时间窗口内使用给定证据时,准确率达96%;但当其必须自行决定介入时机时,准确率暴跌至38%。即使结合检索增强生成,所有基线模型的最高表现也不超过15%。
该结果说明,在主动助手场景中,“说什么”和“何时说”是两个独立且同等致命的瓶颈。团队据此开发ProPerAgent框架,通过图组织记忆存储过滤信息并控制中断时机,使Qwen3.8-27B和GPT-5.3-Chat的严格准确率分别提升至37.5%和38%,强化学习后训练进一步达到42.4%。此为作者自测结果,尚未获独立复现。