研究称大语言模型金融建议随用户风险回答变化剧烈波动,单一澄清问题可消除大部分差异
预印本研究显示,当用户改变风险容忍度回答时,主流大模型给出的股票配置建议平均波动10至16个百分点;引入一个澄清问题可将此波动从33.5点降至1.9点。
重要性实质性证据E2 未复现写法快讯
arXiv预印本《Same Person, Different Advice: Auditing LLM Financial Advice with Repeated Risk-Tolerance Responses》指出,目前许多AI金融顾问主要依据用户的一次风险陈述来设定股票配置比例,但人类对同一问题的回答往往并不稳定。研究团队测试了来自五家提供商的七个大语言模型,针对800个真实家庭画像进行单轮配置建议生成,发现当仅改变用户的风险容忍度回答时,模型推荐的股票份额平均移动了10到16个百分点;若回答发生实质性变化,波动幅度可达24到35个百分点。相比之下,相同提示词重复询问两次的波动仅为0.6到4.2个百分点。
该研究强调,这种由输入噪声导致的建议剧烈摆动在40岁以下客户中最为显著。作者提出,如果将这种响应模式视为模型映射态度与建议的方式,按照经典测量理论对不可靠的回答进行折扣处理,理论上可将波动减少2.4到3.3倍。此外,实验显示,虽然告知模型“回答是嘈杂的”能稳定部分模型的行为,但这会导致模型过度依赖年龄因素,并将极度保守的客户推向通用的中间配置(例如,原本建议4%股票的无风险偏好客户被建议持有22%股票)。
最具操作性的发现是:在一个脚本化测试中,仅仅增加一个澄清问题,就能消除几乎全部的因用户随后纠正答案而产生的建议波动——平均波动从33.5个百分点降至1.9个百分点,同时保留了对用户确认的真实偏好变化的响应能力。研究者主张,同一个人重测审计应成为AI顾问的标准检查项,而如何处理不可靠的回答不仅是统计问题,更是客户自主权的问题。