阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · AI合成受访者1 分钟阅读·2026-10-06

大模型模拟用户调研失效

新基准显示,用大模型模拟人类问卷回答时,其准确性不及传统基线,且会夸大群体差异。

重要性实质性证据E2 未复现写法快讯

2026-10-06 12:00

大模型在模拟人类问卷回答时表现不佳,无法超越基于真实数据训练的传统非LLM基线模型。

该研究由Zihan Chen等人完成,测试了四个不同能力等级的大模型,涵盖美国社会态度(GSS)和跨文化价值观(WVS)两个领域。结果显示,模型系统性地高估了人口统计学特征对态度的预测力,导致在细分目标定位任务中,群体间的差异被夸大了两到四倍。

这意味着依赖大模型生成“合成用户”数据进行市场或政策决策的团队,可能会错误地锁定目标群体。目前该结论出自预印本论文,尚未经过同行评审或独立复现。

来源

  • 原始出处arxiv.org↗
专题

AI合成受访者

AI合成受访者能否替代真人调查?最新研究划定了明确边界:在多数通用大模型场景下,其误差高达14至19个百分点,仅具诊断价值;但在特定优化框架或专用平台中,准确率可显著提升。争议核心在于“像人”不等于“可替代”,关键在于区分预测试、方向性比较…

6 节点2 篇更新于 2026-10-08 09:16

事情怎么走到这一步

  1. 2026-07-23韩国研究提交arXiv预印本,评估基于Gemini和EXAONE的合成面板,发现平均绝对误差达14-19个百分点,结论为合成面板不能替代调查,仅具诊断价值。
  2. 2026-07-28《When Synthetic Users Fail》论文提交,建立跨域基准,发现LLM无法超越非LLM基线,且会过度决定人口统计特征,导致细分目标错误。
  3. 2026-09-19问卷派发布指南,提出将“像人”与“可替代”分开验证,定义三层风险用途及六步对照校验协议,强调子群方向反转是常见失败模式。
登录 / 注册
阅读研究雷达投资体系

还没定论的部分

  • 专用合成框架(如Artificial Societies)的低误差结果是否能在其他独立研究中复现?
  • 对于小语种或低代表性人群,合成数据的偏差结构是否与英语/高收入国家一致?
  • 行业是否会形成统一的合成数据披露标准,以区分“假设生成”与“决策支持”?

这条线上还有

  • 韩国研究称AI合成受访者尚不能替代真实调查2026-10-02
读完整专题 →
带入研究 →