阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · AI合成受访者1 分钟阅读·2026-10-02

韩国研究称AI合成受访者尚不能替代真实调查

同行评审测得合成受访者误差达14至19个百分点,只能作诊断用途,替代问卷为时尚早。

重要性局部证据E3 可检验写法快讯

2026-10-02 12:00

韩国研究团队在IEEE Access发表验证:用大模型人格模拟受访者,误差大到不能替代真实问卷。

研究让Gemini 3.5 Flash和EXAONE各生成约8,000个韩国人格,回答8项数字与AI服务使用问题,再与韩国媒体面板调查的加权估计对比。整体平均绝对误差为14至19个百分点,分组误差达14至18个百分点,且两个模型的偏差模式不同。

即使用30%真实数据做校准,把误差降到约5个百分点,直接用这部分真实数据估计反而更准(3.6个百分点)。作者结论是合成面板只能作诊断工具,不能当调查替代品。

来源

  • 原始出处arxiv.org↗
专题

AI合成受访者

AI合成受访者能否替代真人调查?最新研究划定了明确边界:在多数通用大模型场景下,其误差高达14至19个百分点,仅具诊断价值;但在特定优化框架或专用平台中,准确率可显著提升。争议核心在于“像人”不等于“可替代”,关键在于区分预测试、方向性比较…

6 节点2 篇更新于 2026-10-08 09:16

事情怎么走到这一步

  1. 2026-07-23韩国研究提交arXiv预印本,评估基于Gemini和EXAONE的合成面板,发现平均绝对误差达14-19个百分点,结论为合成面板不能替代调查,仅具诊断价值。
  2. 2026-07-28《When Synthetic Users Fail》论文提交,建立跨域基准,发现LLM无法超越非LLM基线,且会过度决定人口统计特征,导致细分目标错误。
  3. 2026-09-19
登录 / 注册
阅读研究雷达投资体系
问卷派发布指南,提出将“像人”与“可替代”分开验证,定义三层风险用途及六步对照校验协议,强调子群方向反转是常见失败模式。

还没定论的部分

  • 专用合成框架(如Artificial Societies)的低误差结果是否能在其他独立研究中复现?
  • 对于小语种或低代表性人群,合成数据的偏差结构是否与英语/高收入国家一致?
  • 行业是否会形成统一的合成数据披露标准,以区分“假设生成”与“决策支持”?

这条线上还有

  • 大模型模拟用户调研失效2026-10-06
读完整专题 →
带入研究 →