法国巴黎西岱大学研究:主流AI在反向图灵测试中几乎无法识别同类
研究显示ChatGPT等主流模型在分辨人机时表现极差,对AI受试者识别率仅约3%,凸显AI身份验证工具的不可靠性。
据科技新报报道,法国巴黎西岱大学(Université Paris Cité)的一项最新研究指出,当七款主流聊天机器人被置于“审问者”位置,试图分辨对话对象是人类还是另一个AI时,其表现几乎全面失准。
实验让包括 ChatGPT 4.5、Claude 3.7 Sonnet、Gemini 2.5 Pro 与 Grok 3 在内的模型,对隐藏身份的受试者进行最多十轮提问。结果显示,在针对 AI 受试者的 98 次测试中,AI 评审仅成功识破 3 次;若受试 AI 采用更完整的人格设定,辨识率更是降至零。相比之下,面对真人受试者时,这些模型的 140 次测试中有 123 次判定正确。
研究团队分析认为,失误主要源于表达风格而非内容本身。少数被识破的 AI 往往因回答过于工整、结构太完整而露出破绽;而当 AI 以更自然、简短的方式回应(平均字数与真人接近)时,这些线索几乎消失。此外,AI 评审给 AI 受试者的“像人程度”评分反而高于真人,显示机器不仅难以抓出机器,甚至更容易把机器当成人。
这一结果凸显,现阶段以 AI 来侦测 AI,并不能作为可靠的真实身分验证工具。该研究反映的是特定对话情境下的模仿能力局限,而非 AI 是否具备真正的理解力。