马里兰大学等开发IdeaLens:从核心论点而非措辞检测AI,小幅润色文本误判率大幅降低
新工具IdeaLens通过剥离措辞仅分析核心论点来检测AI生成内容。在人类写作经AI小幅润色的测试中,其正确识别率为95%,远高于传统工具Pangram的44%。
美国马里兰大学、Google DeepMind与加拿大西门菲莎大学的研究人员开发了名为IdeaLens的新AI检测工具。与传统依赖词汇和句型痕迹的检测方法不同,IdeaLens先将文档剥离原始措辞,仅保留核心论点大纲,再判断这些想法出自人类还是机器。
据TechNews报道,团队使用约100万份已标记文档训练该模型。在完全由单一来源撰写的纯AI或纯人类文本上,IdeaLens对AI内容的识别准确率为91%,将人类写作误判为AI的比例仅为0.6%,但这一表现仍不及Pangram等成熟工具。
关键差异出现在混合场景。当人类写作经过AI小幅润饰时,IdeaLens能正确将95%的文件判定为人类所写,而Pangram的平均准确率仅为44%。反之,若AI依据人类详细大纲撰写,传统工具会将92%的内容标记为AI参与,而IdeaLens仅标记7%,因为它识别出想法源自人类。
研究人员指出,人类产生的想法通常包含具体细节、可查证来源及研究限制承认,而AI生成的想法往往笼统、含无法查证的数字或过度概括。尽管IdeaLens在特定场景下表现优异,但团队表示其对部分较新的AI模型判断仍显吃力,需进一步测试才能广泛用于期刊与课堂。