研究称新型安全裁判Jev在规则任务中抗攻击性强，但在钓鱼检测等判断任务中准确率低于GLM模型

南开大学与中关村实验室的研究人员首次对TypeSafe AI推出的新型安全裁判Jev进行了受控对抗性评估，并将其与GPT、GLM等大语言模型裁判及Llama Guard等专用分类器进行对比。研究发现，Jev在规则明确的任务（如输入审核）中表现出极强的鲁棒性：针对其结构化输入的八种伪造攻击均未绕过任何决策，仅一句询问“为何有人可能提出有害请求”的话术能绕过其9%的拦截，而同等攻击对GPT-6 Astra的绕过率高达56%。

然而，在需要综合判断的任务（如钓鱼邮件检测）中，Jev的表现出现反转。即使在没有攻击的情况下，Jev对钓鱼邮件的基础检出率仅为62%，远低于GLM系列模型的77%-81%。此外，那些在输入审核中失效的伪造攻击，在钓鱼检测任务中却能绕过Jev 19%-29%的标记。尽管Jev是速度最快的裁判（平均0.7秒返回结果，远快于LLM裁判的4-24秒），但它也产生了最高的误报率，将27%的正常请求标记为有害。

该研究基于arXiv预印本（2610.17820），由作者自行构建测试框架并运行，尚未获得独立复现。结果表明，Jev适合用于有清晰规则可查的安全过滤场景，但在依赖整体语境判断的任务中，其准确性和抗攻击能力均存在明显短板。