文档解析基准OmniParseBench审计：前两名统计上无法区分，排名随文档类型翻转

Datalab于2026年发布的OmniParseBench是一个开放文档解析基准，用16288条通过/不通过的小测试覆盖2937页文档，从扫描表单、手写到arXiv数学公式和密集表格。它公布了27个解析器的逐条判定结果，任何人都可以下载这些判定文件并重新计算排行榜。

一位开发者没有直接引用排行榜数字，而是把已发布的判定文件拉下来，用基准自己的评分函数重算了全部条目。重算确认了排行榜卡片上108个数值全部可以复现，但同时也暴露了三个值得注意的问题。

第一个问题：前两名实际上是平局。Datalab accurate与Gemini 3.8 Flash的headline均四舍五入至92.9，差距仅0.024个百分点。开发者用文档级bootstrap——即对2343份文档有放回地抽样2000次，每次重算headline——来估计排名的不确定性。结果发现，两者差距的95%置信区间从约负0.9到正0.9，跨越零。在每次抽样中，各自领先约一半的次数。诚实的读法是：无法区分。

为什么用文档级而不是测试级bootstrap？因为同一份文档上的测试倾向于一起通过或一起失败，逐条测试独立抽样会低估不确定性。这个选择本身是审计方法的关键一步。

第二个问题：排名随文档类型翻转。开发者按手写、极小字体、旋转、退化扫描、数学、表格、表单、多栏以及希腊文、中文、西里尔文、亚美尼亚文、老挝文等13个切片分别重算headline。总排名第一的Datalab accurate仅在3个切片中保持领先。Gemini 3.8 Flash在手写、数学和表单上领先；Claude Sonnet 5.5在旋转页面上领先；Mistral OCR在希腊文上领先。亚美尼亚文和老挝文切片分别只有6份和5份文档，开发者明确将其视为提示而非排名。

第三个问题：Datalab自己的发布数字与文件不一致。发布文章和博客给出Datalab accurate为92.7并排在Gemini之后，而文件中的实际值差距仅0.024个百分点——一个四舍五入后相同的平局。开发者逐条核对了发布声明，17项检查中13项成立，4项不成立（包括Datalab的两个排名数字、Indra OCR的复现差异和安慰剂检验的方向）。

还有一个有趣的发现被报告为一个标记而非证明。OmniParseBench的数据集卡片注明Gemini 3.8 Flash和Claude Sonnet 5.5参与了部分测试的创建和验证。开发者用双重差分检验问：这两个明星模型在由视觉模型修正过的102条测试上，是否比在其他测试上表现异常好？结果是在model_review切片上，两者的通过率下降幅度比其他解析器少约25个百分点，而人类审核安慰剂切片显示更小的同方向差距，model_panel切片则方向相反。开发者明确说明这只是一个标记，不构成证明。

实践教训：对任何基准排行榜，先确认你能否拿到逐条判定数据；拿到后用文档级重抽样估计不确定性，不要只看一个headline数字；按自己实际关心的文档类型切片重算排名；核对厂商自报数字与公开文件是否一致；锁定版本号和数据集commit，因为仓库会随解析器增加而变化。