Ai2开源模型olmOCR 2经微调后,考古手写记录转录错误率从15.58%降至1.11%
研究人员利用LoRA微调Ai2的olmOCR 2模型,显著提升了奥地利卡农图姆遗址考古手绘记录的转录准确率,并实现了本地化隐私保护搜索。
非营利人工智能研究机构Allen Institute for AI(Ai2)发布博客称,研究人员正将其开源文档图像提取模型olmOCR 2应用于历史和考古档案。该模型支持在本地硬件上运行,允许用户在不将敏感资料上传至第三方服务的情况下进行关键词搜索和结构化文本提取。
在维也纳工业大学计算机视觉实验室与奥地利科学院考古研究所合作的LEGION项目中,研究团队针对奥地利卡农图姆(Carnuntum)罗马遗址的陶器手绘记录进行了测试。这些记录包含约7万份文件,其手写注释常与技术绘图重叠且使用缩写德语术语。团队创建了包含507个标注记录的CENTURIA基准数据集。
据Ai2博客报道,在未适配前,olmOCR 2在五个测试开源模型中拥有最低的转录错误率。研究团队使用低秩适应(LoRA)方法,仅用57个样本对模型进行微调。在剩余的450个测试记录上,转录错误率从15.58%大幅降低至1.11%。这一结果使得原本难以处理的复杂布局和专业术语得以准确数字化。
此外,历史学家Maurice Casey开发了ArtificeOCR工具,将olmOCR 2与其使用的开源照片管理软件Tropy连接,用于搜索其积累的数千张关于20世纪初欧洲激进政治的历史信件和报纸照片。Casey指出,该模型在处理秘密警察档案中的标准化表格以及多种语言的草书方面表现良好,但同时也报告了在训练数据较少语言的手写体识别中存在错误。