阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化1 分钟阅读DisconfirmAI 编辑部

Tufa Labs的tufazip仅用神经网络将1GB维基百科无损压缩至105.39MB

新AI文本压缩方法在大型文本压缩基准测试中创下纯神经预测器最佳纪录,但需巨大算力。

2026-11-21

Tufa Labs研究员Tommy He开发了“tufazip”,这是一种自学习AI Transformer模型,它将1GB的维基百科数据无损压缩至仅105.39MB。根据2026年11月19日发布的研究文章,这是大型文本压缩基准测试(Large Text Compression Benchmark)中所有仅使用神经网络作为唯一预测器的条目中取得的最小结果。排名高于它的所有条目都混合使用了Transformer和手工构建的模型。

该方法依赖于一个1.63亿参数的Transformer模型作为预测器。与传统的聊天机器人或云端AI不同,tufazip是一个独立的语言模型,在压缩过程中实时学习。训练分为两个阶段:离线预训练的起始模型(4.33MB)和在线学习阶段,其中完整模型预测每个标记并确定性地更新自身。总文件大小包括压缩文本、解包程序和起始模型,但不包括完全训练后的权重。

然而,计算成本极高。压缩或解压这个105.39MB的文件需要两块Nvidia B200 GPU,耗时约一周(压缩约7.3天,解压约7.5天)。这使得它与WinRAR等标准工具相比在实际应用中不切实际,将其定位严格为研究成就而非商业产品。

实验揭示了AI模型设计中有趣的权衡。例如,较小的4K词元分词器优于较大的8K和16K版本,且在此数据集上,1.88亿参数的模型略胜2.67亿参数的模型。将训练窗口从1500万标记扩大到3500万标记仅使有效载荷大小改善了1.21%,而计算成本增加了40%。这些发现表明,神经压缩中的优化涉及预测质量、模型大小和资源消耗之间的复杂平衡。

来源

  • tomshardware.comTom's Hardware↗
登录 / 注册
阅读研究雷达投资体系
带入研究 →