向量数据库公司Qdrant：非对称量化让单向量PDF检索每页内存降至64字节，质量保留99.2%
Qdrant博客作者Evgeniya Sukhodolskaya在ViDoRe V3五个公开英文语料库上测试了Cohere Embed 5 Pro的单dense向量检索能力，发现其排序质量超过多个late-interaction模型。团队进一步将Matryoshka维度截断、1-bit文档量化与8-bit非对称查询量化叠加，配合top-20完整向量重排序，实现每页64字节RAM开销下保留99.2%排序质量。
搜索PDF页面图像时，Qdrant团队此前通常建议使用late-interaction视觉模型（如ColPali、ColQwen），为每个图像块保留一个向量，以避免OCR提取丢失版面中词语之间的关系。但late-interaction每页产生约一千个向量，且其MaxSim相似度无法直接使用HNSW索引，在十亿级数据上扩展困难。团队抱着好奇的心态测试了Cohere Embed 5 Pro——一个用单个dense向量表示整页PDF图像的模型——在ViDoRe V3的五个公开英文语料库（计算机科学教材、财务报告、欧盟劳工报告、美国空军技术手册、美国FDA药品文档，共12969页图像和1489个英文问题）上的表现，结果发现其nDCG@10超过了多个late-interaction模型。
团队随即探索如何在生产环境中把这个发现变成可扩展的方案。Embed 5默认输出2048维向量，float32存储每页8KB。Qdrant的方法是把三个压缩手段叠加：首先利用Embed 5支持的Matryoshka表示学习（MRL），只取向量前512个维度而非全部2048维；然后对文档向量做1-bit二值量化，只保留每个维度是否大于零的符号；关键一步是非对称量化——查询向量保持8-bit精度，而文档向量只用1-bit。直觉在于：当维度被截到512时，1-bit的等权重符号计数变得粗糙，一个刚大于零的维度和一个很大的正值获得相同权重；查询端保留幅度信息能让重要维度在打分时获得更大权重。检索时用压缩向量找前20个候选，再用磁盘上的完整float32向量重新排序。
最终配方是512维、1-bit文档、8-bit查询加top-20重排序，每页在RAM中只占64字节，是完整float32向量8KB的1/128，排序质量保留99.2%。团队算了一笔账：一千万页PDF，ColPali的float32向量需要约4.8TB，完整Embed 5需要76GB，而这个配方只需610MB RAM。不过团队也标注了边界：Embed 5的训练数据未公开，他们写道
我们可能不小心在训练集上测试了，但如果没有的话，那真的很厉害
。此外，610MB是起始RAM，重排序时从磁盘读取的完整向量也会逐渐填充OS页面缓存；配方在磁盘上仍保留约95GB的完整和截断float向量。
团队还测试了Cohere Rerank 5对OCR文本检索管道的增益：用Embed 5 Pro嵌入ViDoRe V3的OCR文本搜索后，再用Rerank 5 Pro重排top 20页面，五个语料库的平均nDCG@10从66.8升至73.2；当文本搜索使用64字节配方时，同样从66.2升至71.7。