Qdrant 团队实测:代码嵌入模型 4B 压缩至 1 比特后,检索质量反超 0.6B 原始精度
Qdrant 团队评测 Papr 的代码专用嵌入模型 papr-embed-code-1,发现代码微调在未训练数据上平均提升约 0.03 nDCG@10,但更关键的结论是量化改变了选型逻辑:4B 模型经 1 比特 TurboQuant 压缩后,在七个代码任务上的检索分数高于 0.6B 模型的 float32 原始精度,同时内存占用仅为后者的十二分之一。该评测为厂商自测,语料以代码为主时适用。
Qdrant 团队对 Papr 发布的 papr-embed-code-1 代码嵌入模型进行了独立于模型卡片的评测。该模型基于 Qwen3-Embedding 在代码检索数据上继续训练,提供 0.6B 和 4B 两种规模,开放权重。评测的核心发现不是代码微调本身有效——在模型未训练过的代码任务(HumanEval、MBPP、FreshStack、WikiSQL)上,两个规模均优于基座模型,4B 平均提升 0.034 nDCG@10,0.6B 提升 0.026——而是量化改变了模型大小的选择逻辑。
4B 模型的向量维度为 2560,float32 存储每向量约 10 KB。使用 Qdrant 的 1 比特 TurboQuant 压缩后,每向量仅需 328 字节,缩小 31 倍。在七个代码检索任务上,1 比特压缩保留了 4B 模型 float32 分数的 99.7%(不重打分),配合 2 倍过采样重打分则保留全部精度。这意味着压缩后的 4B 模型在检索质量上高于未压缩的 0.6B(0.877 对 0.838 nDCG@10),而 RAM 占用仅为后者的十二分之一。作者据此建议:如果嵌入算力允许,选 4B 存 1 比特,开重打分,优先调高 hnsw_ef 而非增加量化位数。
这一结论有明确边界。在散文检索任务上,代码微调反而使两个规模均略低于基座模型(0.6B 降 0.003,4B 降 0.016),TREC-COVID 上 0.6B 甚至降了 0.065。BM25 混合检索在测试的查询类型(问题、描述、代码)上未能带来增益,等权重融合使所有任务下降 0.02 到 0.17,即使将 BM25 权重降至 0.1 也仅接近持平。整个评测由 Qdrant 团队在其自有基础设施上完成,属于厂商自测,尚未经独立复现。