Qdrant 实测:32K 上下文嵌入在细节检索上仍逊于分块
Qdrant 工程师用 LongEmbed 基准和 20 万篇维基百科文章测试 DMIS Lab 的 UltraBERT-Embed-150M,发现整篇文档向量在需要定位具体细节的任务上表现不如 512-token 分块,混合检索也未能稳定改善结果。
Qdrant 工程团队用 DMIS Lab 的 UltraBERT-Embed-150M 测试了一个实际问题:当嵌入模型能处理 32K token 输入时,检索管道还需要分块吗?他们在 LongEmbed 基准的五项任务和 MLDR 的 20 万篇维基百科文章上,将整篇文档的单一 768 维向量与 512-token 分块逐段对比。
结果取决于查询类型。需要定位具体细节的任务——多跳问答、会议摘要、单句检索、大规模文章匹配——分块全面占优:Needle 任务在 32K token 时整篇向量仅 30% 命中正确文章,512-token 分块达到 56%;MLDR 上分块 nDCG@10 为 0.683,整篇向量仅 0.509。整篇向量只在 SummScreenFD(查询描述整个剧集)上略胜。混合检索同时使用整篇向量和分块向量,并未稳定改善结果,在多数任务上反而不如纯分块。
Qdrant 的结论是:分块仍是细节检索的起点,长上下文向量更适合主题级粗筛。1-bit TurboQuant 压缩将 143 万分块向量从约 4 GB 降至 140 MB,使分块方案的存储成本不再是障碍。所有数据为 Qdrant 的自测结果,未经独立复现,且仅覆盖英文文档;嵌入耗时在 NVIDIA L4 上测量。