阅读研究雷达投资体系AI公司权威资料
登录 / 注册
← 返回阅读
资讯实质变化1 分钟阅读DisconfirmAI 编辑部

Qdrant 实测:32K 上下文嵌入在细节检索上仍逊于分块

Qdrant 工程师用 LongEmbed 基准和 20 万篇维基百科文章测试 DMIS Lab 的 UltraBERT-Embed-150M,发现整篇文档向量在需要定位具体细节的任务上表现不如 512-token 分块,混合检索也未能稳定改善结果。

2026-10-19 08:00

Qdrant 工程团队用 DMIS Lab 的 UltraBERT-Embed-150M 测试了一个实际问题:当嵌入模型能处理 32K token 输入时,检索管道还需要分块吗?他们在 LongEmbed 基准的五项任务和 MLDR 的 20 万篇维基百科文章上,将整篇文档的单一 768 维向量与 512-token 分块逐段对比。

结果取决于查询类型。需要定位具体细节的任务——多跳问答、会议摘要、单句检索、大规模文章匹配——分块全面占优:Needle 任务在 32K token 时整篇向量仅 30% 命中正确文章,512-token 分块达到 56%;MLDR 上分块 nDCG@10 为 0.683,整篇向量仅 0.509。整篇向量只在 SummScreenFD(查询描述整个剧集)上略胜。混合检索同时使用整篇向量和分块向量,并未稳定改善结果,在多数任务上反而不如纯分块。

Qdrant 的结论是:分块仍是细节检索的起点,长上下文向量更适合主题级粗筛。1-bit TurboQuant 压缩将 143 万分块向量从约 4 GB 降至 140 MB,使分块方案的存储成本不再是障碍。所有数据为 Qdrant 的自测结果,未经独立复现,且仅覆盖英文文档;嵌入耗时在 NVIDIA L4 上测量。

来源

  • qdrant.tech↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系AI公司权威资料