Qdrant
2 节点1 篇2 来源
Qdrant 发布了一项针对长上下文嵌入模型 UltraBERT-Embed-150M 的基准测试，旨在验证“32K token 整篇文档向量”是否能取代传统的“分块检索”。【背景】随着大模型上下文窗口扩大，业界曾猜测分块（Chunking）将过时。然而，Qdrant 在 LongEmbed 和 MLDR 数据集上的实测显示，尽管整篇文档向量能完整读取 32K token，但在需要定位具体细节的任务（如多跳问答、摘要特定段落）中，512-token 的分块策略表现更优。混合检索并未稳定提升效果，反而在某些任务上导致性能下降。该研究指出，对于细节检索，分块仍是默认的最佳实践，而长上下文向量更适合整体主题匹配。
事情怎么走到这一步
Qdrant 工程师 Dylan Couzon 和 Anush 发布博客《UltraBERT Fits 32K Tokens in One Vector. RIP Chunking?》，介绍使用 DMIS Lab 的 UltraBERT-Embed-150M 模型进行对比测试的方法与初步结论。
qdrant.tech ↗中文媒体转载并总结该测试，强调在 20 万篇维基百科文章的大规模测试中，整篇文档向量在细节检索上仍逊于分块，且混合检索未能稳定改善结果。
aiagentnews.io ↗
还没定论的部分
- 在 FlashAttention 2 等优化下，整篇文档向量的嵌入耗时差距是否会显著缩小？
- 对于非英语或低资源语言，长上下文嵌入模型的表现是否同样不如分块策略？
- 如何设计更智能的路由机制，自动判断何时使用整篇向量，何时使用分块向量？