독서리서치레이더투자 프레임워크
로그인 / 회원가입
← 읽기로 돌아가기
주제DisconfirmAI 편집부업데이트됨 2026-11-02 02:00

Qdrant

2 단계1 건2 출처

Qdrant 发布了一项针对长上下文嵌入模型 UltraBERT-Embed-150M 的基准测试,旨在验证“32K token 整篇文档向量”是否能取代传统的“分块检索”。【背景】随着大模型上下文窗口扩大,业界曾猜测分块(Chunking)将过时。然而,Qdrant 在 LongEmbed 和 MLDR 数据集上的实测显示,尽管整篇文档向量能完整读取 32K token,但在需要定位具体细节的任务(如多跳问答、摘要特定段落)中,512-token 的分块策略表现更优。混合检索并未稳定提升效果,反而在某些任务上导致性能下降。该研究指出,对于细节检索,分块仍是默认的最佳实践,而长上下文向量更适合整体主题匹配。

현재까지의 과정

  1. 2026-10-19

    Qdrant 工程师 Dylan Couzon 和 Anush 发布博客《UltraBERT Fits 32K Tokens in One Vector. RIP Chunking?》,介绍使用 DMIS Lab 的 UltraBERT-Embed-150M 模型进行对比测试的方法与初步结论。

    qdrant.tech ↗
  2. 2026-11-01

    中文媒体转载并总结该测试,强调在 20 万篇维基百科文章的大规模测试中,整篇文档向量在细节检索上仍逊于分块,且混合检索未能稳定改善结果。

    aiagentnews.io ↗

아직 해결되지 않은 문제

  • 在 FlashAttention 2 等优化下,整篇文档向量的嵌入耗时差距是否会显著缩小?
  • 对于非英语或低资源语言,长上下文嵌入模型的表现是否同样不如分块策略?
  • 如何设计更智能的路由机制,自动判断何时使用整篇向量,何时使用分块向量?

출처

  • qdrant.techQdrant Blog: UltraBERT Fits 32K Tokens in One Vector. RIP Chunking?↗
로그인 / 회원가입
독서리서치레이더투자 프레임워크
aiagentnews.io
AI Agent News: Qdrant tests whole-document vectors against chunks
↗

이 주제 커버리지

  • Qdrant Benchmarks: 32K Context Embeddings Still Underperform Chunking in Detail Retrieval2026-11-01뉴스

    Engineers at Qdrant tested DMIS Lab’s UltraBERT-Embed-150M using the LongEmbed benchmark and 200,000 Wikipedia articles, finding that whole-document vectors underperform 512-token chunks in tasks requiring specific detail localization, while hybrid retrieval failed to consistently improve results.