无需LLM摘要的树导航:长文档问答分层检索的匹配成本研究
该论文提出 NavTree,一种仅使用叶节点的分层检索器,在长文档问答中不依赖 LLM 生成摘要,而是用确定性平衡段树作为导航结构。在匹配成本评估中,NavTree 在分层检索器中表现最强,并在多跳问答上显著优于 BM25,且索引阶段零 LLM 调用。研究还发现,摘要树的主要收益来自导航而非摘要内容本身,摘要节点在多块预算下反而会挤占不同子树的叶节点。
技术方向 · 用外部知识约束模型输出的检索增强生成,含向量嵌入与重排序 · 共 478 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
该论文提出 NavTree,一种仅使用叶节点的分层检索器,在长文档问答中不依赖 LLM 生成摘要,而是用确定性平衡段树作为导航结构。在匹配成本评估中,NavTree 在分层检索器中表现最强,并在多跳问答上显著优于 BM25,且索引阶段零 LLM 调用。研究还发现,摘要树的主要收益来自导航而非摘要内容本身,摘要节点在多块预算下反而会挤占不同子树的叶节点。
该论文针对印度法律判决中的先例检索(IL-PCR)任务,实证评估了三种连续设计的检索系统。研究发现,结合修辞角色(事实、判决理由、先例、论点、法规)优于单独使用角色或全文检索,法规相似度不具区分性,而由LLM生成训练数据的法律蕴含重排序器在官方评估中远差于内部验证分数。作者提出采用查询不相交切分和冻结验证融合的新设计,最终四阶段流水线取得Micro F1 0
该论文提出 RAGFlip 方法,用于衡量检索器升级时在查询级别出现的负翻转(negative flips),即 BM25 原本能检索到相关段落的查询在替换检索器后失败的情况。研究在 Natural Questions、HotpotQA 和 FiQA 三个 BEIR 数据集上评估 BGE-large、E5-large-v2 和 SPLADE,发现所有替换检索
该论文提出零样本可视化(ZSV)任务,允许用户用自然语言指定概念轴,将文本语料映射到对应概念坐标上进行可视化探索。作者构建了基准,比较嵌入相似度、直接语义判断和条件似然估计三类打分方法,发现基于下一词概率的打分在语义忠实度、分数保真度和计算成本间取得最佳权衡。研究还发现离题文档存在组合情感偏差,并给出构建端到端ZSV基线的实践指南。
Simon Willison 在其博客中评论了 EmbeddingGemma 2 采用 Apache 2.0 许可证一事。他认为嵌入模型不应使用闭源、专有的托管模型,因为嵌入向量通常需要大量计算并长期存储,一旦供应商停止提供该模型,用户将被迫为重新计算数百万存量向量付费。他倾向于付费使用托管服务,同时保留在供应商停服时自行运行开放权重版本或更换供应商的能力。
Google DeepMind 发布 EmbeddingGemma 2,一款基于 Gemma 4 架构、采用 Apache 2.0 许可的开放轻量级多模态嵌入模型,参数量 7.4 亿,可在设备端运行。该模型将代码、图像、视频和音频统一到共享嵌入空间,支持 8K 上下文窗口,并通过 MRL 实现向量维度动态截断以节省存储。相比前代,其代码性能在 MTEB Co
Google 发布开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量,参数量为 7.4 亿。Google 称其在多模态嵌入基准上优于参数量两倍的竞品,且无需 API key 即可本地运行,浏览器中通过 WebGPU 每次查询约 20 至 70 毫秒,仅需约 191 MB 内存,并可将本地向量数据库存储减少最多
另有 1 家信源报道
Hugging Face Transformers 发布 v5.19.0,新增 Google 基于 Gemma 4 架构的多模态嵌入模型 EmbeddingGemma2,可将文本、图像、音频和视频编码到共享的 768 维向量空间。该版本还包含多项破坏性变更,如所有 MoE 模型在 output router logits=True 时返回路由 logits、
AWS 官方博客介绍如何用 Amazon Bedrock AgentCore、托管知识库和 Nova Sonic 语音模型为航空公司应用构建语音旅行助手。方案通过 MCP 协议连接后端服务,用 Strands Agents 框架和 Nova 2.5 Sonic 实现实时语音对话,并借助 Cognito、Lambda、DynamoDB 等托管服务实现按需扩展。
Google Research 发布 Google Earth AI 的 Population Dynamics Foundation Model(PDFM),将隐私保护的搜索趋势、人口流动、建成环境密度和环境决定因素压缩为按月的区位嵌入,无需任务微调即可接入现有流行病学模型。研究团队与西奈山、波士顿儿童医院、NYU、牛津大学等合作,在五个公共卫生场景中验证
该论文提出 FiCo(Find-then-Compute)方法,用于跨电子表格语料库的问答任务:先检索文档摘要并消歧相似工作簿,再对选中完整表格执行受限 SQL 计算。在 DataBench(80 个数据集、1810 个问题)上达到 76.2% 准确率,比强 TableRAG 基线高 9.9 个百分点,比前缀 RAG 高 63.4 个百分点;在 MiMoTa
该研究提出一个两阶段框架用于自动化ICD编码:第一阶段用多模态双编码器检索模型,通过门控融合整合结构化EHR数据与非结构化临床笔记,将患者就诊记录与ICD编码元数据对齐到共享嵌入空间,并用FAISS近似最近邻搜索输出top-k候选编码;第二阶段用基于LLM的重排序器对候选编码重新打分并给出临床相关解释。在MIMIC-III等基准数据集上,该方法相比多模态双融
AWS Machine Learning Blog 发布了一篇技术文章,介绍如何在 Amazon Bedrock Managed Knowledge Base 上结合 LangChain 实现 agentic retrieval(智能体检索)。文章对比了标准单次检索与智能体检索:后者会将多部分问题拆解为子查询、执行检索、判断证据是否充分,并在不足时再次检索,
MIT Technology Review 与 Neo4j 合作发布一份基于 300 位数据与 AI 高管调研的报告,指出企业 AI 智能体普遍缺乏对组织数据的上下文理解(知识),平均仅约 34% 的智能体项目能进入生产。报告发现知识能力强的“生产领先者”项目落地率可达 61%,数据碎片化(55% 提及)是扩展智能体知识访问的最大挑战。企业计划优先投资检索技
开发者 darkmaniac7 在 Hugging Face 发布了 BAAI/bge-small-en-v1.5 的 MNN fp16 格式转换版本,用于 TokForge 应用在 Android、Linux、iOS 上的端侧推理。该转换通过 MNNConvert 将源仓库的 ONNX 图重新序列化,使嵌入与 LLM 推理统一到单一 MNN 运行时,从而移
研究者提出 MARETopic,一种无需训练的基于排序原型的话题建模框架。该方法将文档嵌入投影到低维流形后构建排序列表,用贪心算法选出恰好 K 篇真实语料文档作为话题原型,其邻域覆盖整个语料。在两个类别最多的基准上,其 Purity 与 NMI 超过神经和聚类类话题模型,且无需梯度更新,在两个数据集上话题连贯性领先,另一变体运行速度快 1.7 至 1.9 倍
研究者基于模式生物数据库 dictyBase 构建了一个面向盘基网柄菌(Dictyostelium)的文献检索基准,包含策展人编写的生物查询、对应的 PubMed 文章及结构化基因注释。研究考察了交叉编码器重排序、基因感知查询扩展以及摘要与全文检索三种因素,发现重排序和基因感知查询扩展能选择性提升检索效果,全文分块在摘要缺失证据时显著提升召回与排序表现。数据
该研究分析了来自开源复合AI项目及匿名企业部署的150份生产事故报告,构建了涵盖检索、生成、工具、编排和集成五类共23种故障模式的分类体系。针对每类故障,作者提出韧性模式并通过受控故障注入实验测量效果:断路器减少89%级联传播,输出质量门在用户受影响前捕获73%的静默退化,组件隔离减少64%爆炸半径。采用三种以上韧性模式的系统相比无结构监控基线将平均恢复时间
该论文研究向量检索中查询编码器的可学习性问题。作者提出基于ranking SVM的方法评估文档索引的几何容量上限,并在BRIGHT、BEIR、LIMIT等20个数据集上测试多种预训练和微调查询编码器,发现几何容量很少成为瓶颈,但查询编码器即使微调后召回率也常低于50%甚至25%。理论上,作者构造了一个检索任务,证明存在完美召回的小型ReLU网络查询编码器,但
该论文提出 AdaSparse 自适应稀疏化方案,通过可学习的软 top-k、逐词阈值与 FLOPs 正则化协同优化,解决 Lion-SP 等 LLM 稀疏检索模型因 LLaMA-3 大词表导致向量过长的问题。在 MS MARCO 与 BEIR 上实验显示,查询和文档长度缩减 4-5 倍,检索延迟降低 3.8 倍,存储降低 4.2 倍,同时保持有竞争力的相关