先处理再检索:探究视觉语言模型模态差距的起源
该论文研究视觉语言模型(VLM)中模态差距的成因,发现嵌入层文本token的语义密度远低于视觉token,导致模型早期层优先处理文本表征、将视觉信息整合推迟到中后层。作者通过机制分析,将视觉token位置替换为语义最近的文本token后,早期层对这些位置的注意力增强,表明初始语义密度差异影响跨模态注意力分配。研究为缓解模态差距、改进VLM多模态推理提供了机制
技术方向 · 用外部知识约束模型输出的检索增强生成,含向量嵌入与重排序 · 共 478 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
该论文研究视觉语言模型(VLM)中模态差距的成因,发现嵌入层文本token的语义密度远低于视觉token,导致模型早期层优先处理文本表征、将视觉信息整合推迟到中后层。作者通过机制分析,将视觉token位置替换为语义最近的文本token后,早期层对这些位置的注意力增强,表明初始语义密度差异影响跨模态注意力分配。研究为缓解模态差距、改进VLM多模态推理提供了机制
该论文提出一种基于LLM的特征提取方法,将客户评论等非结构化数据通过向量嵌入和LLM生成的评估标准转化为定量特征,并融入基于Hadi-Vencheh模型的多准则库存分类(MCIC)框架。实验显示,加入客户情感信号后库存分类出现可测量的重分类效果,表明非结构化数据可增强库存优先级排序。
腾讯(Yuanbao 团队)提出 Yuanbao-Reranker,基于 Qwen3 构建 0.6B、4B、8B 三档通用稠密重排序模型。方法上结合答案优先与查询类型引导的文档接地合成、三阶段数据筛选,并用教师分数间隔采样难/中/易负例,构造 275 万条 1:3 排序组;训练时联合优化逐点交叉熵与有界最小间隔 hinge 目标,支持跨规模与同规模蒸馏及逐层
AWS 宣布 Amazon Bedrock Managed Knowledge Base 通过 AgenticRetrieveStream 接口支持单次 RAG 和仅检索请求,并将 maxAgentIteration 范围扩展至 0-5。开发者可用同一 API 按请求选择仅检索、单次 RAG 或代理式多轮检索三种模式,从而在简单查询上降低延迟和模型调用成本,
AWS 机器学习博客发布了一篇技术文章,介绍基于 Amazon Bedrock AgentCore 的“可插拔 Agentic AI 框架”,这是一个面向企业多智能体应用、分为七层的可组合参考架构。文章指出,多数 Agentic AI 项目卡在从原型到生产之间,问题不在模型本身,而在于每个团队都要重复搭建路由、护栏和可观测性等基础组件。该架构按数据与知识、模
Haystack 发布 v3.5.0-rc1,新增三个基于 OpenAI Decisions API 的组件,用于文本路由、图像路由和文档分类,无需编写提示词即可完成分类与分流。Agent 新增 StructuredOutputHook,可按 Pydantic 模型或 JSON Schema 校验最终回复并在失败时重试,同时引入 StepBudgetRemi
该论文提出一种混合 RAG 框架,将知识图谱的结构化推理与稠密向量检索的语义覆盖能力相结合,并采用基于 transformer 的摘要与语义分块多阶段流水线来提升长文档的上下文保留。系统在推理时优先进行图遍历,必要时回退到向量检索。在 MultiHop-RAG 数据集上的评估显示,该方法优于单独的向量或图基线,在复杂查询上取得更高的 Exact Match
Open WebUI 发布 v0.13.1,新增将 Claude Code、Codex、Pi 等编码智能体作为模型接入模型选择器的能力,并推出桌面伴侣应用 Tether,可将本地电脑接入 Open WebUI,让模型和智能体直接操作真实文件与工具。该版本还通过提示缓存优化大幅降低工具调用对话成本,新增由评审模型自动放行工具调用的 Auto 权限模式,并带来多
Tiger Data 发布开源 PostgreSQL 扩展 pg vectorsearch(alpha 版),其 PRISM 索引采用分区与压缩而非图结构,在 1 亿向量基准中建索引耗时 1 小时 40 分、内存 128GB,而 pgvector 的 HNSW 需 42 小时、512GB。该扩展兼容现有 pgvector 列,可减少独立向量库的基础设施需求,
Quarkus LangChain4j 发布 1.15.0 版本,升级至 Quarkus 3.40 和 LangChain4j 1.22.0,并支持 DecisionModel。该版本移除 MCP 客户端旧版 HTTP/SSE 传输、重命名 JitLLM 扩展、修复 MongoDB 聊天记忆存储与 Redis 存储搜索问题,还修复了 RedisFilterM
AWS 团队为北美分拣中心(NASC)规划团队构建了一个无服务器的 MCP 服务器,部署在 Amazon ECS Fargate 上,作为 AI 代理与企业数据湖之间的集中式网关。该方案通过 JSON 元数据文件即可接入新数据集,无需为每个数据集编写集成代码,并在 MCP 服务器层集中实施权限控制。这解决了多代理重复集成、权限分散和数据集接入耗时数天的问题,
Taxbit 是一家数字资产税务合规平台,其在 Amazon Bedrock AgentCore 上构建了内嵌于仪表盘的 AI 助手 Taxbit Assist,用于帮助合规团队查找产品与流程答案。该助手强调答案有引用来源、按用户角色与组织权限过滤、不做税务建议,并通过地理感知推理满足数据驻留要求。Taxbit 称超过 55% 的用户在提问后 24 小时内会
RAGFlow 发布 v1.0.0 正式版,汇总了从 rc3 到正式版的数十项变更,包括新增 Wally 模型提供商、AnySearch 网页搜索提供商、Vastbase G100 元数据库支持,以及大量 PDF 解析、分块、Agent、模型接入和 API 的修复与性能优化。该版本标志着 RAGFlow 进入 1.0 阶段,提升了检索增强生成平台的稳定性与集
该论文提出 CacheGraft 框架,将原本用于多智能体实时通信的 KV 缓存翻译技术迁移到检索增强生成(RAG)场景。方法是在离线索引阶段,用 4B 的 Qwen3-4B-Base 作为 sharer 模型、0.6B 的 Qwen3-0.6B 作为 receiver 模型,通过 C2C 融合器把大模型的 KV 缓存融合进小模型的缓存空间,查询时只需部署小
芬兰坦佩雷大学、于韦斯屈莱大学及Aimbition公司的研究者提出TimeArch,一种面向软件架构设计的多智能体方法,将架构设计组织为需求定义、架构设计、验证与保障、交付与演进四个受治理的生命周期阶段,并结合基于智能体的推理与检索增强 grounding。该方法旨在填补GenAI编码工作流中从需求到代码之间缺失的架构层,提升可追溯性、验证与治理能力;作者通
佐治亚理工学院 DS@GT ARC 团队参加 CLEF 2026 CheckThat! Lab Task 3 事实核查文章生成任务,构建了一个四阶段流水线:清洗噪声证据、检索并聚类相关来源、以原始核查结论为条件驱动 Llama-3.1-8B-Instruct 生成文章、通过确定性后处理恢复行内引用。该系统在 9 支队伍中排名第 3,平均得分 0.428,显著
该论文提出一种在嵌入模型训练时于输入前添加可训练[DUMP]前缀令牌的方法,在不改变模型架构、池化策略和对比检索损失的前提下,减少注意力汇等残差令牌级信息对检索嵌入的干扰。在六个嵌入模型上的实验显示,标准检索基准平均相对提升2.46%,长上下文检索场景提升2.41%。分析表明前缀令牌改变了低信息令牌的注意力模式,是一种轻量即插即用的检索表示改进方案。
前飞书 CMO 孙峰创办的 AI 情绪科技品牌 Ora-Orb 完成累计数千万元融资,由梅花创投领投,并启动目标投后估值 2 亿元的新一轮融资。公司主打桌面级 AI 情绪陪伴终端,由水晶球硬件 Orb 与 IP 形象 Ora 组成,定价 365 美元,主攻北美 Z 世代女性市场,计划 2027 年 1 月 CES 亮相后登陆 Kickstarter 众筹。产
Cactus-Compute 在 Hugging Face 发布端侧模型 Needle 3,面向工具调用、结构化抽取和文本嵌入,采用 Apache-2.0 许可。该模型通过 cactus-compute Python 包分发,首次使用时自动下载并缓存引擎与权重,仓库提供 needle3.cact 和 safetensors 检查点,运行时二进制位于 Cact
AWS 宣布 Amazon Bedrock AgentCore 上的 Web Answer 正式可用,开发者通过单次工具调用即可获得带来源引用的合成答案,无需自行搭建搜索、检索、合成与引用提取流水线。该功能由 AgentCore Gateway 以托管连接器形式提供,支持并行搜索、事实核验与不足时重试,并以 MCP 工具结果返回。文章还对比了 Web Ans