纯语音Personal Agent Orilo发布:双层架构实现低延迟对话
量子位报道了一款名为Orilo的纯语音Personal Agent产品,由百川智能联合创始人焦可的团队打造。该产品采用Voice-first路线,聚焦早晨信息处理场景,通过前端轻量语音模型与后端高推理Agent的双层架构实现低延迟对话,在Full-Duplex-Bench测评中打断后重新开口仅需1.08秒。文章认为其交互形态接近乔布斯对Siri的构想,但当前
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3294 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
量子位报道了一款名为Orilo的纯语音Personal Agent产品,由百川智能联合创始人焦可的团队打造。该产品采用Voice-first路线,聚焦早晨信息处理场景,通过前端轻量语音模型与后端高推理Agent的双层架构实现低延迟对话,在Full-Duplex-Bench测评中打断后重新开口仅需1.08秒。文章认为其交互形态接近乔布斯对Siri的构想,但当前
上海交通大学 Deng Lab 提出 Wave Forcing(WF),一种面向流式长视频生成的训练与执行框架,通过分块因果注意力、错峰去噪与缓存刷新调度,以及三阶段训练流程,实现连续长视频输出。在 Wan2.1-T2V-1.3B 上,5 步 WF 质量与 Rolling Forcing 相当,100 秒视频的 Dynamic Degree 从 36.63
llama.cpp 发布 b12064 版本,为 Hexagon NPU 后端新增分块 HVX 转置路径,用于处理带置换的 CONT/CPY 拷贝。此前这类拷贝会退化为逐元素 DMA 描述符,速度仅约 45 MB/s;新内核通过 2D DMA、vgather 转置和双缓冲提升性能,并补充了 f32/f16 多种尺寸的测试。该改动主要优化视频 VAE 中通道优
该论文研究面向歧义输入的自然语言自动形式化问题,在 SQL 与一阶逻辑基准上评估了七种工作流。结果显示,原始模型在 AMBROSIA 和 AmbiQT 上 F1 分别为 53.35% 和 60.85%,而 DRIFT 在 AmP 上以 2.03 倍 token 成本提升 15.98 个 F1 点,LoC 则成本更高但 F1 更低。在 AutoCedar 中,
该论文研究生成式推荐中 beam search 的排序损失定位问题,发现 TIGER 推荐器在六个全测试设置下,所有被剪枝的精确 top-10 路径均首次丢失于解码第一步,即首步覆盖瓶颈。作者提出将 beam 宽度预算重新分配到首步,在 Beam-50 不变预算下将 Search Recall@10 提升 0.96–10.90 个百分点,并在全部 77,37
该论文提出一种基于雅可比透镜(J-Lens)的深度剪枝评分方法 J-BI,将 ShortGPT 的 Block Influence 局部相似度通过 J-Lens 传输到最终残差流或 logits 上再计算。在 Qwen3-8B、Llama-3.1-8B-IT 和 Gemma-3-12B-IT 上,相同稀疏度下 J-BI 相比 BI 将剪枝后准确率最高提升 1
阿里巴巴达摩院旗下玄铁 C950 在 2026 年“中国芯”集成电路产业促进大会上荣获“年度重大创新突破产品奖”。该处理器是面向服务器场景的旗舰 RISC-V 处理器 IP,最高主频 3.2GHz,SPECint2006 单核性能首次突破 70 分,并首次实现 CPU 原生支持 Qwen3.8-Flash-Next、DeepSeek V4-Flash 等主流
雷峰网对OpenAI于9月29日发布的GPT 6.1 Sol与Anthropic于9月28日发布的Claude Sonnet 5.5进行同台实测,两者在OpenRouter上API定价相同(每百万输入2美元、输出10美元)。三项任务中GPT 6.1 Sol总花费38.5美元、Sonnet 5.5仅10.9美元,相差约3.5倍,且两者在速度上各有胜负。文章认为
字节跳动Seed团队在9月底的研究中发现,DeepSeek-V4-Flash基础模型会因代码前无关Token长度变化,在正确答案与错误答案之间周期性切换,并将原因指向其CSA/HCA分块KV压缩机制带来的“相位敏感性”。雷峰网通过DeepSeek官方API对现役V4.1-Flash进行64组实测,未复现答案翻转,但观察到正确答案概率随填充长度波动。论文数据显
该论文提出 DecisionRank,一种通过 item-space on-policy distillation(OPD)训练决策模型重排器的方法:将学生模型对文档的打分排序成序列,由生成式教师模型基于该排序列表给出条件反馈,直接监督这些分数,并结合离线排序监督。在 TREC DL、BEIR、BRIGHT 等检索基准上取得 SOTA,1.7B 参数版本在
Ollama 发布 v0.40.14 版本,包含 8 项改动,涉及 CI 构建修复、OpenAI 兼容接口的 Responses 输入内容保留、MLX 长 top-k 行分块排序、ChatGPT 断连失败可重试、Claude Code 使用模型输出限制、不覆盖模型采样器默认值、配置前检查 ChatGPT 路由,以及服务端解码云端网页搜索响应。这些改动主要提升
Claude Code 发布 2.1.317 版本更新,新增多项安全与隐私提示,包括云调度任务连接器警告、发送账户邮箱前的确认检查,以及 Agent SDK 钩子回调的 onFailure: "block" 选项。同时为 Claude 应用网关管理 API 增加成本报告接口和开发者 IdP 分组记录,并扩展 OTel 指标字段。该版本还修复了大量问题,涉及
PydanticAI 发布 v2.65.0,为 OpenAI Responses 增加 WebSocket 传输,并新增 ConversationStore 以消息日志形式保存会话、通过 Conversation.revision 检测保存冲突。该版本还支持 GPT-5.6 及以上的 12 小时提示缓存保留、模型拒绝时在 ModelFallback 中回退到
Vercel AI SDK 发布 ai@7.0.162 补丁版本。该版本恢复了在验证工具审批续接时由服务端定义的工具元数据、动态状态和标题,使审批策略获得与新模型调用相同的工具定义字段;同时为持久化 WorkflowAgent 运行新增单一遥测操作,支持在完成或挂起时按原始时间戳上报提示、最终输出、步骤和工具事件,并提供 OpenTelemetry 桥接以跨
开发者 peasantsmith 在 Hugging Face 发布了 GLM-5.3-Flash 的 GGUF 量化版本,包含 Maya-XS、S、S24、M、L 五个规格,基于 Z.ai 官方 FP8 权重制作。其中 Maya-L 在零样本任务上保留全精度模型 99.2% 的准确率,体积 156GB;最小的 Maya-XS 为 73.4GB,可在 64G
开发者 BertholomusAI 在 Hugging Face 发布了 DeepSeek-V4.1-Flash-1017 的 EXL3 2.5bpw 量化版本,使用 ExLlamaV3 转换,量化后权重约 185GB,可在两台 GB10(DGX Spark 级)节点上通过 TensorFold 张量并行 2 与 RDMA 部署。该版本支持 100 万 to
NVIDIA 发布技术博客,介绍其用于诊断分布式 AI 工作负载故障的 NVIDIA Attribution 工具。该工具将工作负载范围内的日志、指标、遥测和调度器状态关联起来,输出包含结果、根因、受影响节点、症状和证据链的结构化诊断。文章通过一个多卡训练任务中 XID 149 硬件故障引发 NCCL 错误的示例,演示了从证据提取到根因判定的完整流程。该工具
llama.cpp 发布 b12061 版本,为 mtmd 模块新增对 Kyutai pocket-tts 预定义音色的支持:转换器将各音色对应的 backbone KV 状态还原为 prompt embeddings 并存入 mmproj,无需 voice cloning 即可选用音色。服务端在 /props 中列出可用音色,未知音色返回 400,未指定音
llama.cpp 发布 b12060 版本,新增对 Clover 模型的支持,包括仅自回归(AR-only)的 Clover MoE 支持、GGUF 转换、模型加载以及因果混合注意力,并复用共享注意力、循环状态、MoE 和 LoRA 辅助模块。该版本同时提供 macOS、Linux、Android、Windows 等多平台多后端的预编译二进制包。
Prism ML 在 Hugging Face 发布 Ternary-Bonsai-1.7B-gguf,这是基于 Qwen3-1.7B 的三值(1.58-bit)语言模型 GGUF 版本,采用 Q2 0 量化格式,权重仅 436 MiB,较 FP16 缩小 86.6%(7.5 倍)。模型支持 llama.cpp 上游及 Prism 分支运行,在 Apple