llama.cpp b11140:CUDA 稀疏注意力优化加速 dsv4 预填充
llama.cpp 发布 b11140 版本,主要针对 CUDA 后端优化 DeepSeek-V4(dsv4)预填充阶段的 sparse-fa(稀疏 FlashAttention)。改动包括将 sparse mask 扫描的查询循环按 ncols1 模板化以在编译期确定循环边界,并把越界检查提升到主机端代码,使 49k 列稀疏解码形状下的扫描耗时从 46us
公司与模型 · DeepSeek(深度求索)的模型发布、开源权重与技术报告——开源大模型价格与能力的搅局者
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-10 01:51
llama.cpp 发布 b11140 版本,主要针对 CUDA 后端优化 DeepSeek-V4(dsv4)预填充阶段的 sparse-fa(稀疏 FlashAttention)。改动包括将 sparse mask 扫描的查询循环按 ncols1 模板化以在编译期确定循环边界,并把越界检查提升到主机端代码,使 49k 列稀疏解码形状下的扫描耗时从 46us
该论文提出 RULER 方法,用于从自然语言指令生成 SVG 代码的强化学习。作者发现用多轴评分标准(rubric)提示视觉语言模型评判,比 CLIP、Aesthetic 等标量指标更符合人类判断,且能避免奖励黑客问题。RULER 将每条指令转化为包含语义、视觉、风格六个条目的实例感知评分标准,由评判 VLM 逐项打分并加权作为奖励,通过 GRPO 优化,无
阶跃星辰发布新一代MoE旗舰模型Step 5 Preview,总参数600B、激活参数27B,支持100万Token上下文与原生文本、视觉输入,专为真实世界Agentic任务打造。该模型在Artificial Analysis Intelligence Index得分44分,位居开源模型第三,仅次于Qwen3.8 Max与GLM-5.3。其单任务成本约为Cl
Google DeepMind 前 AI 安全研究员 Bilal Chughtai 在离职帖中称 AI 有可能终结人类,留给阻止这一结局的时间不多,该帖获超 80 万次浏览并引来彭博等媒体跟进。随后,Anthropic 前研究员 Jacob Coxon、仍在 OpenAI 工作的 Daniel Selsam 以及 DeepSeek 算子研发人员刘胜与也相继公
2026年9月17日华为全联接大会上,360集团与昇腾AI联合打造解决方案,以360智能体工厂为核心与昇腾AI深度协同,面向AI Agent场景实现全面提速。360智能体工厂支持自然语言生成智能体并组建多智能体协作蜂群,其蜂群多智能体协作技术使多角色协作任务从2小时缩短至20分钟,效率提升6倍。昇腾AI针对长序列推理和频繁KV Cache读写进行性能优化,内
SGLang 发布 v0.5.20,包含来自 237 位贡献者的 713 个 PR。该版本新增 GLM-5.3-Flash、Hy4-Preview、Qwen3.8-Flash-Next、K2 Horizon、Nanbeige4.2 等自回归模型以及 SenseNova-U1.5-8B-MoT、FastH3、VDN-H3 等扩散模型支持。同时引入 RL rol
雷峰网报道称,2026年国内云厂商为冲刺MaaS收入,将销售人均MaaS指标推高至千万元级,并数周内要求日均Token收入翻数倍,导致某区域团队十几人集体离职,被内部定性为管理事故。由于自研模型竞争力不足,销售转向转售智谱、Seedance等第三方模型,引发国产模型折扣战与云资源券补贴,Codex的额度重置机制又进一步截走客户预算。文章还描述了销售在批折扣、
英伟达、Palantir、Booz Allen Hamilton 等企业开始限制内部使用 Anthropic 的 AI 模型,担心员工将代码和知识产权等敏感信息输入外部模型后被模型提供商接触或学习,英伟达仅在低敏感任务中使用 Anthropic 的 Fable,敏感项目改用自家 Nemotron。生数科技发布 Vidu S2,支持实时视频换装换背景、720P
NVIDIA 技术博客介绍如何利用 JAX 和 NVIDIA Transformer Engine 加速无丢弃(dropless)MoE 训练。文章指出 MoE 训练面临动态路由、不规则张量、all-to-all 通信等瓶颈,在 DeepSeek-V3 于 GB200 上的基线仅 103 TFLOPS/GPU,通信占内核时间 84%。通过 Transform
MemTensor 提出 MemRetriever,一种将长期记忆检索建模为多步搜索过程的智能体式检索模型,通过并行搜索、串行搜索和反思去噪三种动作,主动规划检索与停止时机。研究使用 ReAct 风格轨迹做监督预热,并用 GRPO 强化学习优化证据覆盖、降噪和答案充分性。在 LOCOMO、LongMemEval、HotpotQA、MuSiQue 和 2Wik
一位作者在 Hugging Face 博客中回顾自己从使用 ChatGPT 转向开源模型 DeepSeek 和 Qwen 的经历,并分享了自己尝试训练超小模型(如 Single Floppy、floppyx3、floppyx4)的失败过程。作者认为开源模型可检查内部机制,比闭源服务更可信,并提到因图书馆屏蔽 DeepSeek 而短暂使用 Claude,但受限
Anthropic 发布威胁情报报告,披露 2025 年 12 月至 2026 年 8 月期间 Claude 被滥用的七类情况,包括网络攻击、监控、武器开发和未授权模型蒸馏。俄罗斯语黑客组织利用 AI 自动改写恶意软件以绕过杀毒检测,攻击超 20 个政府与国防相关机构。阿里巴巴 Qwen、Moonshot AI、DeepSeek、小米等中国实验室被指通过虚假
Anthropic 发布报告,指控阿里巴巴、Moonshot AI 和 DeepSeek 等中国 AI 公司对其 Claude 模型发起蒸馏攻击,以提取思维链能力。报告称观察到近 2 亿次相关交互,分属五个行动,其中阿里巴巴相关行动规模最大,达 1.51 亿次交互,疑似用于训练 Qwen 系列模型。Anthropic 还称 Moonshot AI 的部分请求
另有 1 家信源报道
Mem0 发布了 DeepSeek 插件 v0.3.0,新增了在系统提示组装期间自动召回记忆、在对话回合完成后自动捕获记忆的功能,并默认启用 autoRecall 和 autoCapture。该插件现在以独立的 ESM 包形式发布,并支持跨用户覆盖需显式开启。
vLLM 发布 v0.29.0 版本,包含 594 个提交,来自 277 位贡献者。主要亮点包括 Model Runner V2 成为所有模型的默认执行器,新增多个模型支持(如 Hy4-preview、Qwen3.8-Flash-Next、GraniteSWA 等),并针对 Kimi K3 和 DeepSeek V4 进行了性能优化。此外,该版本引入了新的默
llama.cpp 发布 b10844 版本,为 Vulkan 后端添加了 DeepSeek-V4 超连接融合算子(DSV4 HC COMB/PRE/POST),将 Sinkhorn 迭代等操作融合到寄存器中,大幅减少调度次数,提升解码性能。该版本还包含多个平台的二进制构建。
openJiuwen社区的ScienceDiscovery平台通过树搜索驱动RSI,在不训练模型、不调参数的情况下,自动迭代科研代码,实现加速科学发现。在振荡积分、超几何函数求值、代码加速和符号回归等案例中,ScienceDiscovery在数小时内生成通用求解器,显著提升性能并降低成本。该平台提供可复用的底座,支持异步并发和多种搜索策略,旨在将验证成本低的
在IFA 2026上,NVIDIA联合微软及合作伙伴宣布加速本地AI推理,推出RTX Spark迷你PC,并简化Hermes Agent、OpenClaw和Perplexity Portable Computer等应用的本地模型设置。同时发布了多项模型更新,包括Nemotron 3.5 Lightning、GLM-5.3-Flash、Qwen3.8系列等,并
陈大年复出创立本地模型公司StartLux,推出首款27B参数模型StartLux-V1.0-27B-Preview,在信通院MCP专项测试中综合得分排名第二,仅次于DeepSeek-V4-Pro。该模型可运行于消费级PC,Agent能力接近万亿级云端模型,采用Auto Research后训练技术。StartLux计划年内推出本地智能解决方案,推动本地模型商
bleysg 发布了 DeepSeek-V4-Flash 的 DSpark 草稿模型 GGUF 版本,专为 ds4 C+CUDA 推理引擎设计,支持无损投机解码,在 DGX Spark 上平均加速 1.38 倍,峰值 1.71 倍。该文件包含 3 层 transformer、目标融合投影、Markov 头等,采用 Q2 K 路由专家等量化策略,约 6.5 G