返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月8日周四 · 20 条
正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Claude Haiku 5.5 发布,大幅降价并超越 GPT-6 Luna

Anthropic 发布 Claude Haiku 5.5,这是其最快、最便宜的小模型,面向数据查询、客服等高并发任务。相比 Haiku 4.5,基准测试大幅提升,token 价格最多降低 90%,并在 agentic coding 等类别上超过 OpenAI 的 GPT-6 Luna。该模型已在 AWS、Google Cloud 和 Azure 上线,同时

正文结构化主题已通过公开置信门槛
量子位产品发布

联想YOGA Pro 15 RTX Spark开启盲约,搭载NVIDIA N1X芯片

联想于10月8日9:00开启YOGA Pro 15 RTX Spark笔记本电脑全网盲约,该产品为全球首批搭载NVIDIA RTX Spark N1X超级芯片的本地智能体AIPC。芯片集成Blackwell RTX GPU与Grace CPU,可提供1 Petaflop FP4端侧AI算力,支持至高128GB统一内存,本地运行超千亿参数大模型并出厂自带35B

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11496:SYCL 后端通过固定环形缓冲区分阶段批量上传模型

llama.cpp 发布 b11496 版本,主要变更是为 SYCL 后端引入通过固定环形缓冲区(pinned ring buffer)分阶段进行模型加载时的批量上传(PR #29608)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA、Vulkan、

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11495:为 reranker 增加 classifier activation 支持

llama.cpp 发布 b11495 版本,为 reranker 模型新增 classifier activation 支持,将 classifier 的 gelu 映射为 gelu erf 并接受 tanh,同时把默认激活函数设为 tanh,ModernBERT 则回退到 gelu erf。该改动提升了 reranker 类模型在 llama.cpp 中

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11494:CUDA GDN 状态列优化与多平台构建

llama.cpp 发布 b11494 版本,主要更新为 ggml-cuda 后端中 GDN 状态列的 warp 分配优化,将每 warp 的 GDN 状态列数从 2 提升至 4,并在 S v=128 时默认使用 4 列。该版本同时提供覆盖 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL、Ope

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11493:SYCL 新增分组 MoE XMX GEMM

llama.cpp 发布 b11493 版本,主要变更为在 SYCL 后端新增分组 MoE XMX GEMM 支持(PR #29245)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Latent Space模型发布

Anthropic 发布 Claude Haiku 5.5,定价对标 GPT-6 Luna

Anthropic 发布 Claude Haiku 5.5,这是 Haiku 层级约一年来的首次更新,定价与 OpenAI 的 GPT-6 Luna 对齐,同时下调 Sonnet 5.5 价格并推出订阅用户 API 额度。官方称其为最便宜、最快、最强的小模型,平均运行成本比 Haiku 4.5 低约 75%,定位为与 Opus 5.5 或 Sonnet 5.

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

云栖大会观察:阿里下一阶段模型战怎么打

在2026年云栖大会上,阿里千问大语言模型负责人刘大一恒公布了Qwen4、Qwen4.5和Qwen5的路线图,计划将参数规模从Qwen3.8的2.4T推向5T-10T,同时通过稀疏注意力等新架构降低训练与推理成本。阿里还披露了让Qwen3.8-Max参与芯片设计、推理框架优化和模型训练等RSI实验的成果,并宣布下一代视频生成模型将于11月发布,图像、语音、音

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

STEPQuant:Delta-Rule 循环状态的时空量化

该论文提出 STEPQuant,一个针对 Delta-rule 循环状态(线性注意力中替代 KV 缓存的固定大小状态)的时空后训练量化框架。作者发现量化误差的影响在时间维度(长寿命记忆误差跨多步解码持续)和空间维度(不同 key 行对输出影响不同)上存在差异,据此按误差幅度与记忆寿命分配精度,并联合拟合 key 行与 value 列缩放。在 Qwen3.8-

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

humanizer:12B 本地模型把 AI 草稿改写得更像人写

Hugging Face 上出现一个名为 humanizer 的 12B 模型(基于 google/gemma-4-12B 微调),用于将 AI 撰写的邮件、文章、报告等草稿改写得更像真人写作,支持中英文并可在本地离线运行。该模型在 Originality.ai 最严格设置下 95% 的英文改写被判定为人类写作,420 条英文改写中 376 条无事实问题。其

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11490 发布:Hexagon 后端启用 alloc buffer n

llama.cpp 发布 b11490 版本,主要更新为 Hexagon 后端启用 alloc buffer n,新增对大张量拆分到独立缓冲区的支持,并将 GGML HEXAGON MBUF 改为接受 dyn、static、total 三个值,同时把动态缓冲区默认值从 128MB 提升到 512MB 以改善大 MoE 模型性能。此外新增 --no-embd-

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11489:Hexagon Q6 K 反量化加速

llama.cpp 发布 b11489 版本,主要变更为 Hexagon 后端针对 Q6 K 权重的反量化(dequant)速度优化(PR #30121),通过额外展开循环因子 2 提升性能。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROC

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

GRACE:面向生成感知的潜在压缩加速视频生成

KAIST AI 与 Kakao Corp. 的研究者提出 GRACE,一种两阶段框架,可在保持与预训练 DiT 兼容的前提下压缩视频自编码器:保留冻结的基础 latent,学习残差 latent 补偿强压缩丢失的信息,并在冻结 DiT 的特征空间中对齐压缩 latent,使自编码器面向生成而非仅重建优化。随后仅需轻量微调 DiT 并采用非对称去噪(基础先于

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11488 新增 LiquidAI d1-omni-600M 决策模型支持

llama.cpp 发布 b11488 版本,新增对 LiquidAI/d1-omni-600M 决策模型的支持,并在 CUDA 上保留 conformer GLU sigmoid。服务端支持通过 images 和 input audio 传入 d1omni 音频,并将无记忆 lfm2 限定为非因果模式。同时将决策类型 d1omni 重命名为 lfm2-d1

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

Route-Verify-Vote:面向混合域推理的过程条件自一致性

该论文提出 Route–Verify–Vote(RVV)框架,用于混合域推理中的过程条件自一致性,无需更新模型参数。RVV 通过域标签选择推理过程、逐选项验证约束,并对完整答案集投票,同时将额外采样分配给票数差距小的问题。在 SCoRE 2026 官方测试集上,16 次采样投票达到 74.6% 精确集合准确率,自适应 RVV 达 77.3%,结合模型后达 7

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

Emo-Jev:基于Jev概率推理的情感分类

该论文提出 Emo-Jev,一个无需训练的框架,利用 Jev 的概率决策接口进行情感、情绪、讽刺和幽默分类。Emo-Jev 包含两种实现:Emo-Jev-D 将分类分解为原子判断并组合概率,Emo-Jev-SC 构建多路径判断并聚合为共识决策。在八个数据集上,标准 Jev 平均 macro-F1 为 62.93%,低于最强 LLM 基线 Gemini 的 6

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

CoDR:面向扩散语言模型的无训练置信漂移重掩码

论文提出 CoDR(Confidence-Drift Remasking),一种无需训练、与采样器无关的扩散语言模型精修方法。该方法通过 k-partition probing 在少量前向传播中估计已提交 token 的置信度漂移,将模型不再支持的 token 重新掩码并重新生成。在 LLaDA-8B 和 Dream-7B 两个骨干模型、四个推理与编码任务、

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

基于漂移的无标签混合精度文本嵌入量化

该论文提出一种无需标签的混合精度训练后量化方法,用于文本嵌入模型。方法通过量化单个模块后重新编码语料,测量输出嵌入相对全精度位置的漂移,以此作为模块敏感度信号,在硬性字节预算下进行加性分配。在五个开发用嵌入模型上,配置级漂移与留出检索质量达到宏观 Spearman 0.911,并在三个未触碰模型上验证了预注册假设,但主预算下漂移分配数值上低于同预算均匀精度。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

按拓扑诊断多智能体 LLM 协作失败

该论文提出 MAScope 两阶段框架,用于诊断多智能体 LLM 系统的协作失败。第一阶段 TSE 从异构执行轨迹中恢复通信拓扑,第二阶段 TC-Judge 结合轨迹、预测拓扑、经验失败先验和拓扑特定失败模式进行分类。实验表明通信拓扑与失败类型存在统计显著关联,拓扑条件上下文可将 gpt-mini 的 Macro-F1 显著提升,并在固定编排结构下以约更低成