返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3343 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

8月4日周二 · 20 条
正文结构化主题已通过公开置信门槛
Anthropic Status History一手来源产品发布

Claude Sonnet 5 错误已解决

Anthropic 报告 Claude Sonnet 5 出现错误，影响 claude.ai、Claude Console、Claude API 和 Claude Code。目前问题已解决，团队正在监控结果。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

仪电智算护航全国青少年AI大赛决赛

首届全国青少年人工智能大赛决赛在上海举办，上海仪电作为战略合作单位提供高性能算力集群和仪电智算云平台支撑，保障三大赛道稳定运行。赛事吸引近4万名学生参与初赛，数百名选手进入决赛。上海仪电通过弹性调度、网络安全保障和跨部门专项团队，确保赛事平稳落地，未来将继续深化合作支持青少年AI教育。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

GPTQ-2D：立方时间双边自适应舍入算法

本文提出GPTQ-2D算法，用于在二次度量下将实数矩阵舍入为整数，处理左右两侧均有基矩阵的双边自适应舍入问题。该算法以立方时间产生与四时间方法相同的舍入矩阵，通过反对角线顺序并行舍入独立条目。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

GradCuit：通过信用分配梯度流实现稳健可解释的测试时潜在推理

GradCuit是一种新的测试时潜在推理方法，通过在选定的Transformer层插入可优化的潜在状态，利用因果自注意力机制实现直接且可解释的梯度分配。在五个指令微调骨干模型、三个推理基准和两种答案格式上，GradCuit平均准确率达64.5%，优于链式思维提示6.6个百分点，并展现出更强的鲁棒性。该方法还提供了token级梯度归因，揭示潜在影响集中在推理连

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10258 发布：重构采样器数据并更新多平台支持

llama.cpp 发布 b10258 版本，主要变更是将 n vocab 从 llama sampler data 移至 penalty sampler，以与 logit bias 和 mirostat 采样器的实现方式保持一致。该版本提供了适用于 macOS、Linux、Android、Windows 等多个平台的预编译二进制文件，并支持多种硬件加速后端

正文结构化主题已通过公开置信门槛
量子位模型发布

DeepSeek V4 Flash低价风暴席卷硅谷，海外平台争相补贴

DeepSeek发布V4 Flash模型，以极低价格（输入$0.14/百万token，输出$0.28）提供接近顶尖模型的性能，引发全球开发者热潮。海外平台如Nous Portal和Cline纷纷提供补贴或免费额度，进一步降低使用门槛。该模型在多项基准测试中得分大幅提升，反超自家V4 Pro，逼近Opus 4.8，有望改变开发者对开源模型的认知，推动AI应用生

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10256 发布：SYCL 内核优化提升性能

llama.cpp 发布 b10256 版本，主要更新是 SYCL 后端对非连续 concat 内核进行了并行化优化，通过调整启动几何形状将性能提升约 9.4%。该版本同时提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

3DZip：面向3D问答的空间感知特征多样性引导令牌压缩

Hugging Face 每日论文发布了一篇题为《3DZip: Spatial-Aware Feature Diversity-Guided Token Compression for 3D Question Answering》的研究论文。该论文提出了一种名为3DZip的三阶段令牌压缩框架，用于3D视觉语言模型，通过粗体素化、基于特征多样性的锚点选择以及空

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10255 扩展 SYCL SDPA 支持非 FP16 KV 缓存

llama.cpp 发布 b10255 版本，扩展了 SYCL oneDNN SDPA 路径以支持非 FP16 的 KV 缓存（包括 Q4 0-Q8 0 和 FP32），通过在设备上将 K/V 反量化为 FP16 后送入 SDPA 图，使融合的 systolic 内核与原生 FP16 路径一致运行。该版本还包含流同步修复和移除 V is K view 别名，

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10254 发布：新增 DeepSeek V4 Flash 0731 模板

llama.cpp 发布 b10254 版本，主要更新是为 DeepSeek V4 Flash 0731 模型添加新的聊天模板，并调整了 DeepSeek V4 模板以对齐官方编码器，包括默认丢弃思考内容、支持结构化输出响应格式、新增 Flash 0731 模板等。该版本还提供了多平台二进制文件下载。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10253 发布：更新 cpp-httplib 至 0.52.0

llama.cpp 发布了 b10253 版本，主要更新是升级 cpp-httplib 到 0.52.0。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 等多种平台的预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

BANDMAS：因果启发的语义包调度实现带宽高效多智能体协作

BANDMAS 是一个面向 LLM 多智能体协作的语义包调度框架，通过因果启发的重放估值将消息分解为数据包，仅传输贡献超过资源成本的包，以降低带宽和推理开销。在 SciFact、HotpotQA 和 FanOutQA 数据集上，使用冻结的 Qwen3-4B 模型，BANDMAS 在选定上限下将应用层字节减少 53.2% 至 77.3%，并在所有三个工作负载上

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

代码作者归属从竞赛到课堂不具泛化性

一项研究微调预训练Transformer模型CodeBERT，在Google Code Jam竞赛数据上达到92.6%的Top-1准确率（10位作者），但在大学课程作业数据集上表现仅与随机基线相当（Top-1准确率0.2%或更低）。多模型基准测试显示该性能差距普遍存在，表明基于竞赛数据的基准高估了代码作者归属在教育场景中的实际适用性。

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

消费级GPU本地LLM能源效率基准：架构与量化策略影响显著

一项针对消费级GPU上本地部署LLM的能源效率基准研究，在RTX 4060Ti上测试了9个开源模型（1B-7B参数），发现模型架构和量化策略比参数数量更影响能效，其中gemma3:1b和llama3.2:1b能耗最低，而7B-Mistral能耗最高达4.4倍，qwen3.5:2b因内部推理导致每提示能耗异常高。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

PhysAgent：用于可靠远程心率估计的多智能体框架

PhysAgent是一个用于远程心率估计的多智能体框架，由arXiv论文提出。该框架利用多个基础估计器生成候选心率，并通过轻量级4B多模态大语言模型Qwen3-VL-4B驱动多智能体推理，结合确定性生理验证器进行融合，以提高心率估计的稳定性和可靠性。实验表明，PhysAgent在多个公共基准上优于直接预测和传统融合方法，代码即将发布。

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

面向运筹学的不确定性感知模拟推理框架

该研究提出了一种面向运筹学（OR）数学建模的不确定性感知推理框架，无需训练即可提升大语言模型（LLM）的建模可靠性。该方法通过短视前瞻模拟评估中间候选步骤，量化下游预测不确定性，并利用重要性重采样动态选择更可能生成连贯数学公式的候选。在NL4OPT、MAMO和IndustryOR等多个OR基准上的实验表明，该框架优于标准和低温基线，为可靠的OR公式生成提供了

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

自然语言数学证明的低成本自动评判方法

该研究探讨了使用廉价开源权重模型作为自然语言数学证明的自动评判者。在IMO-GradingBench的200个实例验证样本上，三个廉价评判模型（GPT-OSS 120B、DeepSeek-V4 Flash、Gemma-4 31B）与人类通过/失败判断的一致性在统计上与Claude Opus 4.7和Gemini 3.1 Pro等前沿模型相当，但成本低至100

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10252 发布：更新 BoringSSL 至 0.20260803.0

llama.cpp 发布 b10252 版本，主要更新是将 BoringSSL 升级至 0.20260803.0。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种后端如 Vulkan、CUDA、ROCm 等。部分平台构建（如 KleidiAI 和 openEuler）被禁用。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10251 发布：支持 GLM-4.7-Flash 多 token 预测

llama.cpp 发布 b10251 版本，新增对 GLM-4.7-Flash 模型的多 token 预测（MTP）支持。该版本提供了适用于 macOS、Linux、Windows、Android 和 openEuler 等多个平台的预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm 等多种后端。