llama.cpp b10241 发布：修复 CUDA 数据竞争并优化性能
llama.cpp 发布 b10241 版本，主要修复了 CUDA 后端中 block reduce 复用共享内存时的数据竞争问题，并引入了双缓冲优化以提升 softmax 和 norm 操作的性能。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3343 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月3日周一 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Anthropic 多模型错误率事件已解决
Anthropic 报告了影响多个 Claude 产品（包括 claude.ai、Claude Console、Claude API、Claude Code 和 Claude Cowork）的错误率问题。该事件经历了调查、实施修复和监控阶段，目前已解决。
正文结构化主题已通过公开置信门槛
自复制AI病毒原型问世，研究者警告需准备防御
研究人员开发了一种利用开源大语言模型的自复制计算机病毒原型，该病毒能利用被感染机器的GPU资源进行推理，并自主发现漏洞、发起攻击和复制自身。该研究由多伦多大学、剑桥大学等机构完成，展示了AI驱动的自主网络威胁已成为现实。研究者认为未来互联网将充满攻防AI代理，需要人类部署防御性AI代理来对抗。
正文结构化主题已通过公开置信门槛
Cloudflare 优化 Kimi 与 GLM 推理：KV 缓存量化与权重压缩
Cloudflare 在 Workers AI 上通过 KV 缓存量化（FP8）和模型权重压缩（INT4）优化了 Kimi 和 GLM 等大型 MoE 模型的推理效率，使内存占用减半、吞吐量提升，且模型精度几乎无损。这些技术结合预填充/解码分离架构，支持更多并发请求并降低成本，相关优化已通过 SGLang 框架开源。
正文结构化主题已通过公开置信门槛
Langfuse v4.3.1 发布：修复定价与仪表盘问题
Langfuse 发布了 v4.3.1 版本，主要包含多项修复和改进。修复了定价模块中 GPT-5.6 的使用别名问题，以及仪表盘中遗留 trace 组件的路由问题。此外，还进行了 CI 构建配置和代码风格规则的优化。
正文结构化主题已通过公开置信门槛
llama.cpp b10240 发布：服务器默认端口将改为 9931
llama.cpp 发布 b10240 版本，主要更新为服务器默认端口将从 8080 更改为 9931，并添加了相关通知。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 等多个平台的预编译二进制文件，支持多种硬件加速后端如 Vulkan、CUDA、ROCm 等。
正文结构化主题已通过公开置信门槛
微软Agent Framework正式版发布，推出Agent Harness和托管代理
微软于2026年4月2日将Agent Framework升级至1.0正式版，并在Build 2026大会上发布了Agent Harness、GitHub Copilot SDK和Claude Agent SDK连接器，以及多智能体编排模式，均达到稳定版本。该框架提供统一的运行时，支持本地、容器和托管部署，并内置OpenTelemetry等治理功能。MBZUA
正文结构化主题已通过公开置信门槛
B300价格飙升三倍，大厂绕开算力中转站，AI Infra高管离职
雷峰网报道称，B300整机价格半年内从400多万元涨至超1200万元，市场出现虚假现货套取企业数据的安全隐患。大厂因数据安全、并发性能、计费黑箱和封号风险等问题，普遍不愿使用算力中转站。国产AI芯片企业分别推进AFN架构和Prefill芯片研发，3D堆叠芯片成为投资风口但面临量产挑战。一家AI Infra公司三位核心高管离职，行业从拼卡转向拼运营。投资人认为
正文结构化主题已通过公开置信门槛
June 获 2000 万美元融资，用 AI 解决企业 AI 部署难题
前 Salesforce 高管 Efrat Rapoport 创立的初创公司 June 于周一正式亮相，旨在通过自动扫描企业现有系统、识别瓶颈并构建优化的 AI 代理流程，解决 AI 在企业部署中的难题。该公司已获得由 Marc Benioff 旗下 Time Ventures 领投的 2000 万美元种子前融资，其他投资者包括 Michael Dell、A
正文结构化主题已通过公开置信门槛
Groq 获 7.5 亿美元融资，推理需求激增
Groq 于 2025 年 9 月 17 日宣布完成 7.5 亿美元融资，估值达 69 亿美元，由 Disruptive 领投，Blackrock、Neuberger Berman 等参投。资金将用于扩展其 AI 推理基础设施，支持全球开发者与企业。Groq 强调其在美国 AI 技术栈中的核心地位，并受益于白宫推动美国 AI 技术出口的行政命令。
正文结构化主题已通过公开置信门槛
Groq 任命 Simon Edwards 为首席财务官以支持全球扩张
Groq 于 2025 年 9 月 22 日宣布任命 Simon Edwards 为首席财务官，以支持其全球扩张和日益增长的 AI 推理需求。Edwards 曾在 Conga、ServiceMax 和 GE 担任高级财务职务，拥有丰富的科技公司增长和转型经验。Groq 创始人兼 CEO Jonathan Ross 表示，Edwards 的财务纪律和增长能力将
正文结构化主题已通过公开置信门槛
面向黑暗环境的鲁棒3D感知RGB-NIR成像
本文提出了一种新的RGB-NIR低光成像方法，通过引入3D感知神经建模，在无需干净RGB监督的情况下，隐式融合极噪RGB观测与NIR线索，恢复干净RGB图像。该方法避免了干净RGB数据收集，并能泛化到不同噪声水平，在合成和真实数据上表现优越。代码已开源。
正文结构化主题已通过公开置信门槛
Langfuse v4.3.0 发布：新增媒体预览与语义根 API
Langfuse 发布 v4.3.0 版本，包含多项功能改进和错误修复。新功能包括在预览界面显示媒体大小、在 v2 API 中暴露语义根，以及预览时自动以演示用户登录。修复了应用内代理草稿编辑、API 路由方法校验、评估元数据传播等问题，并调整了 GPT-5.6 系列模型的价格。
正文结构化主题已通过公开置信门槛
llama.cpp b10238 发布，新增 Qwen3-Next MTP 支持
llama.cpp 发布 b10238 版本，主要新增对 Qwen3-Next 模型的多 token 预测（MTP）支持，并修复了相关 Python 类型检查问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
正文结构化主题已通过公开置信门槛
Cohere 分析企业 AI 总拥有成本：隐藏成本与所有权策略
Cohere 发文指出，企业 AI 总拥有成本（TCO）正随使用量上升，token 定价仅是显性成本，隐藏成本包括推理、上下文、代理步骤等。Gartner 预测 2026 年全球 AI 支出达 2.52 万亿美元，IDC 调查显示 96% 的生成式 AI 部署成本超预期。Cohere 建议企业区分自有与租用 AI 基础设施，以控制成本并实现可预测的财务规划。
正文结构化主题已通过公开置信门槛
llama.cpp b10237 发布：支持 DeepSeek V3.2 MTP
llama.cpp 发布 b10237 版本，新增对 DeepSeek V3.2 的多 token 预测（MTP）支持，并在模型类型发现时跳过 MTP 层。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
正文结构化主题已通过公开置信门槛
Qwen3.6-27B-Omnimerge-v4 发布 GGUF 量化版
ManniX-ITA 发布了 Qwen3.6-27B-Omnimerge-v4 的 GGUF 量化版本，基于 Qwen3.6 基础模型与三个微调模型的 DARE-TIES 合并，并采用 MLP-passthrough 技术以规避 Qwen3.6 的推理标签脆弱性。该模型在 HumanEval、MBPP 和 GPQA 基准上表现优于前代 Omnimerge-v
正文结构化主题已通过公开置信门槛
gemma-4-A4B-98e-v6-coder-it-GGUF：修复智能体循环的量化模型发布
ManniX-ITA 发布了 gemma-4-A4B-98e-v6-coder-it-GGUF，这是 Gemma 4 26B-A4B 的代码剪枝版本的 GGUF 量化系列。该版本修复了聊天模板中导致多轮智能体循环的 bug，将循环率从 33% 降至 0%，同时保持 HumanEval+ 92.07% 的性能。所有量化均使用 imatrix 校准，推荐使用 I
正文结构化主题已通过公开置信门槛
gemma-4-A4B-98e-v7-coderx-it GGUF 量化发布，性能超越 Qwen2.5-Coder-14B
ManniX-ITA 发布了 gemma-4-A4B-98e-v7-coderx-it 模型的 GGUF 量化版本，提供了多种量化等级，并附有详细的基准测试结果。该模型在 HumanEval+ 和 MultiPL-E-100 上表现优异，尤其在低比特量化下仍保持高代码生成能力。与 Qwen2.5-Coder-14B 相比，在相同磁盘空间下，该模型以更低的比特
正文结构化主题已通过公开置信门槛
Fast Gemma 挑战赛：vidraft-darwin 验证最快推理方案全解析
vidraft-darwin 团队在 Google Gemma 和 Hugging Face 举办的 Fast Gemma Challenge 中，通过软件优化在单张 NVIDIA A10G 上实现了 510.58 TPS 的推理速度，且 PPL 为 2.3930，通过了官方验证，成为已验证结果中最快的方案。他们公开了完整配置，包括滑动窗口、质心 top-k