llama.cpp 发布 b11325：优化 jinja 循环作用域处理
llama.cpp 发布 b11325 版本，主要改动为 jinja 模板处理：除非循环过滤器需要，否则跳过复制循环作用域（PR #29776）。该版本同时提供 macOS/iOS、Linux、Android、Windows、openEuler 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月2日周五 · 12 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp b11324：llama-mmap 借助 direct-io 避免张量重复副本
llama.cpp 发布 b11324 版本，主要变更是 llama-mmap 在使用 direct-io 时避免为每个张量创建第二份完整大小的副本，从而降低内存占用。该改动由 NVIDIA 工程师参与贡献，并借助 Claude 辅助完成。版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。
正文结构化主题已通过公开置信门槛
谷歌发射首颗TPU卫星，称星舰需发射1600次才能支撑太空数据中心
谷歌通过SpaceX火箭将首颗搭载TPU的轨道计算卫星送入太空，用于验证其AI芯片在太空环境中的运行能力，这是Project Suncatcher计划的第一步。谷歌同时发布了关于轨道数据中心的同行评审白皮书，认为SpaceX需在10年内完成约1800次星舰发射、将发射成本降至每公斤200美元左右，轨道数据中心才具备经济可行性。测试显示TPU可承受太空辐射，适
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11323：修复 HIP 后端 CDNA 误判问题
llama.cpp 发布 b11323 版本，主要修复了 HIP 后端在 fattn mma dqk 576 场景下将 CDNA 误判为 dgx spark 以处理 gqa ratio 20 的问题。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、ROCm、V
正文结构化主题已通过公开置信门槛
CMSManhattan 发布 JiRack Ultra 7B CPU 三元量化模型
CMSManhattan 在 Hugging Face 发布 JiRack Ultra 7B（CPU）模型，基于 DeepSeek R1-7B 架构并引入 BitNet 风格的三元（1.58bit）量化，面向 CPU 推理优化。模型更新了分词器，新增 Routing、Media、Vision、Sound、Tool call、Robotics 等标签，并提供
正文结构化主题已通过公开置信门槛
Claude Code 2.1.287 发布：新增 Claude Mods 与内置侧边代理
Claude Code 发布 2.1.287 版本更新，新增 Claude Mods 插件机制，允许插件修改更深层行为，并内置「You should know」侧边代理来提醒用户或 Claude 可能遗漏的问题。本次更新还改进了 agents 视图过滤、OpenTelemetry 事件字段、MCP 服务器 URL 提示等能力，并修复了大量关于远程会话、权限提
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11322：修复 hex-workqueue 竞态条件
llama.cpp 发布 b11322 版本，主要修复了 hex-workqueue 中 seqn 与 idx read/write 不同步的竞态条件问题（PR #29785）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、
正文结构化主题已通过公开置信门槛
用 C++ 与 NVIDIA TensorRT RTX 构建本地 AI 应用
NVIDIA 在技术博客中介绍了开源项目 DIN Deploy，它提供一套 C++ 示例，结合 ONNX Runtime 与 NVIDIA TensorRT RTX 执行提供程序，帮助开发者将 Hugging Face 模型检查点导出为 ONNX 并在 Windows、Linux 上构建本地硬件加速应用。示例覆盖 Whisper、Parakeet、Nemot
正文结构化主题已通过公开置信门槛
Lucebox 发布 DeepSeek V4.1 Flash ROCMFP 量化 GGUF
Lucebox 发布了针对其 DS4.1 引擎（AMD R9700 + Strix Halo）的 DeepSeek V4.1 Flash 量化版本，采用 ROCMFP 块格式，将路由专家量化为 fp2/fp3，注意力、共享专家和 head 保持 Q8 0。提供了多个 GGUF 文件，在 262,144 token imatrix 校准下，KL top-256
正文结构化主题已通过公开置信门槛
Jared Palmer 发布 Kev-0.8B 决策模型
Jared Palmer 发布 Kev-0.8B，一个基于 Qwen3.5-0.8B-Base 的决策模型，通过 LoRA 适配器和指针头实现，可在笔记本或 4GB GPU 上运行。模型接收文档和带类型的问题，单次前向传播输出校准后的选项概率分布，不生成文本，并兼容 TypeSafe 的 System One API。在多个测试集上准确率从 0.515 到
正文结构化主题已通过公开置信门槛
华为发布Mate90系列：麒麟9050 Pro支持端侧30B大模型，鸿蒙7升级AI智能体
华为发布Mate90系列旗舰手机，全系搭载麒麟9030/9035/9050 Pro芯片，首发第二代玲珑屏、第三代红枫原色影像和鸿蒙7系统。麒麟9050 Pro采用逻辑折叠架构，NPU性能提升140%，支持端侧运行30B MoE大模型，可实现无网络AI离线修图。鸿蒙7将小艺升级为智能体，新增小艺帮记、触发式AI等功能。Mate90起售价5999元，顶配相机套装
正文结构化主题已通过公开置信门槛
亚马逊发布开源决策模型 Strands Decider 2B，决策模型大量涌现
AWS 发布了开源决策模型 Strands Decider 2B，灵感来自 TypeSafe 的 Jev，可在本地运行，用于在预设选项中快速选择并给出置信度。该模型由亚马逊杰出工程师 Marc Brooker 发起，源于 AWS 客户在 agentic 工作流中不需要完整 LLM 能力与成本的场景。此举发生在 OpenAI 宣布类似产品同一周，反映出决策模型
10月1日周四 · 8 条
正文结构化主题已通过公开置信门槛
UkisAI 发布 Swift-Qwen3.8-27B GGUF 量化模型
UkisAI 在 Hugging Face 发布了 Swift-Qwen3.8-27B 的 GGUF 量化版本，该模型是 Qwen3.8-27B 的推理高效衍生版本。据其评测，Swift 版本在保持性能损失小于 1% 的前提下，平均思考 token 减少约 58.3%，并在多项任务上实现约 1.95 倍加速。该模型采用自定义的 swift-open-lice
正文结构化主题已通过公开置信门槛
llama.cpp b11321 发布：补充 AOCL-BLAS 构建文档
llama.cpp 发布 b11321 版本，主要变更是为 BLAS 后端补充 AOCL-BLAS 的构建文档，将设备标签标注为 AOCL-BLAS，并新增 AOCL-BLAS 快速入门指南、移除固定版本路径，同时补充了关于 ZenDNN 的说明。该版本照例提供 macOS/iOS、Linux、Android、Windows 等多平台多后端（CUDA、Vul
正文结构化主题已通过公开置信门槛
圆桌：AI 时代超越可观测性的生产运维演进
InfoQ 举办圆桌讨论，主持人 Renato Losio 与 Genesys 的 Michael Hausenblas、Netflix 的 Sujana Sooreddy、groundcover 的 Noam Levi 探讨 AI 时代生产运维的演变。嘉宾分享了 AI 在可观测性中的实际应用，包括用 AI 辅助 OpenTelemetry 埋点、将智能体作
正文结构化主题已通过公开置信门槛
d0xin 发布 Swift-Qwen3.8-27B 无审查 NVFP4 量化版
Hugging Face 用户 d0xin 发布了 Swift-Qwen3.8-27B-Uncensored 的 NVFP4 量化版本，基于 NVIDIA ModelOpt Local-Hessian 校准与激活余量（activation headroom）技术，采用 NVFP4/FP8 混合精度拓扑。该版本在 RTX PRO 6000 Blackwell
正文结构化主题已通过公开置信门槛
OpenAI 称已阻止推理窃取活动，但 Azure 上攻击仍有效
OpenAI 称其发现并关闭了一场针对模型隐藏推理过程的“对抗性蒸馏”攻击活动，该活动在7月24-25日达到峰值，涉及超1.5万个关联账户，并于7月28日前被完全封禁。OpenAI 将核心参与者与 Moonshot AI 相关人员关联。但研究人员指出，同类攻击在微软 Azure 上对 OpenAI 和 Anthropic 的模型仍然有效，包括新发布的 GPT
正文结构化主题已通过公开置信门槛
llama.cpp b11320 新增 LLM-jp-4.1 Harmony 方言处理器
llama.cpp 发布 b11320 版本，在 common 模块中新增了 LLM-jp-4.1 的 Harmony 方言处理器（#29681）。由于 LLM-jp-4.1 虽采用 GPT-OSS 格式，但其分词器会在每个特殊 token 后解码出空格，且并行工具调用以 分隔，导致原有 GPT-OSS 处理器拒绝该输出，因此新增专用处理器，并通过聊天模板中
正文结构化主题已通过公开置信门槛
Langfuse 发布 v4.49.0：新增组织级分析视图
Langfuse 发布 v4.49.0 版本，主要新增组织级数据摄取概览与组织级分析视图等 Web 功能，并为会话表格加入工具过滤器。同时包含多项修复与依赖升级，并降低了旧版公共 API 的速率限制。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11317：修复 llama-bench 日志过滤并更新多平台构建
llama.cpp 发布 b11317 版本，主要修复了 llama-bench 的日志详细度过滤问题，使其能够正确显示 GGML LOG ERROR 级别的日志，并清理了无用变量。同时该版本提供了覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 等多平台、多后端（CUDA、Vulkan、ROCm、SYCL、Ope