llama.cpp b11449：修复 ggml CLAMP 非连续视图问题
llama.cpp 发布 b11449 版本，主要修复了 ggml 中 CLAMP 操作在非连续视图（non-contiguous views）上的处理问题，涉及 CPU 和 CUDA 后端。此前 CUDA 将 ggml nelements 值按扁平方式处理而忽略视图步长，CPU 则按 j nb01 寻址行而忽略 nb02/nb03，现在两者都遵循维度 1.
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月7日周三 · 6 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
EldanRing 发布 Winnow-12B 本地决策微调模型
EldanRing 发布了 Winnow-12B，这是基于 Google Gemma 4 12B IT 微调的 GGUF 模型，面向本地类型化决策、聊天和图像输入。模型通过 Winnow 服务器的 /v1/systemone 接口对给定选项打分，无需生成解释，同时支持常规聊天。在 JevBench 和 Kev-v9 决策基准上，Winnow-12B Q8 分
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11447：新增 pplx-decider 模型支持
llama.cpp 发布 b11447 版本，主要变更为模型支持新增 pplx-decider（PR #30044）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp b11446：修复 Metal 量化 flash attention 线程组内存问题
llama.cpp 发布 b11446 版本，主要修复了 Metal 后端在量化 flash attention 中线程组内存超额分配的问题（PR #29340）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenVIN
正文结构化主题已通过公开置信门槛
llama.cpp b11445 发布：修复 Vulkan 空指针崩溃
llama.cpp 发布 b11445 版本，主要修复 Vulkan 后端在 1.0 版本 loader（如 Android 8.1）上因缺少 vkEnumerateInstanceVersion 而调用空指针导致初始化崩溃的问题，将其按 1.2 以下 loader 处理。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平
正文结构化主题已通过公开置信门槛
Mitsuba & HiMitsuba 27B GGUF：面向 ComfyUI 的三值化模型
Hugging Face 上发布 Mitsuba & HiMitsuba 27B GGUF 模型，基于 Qwen3.8-27B 自研三值化（1.58-bit）权重，面向 ComfyUI 的图像/视频提示词生成与图像描述任务，不适用于编程。提供 PQ2 0（7.3GB）与 PTQ1 0（6.0GB）两种 GGUF 格式，可在单张 16GB GPU 上运行，并新
10月6日周二 · 14 条
正文结构化主题已通过公开置信门槛
NVIDIA 推出 Green Contexts 实现 GPU 资源显式分区
NVIDIA 在技术博客中介绍了 Green Contexts 功能，允许应用显式选择 GPU 执行资源子集并将工作定向到这些资源。该功能自 CUDA 12.4 起在 Driver API 中可用，CUDA 13.1 起通过 Runtime API 开放。它支持 SM 分区和 workqueue 资源分配，可减少多组件 GPU 应用间的资源竞争和意外串行化，
正文结构化主题已通过公开置信门槛
TechCrunch Disrupt 2026 完整分组会议议程公布
TechCrunch 公布 Disrupt 2026 大会的完整分组会议议程，大会将于 2026 年 10 月 13-15 日在旧金山 Moscone West 举行，预计聚集 1 万多名创始人、投资者和科技领袖。分组会议每场 50 分钟，聚焦 AI 智能体构建、从训练转向推理的价值积累、物理 AI、融资策略等议题，Anthropic、Cerebras、SO
正文结构化主题已通过公开置信门槛
llama.cpp b11443：整合 nextn 行裁剪逻辑
llama.cpp 发布 b11443 版本，主要将 nextn 行裁剪逻辑整合为共享辅助函数，用 crop before nextn() 和 crop after nextn() 替代各模型重复的裁剪条件与标志位。同时让 mimo2、qwen4exp、deepseek4 等模型无条件设置 t h nextn，主机端读取仍由 cparams.embeddin
正文结构化主题已通过公开置信门槛
llama.cpp b11440 修复 NextN 提取调度器预留问题
llama.cpp 发布 b11440 版本，修复了推测解码 MTP 初始化中 NextN 提取标志变化后调度器未重新预留的问题。当未掩码提取启用时，主干图保留所有 token 导致首次解码按批次形状重新分配，后续更宽批次会触发 GGML SCHED DEBUG REALLOC 错误。修复方式是在标志变化时使预留失效，以便下次计算按新图形形状重新预留。该版本
正文结构化主题已通过公开置信门槛
llama.cpp b11439：重构选择性专家复制到用户代码
llama.cpp 发布 b11439 版本，主要变更是将 ggml 中的选择性专家复制（selective expert copying）逻辑重构到用户代码中，并改进 ggml-backend.h 注释。测试方面将两个模型纳入选择性专家复制测试，并使用 deepseek2 作为测试模型。该改动由 Georgi Gerganov 等人参与，属于 MoE 推理
正文结构化主题已通过公开置信门槛
Langfuse 发布 v4.53.0：AI Gateway 暴露解析上下文并修复多项问题
Langfuse 发布 v4.53.0 版本。本次更新新增 AI Gateway 在响应头、span 和日志中暴露解析上下文的能力，并集中修复了 Web 界面样式（颜色令牌、图标尺寸、标签栏、trace 树等）以及 evals 模块的多项问题（Bedrock URL 媒体插值、评估器媒体重试、只读成本估算等），同时包含若干重构和依赖升级。
正文结构化主题已通过公开置信门槛
Paradigma 发布 Limite 1B 数学推理模型
Paradigma 发布首个模型 Limite 1B - Violetto，这是一个 10 亿参数的稠密自回归 Transformer，从零训练于不到 3000 亿精选 token，支持最长 131k 上下文，面向高吞吐数学推理。该模型通过合成数据、SFT 与 RL 后训练，在 BeyondAIME 上平均得分 74.25%，超过 MUSE-Glimmer-
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11438：修复后端初始化并更新多平台构建
llama.cpp 发布 b11438 版本，主要修复了 test-llama-archs 在 GGML BACKEND DL=ON 时需在生成模型前显式初始化后端的问题。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、Ope
正文结构化主题已通过公开置信门槛
QCon London 2027 公布 15 个分会场，聚焦生产级 AI 与架构
QCon London 2027 宣布设置 15 个分会场，聚焦生产级 AI、架构与大规模工程，会议将于 2027 年 4 月 13 至 16 日在伦敦 QEII Centre 举行。超过 75 位实践者将分享生产系统经验、权衡取舍与组织约束下的教训。议题涵盖智能体系统的评估与护栏、AI 时代的架构与软件开发生命周期、分布式系统调试、数据平台、高性能工程以及
正文结构化主题已通过公开置信门槛
llama.cpp b11436：修复 ggml-openvino CI 测试与 GPU 回归
llama.cpp 发布 b11436 版本，主要修复 ggml-openvino 后端的 CI 测试与 GPU 回归问题。改动包括：仅从计算节点构建 OpenVINO 模型并支持同类型连续 DUP、使 inp scale rows 的 token 维度动态化、跳过 GPU 上未绑定 Q4 1/Q4 K 权重的 MUL MAT 算子测试、按输出类型创建 FI
正文结构化主题已通过公开置信门槛
Langfuse 发布 v4.52.0：批次限制与用量展示更新
Langfuse 发布 v4.52.0 版本，主要更新包括：按估算权重限制 trace 批次并排除超大 trace、在每次部署中展示组织用量明细、登录表单记住上次企业 SSO 邮箱；同时修复了 Vertex AI 默认模型列表、登录注册卡片样式和评估预检提示等问题，并调整了 OTel 与数据摄取相关流程。
正文结构化主题已通过公开置信门槛
OpenAI疯狂28天首日：提速50%却翻车，还塞广告加水印
OpenAI 启动「疯狂28天」更新计划，首日由 Codex 负责人 Tibo 宣布 GPT-6 Astra 和 GPT-6.1 Sol 默认推理速度提升约 50%（达 50TPS），但网友实测仅约 35TPS，评论区大量翻车。同期 OpenAI 宣布在 ChatGPT 图像生成中测试视觉广告，并按欧盟 AI 法案要求对欧盟地区 ChatGPT 和 Code
正文结构化主题已通过公开置信门槛
llama.cpp b11435：修复共享序列 k-pool 数据竞争
llama.cpp 发布 b11435 版本，修复了共享序列场景下 k-pool scatter 的数据竞争问题。改动包括：对每个共享 k-pool rep 只标记一次以避免 CPU 后端数据竞争；在混合索引内存中拒绝部分范围的 seq cp，只支持整序列复制；移除 k-pool 的 cache safe 模式，简化 seq rm、state read 和
正文结构化主题已通过公开置信门槛
ALoDLM：自适应循环扩散语言模型
该论文提出 ALoDLM，一种自适应循环扩散语言模型，用 token 级自适应潜在循环替代均匀计算深度，根据 token 难度分配计算量。作者将 token 级计算调度建模为隐变量并推导条件 NELBO，联合学习 token 预测与计算分配。在 1.7B 和 8B 参数规模、十一个基准上，ALoDLM 平均得分超过所有评估的扩散模型及对应自回归基线，同时保持