llama.cpp b10673 发布：新增 Apple M4 调优支持
llama.cpp 发布 b10673 版本，为 Apple M4 芯片添加了 fa-vec 调优记录，支持 F16、Q4 0、Q4 1、Q5 0、Q5 1 和 Q8 0 等量化格式，以优化 M4 上的推理性能。该版本同时提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，涵盖 CPU、Vulkan、CU
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3335 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月28日周五 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp b10672 发布：OpenVINO 更新与 NPU 支持增强
llama.cpp 发布 b10672 版本，主要更新 OpenVINO 后端至 2026.3.1，新增对 whisper.cpp 的支持，并优化 Qwen3.5 在 NPU 上的运行。该版本还引入了新的算子支持（如 RELU、POOL 2D 等），并修复了静态形状和分块预填充等问题。
正文结构化主题已通过公开置信门槛
Langfuse v4.24.0 发布：修复 AI 提供商配置与计费问题
Langfuse 发布 v4.24.0 版本，主要修复了 AI 功能中默认提供商的配置问题，现在必须显式设置 LANGFUSE AI PROVIDER 而非默认使用 Bedrock。同时修复了计费系统中 Stripe webhook 组织查找失败的日志级别问题，并清理了 Web 端的 UI 渲染和注释抽屉组件。
正文结构化主题已通过公开置信门槛
llama.cpp b10670 发布：BMG 架构启用 TILE 量化 KV 解码
llama.cpp 发布 b10670 版本，主要更新为在 Intel Xe2 (BMG) 架构上使用 TILE 指令集进行量化 KV 解码，其他架构仍使用 VEC。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的二进制文件，并支持多种后端如 Vulkan、CUDA、ROCm、OpenVINO 和 SYCL。
正文结构化主题已通过公开置信门槛
llama.cpp b10668 发布：新增 M3 Max/M5/M5 Pro Metal 调优
llama.cpp 发布 b10668 版本，主要新增了对 Apple M3 Max、M5 和 M5 Pro 芯片的 Metal 后端 fa-vec 调优记录，以提升这些 GPU 上的推理性能。该调优由社区贡献，并借助 Qwen3.8-27B 模型辅助生成。同时发布了适用于多平台（macOS、Linux、Windows、Android 等）的预编译二进制文件
正文结构化主题已通过公开置信门槛
llama.cpp b10667 发布：新增 M4 Pro 支持
llama.cpp 发布 b10667 版本，为 Apple M4 Pro 芯片添加了 fa-vec 调优支持，提升了 Metal 后端性能。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并包含 UI 组件。
正文结构化主题已通过公开置信门槛
Mastra 1.63.0 发布：增强日志追踪关联与部署就绪性
Mastra 发布 1.63.0 版本，引入新的日志适配器契约，实现 trace 关联日志，并集成 Pino，改善日志与追踪的链接可靠性。部署器新增 worker 健康检查端点，调度器和恢复机制得到增强，修复了多个问题。同时包含破坏性变更，清理了 playground-ui 的 DataList API。
正文结构化主题已通过公开置信门槛
Agent点燃CPU市场，五年混战开启
英伟达GTC上黄仁勋展示独立CPU机柜，引发中国投资人重新关注CPU市场。Agent推理需求推动CPU需求与价格上升，未来五年被视为国内CPU公司关键窗口期。Arm路线公司率先受益，RISC-V面临生态挑战，x86、Arm、RISC-V三路线竞争加剧，最终比拼系统能力。
正文结构化主题已通过公开置信门槛
Meta 发布自研推荐训练芯片 MTIA 300，集成网络通信
Meta 发布了其首款用于训练排序和推荐模型的自研加速器 MTIA 300，该芯片将网络和集合通信直接集成到芯片中，以解决推荐模型训练中通信开销大的问题。MTIA 300 包含两个网络 chiplet，提供 1.2 TB/s 的总 I/O 带宽，并配备 16 个专用消息引擎，使通信与计算并行，性能损耗低于 0.5%。Meta 还扩展了与博通的合作，计划未来两
正文结构化主题已通过公开置信门槛
Jalapeño 跑分炸场，GPU 推理路线开始分裂？
OpenAI 公布自研推理芯片 Jalapeño 的跑分数据，显示其在 Token 吞吐、延迟和能效上较现有方案有显著提升，引发与 NVIDIA Rubin 的对比讨论。同时，NVIDIA 将 Groq 3 LPU 引入推理系统，Google 推出训练和推理分离的 TPU 8t/8i，三家公司在推理硬件路线上出现分化。文章分析指出，推理负载中 Decode
正文结构化主题已通过公开置信门槛
Sora 为何输给 Codex：算力调度与工作负载架构的差异
OpenAI CEO 奥特曼在播客中表示，Sora 因算力消耗巨大而优先级低于 Codex，资源向后者倾斜。文章分析认为，Sora 的算力集中在连续的视频生成路径中，难以复用，而 Codex 的 Agent 工作流可将算力碎片化，通过缓存、批处理和调度优化提高 GPU 利用率。这种架构差异导致两者扩张速度不同。
正文结构化主题已通过公开置信门槛
llama.cpp b10666：跨架构状态保存测试与修复
llama.cpp 发布 b10666 版本，主要改进了测试基础设施，新增 test-save-load-state 的 --models 模式，可跨所有架构运行完整的保存/加载测试套件。修复了多个架构的测试问题，包括 deepseek4、gemma2、gpt-oss、lfm2、minimax-01 等，并优化了 on-device seq-copy 的 c
正文结构化主题已通过公开置信门槛
2026奇点智能技术大会北京站官宣，Transformer联合作者领衔
2026奇点智能技术大会北京站将于11月20-21日举行，由奇点智能研究院与CSDN联合主办。大会汇聚70余位技术专家，围绕18个前沿主题，涵盖大模型、AI原生软件研发、C++及系统软件等方向。OpenAI资深研究科学家、Transformer联合作者Łukasz Kaiser已确认发表主题演讲。
正文结构化主题已通过公开置信门槛
LiteLLM v1.100.0-dev.2 发布：镜像签名验证与多项修复
LiteLLM 发布了 v1.100.0-dev.2 版本，该版本的所有 Docker 镜像均使用 cosign 签名，并提供了通过提交哈希或发布标签进行验证的方法。此版本包含多项修复和改进，涉及 UI 重构、Prometheus 指标、OpenTelemetry 错误映射、代理流式响应加密、模型价格更新、Azure 实时认证、Bedrock 推理参数映射、
正文结构化主题已通过公开置信门槛
EduRiskX：结合F-Logic推理的神经符号框架用于早期学业风险预测
EduRiskX 是一个神经符号框架，结合了时间 Transformer 预测器与 F-Logic 符号推理，用于在线教育中的早期学业风险预测。在 OULAD 数据集上，它实现了 0.900 的准确率和 0.894 的 F1 分数，平均早期检测周为 9.32，检测率为 94.30%。该框架通过 F-Logic 模块提供基于规则的解释，增强了可解释性，并优于
正文结构化主题已通过公开置信门槛
通过采样引导和扩展LLM的配方
本文提出了一种通过采样来引导和扩展自回归大语言模型（LLM）的灵活且理论基础的框架，涵盖两种算法：基于序贯蒙特卡洛（SMC）和副本交换（RE）的方法，用于从幂化、乘积或倾斜的基础分布中采样。实验表明，这些方法在数学推理任务上无需外部监督或奖励模型即可提升生成质量，且扩展性优于Best-of-N和标准MCMC基线。该框架为LLM的概率推断提供了系统化的采样方案
正文结构化主题已通过公开置信门槛
TreeGraft：基于树形投机解码的自适应多草稿模型嫁接方法
TreeGraft 提出了一种多草稿模型框架，通过将不同成本的草稿模型（小型和中等）联合构建共享草稿树，以提升树形投机解码的效率。该方法利用较强模型对较弱模型的候选进行重打分、重新选择嫁接位置并恢复被忽略的路径，同时引入轻量级调度器控制调用强模型的时机。在10个模型对和6个基准测试中，TreeGraft 相比最优的单草稿模型策略平均提升15.1%，最高达26
正文结构化主题已通过公开置信门槛
MoRe：单智能体多角色混合实现多视角协同
arXiv 论文提出 Mixture of Roles (MoRe) 方法，通过可学习码本和查询感知路由器，将多个角色组合成单一 steering vector，在单智能体单次推理中实现多视角专业化。实验显示 MoRe 平均比单智能体基线高 2.2%，性能与多智能体系统相当，但显著降低 token 成本。该方法通过三阶段 SFT 和 GRPO 训练，且保持骨
正文结构化主题已通过公开置信门槛
LLM智能体轨迹中的成本-效用对齐：剖析、归因、诊断、适应与评估
本文提出一个面向LLM智能体轨迹的成本-效用对齐框架，包含成本剖析、效用归因、错位诊断、定向适应和评估五个阶段，将资源消耗与任务贡献视为同一执行过程的双重账本。效用归因通过过程代理、信息依赖和反事实重放等方法提供因果证据，以指导诊断和适应。该框架为资源感知的智能体设计与部署提供了结构化基础，并分析了近期系统、归因方法和评估协议。
正文结构化主题已通过公开置信门槛
llama.cpp b10665 发布：新增 Nemotron3.5 DSpark 支持
llama.cpp 发布 b10665 版本，新增对 Nemotron3.5 模型的 DSpark 支持。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。此次更新增强了 llama.cpp 对特定模型架构的兼容性