vLLM 推出基于 push 的 KV 传输优化分离式推理
AWS 机器学习博客介绍 vLLM 中基于 push 的 KV 传输方案，用于分离式推理（prefill/decode 分离）。该方案将 prefill 后的传输协调与设置移出关键路径，在 AWS EC2 P5en 实例配合 EFA 的 1P1D 部署上，对 Qwen3-32B 模型实现最高 3 倍 TTFT 改善和最高 30% TPOT 改善。该功能先在
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3310 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月20日周二 · 2 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
vLLM 双向 KV 传输优化多轮 Agent 的 TTFT
AWS 在 vLLM 中实现了双向 KV cache 传输机制，让 decode 节点在后续对话轮次中把已计算的 KV 块回传给 prefill 节点，避免多轮 agent 工作负载重复计算历史上下文。该功能最初在 AWS Trainium 集群上构建并贡献给 vLLM 作为与加速器无关的能力，在 EC2 P5en GPU 集群配合 EFA 网络的 1P1D
10月19日周一 · 18 条
正文结构化主题已通过公开置信门槛
NVIDIA 推进媒体智能体安全：EBU 主权框架与 Adobe 视频搜索加速
在柏林一场由 Adobe、贝塔斯曼、NVIDIA 和 UFA 共同主办的创意产业活动上，NVIDIA 宣布了两项面向媒体行业的智能体安全与效率进展。欧洲广播联盟（EBU）与 NVIDIA 扩展其主权框架，引入主权云提供商、开放模型开发者和系统集成商，帮助广播机构在部署智能体时保持对数据、基础设施、模型和安全的控制。Adobe Frame.io 则利用 NVI
正文结构化主题已通过公开置信门槛
Qwen3.8-27B Coder390 去审查版 ROCmFPX 量化 GGUF 发布
开发者 ArtomYuan 在 Hugging Face 发布了 Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 ROCmFPX 量化 GGUF 版本，共 7 个量化层级并附带视觉 mmproj。该模型基于 huihui-ai 的 Coder390-EfficientThink 社区微调版再做 ablite
正文结构化主题已通过公开置信门槛
通研院孵化团队通衍灵智探索RSI个性化智能
北京通用人工智能研究院（BIGAI）孵化的通衍灵智团队提出以参数化学习和持续进化为核心的Personal AI路线，采用共享基础模型加轻量化Personal LoRA承载个人与企业的专属能力，并研发RSI（递归自我改进）框架，通过Evaluator筛选反馈、增量更新与版本回滚实现可信持续学习。在算力层面，团队推出TIP训推并行与Paged LoRA显存管理，
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11734：重构 CANN 后端条件编译
llama.cpp 发布 b11734 版本，主要变更是在 CANN 后端重构 #ifdef 代码块，避免 return 之后出现不可达代码（#25273）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等后端。此次更
正文结构化主题已通过公开置信门槛
LangGraph CLI 0.4.37 发布：修复 verbose 输出并默认部署 serverless
LangGraph 发布 langgraph-cli 0.4.37 版本，主要修复了 CLI 在 verbose 模式下打印子进程 stdin 的问题，并将默认部署目标改为 serverless，同时更新了 js-examples 中的多项依赖。该版本属于常规维护更新，对使用 LangGraph CLI 部署应用的开发者有直接影响。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11732：修复 CUDA 多余分号警告
llama.cpp 发布构建版本 b11732，主要修复了 CUDA 后端中关于多余分号的编译警告（#30774）。该版本同步提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等后端。此次更新属于常规维护性构建，对终端用
正文结构化主题已通过公开置信门槛
llama.cpp b11731：向量化 ggml v silu 与 ggml v expf
llama.cpp 发布 b11731 版本，核心变更是由 IBM 的 Aaron Teo 提交的 ggml-cpu 优化：对 ggml v silu 和 ggml v expf 两个向量函数进行向量化，以提升 CPU 推理性能。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 的多种后端预编译包，包括 CUDA、Vulka
正文结构化主题已通过公开置信门槛
MiniCPM-V 4.7 35B-A3B 发布 int4 量化版，主打端侧 MoE 推理
面壁智能（OpenBMB）在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 int4 量化版本，基于压缩张量与 llm-compressor 实现 W4A16 量化。该模型是 MiniCPM-V 系列首个 MoE 多模态模型，借助 Lookahead Expert Scheduling、分层量化和 DSpark 投机采样，宣
正文结构化主题已通过公开置信门槛
MiniCPM-V 4.7 1B 发布 GPTQ 量化版
OpenBMB 在 Hugging Face 发布 MiniCPM-V 4.7 1B 的 GPTQ（W4A16）量化版本，基于 Apache-2.0 许可，面向端侧多模态推理。该模型采用视觉编码器内早期压缩与 4x/16x 混合视觉 token 压缩，支持 iOS、Android、HarmonyOS 及多家芯片平台，并兼容 SGLang、vLLM、llama
正文结构化主题已通过公开置信门槛
Qwen-Image-Lightning 蒸馏 LoRA 发布：8 步生成图像
lightx2v 在 Hugging Face 发布 Qwen-Image-Lightning，为 Qwen-Image 文生图模型提供蒸馏 LoRA 权重，使图像生成仅需 8 步推理。该权重采用 Apache-2.0 许可，可通过 diffusers 本地加载，也可在 LightX2V Studio 在线使用（线上部署为 Qwen-Image-2512 搭
正文结构化主题已通过公开置信门槛
llama.cpp b11729：Qwen3 支持双向注意力与 dense 2 输出投影
llama.cpp 发布 b11729 版本，为 Qwen3 模型新增双向注意力（bidirectional attention）与 dense 2 输出投影支持，并在转换脚本 base 中读取 use bidirectional attention 配置。该改动由社区贡献者提交、Grok 辅助完成，同时发布覆盖 macOS、Linux、Windows、An
正文结构化主题已通过公开置信门槛
从微服务到智能体：分布式系统的下一次演进
InfoQ 发表文章，探讨由大语言模型和推理系统驱动的 agentic AI 架构如何从微服务架构演进而来。文章指出，微服务解决的是服务分解问题，而 agentic 系统解决的是决策分解问题，执行路径在运行时根据上下文动态生成，而非在设计时完全确定。这种转变带来更强的适应性，但也引入非确定性执行、决策质量成为核心可靠性指标、故障常表现为推理质量静默下降等新挑
正文结构化主题已通过公开置信门槛
ggml-org 发布 gemma-4-E4B-it GGUF 量化版
ggml-org 在 Hugging Face 发布了 google/gemma-4-E4B-it 的 GGUF 量化版本，采用 Apache-2.0 许可，pipeline 标签为 any-to-any。该模型由 ggml-org/convert 工具自动转换，可通过 Llama 应用或 llama serve 命令行直接运行。这为本地部署 Gemma 4
正文结构化主题已通过公开置信门槛
ggml-org 发布 Gemma 4 31B 指令版 GGUF 量化模型
ggml-org 在 Hugging Face 发布了 google/gemma-4-31B-it 的 GGUF 量化版本，支持通过 Llama 应用或命令行 llama serve 直接运行。该模型由自动化转换工具生成，采用 Apache-2.0 许可，属于多模态图文输入模型。
正文结构化主题已通过公开置信门槛
ggml-org 发布 Gemma-4-26B-A4B-it GGUF 量化版
ggml-org 在 Hugging Face 发布了 google/gemma-4-26B-A4B-it 的 GGUF 量化版本，采用 Apache-2.0 许可，支持 image-text-to-text 任务，可通过 Llama 应用或 llama serve 命令直接运行。该模型由自动化转换工具生成，页面信息尚不完整，标注了待补充说明的 TODO。
正文结构化主题已通过公开置信门槛
llama.cpp b11727：修复 GGUF 截断数据导致的张量损坏
llama.cpp 发布 b11727 版本，修复了 gguf-split 与 export-lora 工具在输入 GGUF 文件被截断时可能静默输出损坏张量数据的问题。修复方式是在 gguf-split.cpp 和 export-lora.cpp 中增加张量数据边界检查与短读检查，并新增回归测试验证截断输入会被拒绝、有效张量数据得以保留。该版本同时提供 m
正文结构化主题已通过公开置信门槛
ISTA-DASLab 发布 Qwen3.8-Flash-Next 专家剪枝量化 Coder 版
ISTA-DASLab 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO Coder 压缩版本，通过移除 50% 的专家（512 个中保留一半）并将剩余权重以 3.5 bpw 量化，把模型从 354 GB 降至 58.4 GB，常驻内存仅 29.6 GB，可放入单张 32 GB 加速卡。该版本面向代码、智能体工具调
正文结构化主题已通过公开置信门槛
antirez 发布 DeepSeek-V4.1-Flash GGUF 量化权重
开发者 antirez 在 Hugging Face 发布了 DeepSeek-V4.1-Flash 的 GGUF 量化权重，专为 DwarfStar 的 Metal 实现校准，提供 Q2（340.60 GiB）和 Q4（482.98 GiB）两档语言模型及独立视觉编码器。该版本使用 IQ2 XXS/Q2 K 与 Q4 K 量化并保留原生 FP8 Engra