SageV2-8B 长上下文角色扮演模型发布
Hugging Face 用户 sinhal 发布了 SageV2-8B-LongContext-NSFW-RP，一个基于 Meta-Llama-3.1-8B-Instruct-abliterated 微调的 8B 角色扮演模型，主打长对话中角色一致性与减少重复。作者用 40 轮固定脚本测试，称 6-gram 重叠从 35.0% 降至 9.3%，并给出 Q2
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3299 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月28日周三 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
华为昇腾 TorchNPU：PyTorch 的昇腾 NPU 适配插件
华为昇腾社区发布 TorchNPU 项目 README，介绍这是为 PyTorch 框架打造的昇腾 NPU 适配插件，使 PyTorch 可直接调用昇腾 AI 处理器。文档列出基础算子、分布式训练（FSDP2、DTensor、集合通信）、图模式加速、调试调优及内存管理等核心模块，并给出安装方式与版本兼容信息。最新动态显示 TorchNPU 26.0.0 已支
正文结构化主题已通过公开置信门槛
NVIDIA 发布 GLM-5.3-Flash NVFP4 量化模型
NVIDIA 在 Hugging Face 发布 GLM-5.3-Flash-NVFP4，这是对 ZAI 的 GLM-5.3-Flash 模型进行 NVFP4 量化后的版本，使用 NVIDIA Model Optimizer（v0.47.0）完成权重量化。原模型为 320B 总参数、18B 激活的原生多模态 MoE 模型，支持最长 1M 上下文，面向推理、编
正文结构化主题已通过公开置信门槛
KORA：面向 AI 工作负载的确定性优先执行控制
KORA 提出一种「确定性优先」的执行控制层，在推理之前将请求表示为任务路径，优先尝试确定性或结构化路由并验证结果，仅在确定性处理不足时才升级到模型推理。论文报告在一个可复现的 100 项确定性偏重基准中，相比朴素直接基线避免了 80 次模拟模型调用，且确定性子集零不匹配；另有一个合成客服本地/无网络验证工作负载。作者明确限定这些结果不证明生产行为、真实供应
正文结构化主题已通过公开置信门槛
继续还是重启？编码智能体早期失败预测的局限
该研究基于两个公开语料库的147,002条执行轨迹，覆盖四种模型-框架组合，评估编码智能体早期失败预测的可行性。研究发现，在5k-20k token的早期阶段，任务内区分度接近随机水平（AUC约0.50），早期前缀仅能小幅提升跨任务排序。在75k token预算下，学习到的重启策略相比随机重启最多提升1.98个百分点，但增益几乎全部来自任务间停止分配，任务内
正文结构化主题已通过公开置信门槛
AgentBaton：智能体任务中的高效模型协作
该论文研究长程智能体任务中强模型与高效模型的协作方式，系统比较了模型交接的方向与上下文传递方法。实验发现，高效模型到强模型的交接通常不如仅用强模型，而强模型到高效模型在合适阶段交接可大幅降低成本并保持甚至提升准确率。基于此提出轻量检测器 AgentBaton，在 11 组模型对和两个基准上平均降低 API 成本 65.9%，准确率最高提升 8.8 个百分点。
正文结构化主题已通过公开置信门槛
ResCom：面向大语言模型量化的激活残差补偿
论文提出 ResCom，一种用于大语言模型低比特量化（W4A4）的激活残差补偿方法：在模型完成校准后，利用激活舍入残差，通过低秩校正来补偿层输出误差，无需梯度训练，也不改动已校准的权重。在 Llama-3-8B 上，rank-32 的注意力校正将 WikiText-2 困惑度从 7.708 降至 7.147，MMLU 提升 2.89 个百分点，GSM8K 五
正文结构化主题已通过公开置信门槛
FinLLM-KG：知识图谱增强LLM的金融情感分析
该论文提出 FinLLM-KG，一个模型无关的框架，将因果 LLM 与金融知识图谱结合，在推理时注入来自 SEC 10-K 文件的公司级知识，无需更新模型权重。上下文以自然语言公司简介或少量相关性排序的事实三元组形式提供，使情感预测能考虑公司层面的信息，并可将预测归因到具体句子和知识图谱事实以增强可解释性。模拟实验表明，该框架在投资组合表现上持续优于现有基线
正文结构化主题已通过公开置信门槛
DISCO：通信高效的分布式投机解码框架
论文提出 DISCO，一种面向设备-服务器协同 LLM 推理的通信高效分布式投机解码框架。现有方法在拒绝采样时需在设备与服务器间传输整个词表规模的 token 分布，带宽受限时开销很大。DISCO 在服务器端部署草稿小模型（SLM）的副本，使服务器本地即可获得拒绝采样所需的草稿侧分布，从而只需交换草稿 token 索引和标量概率值。实验表明，在多种带宽条件下
正文结构化主题已通过公开置信门槛
存储预算下稀有物品召回：量化、蒸馏与教师保真度的局限
该论文研究在固定存储预算下，推荐系统应如何分配字节以保留稀有物品召回率。作者在七个数据集-骨干组合上比较了七种候选方案，发现将字节用于更高秩而非更高精度（如秩300、4比特量化）能保留教师模型95-103%的尾部召回率，而同等字节下秩40模型尾部召回最低。研究还指出，以教师命中保留率衡量压缩模型会误判尾部召回表现，建议用总尾部召回而非教师保真度来评估压缩推荐
正文结构化主题已通过公开置信门槛
ChronoReplay：单一答案接口不足以支撑流式空间智能
该论文提出 ChronoReplay 训练框架，用于缓解流式空间视觉语言模型（VLM）中的“接口锁定”问题——即模型过度专精于某一种空间答案格式（如类别关系、度量距离或运动轨迹），导致跨任务迁移能力弱。ChronoReplay 将异构空间监督组织为按时间排序的片段，保留各任务原生答案格式并平衡不同监督族的学习。单一检查点在 OVO-S-Bench、OST-B
正文结构化主题已通过公开置信门槛
Comfy-Org 发布 Boogu-Image 的 ComfyUI 重打包模型
Comfy-Org 在 Hugging Face 发布了 Boogu-Image 的 ComfyUI 重打包模型文件，基于 Boogu 的 Boogu-Image-0.1 系列（Base、Edit、Edit-Turbo、Turbo）。该仓库提供 bf16、fp8 scaled、int8 convrot、nvfp4 等多种量化格式的扩散模型、LoRA、文本编码
正文结构化主题已通过公开置信门槛
llama.cpp b11946：server 新增 /v1/realtime 实时对话与转写
llama.cpp 发布 b11946 版本，在 server 中新增 /v1/realtime 接口，支持实时对话与语音转写，并附带默认连接 9931 端口的实时客户端示例。该提交还修复了多会话共享同一上下文时采样错位、导致并发输出混淆的问题，并将相关逻辑迁移至自包含的 server-realtime 模块。此次更新使 llama.cpp 本地推理服务具备
正文结构化主题已通过公开置信门槛
llama.cpp b11944：服务器暴露聊天模板推理努力等级
llama.cpp 发布 b11944 版本，服务器端新增暴露聊天模板的推理努力等级（reasoning effort levels）能力。该功能通过能力探测为 minimal、low、medium、high、xhigh、max 等候选等级渲染用户轮次，能正常渲染且与未知等级渲染结果不同的等级才被采纳，渲染相同的等级视为别名并保留最高者。这些等级序列化为 J
正文结构化主题已通过公开置信门槛
Qwen3.8-27B NVFP4 无损 MTP 加速版发布，DGX Spark 提速 3.9 倍
Hugging Face 用户 autotrust 发布了 Qwen3.8-27B-NVFP4-DGX-SPARK，这是对 nvidia/Qwen3.8-27B-NVFP4 的无损加速分发版，权重与上游逐位一致。通过优化 MTP 投机解码配置（64k 草稿词表、NVFP4 Marlin 草稿头等），在 DGX Spark（GB10）上单流解码从 12.5 t
正文结构化主题已通过公开置信门槛
llama.cpp b11940：支持延迟工具与 tool reference 内容片段
llama.cpp 发布 b11940 版本，核心变更是 common 模块支持 deferred tools 与 tool reference 内容片段（PR #31256），并修复了相关测试的类型检查。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 的多后端预编译包，包括 CUDA、Vulkan、ROCm、SYCL、O
正文结构化主题已通过公开置信门槛
Gemma-4-12B-HybridAgent 的 GGUF 量化版本发布
开发者 mradermacher 在 Hugging Face 发布了 Gemma-4-12B-HybridAgent 的 GGUF 量化版本，基于 milkshake721 的原始模型，使用 togethercomputer/HybridAgent-HybridSFT-v2 数据集微调。该模型支持中英文，具备视觉能力，并针对 agent 工具调用和潜在推理
正文结构化主题已通过公开置信门槛
mradermacher 发布 Ministral-3-14B-abliterated 的 GGUF 量化版本
Hugging Face 用户 mradermacher 发布了 Ministral-3-14B-abliterated 模型的 GGUF 静态量化版本，提供从 Q2 K 到 Q8 0 的多种量化文件，并另提供加权/imatrix 量化版本。该模型基于 jenerallee78 的 abliterated（去审查）版本，采用 Apache-2.0 许可，方便
正文结构化主题已通过公开置信门槛
Arki05 发布 LFM2.5-2.6B 全类型 GGUF 分片仓库
Hugging Face 用户 Arki05 发布了 LFM2.5-2.6B-GGUF-shards 仓库，将 LiquidAI 的 LFM2.5-2.6B 模型按 23 种 llama.cpp 量化类型逐张量重新量化，并提供校准数据、manifest 与 sha256 记录，供 qalloc 工具按张量粒度组装 GGUF。该仓库基于 LiquidAI 的
正文结构化主题已通过公开置信门槛
NVIDIA CUDA 13.4 在 Kubernetes 中实现显存强制的 GPU 共享
NVIDIA 发布 CUDA 13.4，新增对应用透明的显存边界强制能力，支持精确显存额度、可增长区间以及按容器选择计算共享模式（time-slicing 或 sm-sharing）。同时推出开源 Kubernetes operator gpu-fractioning，负责在 GPU 节点上运行 MPS、应用各 Pod 容器的显存限制与计算模式，并按分片而非