返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

10月5日周一 · 9 条
正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

FinDialogLens：多方可对话事件抽取识别金融聊天室漏单

该论文提出 FinDialogLens，将多方可对话金融聊天室中的漏单识别建模为事件抽取任务。系统采用混合 LLM 流水线：先用微调的 RoBERTa 分类器检测 RFQ 触发消息、价格与交易结果线索，再按事件切分 RFQ 窗口，最后由 GPT-4o 或微调开源 LLM 填充论元角色。在最终价格和交易结果上分别达到 92.1% 和 94.3% 准确率，优于全

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

AEON-7 发布 Qwen3.8-27B 未审查 NVFP4 混合量化模型

AEON-7 在 Hugging Face 发布 Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-NVFP4-MIXED 模型，这是基于其 BF16 未审查主模型（base model 为 AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16）的约 23.8G 混合精度部署版本，采用 Mo

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源模型发布

autotrust 发布 JEV-27B-VL：零样本看图决策的视觉模型

autotrust 发布 JEV-27B-VL，在 JEV-27B 基础上加入视觉能力，可同时接收图像与文本并在一次前向传播中输出每个选项的校准概率。其决策头训练时从未见过图像，却在 MicroLens 短视频封面推荐任务上达到 AUC 0.727，与基于 59,045 名用户行为训练的协同过滤（0.728）相当，且 top-5 命中率更高（59% vs 4

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11401 发布：修复日志颜色与 router 子进程命令分离

llama.cpp 发布 b11401 版本，主要改进了日志与 server 模块：日志颜色重置位置调整使每行自包含，Windows 控制台启用 ANSI 虚拟终端模式以正常显示颜色，并将 router 子进程的状态命令与日志分离到不同管道，避免命令被日志流干扰。同时提供了 macOS、Linux、Android、Windows 等多平台预编译二进制。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11400：batch 支持混合 embd 与原始 token

llama.cpp 发布 b11400 版本，核心变更是让 llama 支持在同一个 batch 中混合使用 embedding 和原始 token 输入（PR #29622），并新增了对应的测试用例与常量图拓扑处理。该版本同时提供了覆盖 macOS、Linux、Windows、Android 等平台的预编译二进制包，支持 CUDA、Vulkan、ROCm、

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11399：重构 CUDA swizzling 代码

llama.cpp 发布 b11399 版本，主要变更是对 CUDA 后端中的 swizzling（地址重排）代码进行重构，并修复了模板与循环边界问题。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Qwen3.8-Flash-Next 发布 ik llama v3 GGUF 量化

用户 ji-farthing 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 ik llama.cpp GGUF 量化版本 v3（IQ4 KT 与 IQ3 KT），使用针对 agentic coding 校准的重要性矩阵，并附带模型自身 MTP 草稿头的 IQ4 KT 量化。相比被替换的旧版，v3 在英文和代码上的平均 KL

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11398：x86 tinyBLAS 支持 BF16/FP16/FP32 K 尾部

llama.cpp 发布 b11398 版本，主要更新是在 x86 平台的 tinyBLAS 中为 ggml-cpu 增加对 BF16/FP16/FP32 K 尾部的支持，并对其进行向量化优化。同时调整测试逻辑，在启用 use ref 时跳过 tinyBLAS，使 CPU 测试改为与 vec dot 路径对比。该版本照例提供 macOS、Linux、Wind

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11396：Windows LLVM 构建改用 Ninja 多配置

llama.cpp 发布 b11396 版本，主要变更是 CI 中 Windows LLVM 构建需要启用 Ninja 多配置模式（#29959）。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

10月4日周日 · 11 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11392 版本，CI 设置默认权限

llama.cpp 发布 b11392 版本，主要变更为 CI 设置默认权限（#29945）。该版本提供了覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CPU、CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等多种后端，并附带 UI 包。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11391：CUDA 代码微调及多平台构建

llama.cpp 发布 b11391 版本，主要变更是将 CUDA 后端中的 blocks per col 变量移动到其实际使用位置（PR #29939），由 Adrien Gallouët 提交。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CUDA、Vulkan、ROCm、SYCL、Ope

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源模型发布

AutoTrust 发布开源决策模型 JEV-27B，性能略超闭源 Jev 1.13

AutoTrust AI 发布开源权重模型 autotrust/JEV-27B（Apache-2.0），在六个公开决策基准上平均得分 84.07，比闭源托管模型 TypeSafe Jev 1.13 高 0.22 个百分点。该模型采用「专家块」方案，将 Qwen3.8-27B 主干冻结，仅训练 1.089 亿参数的 System 1 决策块，同时保留原模型的生

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11390：修复 CUDA MMQ 内存错误

llama.cpp 发布 b11390 版本，主要修复了 CUDA 后端在 n expert 远大于 n ubatch 时 MMQ（矩阵乘法量化）出现的内存错误。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
THE DECODER研究

Google 研究新方法防止自我改进 AI agent 死记测试任务

Google Cloud AI Research 与多所大学提出 RRSI 方法，用于防止自我改进的 AI agent 在优化自身 harness 时过拟合测试任务。RRSI 通过逐步收紧编辑预算、引入严格 critic 过滤基准特定技巧，并只接受有性能收益的算力增加，从而提升泛化能力。在八个基准上，RRSI 训练任务最高提升 14.1 分，未见任务最高提升

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11388：imatrix 支持基于激活的统计计算

llama.cpp 发布 b11388 版本，核心变更是为 GGUF 新格式 imatrix 引入基于激活值的统计计算（PR #14891）。新增 --activation-statistics 参数，支持计算激活熵、余弦相似度、L2 范数及欧氏-余弦分数（ECS），并更新了聚合统计报告布局。同时该版本提供覆盖 macOS、Linux、Windows、And

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11387：修复温度大于 0 时 n-gram 草稿被拒问题

llama.cpp 发布 b11387 版本，主要修复了在温度大于 0 时截断后 n-gram 草稿被拒绝的 spec 问题（#29924），由 NVIDIA 的 Pranesh Gonegandla 参与贡献。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包，包括 CUDA、Vulkan、ROC

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11385：修复 server 预设键并更新多平台构建

llama.cpp 发布 b11385 版本，主要修复了 server 中预设允许列表里失效的 LLAMA ARG HF REPO FILE 键（PR #29938，由 Adrien Gallouët 提交）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包，涵盖 CUDA、Vulkan、ROCm

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11384 版本

llama.cpp 发布 b11384 版本，主要 CI 变更为推送 tag 需要 deploy key（#29937）。该版本提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制，支持 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdra

正文结构化主题已通过公开置信门槛
量子位商业

马斯克确认与台积电洽谈Terafab芯片制造合作

马斯克10月3日在X上确认正与台积电讨论Terafab芯片制造合作，此前英特尔是唯一被正式点名的合作伙伴，计划提供14A（约1.4nm级）工艺。Terafab是Tesla、SpaceX与xAI共同推进的超大规模垂直整合芯片项目，一期投资168亿美元，长期潜在总投资可达1190亿美元，目标年产约1TW AI算力。媒体披露台积电可能以直接运营、小股东加运营或纯技

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11382：WebGPU 为 fill/set rows 增加 f16 支持

llama.cpp 发布 b11382 版本，主要变更为在 WebGPU 后端为 fill/set rows 操作增加 f16 支持（PR #29897）。该版本同时提供 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台预编译二进制，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等