返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3314 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月26日周六 · 1 条
正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源产品发布

Jev AI 实用指南:System One 与可执行决策

Hugging Face 博客发布了一篇关于 Jev AI 的实用指南。Jev AI 是 TypeSafe 的旗舰模型和首个 System One 模型,定位为面向软件团队的决策工具,通过「状态 + 类型化问题」的接口返回选项、分数、是/否判断和概率信号,而非生成文本。文章将其与生成式 LLM 对比,说明它适合分类、路由、评分和安全检查等有界决策场景,并介绍

9月25日周五 · 19 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11181 发布:提高 HIP 版本要求以支持 fp8

llama.cpp 发布 b11181 版本,主要变更是提高 HIP 版本要求以支持 fp8,避免在 HIP 6.2 中缺少 hip fp8 e4m3 支持的问题。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包,涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11180:修复 RPC 分配缓存键

llama.cpp 发布 b11180 版本,主要修复了 RPC 后端中 get alloc size 缓存键未包含 nb 参数的问题,并将计算结果下限设为 ggml nbytes。该改动由 Georgi Gerganov 等人提交,旨在提升 RPC 内存分配计算的正确性。同时发布了覆盖 macOS、Linux、Windows、Android 等多平台及 C

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse 发布 v4.46.0:新增实验对比与技能管理

Langfuse 发布 v4.46.0 版本,新增实验并排对比、数据集条目格式化 JSON、基础技能管理以及追踪表格 100 行分页选项等功能。同时修复了计费 webhook 时间戳解析、数据保留设置、图表与界面细节等多项问题,并进行了设计系统迁移和数据集读取性能优化。

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering商业

Perplexity 自研 CobbleDB 替换 DynamoDB,查询延迟降低 5 倍

Perplexity 将核心搜索服务层从 Amazon DynamoDB 迁移到自研的 Rust 分布式键值存储 CobbleDB,以解决向大语言模型提供多 KB 文档批次时的高延迟与高成本问题。新架构将持久化存储与热层检索解耦,使批量读取延迟降低约 5 倍,存储费用至少降低 20%。CobbleDB 由两名系统工程师配合 AI 编码智能体在两个月内完成,公

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

ggml-org 发布小米 MiMo-V2.6-Flash-RL 的 GGUF 量化版

ggml-org 在 Hugging Face 上发布了小米 MiMo-V2.6-Flash-RL 的 GGUF 量化版本,支持通过 llama.app 运行。该版本提供 MXFP4、Q2 K 等多种量化输出,并附带用于投机解码的 MTP 与 DFlash drafter sidecar,以及面向视觉和音频编码器的 Q8 0 mmproj。模型由 ggml-

正文结构化主题已通过公开置信门槛
THE DECODER商业

AI推高成本:NSA测试耗资数十亿,医院保险账单战加剧

美国国家安全局向国会表示,今年将花费数十亿美元测试先进AI模型,其中算力是最大开支,人员薪酬也因需与AI实验室竞争而推高成本。在医疗领域,医院和保险公司利用AI进行账单编码与理赔审查,互相博弈导致护理成本上升,蓝十字蓝盾协会称医院借此两年多收近10亿美元。文章还指出,企业按token计费的模式使大客户算力支出高昂,OpenAI和Anthropic等提供商正通

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

GLM-5.3-Flash W4A16 INT4 量化版发布,体积减70%

canada-quant 发布了 GLM-5.3-Flash 的 W4A16(INT4)量化版本,仅对 36,288 个路由专家 GEMM 做 GPTQ 对称 INT4 量化,注意力、路由、共享专家、嵌入、视觉塔和 MTP 头保持 BF16。模型体积从约 599 GiB 降至 177.7 GiB(-70%),可在 H100、H200、RTX PRO 6000

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11178:修复 MUSA/MTT S5000 算子失败与构建问题

llama.cpp 发布 b11178 版本,集中修复 MUSA 后端(摩尔线程 MTT S5000 / PH1)的多个问题。改动包括:让 MUSA 使用 16 字节拷贝、启用 CUB 路径、采用上游代码路径、移除多余编译期守卫、在 PH1 上禁用 MMQ 路径,并修复 fused TOPK MOE 内核在 MUSA 上的死锁。修复后 27B 模型困惑度从

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

梁文锋署名11篇论文:从MoE到DSec的底层技术狙击史

雷峰网AI科技评论梳理了梁文锋过去三年署名的11篇论文,涵盖DeepSeek LLM、DeepSeekMoE、DeepSeek-V2、DeepSeek-Coder-V2、DeepSeek-V3、DeepSeek-R1、NSA、mHC、DSpark及最新DSec等。文章称这些论文分别从数据配比、MoE架构、MLA注意力、代码能力、低成本训练、纯强化学习推理、硬

正文结构化主题已通过公开置信门槛
THE DECODER商业

Anthropic 与 Akamai 签 116 亿美元云协议,算力支出逼近 5170 亿

Anthropic 与 Akamai Technologies 签署了一份为期七年、价值 116 亿美元的云服务协议,并获得最多相当于 Akamai 5% 股份的认股权证。消息公布后 Akamai 股价盘后上涨 22%。此前 Anthropic 上月刚与 Nscale 达成 450 亿美元算力承诺,据报道其 11 个月内累计算力交易额已达 5170 亿美元。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Mastra Releases一手来源产品发布

Mastra 1.71.0:可观测性能力协商与工具即时执行

Mastra 发布 1.71.0 版本,为可观测性存储引入能力协商机制,服务器通过新接口暴露存储支持的可观测性 API,客户端可据此发现兼容端点而无需升级存储。同时新增 trace 聚合规划 API、工具参数完成即执行的流式优化、Discord 集成与沙箱凭证物化,以及 MongoDB 向量自动嵌入功能。此外包含一处破坏性变更,移除了 playground-

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse 发布 v4.45.4 维护版本

Langfuse 发布 v4.45.4 版本,包含两项改动:刷新助手内置的 Langfuse 技能,以及在 CI 密钥替换前跳过 Azure LLM 连接测试。该版本为常规维护性更新,未涉及新功能或重大变更。

正文结构化主题已通过公开置信门槛
n8n Releases一手来源开源

n8n 发布 2.40.7,修复项目 span 属性传播问题

n8n 发布 2.40.7 版本,主要修复了核心模块的一个问题:将项目级 span 属性传播到节点级 span。该修复涉及 PR #39457,属于可观测性/追踪相关的缺陷修正,不涉及新功能。

正文结构化主题已通过公开置信门槛
PydanticAI Releases一手来源开源

PydanticAI v2.50.0 发布:新增 DecisionModel 与 Gemini 3.8 Live 支持

PydanticAI 发布 v2.50.0,引入 DecisionModel 基类以支持 Decisions 协议的路由决策,并调整了 ModelSelectionContext 的消息与提示结构。该版本新增 Gemini 3.8 Live 实时模型支持、OpenAI service tier 暴露及 RunContext.in durable contex

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

PTC-Bias:语音大模型音素级时间竞争偏置检索与解码后纠正

西安交通大学利物浦大学的研究者提出 PTC-Bias,一个基于音素级时间竞争的两阶段上下文偏置框架,用于语音大模型(SpeechLLM)的稀有词识别。预填充阶段通过 PTC Retrieval 做帧同步音素解码与候选发音时间竞争,生成紧凑的偏置词候选表及对应语音区间;解码后 PTC Correction 在同一区间内对候选词与不匹配转写片段做二次局部竞争,实

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

OneTrans-V2:用单一 Transformer 统一工业推荐召回、粗排与精排

该论文提出 OneTrans-V2,用单个 Transformer 统一工业推荐系统中的召回、粗排和精排三个阶段。它只编码一次用户行为序列作为共享上下文,各阶段保留自身候选特征与计算,并通过联合训练实现精排到粗排的模型内知识蒸馏。模型采用稀疏 MoE 扩展共享骨干、P-style 参数化稳定训练,并引入 DCGR 与 SNT。部署于大规模工业推荐系统后,GM

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

无依赖栈预训练GPT-2 124M并适配Qwen3临床模型

研究团队使用无第三方运行时依赖的 Zig 机器学习栈 numbat,从随机初始化预训练了 124.4M 参数的 GPT-2,在 9.91B token 网络文本上训练,并与 llm.c 的公开结果对比。其留出交叉熵为 3.2588(参考 3.29),HellaSwag 为 0.3053(参考 0.299),吞吐达 43,374 tokens/秒,高于 PyT

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

X-Rec 技术报告:基于流匹配的连续空间生成式推荐检索

该论文提出 X-Rec,一种基于流匹配(flow matching)的生成式检索方法,直接在连续物品嵌入空间建模推荐分布,以规避 U2I 表达力不足和 SID-AR 量化误差、低吞吐的问题。X-Rec 引入锚点条件、黎曼流匹配和延迟交互扩散 Transformer 三项设计。在流式基准上,X-Rec 显著优于 U2I 基线,检索质量与 SID-AR 相当,推

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

Seek:面向知识检索的自评估探索框架

该论文提出 Seek,一个无需训练的迭代式知识检索框架,通过在测试时多轮交互语料库来克服单次检索的局限。每轮由 LLM 生成伪段落扩展查询、检索器获取新候选、专用评估器给出分级相关性判断并指导后续轮次。在 TREC Deep Learning 上 Seek 匹配训练过的重排序器并提升 Recall@100;在 BRIGHT 上 Qwen2.5-7B 相对 B