返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3312 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月11日周日 · 1 条
正文结构化主题已通过公开置信门槛
智东西商业

后摩智能信晓旭:Agent元年,存算一体构筑端边AI芯基建

后摩智能联合创始人信晓旭在2026全球AI芯片峰会(GACS 2026)演讲中提出,2026年是Agent元年,模型压缩与端边芯片性能提升共同打开端边AI商业化奇点,端云AI将协同共生,Token交互入口成为竞争焦点。后摩智能布局2D与3D CIM存算一体双技术体系,将于10月生态合作伙伴大会发布基于3D CIM架构的新产品A20;旗舰芯片M50量产未满一年

10月10日周六 · 19 条
正文结构化主题已通过公开置信门槛
THE DECODER模型发布

微软 Decision-1 模型加入快速增长的 AI 决策模型竞赛

微软推出决策模型 Decision-1,基于 Qwen3.5-9B 构建,用于分类、评估和路由决策,并有望引导和控制复杂环境中的智能体。微软称其在覆盖近 15 万个问题的 36 项基准测试中准确率最高,速度是第二名 H2O-Lightning-4B 的 2.5 倍。该模型通过 Microsoft Foundry 和 OpenRouter 提供,输入 toke

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

字节发现 DeepSeek 分块 KV 压缩的周期性盲区

字节跳动团队发表论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》,指出 DeepSeek V4 系列模型因采用分块 KV Cache 压缩技术而存在周期性相位敏感问题:在代码补全任务中仅因前置等号数量不同,错误率可在 71.3% 与 91.5% 之间波动,

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Nex-N2.5-mini OrcaRouter Sangreal ICE 量化模型发布

gbuzhf 发布了 Nex-N2.5-mini-OrcaRouter-Sangreal-ICE,这是对 orcarouter/Nex-N2.5-mini-Uncensored(基于 nex-agi/Nex-N2.5-mini 的 abliterated 版本)进行 ICE 1.6 量化后的 GGUF 模型。该模型采用 Sangreal 校准语料和重要性矩阵

正文结构化主题已通过公开置信门槛
量子位商业

24天估值翻至75亿美元,Jev带火决策模型赛道

TypeSafe AI 宣布完成 8.7 亿美元 A 轮融资,投后估值达 75 亿美元,距其 9 月 15 日发布决策模型 Jev 仅 24 天。Jev 砍掉传统 LLM 的生成能力,只做分类、打分和选择等判断任务,上线 3 天日吞吐量达 1 万亿 Token,并被约三分之一《财富》500 强企业采用。融资由 a16z、红杉资本、DCVC 等参与,a16z

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11541 发布:OpenCL 新增 MoE 量化矩阵乘内核

llama.cpp 发布 b11541 版本,主要变更为在 OpenCL 后端新增两个 MoE 矩阵乘法内核 kernel gemm moe q4 k q8 1 dp4a bin 和 kernel gemm moe q6 k q8 1 dp4a bin(PR #30187)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

autotrust 发布 GEV-26B-Decide 决策模型

autotrust 在 Hugging Face 发布 GEV-26B-Decide,一个基于 google/gemma-4-26B-A4B-it 的 LoRA 适配决策模型,采用 System 1/System 2 自适应思考机制,对类型化问题输出校准概率。该模型在 Decision Index 0.2.1 上取得 62.48 分,超过 TypeSafe

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

autotrust 发布 JEV-27B-VL 视觉决策模型,登顶决策指数视觉榜

autotrust 发布 JEV-27B-VL,一个基于 Qwen3.8-27B 的视觉决策模型,在社区 Jev Decision Index 0.3 视觉榜上 20 个模型中排名第一。其 System 1 决策头与适配器仅用文本训练,视觉编码器保持原样,因此在图像任务上为零样本表现,却在公开与私有测试中均居首,并超过参数量约 15 倍的 Qwen3.5-3

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

Cloudflare Traces 公测:代理层转为 OpenTelemetry Span 并改按量计费

Cloudflare 将 Traces 功能开放公测,把安全规则、缓存决策、路由、Worker 执行和源站处理等代理层环节自动转换为 OpenTelemetry span,无需编写埋点代码。该功能支持 W3C traceparent 上下文传播、基于规则引擎的采样,并通过 OTLP 导出到任意兼容后端。同时 Cloudflare 调整了 Workers Tr

正文结构化主题已通过公开置信门槛
Latent Space商业

TypeSafe 三周 ARR 破亿,决策模型成新品类

TypeSafe 宣布其“Series AI”融资,Sequoia 泄露其上线三周内 ARR 突破 1 亿美元、估值达 75 亿美元,其 Jev API 被广泛克隆。同日多家厂商推出“决策模型”产品,包括 OpenAI Decisions API、微软 Decision-1、Perplexity pplx-decider、Cloudflare clef 和

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

huihui-ai 发布 Qwen3.8-27B 去审查 GGUF 量化版

huihui-ai 在 Hugging Face 发布 Huihui-Qwen3.8-27B-abliterated-GGUF,这是基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝行为的无审查版本,并提供多种 GGUF 量化格式。该模型仅对第 22 至 52 层(部分版本为 17 至 52 层)进行消融,保留前 15 层及

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

工具使用智能体的可控遗忘:可逆上下文整理实践

该研究提出一种「智能体控制的遗忘」机制:执行任务的模型可主动选择此前观察到的工具结果,将其替换为简短备注,并把原始内容存入可恢复归档,同时保护用户指令与助手消息。在 OpenTelemetry 调试案例中,该方法将提示词 token 从 912,492 降至 231,951,累计输入 token 减少 50%,API 成本从约 4.38 美元降至 1.28–

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

IROS 2026 观察:具身智能四大技术趋势收敛

雷峰网 AI 科技评论梳理 IROS 2026 主会论文与 Workshop 名单,认为具身智能技术路线明显收敛为四大趋势:基础模型内化物理规律、大小脑分层架构成为行业标准、触觉成为精细操作核心变量、数据采集成本大幅下降。文中列举 ULTRA、LITHE、KineFuse、HALO、ViHaTeleop 等论文与 Workshop,并指出中国团队存在感增强。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

GLM-5.3-Flash 精简版适配 DGX Spark

Hugging Face 用户 autotrust 发布了 GLM-5.3-Flash-E224-DGX-Spark,这是 zai-org/GLM-5.3-Flash 的非官方量化衍生版本,通过神经架构搜索将每层路由专家从 288 个裁剪到 224 个,并采用 NVFP4 格式,权重降至 141 GiB,使其可在两台 ConnectX-7 互联的 NVIDI

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11540:SYCL 加速 MXFP4 MoE

llama.cpp 发布 b11540 版本,主要变更是为 SYCL 后端加速 MXFP4 MoE,采用算术解码(arithmetic decoding)与权重重排序(weight reordering)优化,对应 PR #29809。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

日均140万亿Token调用下,SSD与NAND能力边界重构

在GMIF2026全球存储器行业创新峰会上,多方指出中国日均Token调用量已突破140万亿,AI推理规模化给存储带来数据丰富度、推理复杂度、运营持久性三重压力。三星、Solidigm、慧荣、闪迪等厂商正推动SSD向计算侧与大容量侧延伸,NAND向Z-NAND、HBF及存内计算演进。行业共识是数据管理正从兜底式分层转向系统设计之初的主动分层与运行中的动态调度

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11539:应用上游深层嵌套 JSON 补丁

llama.cpp 发布 b11539 版本,主要变更是从上游应用了一个深层嵌套的 JSON 补丁(vendor: apply deep nested json patch from upstream, #30253)。该版本同时提供了覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台、多后端(CPU、CU

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

非文本 AI 模型 Jev 发布数周后估值达 75 亿美元

TypeSafe AI 开发的非文本 AI 模型 Jev 在发布仅数周后迅速走红,公司随即完成 8.7 亿美元融资,估值达 75 亿美元,由 Andreessen Horowitz 领投,Sequoia 和现有投资方 DCVC 参投。Jev 基于 transformer 架构但并非大语言模型,不输出文本,而是生成概率即所谓“校准决策”,公司声称其速度显著更快

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Interconnects AI观点

AI 工程加速可期,但通用超级智能尚远

Interconnects AI 作者认为,AI 将在几年内成为超人的分布式 GPU 工程师,大幅加速基础设施与工程能力,使模型实验和调优变得更容易,但这不会让模型本质发生剧变。作者预计推理效率将接近指数级下降,预训练架构与数据选择研究可能在 2-3 年内自动化,并引发智能体模型的杰文斯悖论。文章还指出 RL 环境质量普遍低下但可修复,科学文献中的跨领域发现

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11538 发布:修复 MSVC 下 CUDA 舍入问题

llama.cpp 发布 b11538 版本,主要修复了 CUDA 后端在 MSVC 编译环境下的舍入(round)问题,使 CPU 与 GPU 计算结果保持一致。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。