返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3340 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月15日周六 · 16 条
正文结构化主题已通过公开置信门槛
Ahead of AI教程

从零构建AI文本检测器:端到端项目教程

本文介绍了一个从零构建AI文本检测器的端到端项目,包括数据集构建、模型训练、本地部署和RLVR。作者以Substack的AI检测功能为灵感,旨在通过构建简单的检测器来教育读者理解AI检测器的工作原理,并探讨其局限性。项目最终产出一个AI检测API和用户友好的UI,并展示了如何利用检测器作为验证器来训练小语言模型生成难以被检测的文本。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10441 发布:统一 --load-mode 参数

llama.cpp 发布 b10441 版本,将废弃的 --mmap、--no-mmap、--mlock 和 --direct-io 标志统一迁移为 --load-mode 参数,并更新了相关脚本、示例和文档。该版本提供了适用于 macOS、Linux、Android、Windows 等多个平台的预编译二进制文件,但部分平台(如 macOS KleidiAI

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

Cloudflare 推出 Agent Tracing,带截断限制和不均匀的负载默认值

Cloudflare 推出了 agent tracing,这是 Cloudflare Agents 的首个组件,用于在统一仪表板中收集部署的 agent 会话。该功能在现有 Workers tracing 基础上增加了 agent 级 span,并附带定价日期:测试期间免费,自 2026 年 10 月 1 日起纳入 Workers Observability

正文结构化主题已通过公开置信门槛
Xinference Releases一手来源产品发布

Xinference v3.2.0 发布:新增多模型支持与副本扩展功能

Xinference 发布 v3.2.0 版本,新增多项功能,包括在 /v1/chat/completions 中支持 logprobs、支持部署 R3-embedding-0.6b 和 R3-rerank-0.6b 模型、支持 jina-reranker-v3.5 的 listwise API、OCR API 支持 PDF 输入、新增 DeepDoc OC

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10437 发布:新增 MiniMax-Text-01 和 M1 模型支持

llama.cpp 发布 b10437 版本,新增对 MiniMax-Text-01 和 MiniMax-M1 模型的支持,包括模型转换、推理优化和 Jinja 模板。该版本通过 token 抑制替代 logits mask 解决零嵌入问题,并优化了循环状态管理。同时提供了多平台二进制下载,但部分平台构建被禁用。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Blackfrost 发布 Muse Glimmer 30B 去拒绝 GGUF 量化版

Blackfrost-AI 发布了 Muse-Glimmer-30B-Abliterated-GGUF,这是基于 Meta 的 Muse Glimmer 30B 模型去除拒绝行为后的 GGUF 量化版本,支持本地运行。该模型提供从 Q2 K 到 Q8 0 的完整量化阶梯,并包含视觉投影器和 DFlash 投机解码器,在 RTX PRO 6000 上可实现约

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10436 发布:修复 mtmd 与 common 问题

llama.cpp 发布 b10436 版本,主要修复了 mtmd 和 common 模块中的多个问题,并回退了一个 GGUF 修复。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。部分平台构建(如 macOS Kle

正文结构化主题已通过公开置信门槛
Anthropic Status History一手来源产品发布

Claude Fable 5 错误率升高已解决

Anthropic 报告 Claude Fable 5 出现错误率升高的问题,影响 claude.ai 服务。问题于 2026 年 8 月 14 日 20:00 UTC 开始,至 8 月 15 日 00:11 UTC 解决。团队已确定原因并修复。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

Gambit:思想级束搜索提升推理模型效率

Gambit是一种新的推理算法,通过思想级束搜索在固定硬件预算下动态分配计算资源到有前景的推理轨迹。在多个模型和基准测试中,Gambit相比现有基线在HMMT-24上取得+6.7%的绝对准确率提升,在AIME-25上提升+3.3%,同时将总token消耗减少高达68.5%。该方法通过轻量级评分器探测隐藏状态,定期剪枝无望轨迹并立即从高质量前缀分支,保持高硬件

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10435 发布:修复 Jinja 性能问题

llama.cpp 发布 b10435 版本,主要修复了 Jinja 模板中 gather string parts 函数的二次方复杂度问题,提升了性能。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,并支持多种硬件后端。

正文结构化主题已通过公开置信门槛
OpenAI Status History一手来源产品发布

OpenAI 报告 GPT-5.6 Terra 意外响应问题

OpenAI 报告其 GPT-5.6 Terra 模型出现意外响应问题,部分客户的请求可能间歇性返回不完整或格式错误的响应,或包含意外内容。OpenAI 已确认该问题并正在实施缓解措施,但尚未提供修复时间表。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10434 发布:支持 reasoning effort 传递

llama.cpp 发布 b10434 版本,主要更新是在聊天功能中传递 reasoning effort 参数,并将其存储到 common chat templates inputs 中,供 Jinja 模板使用,同时支持模型特定的翻译。该版本还修复了服务器端从请求体读取 reasoning effort 的问题,并提供了多平台(macOS、Linux、W

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Wan2.2 自定义 GGUF 模型发布:针对 T4 优化

geceff 在 Hugging Face 上发布了 Wan2.2 自定义 GGUF 模型仓库,针对 NVIDIA Tesla T4 等显存受限环境优化,提供量化模型、LoRA、文本编码器和 VAE。仓库包含高/低噪声量化模型及集成 SVI 和一致人脸功能的 FP8 模型,并给出了 ComfyUI 推荐参数和不同硬件的使用建议。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10433 发布:同步 ggml 并更新多平台二进制

llama.cpp 发布 b10433 版本,主要同步了 ggml 底层代码。该版本提供了涵盖 macOS、Linux、Windows、Android 及 openEuler 等多个平台的预编译二进制文件,支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等多种后端。部分平台构建(如 macOS KleidiAI、Ubuntu RO

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10431 发布:ggml ssm scan 支持循环状态回滚

llama.cpp 发布 b10431 版本,主要更新为 ggml ssm scan 支持循环状态回滚(recurrent state rollback),并支持 K 1 的情况,覆盖 CPU 和 CUDA 后端。该功能有助于提升状态空间模型(如 Nemotron)在推理时的效率。

正文结构化主题已通过公开置信门槛
魔搭 ms-swift Releases一手来源产品发布

ms-swift v4.5.0 发布:支持 Qwen3.8、Nemotron 3.5 等新模型

魔搭 ms-swift 发布 v4.5.0 版本,新增对 Qwen3.8、NVIDIA Nemotron 3.5 Lightning 和 Meta Muse Glimmer 等模型的支持,并改进推理、训练和 RLHF 功能。该版本还修复了多个 bug,并支持 OpenAI 和 Anthropic 消息处理器。

8月14日周五 · 4 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

AWS 展示 SageMaker AI 与 Bedrock AgentCore 构建多智能体工作流

AWS 展示了如何将 SageMaker AI 上的 OpenAI 兼容端点与 Bedrock AgentCore 运行时结合,构建多智能体工作流。该架构通过 Bedrock AgentCore 容器连接编排器(Claude Haiku 4.5)、预算智能体(Claude Sonnet 4.6)和财务分析智能体(Qwen 3.5 9B),实现成本优化、数据驻

正文结构化主题已通过公开置信门槛
量子位模型发布

Qwen3.8-27B开源:家用显卡可跑,Apache 2.0免费商用

阿里巴巴正式开源Qwen3.8-27B模型,该模型为原生多模态稠密模型,支持262K原生上下文,可通过YaRN技术扩展至1M tokens,在编程和办公场景性能大幅提升,并新增reasoning effort功能。模型以Apache 2.0协议开放权重,所有人可免费下载、部署和商用。目前千问已累计开源460余个模型,全球下载量超30亿次。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

阿里开源Qwen3.8系列,千问模型全球下载超30亿次

阿里千问于8月14日晚正式开源Qwen3.8系列模型,其中Qwen3.8-27B为原生多模态稠密模型,仅270亿参数,性能超越Qwen3.7-Plus,在编程和办公场景表现出色,支持消费级显卡量化部署,采用Apache2.0协议。此前旗舰模型Qwen3.8-Max也已开源权重。阿里累计开源460余个模型,Qwen全球下载量超30亿次,衍生模型超30万个,稳居