Anthropic 每 token 成本为 Vercel 平均 4.4 倍，开发者仍愿付费
根据 Vercel 的数据，Anthropic 的 AI 模型在 AI Gateway 上的支出占 65.1%，但仅占 token 使用量的 30%，其每 token 成本是其他提供商平均水平的 4.4 倍。Anthropic 的 Fable 5 模型在支出中占比迅速升至 13.2%，仅次于 Opus 4.8，且 7 月份使用 Fable 的团队中 90%
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3339 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月18日周二 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp v0.1.2 发布：同步 ggml 并优化 CUDA 性能
llama.cpp 发布了 v0.1.2 版本，主要更新包括同步 ggml 子模块、升级 ggml 版本至 0.20.2、修复 xcframework 构建问题、优化 CUDA 性能（MMVQ nwarps=8）、改进 UI 和文档（如 MCP stdio 服务器说明）、增强 mtmd 图像处理（使用 SHA256 哈希）等。该版本还提供了 nightly
正文结构化主题已通过公开置信门槛
llama.cpp b10485 发布：同步 ggml 并更新多平台二进制
llama.cpp 发布 b10485 版本，主要同步了 ggml 子模块。该版本提供了适用于 macOS、Linux、Windows、Android 和 openEuler 等多种平台的预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。部分平台（如 macOS KleidiAI、Ubuntu ROCm、o
正文结构化主题已通过公开置信门槛
inclusionAI 发布轻量级混合推理 MoE 模型 Ling-3.0-tiny
inclusionAI 发布了 Ling-3.0-tiny，一个轻量级混合推理 MoE 模型，总参数量 7.9B，每 token 仅激活 1.4B 参数。该模型采用 KDA 与 MLA 交替的混合线性架构，支持可配置的思考模式，并针对本地和边缘部署优化，在 DGX Spark 和 M4 Pro MacBook 上分别达到约 100-105 tokens/s
正文结构化主题已通过公开置信门槛
llama.cpp b10483 发布：修复 xcframework 并清理 CMake 构建
llama.cpp 发布 b10483 版本，主要修复了 xcframework 构建问题，并清理了 CMake 构建系统，为所有 vendored 库添加了 vendor:: 别名目标，统一了包含路径。该版本提供了适用于 macOS、Linux、Android、Windows 等多个平台的二进制文件，并支持多种后端如 Vulkan、CUDA、ROCm 等。
正文结构化主题已通过公开置信门槛
mradermacher 发布 gemma-4-E2B-it-heretic-ara 的 GGUF 量化版本
mradermacher 发布了基于 p-e-w/gemma-4-E2B-it-heretic-ara 的 GGUF 量化版本，提供多种量化类型（如 Q2 K、Q4 K M、Q8 0 等），并附有使用说明和量化质量对比。该模型为 uncensored 和 abliterated 版本，旨在提供无审查的对话体验。
正文结构化主题已通过公开置信门槛
欧盟AI法案生效，主流模型提供商采用水印技术合规
自2026年8月2日起，欧盟《人工智能法案》第50条正式生效，要求通用和生成式AI系统提供商以机器可检测格式标记合成输出。Anthropic、Google、OpenAI和Meta等主要模型提供商已部署统计文本水印和加密元数据标准，但开源社区迅速开发出反制工具，引发猫鼠游戏。统计水印在低熵输出或轻量后处理下存在脆弱性，且开源权重模型面临合规边界。
正文结构化主题已通过公开置信门槛
均衡强制：无需噪声条件的自适应视频生成
arXiv 论文提出 Equilibrium Forcing (EqF) 框架，用于无需噪声水平条件的自适应视频生成。EqF 通过均衡速度场和闭环反馈机制，在推理时自适应调整采样，提升视频质量和一致性。实验表明，EqF 在 1.3B 和 5B 参数的 Flow Matching 模型上微调，性能优于标准噪声条件方法。
正文结构化主题已通过公开置信门槛
BRA-Audit：基于累积暴露审计点放置的 LLM 多智能体系统预算运行时审计
arXiv 论文提出 BRA-Audit，一种面向 LLM 多智能体系统的预算感知运行时审计框架。它将系统执行建模为动态依赖图，在固定审计预算下优化审计点放置，以最小化未检查暴露，并通过贪心调度优先审计高影响和长期未审计区域。实验表明，该方法在保持审计效果的同时，显著降低 token 消耗，接近无审计的干净基线性能。
正文结构化主题已通过公开置信门槛
Token 膨胀感知路由：面向智能体 LLM 系统的成本优化
arXiv 论文提出 InflationAgent，一种面向智能体 LLM 系统的路由框架，通过量化 token 膨胀（重试导致的真实成本与单次调用成本之比）来优化模型选择。其引入 CoT 分支熵（CBE）作为预执行难度信号，并以语义汇率（SER）为目标进行路由，在 GSM8K 上以更少 token 达到更高准确率，同时验证了失败链转发会显著降低强模型性能。
正文结构化主题已通过公开置信门槛
复现研究揭示FLOPs估算公式在新硬件上的局限性
该论文旨在复现一项关于FLOPs与执行时间关系的研究，以验证其估算公式在新硬件上的适用性。复现结果证实了原始论文的论点，即FLOPs不能直接反映执行时间，但发现新硬件上执行时间存在不稳定性和不连续性，公式往往低估了实际时间。研究还指出了原始研究在复现材料方面的不足，并提供了完整的复现包。
正文结构化主题已通过公开置信门槛
深度学习图像分类器超参数优化的交叉验证方法比较研究
该研究比较了三种超参数优化协议（固定留出法、重洗留出法和5折交叉验证）在深度学习图像分类器中的性能估计误差。在医学影像数据集上，交叉验证在所有评估中均优于留出法，尤其在样本量较小时优势明显；在自然图像数据集上，三种协议差异不大。研究建议在计算资源允许时，小样本医学图像分类应采用基于交叉验证的超参数优化。
正文结构化主题已通过公开置信门槛
MiniCPM-o 2.6 推出 int4 量化版，手机端运行多模态模型
OpenBMB 发布了 MiniCPM-o 2.6 的 int4 量化版本，该版本通过 AutoGPTQ 量化技术将 GPU 内存占用降至约 9GB，使 GPT-4o 级别的多模态大模型（支持视觉、语音、实时语音对话等）能够在手机上运行。用户需从特定分支安装 AutoGPTQ 并使用 AutoGPTQForCausalLM 加载模型。
正文结构化主题已通过公开置信门槛
MiniCPM-V 4.5 AWQ 量化版发布，8B 参数超越 GPT-4o
OpenBMB 发布了 MiniCPM-V 4.5 的 AWQ 量化版本，该模型基于 Qwen3-8B 和 SigLIP2-400M，总参数 8B，在视觉语言任务上超越 GPT-4o-latest 和 Gemini 2.0 Pro 等专有模型。模型支持高效视频理解、可控的快速/深度思考模式，以及高分辨率 OCR 和文档解析。量化版本支持多种推理框架和本地部署
正文结构化主题已通过公开置信门槛
MLX v0.32.1 发布：多项修复与性能改进
MLX 发布了 v0.32.1 版本，包含多项修复和改进。主要修复了 GGUF 元数据加载、CUDA 内核、Metal 性能、文档字符串等问题，并新增了零拷贝 CPU 导入、gather qqmm 等功能。这些更新提升了框架的稳定性和性能。
正文结构化主题已通过公开置信门槛
清华团队AI优化AI，打造国产万亿Token工厂
清华团队创立的清昴智能专注于AI自进化Infra，通过AI优化AI技术提升国产算力效率，将复杂算子开发周期从两周压缩至约1小时，模型适配周期从一个月降至1天至1周。公司已适配数十款国产芯片，并基于此打造日均万亿级Token工厂，提供Token售卖和平台输出两种商业模式。
正文结构化主题已通过公开置信门槛
DeepSeek 缓存涨价 11 倍：长上下文需求暴涨，存储税时代来临
DeepSeek 于 8 月 17 日上调 V4 Pro API 价格，其中缓存命中价格在高峰时段涨幅高达 11 倍，从 0.025 元/百万 Token 涨至 0.3 元/百万 Token。涨价原因是长上下文需求激增导致后端缓存颠簸，存储、IO 和调度成本上升。文章分析了 DeepSeek 的 KV 压缩和冷热分层技术，并对比了 Anthropic 和 O
正文结构化主题已通过公开置信门槛
langchain-openai 1.5.2a1 发布：支持 OpenAI 3.0 SDK 与网关元数据
LangChain 发布了 langchain-openai 1.5.2a1 版本，包含多项更新：支持从响应头提取网关元数据、修复 o 系列模型的 token 计数、支持 OpenAI 3.0 SDK、新增 ChatGPT OAuth 支持的 ChatOpenAICodex 模型、支持显式提示缓存等。这些改进增强了与 OpenAI 服务的集成，并提升了流式处
正文结构化主题已通过公开置信门槛
Cerebras 发布 CS-4：号称业界最快 AI 加速器
Cerebras 发布第四代 AI 加速系统 CS-4，由三个 Wafer Scale Engine 3 Turbo 处理器构成，采用全新 Nexus 机架级平台架构。官方称其推理速度最高可达 GPU 系统的 30 倍，在超过 10 万亿参数模型上实现每秒 1000+ token，并原生支持分离式推理，可与 AMD Helios、AWS Trainium 等
正文结构化主题已通过公开置信门槛
NVIDIA 用 QAD 开发 Nemotron 3.5 Lightning NVFP4 模型
NVIDIA 发布了 Nemotron 3.5 Lightning NVFP4 检查点，通过量化感知蒸馏（QAD）将模型从 66 GB 压缩至 22 GB，同时实现高达 4 倍的吞吐量提升。该过程使用 NVIDIA Model Optimizer，先进行 PTQ 量化，再通过蒸馏恢复精度。文章详细介绍了 QAD 的两阶段流程、PTQ 配方选择及评估结果，表明