Red Hat 发布 Qwen3.6-35B-A3B-FP8 量化模型
Red Hat 发布了 Qwen3.6-35B-A3B 的 FP8 量化版本，该模型基于 Qwen 3.6 35B 架构，采用细粒度 FP8 量化（块大小 128），性能与原始模型几乎一致。模型支持工具调用和推理，上下文长度原生 262,144 令牌，可扩展至 1,010,000 令牌，并已在 RHOAI 3.5、RHAIIS 3.5 和 vLLM 0.24
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3341 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月13日周四 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Red Hat 发布 Qwen3.6-35B-A3B 的 NVFP4 量化版本
Red Hat 发布了基于 Qwen3.6-35B-A3B 的 NVFP4 量化版本模型 RedHatAI/Qwen3.6-35B-A3B-NVFP4，权重和激活均量化为 NVFP4 格式，使用 llm-compressor 工具生成。该模型针对推理和工具调用优化，支持 vLLM 部署，并在多个基准测试中保持了接近原始模型的性能，如 GSM8K 和 GPQA
正文结构化主题已通过公开置信门槛
Red Hat 发布 Gemma 4 12B NVFP4 量化模型
Red Hat 发布了基于 Google Gemma 4 12B 指令模型的 NVFP4 量化版本，权重和激活均量化为 4 位浮点格式，使用 vLLM 的 llm-compressor 工具和 GPTQ 方法。该模型在 GSM8K 和 Wikitext 基准上进行了评估，性能接近 BF16 基线，并已在 RHOAI 3.5 和 vLLM 0.24.0 上验证
正文结构化主题已通过公开置信门槛
Red Hat 发布 gemma-4-12B-it FP8 动态量化模型
Red Hat 发布了基于 Google gemma-4-12B-it 的 FP8 动态量化版本，使用 vLLM 的 llm-compressor 工具对权重和激活进行量化，并提供了完整的量化脚本和评估方法。该模型已在 RHOAI 3.5、RHAIIS 3.5 和 vLLM 0.24.0 上验证，旨在提升推理效率。
正文结构化主题已通过公开置信门槛
Acrab获4.8亿美元融资，端侧AI芯片GΞLIX 1量产在即
新加坡AI芯片公司Acrab完成1.3亿美元B轮融资，累计融资超4.8亿美元，用于扩大产能和研发下一代平台。该公司成立不到三年，首颗端侧AI芯片GΞLIX 1已进入量产准备，并推出个人AI中心Agent Box，瞄准端侧Agent计算需求。Acrab强调CPU与NPU协同、统一内存和Prefill性能，其自测显示在特定条件下Prefill速度达1416 To
正文结构化主题已通过公开置信门槛
Grok 4.6发布：性能反超对手，价格更低，Grok Bot同步上线
SpaceXAI发布Grok 4.6模型，在多项基准测试中超越GPT-5.6 Sol和Fable 5 Max，且价格更低。同时推出Grok Bot智能体产品，可自主操作工具并24小时运行。这些产品整合了Cursor的技术和SpaceXAI的算力，标志着马斯克在AI领域的战略布局。
正文结构化主题已通过公开置信门槛
Fable 5 采用缓慢，企业前沿 AI 付费意愿或触顶
Anthropic 的最强模型 Fable 5 上市首月仅占其 API 代币销售量的 6%，收入占比 11.4%，远低于 OpenAI 的 GPT-5.6 Sol（代币占比 25%，收入占比 23%）。Ramp 经济学家认为，Fable 5 的高定价（每百万输入/输出 token 分别为 10 美元和 50 美元）触及了企业 AI 支出的天花板，性能提升难以
正文结构化主题已通过公开置信门槛
OpenAI 预览 Ultrafast 模式：GPT-5.6 Sol 提速最高 14 倍
OpenAI 预览新的 API 服务层级 Ultrafast，可将 GPT-5.6 Sol 的运行速度提升至最高 14 倍。该服务由 Cerebras 提供支持，输出速度最高可达每秒 750 个 token。
正文结构化主题已通过公开置信门槛
Ready Cohorts：界定LLM智能体控制中的GPU机会与避免主机往返
该论文研究LLM智能体服务中的GPU控制门控问题，通过两个研究定义了可测量的GPU控制门：截止期限可行的队列供应和观测放置。研究分析了并发队列调度和端上路由与主机重新调度的对比，发现设备驻留路径在36种配置中全部更快，速度提升1.19倍至2.39倍。论文还提出了固定分区份额、精确离线份额等指标，并通过动态规划精确计算离线份额。
正文结构化主题已通过公开置信门槛
Qwen3.8开源首日适配9款芯片，智源FlagOS助力存量算力
阿里巴巴开源了超大规模MoE模型Qwen3.8-2.4T-A95B，智源FlagOS社区在发布首日即完成了该模型在9款AI芯片上的适配，包括平头哥、英伟达、华为昇腾等。FlagOS通过统一的系统软件栈和新增的INT8量化支持，解决了超大规模参数带来的系统优化问题，实现了多芯片的快速适配和精度对齐。此举旨在帮助云服务商和算力基础设施快速部署最新模型，并延长存量
正文结构化主题已通过公开置信门槛
Ilya首个模型曝光：SSI探索测试时训练，8月或亮相
据量子位报道，前OpenAI首席科学家Ilya Sutskever创办的SSI公司被曝正在开发基于测试时训练（TTT）的小型推理引擎，该模型能在推理过程中更新权重，实现持续学习。爆料称当前版本可能于8月向少数用户开放，且英伟达已与SSI达成战略合作并投资，算力将提升10倍。若属实，这将是SSI成立两年来的首个模型，可能改变AI训练范式。
正文结构化主题已通过公开置信门槛
llama.cpp b10405 发布：移除 HIP 不安全数学优化以提升一致性
llama.cpp 发布 b10405 版本，主要变更是在 HIP 构建中移除 -funsafe-math-optimizations 编译选项，以避免浮点重关联导致的 RDNA3.5 上贪婪解码不一致问题，确保 HIP 构建符合 IEEE 标准。该版本同时提供了多平台预编译二进制文件，包括 macOS、Linux、Windows、Android 等，部分平
正文结构化主题已通过公开置信门槛
llama.cpp b10400 发布：修复 ARM 构建问题
llama.cpp 发布 b10400 版本，主要修复了 ARM 构建问题及未使用变量警告。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种后端如 Vulkan、CUDA、ROCm、OpenVINO 等。部分平台构建（如 macOS KleidiAI、Ubuntu ROCm、openEule
正文结构化主题已通过公开置信门槛
视觉工具使用的幻觉：对图像思维模式的因果审计
该研究对多模态大语言模型的视觉工具使用进行了因果审计，发现尽管聚合准确率有所提升，但返回的视觉证据往往对答案没有因果影响，或调用计划不连贯。研究提出了视觉证据增益等干预指标，并在六个模型和五个基准上揭示了两种失败模式，将这种不一致称为视觉工具使用的幻觉。
正文结构化主题已通过公开置信门槛
预训练语言模型循环深度改造：安装、外推、迁移与保留
该研究将预训练语言模型 Qwen2.5-0.5B-Instruct 改造为循环深度架构，通过权重共享的循环块和可训练桥接层实现迭代潜在计算。在两种参数预算（6M 适配器和 180M 全块）下，模型在 ARC 基准上表现不逊于基线，并能外推至监督深度的 1.5 倍。与同规模自回归模型相比，循环模型在深度推理上准确率更高（84% vs 72%），速度更快，且保留
正文结构化主题已通过公开置信门槛
测试时强到弱能力迁移：通过脚手架实现
本文研究了一种名为“强到弱脚手架”的测试时能力迁移方法，即由更强的构建模型为较弱的目标模型构建推理时脚手架，在不更新参数的情况下提升其任务表现。在四个心智理论基准测试中，该方法将目标模型的平均性能从0.49提升至0.91，主要归功于将不稳定的模型推理卸载到确定性代码、基准特定路由和严格答案格式执行。研究还发现，构建模型的推理努力与脚手架质量单调相关，且较弱的
正文结构化主题已通过公开置信门槛
mradermacher 发布 Qwen3-Next 80B 模型多量化 GGUF 版本
mradermacher 发布了 Qwen3-Next-80B-A3B-Thinking-GRPO-Uncensored 模型的 GGUF 量化版本，基于 puwaer 的原始模型，提供多种 i1 和 imatrix 量化格式，文件大小从 16.3GB 到 55.1GB 不等。该模型支持中英日多语言，采用 CC-BY-NC-SA-4.0 许可，旨在为本地部署
正文结构化主题已通过公开置信门槛
CoinRAG：通过上下文信息片段 KV 缓存复用优化长上下文 RAG
CoinRAG 是一种针对长上下文检索增强生成（RAG）的优化方法，通过复用细粒度的语义片段缓存而非完整块，在低预填充延迟约束下提升效率与准确性。在 LongBench 多跳问答任务上，CoinRAG 平均相对提升 F1 分数 5.3%，并实现了新的帕累托前沿。
正文结构化主题已通过公开置信门槛
Cerebras 与 OpenAI 推出 GPT-5.6 Sol Ultrafast 模式
Cerebras 与 OpenAI 联合发布 Ultrafast Mode 服务层级，首先在 OpenAI API 中上线并由 Cerebras 提供算力支持，目前面向少数客户限量预览。该模式驱动 GPT-5.6 Sol，输出速度最高达每秒 750 tokens，且不牺牲质量。Cerebras 称在 Humanity's Last Exam 基准上，Ultr
正文结构化主题已通过公开置信门槛
DeepSeek V4 Pro 0813 发布，仅限 API 访问
DeepSeek 发布了 V4 Pro 0813 模型，目前仅通过 API 提供，OpenRouter 已上线。作者推测其开放权重可能发布，因为前代模型均有权重。该模型在不同推理级别下生成的鹈鹕图像差异显著，且基准测试结果通过非官方渠道传播。