NVIDIA 发布投机解码指南，加速 LLM 推理
NVIDIA 技术博客发布系列文章第三篇，探讨通过投机解码加速 LLM 推理同时保持准确性。文章提出五条指南，用于在帕累托前沿选择草稿长度和机制，并分析了草稿长度对 GEMM 计算强度、注意力内核利用率及 KV 缓存压力的影响。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3324 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
9月3日周四 · 1 条
正文结构化主题已通过公开置信门槛
9月2日周三 · 19 条
正文结构化主题已通过公开置信门槛
FuriosaAI 发布 Solar-Open-100B 的 NVFP4A16 量化版本
FuriosaAI 发布了 Solar-Open-100B-NVFP4A16，这是对 Upstage 的 Solar-Open-100B 模型进行 NVFP4A16 量化后的版本，并提供了在 FuriosaAI RNGD 硬件上运行的 Furiosa Executable Bundle。该模型支持推理和工具调用，可通过 Furiosa-LLM 服务器以 Op
正文结构化主题已通过公开置信门槛
OpenAI 称 Astra 为最危险模型，安全监控面临挑战
OpenAI 将其即将推出的 Astra 模型评为首个具有“严重”网络攻击能力的系统，同时声称这是其构建的最安全模型。内部测试显示 Astra 在漏洞利用基准上表现优异，并发现了两个零日漏洞。为应对风险，OpenAI 计划推出新的安全措施，包括监控模型的思维链，但该技术可能因模型内部推理的不可见性而存在局限。
正文结构化主题已通过公开置信门槛
Swiggy 用350+特征和多任务MLP预测客户终身价值
Swiggy 开发了内部预测客户终身价值（pLTV）模型，用于在客户首次下单前估算其长期价值，以优化广告竞价。该模型使用超过350个特征和简单的多层感知机架构，通过引入辅助任务将参数减少63%，同时提高了准确性。在生产中，Swiggy 将该信号用于 Google 的 tROAS 竞价，并进行了与第三方平台的 A/B 测试，结果显示其模型在留存率和总订单价值上
正文结构化主题已通过公开置信门槛
Langfuse v3.225.7 发布：安全修复与稳定性增强
Langfuse 发布 v3.225.7 版本，包含多项修复和安全改进。主要修复了 OTel 原型链污染、blob 存储键冲突、ClickHouse 时间戳插入等问题，并增强了 API 密钥管理、JWT 会话时长和日志脱敏等安全措施。这些更新旨在提升系统稳定性和安全性。
正文结构化主题已通过公开置信门槛
Qwen3.8-Flash-Next 推出 INT4 量化版，支持 Ampere GPU 运行
VnimanieAI 发布了 Qwen3.8-Flash-Next 的 INT4 量化版本，这是该模型首个公开的 INT4 量化，可在消费级 Ampere GPU（如 RTX 3090）上运行，而官方 FP8 版本不支持这些 GPU。量化采用 W4A16 格式，模型大小从 335GB 降至 168GB，通过 vLLM 部署，支持专家并行和 MTP 推测解码。
正文结构化主题已通过公开置信门槛
燧原科技科创板申购启动，腾讯小米等参与战略配售
燧原科技于9月2日开启科创板新股申购，发行价142.18元/股，腾讯、小米、兆易创新等参与战略配售。公司聚焦云端AI芯片，营收快速增长，预计募集资金61.19亿元用于新一代AI芯片研发。此次IPO将助力其产品规模化销售，满足AI算力需求。
正文结构化主题已通过公开置信门槛
llama.cpp b10760 发布：修复 Qwen3-TTS 精度问题
llama.cpp 发布 b10760 版本，主要修复了 Qwen3-TTS-0.6B 模型在 mtmd 架构下的两个问题：一是将代码预测器的 proj in 权重设为可选加载，二是将 ffn down 层保持为 F32 精度，避免因 F16 溢出导致 NaN。该版本提供了多平台二进制文件，包括 macOS、Linux、Windows、Android 等。
正文结构化主题已通过公开置信门槛
DeepSeek-Coder-V2-Lite-Instruct-abliterated 发布 GGUF 量化版
mradermacher 发布了 DeepSeek-Coder-V2-Lite-Instruct-abliterated 模型的 GGUF 量化版本，该模型基于 criscar22 的 abliterated 版本。提供了从 Q2 K 到 Q8 0 的多种量化格式，并推荐 Q4 K M 和 Q8 0 等。这些量化文件便于在本地部署，降低了运行门槛。
正文结构化主题已通过公开置信门槛
llama.cpp b10759 发布：修复 KleidiAI 初始化问题
llama.cpp 发布 b10759 版本，主要修复了 ggml 中 KleidiAI 缓冲区类型初始化在调度时的问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多种平台的预编译二进制文件，并支持 CUDA、Vulkan、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
智元机器人运动会夺18金，量产机展现落地实力
智元机器人在2026年世界人形机器人运动会上获得46枚奖牌，其中18枚金牌，所有参赛机器人均为量产机。其灵巧手OmniHand包揽了8个灵巧手专项比赛中的7块金牌，精灵G2在场景赛中获得6块金牌。智元的技术核心为“三智一体”架构，并已在工厂实现大规模部署，任务成功率达99.99%。
正文结构化主题已通过公开置信门槛
llama.cpp b10757 发布：Vulkan 后端 IQ3 S 大批量性能提升
llama.cpp 发布 b10757 版本，主要改进是 Vulkan 后端对 IQ3 S 矩阵向量乘法在大批量（ 4）场景下的处理效率，当 n=8 时性能提升 5 倍。该版本同时提供了适用于多个平台和硬件加速器的预编译二进制文件。
正文结构化主题已通过公开置信门槛
FunASR v1.4.13 发布：修复与新增支持
阿里 FunASR 发布 v1.4.13 版本，主要修复了 ONNX 运行时错误、NumPy 2 ABI 不匹配等问题，并新增了对 n8n OpenAI 音频转录的支持以及 Qwen3-ASR 的离线 vLLM 示例。该版本还提供了多平台的 llama.cpp/GGUF 运行时预编译二进制文件，方便用户快速部署语音识别模型。
正文结构化主题已通过公开置信门槛
llama.cpp b10754 发布：修复 OpenCL Adreno 内核越界读取
llama.cpp 发布 b10754 版本，主要修复了 OpenCL 后端在 Adreno 图像内核中的越界读取问题，包括对 q4 K 解码 GEMV 的取行进行钳制，以及强制 KQ/KQV GEMM 的平铺契约。该版本提供了适用于多种平台和硬件的二进制文件，如 macOS、Linux、Windows、Android 等。
正文结构化主题已通过公开置信门槛
llama.cpp b10753 发布：修复 Hexagon 后端日志问题
llama.cpp 发布 b10753 版本，主要修复了 Hexagon 后端中 cpy、get rows、set rows、gdn 等操作的 FARF 日志缺失问题，并修正了 proc op req 日志中 ne[2] 的打印错误。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
正文结构化主题已通过公开置信门槛
Dreams：基于双节点蒙特卡洛树搜索的对话推荐系统上下文建模
arXiv 论文提出 Dreams，一种用于对话推荐系统（CRS）的双节点树结构上下文建模框架。Dreams 通过蒙特卡洛树搜索（MCTS）进行偏好 elicitation，并使用 LLM 将偏好状态转化为结构化检索查询以实现 exploitation。实验证明其在基准数据集上优于现有方法，代码已开源。
正文结构化主题已通过公开置信门槛
基于指令微调小语言模型的渐进式老年人金融诈骗增量风险评估
Kansas State University的研究人员提出了一种基于累积对话轮次的老年人金融诈骗风险评估框架，通过逐步聚合对话内容并重新评估风险，实现实时监控。他们构建了包含投资、慈善和技术支持诈骗场景的多轮对话数据集，并微调了Phi-4、LLaMA-3.2、DeepSeek-R1和Qwen3等小型语言模型。实验表明，Phi-4和LLaMA-3.2在参数规
正文结构化主题已通过公开置信门槛
REAL-Q：通过动态梯度下降实现端到端大语言模型量化
REAL-Q 提出了一种新的后训练量化（PTQ）方法，通过端到端对齐的 Fisher MSE 目标和动态块级梯度下降，解决了现有方法中信息错位的问题。在 LLaMA-3.1 和 Qwen3 模型上，REAL-Q 在 W4A16 下将端到端 KL 散度最多降低 49%。该方法通过细粒度校正和滑动窗口机制，有效缓解了跨层误差传播。
正文结构化主题已通过公开置信门槛
LLM长时程状态跟踪：通过深度依赖工具调用执行MD5
该研究提出一种受控基准测试，让LLM通过逐步调用工具执行MD5哈希计算，以评估其长时程状态跟踪能力。实验表明，gpt-oss-120b模型在多数运行中能正确完成全部步骤，且当用另一个LLM替代所有原始工具时，驱动-工作模型对也能从零计算哈希。成功的关键在于将模型自身推理保留在上下文中，并对工作模型采用多数投票机制。
正文结构化主题已通过公开置信门槛
智平方具身智能机器人落地香港兰桂坊，跑通出海全链路
智平方（AI² Robotics）宣布其搭载类脑架构具身大模型NeuroVLA的AlphaBot 2（爱宝）机器人正式入驻香港兰桂坊酒吧，提供调酒与互动服务，成为香港首个真实开放场景服务机器人。此举标志着智平方跑通中国具身智能出海的全链路闭环，包括硬件出关、清关合规、取得本地饮品售卖资质及建立付费服务体系。NeuroVLA通过模拟人脑皮层-小脑-脊髓协同机制