llama.cpp b10738 发布：SYCL 主机固定内存限制为 2GB
llama.cpp 发布 b10738 版本，主要更新为支持 SYCL 后端将主机固定内存的最大分配限制在 2GB 以内。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件后端如 CUDA、Vulkan、ROCm 等。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3327 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
9月1日周二 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
ISTA-DASLab 发布 Qwen3.8-27B 非均匀量化 GGUF 模型
ISTA-DASLab 发布了 Qwen3.8-27B 的 GSQ-RCO GGUF 量化版本，提供四种非均匀量化文件及视觉投影器，支持多模态使用。这些量化通过 GSQ 和 RCO 方法实现，在保持任务无损的同时显著减小模型体积，并兼容 llama.cpp、Ollama 和 LM Studio。
正文结构化主题已通过公开置信门槛
llama.cpp b10737 发布：修复 qwen4exp 并新增测试
llama.cpp 发布 b10737 版本，主要针对 qwen4exp 架构进行修复，包括序列并行、块位置键控、多模态输入、CUDA 中止等问题，并新增了序列状态保存/恢复的测试。该版本还禁用了 qwen4exp 的 -sm tensor 支持，并提供了 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
正文结构化主题已通过公开置信门槛
llama.cpp b10736 发布：修复测试日志并更新多平台构建
llama.cpp 发布 b10736 版本，主要修复了 test-llama-archs 测试的日志详细度问题，并提供了适用于 macOS、Linux、Android、Windows 和 openEuler 等多平台的预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
MiniMax发布H3 Max实时视频模型，3秒出片开启AI直播新玩法
MiniMax联合fal推出视频生成模型H3 Max，生成5秒768p视频仅需不到3秒，吞吐量约为原版H3的35倍，并在Artificial Analysis和Design Arena榜单上获得图生视频第一。基于该模型，开发者们创建了实时AI直播和AI版短视频应用，实现了视频的实时生成与无缝衔接。H3 Max的开源生态已形成，衍生模型超300个，全球下载量达
正文结构化主题已通过公开置信门槛
MoziAI发布35B多模态模型，支持本地免费部署
MoziAI团队发布了MoziAI-35B-V3.8，一个基于Ornith-1.5-35B-A3B的开源多模态AI模型，支持本地部署，大小仅15.9GB。该模型集成了动态七维思考框架、Agent LOOP迭代机制、MoziSmartBit混合量化算法，并针对金融领域优化，支持免费商用。
正文结构化主题已通过公开置信门槛
Langfuse v4.27.0 发布：新增多模态评估与缓存功能
Langfuse 发布 v4.27.0 版本，新增多项功能，包括为追踪 IO 解析器添加功能开关、自托管 API 规范渲染器、缓存输入令牌和成本、MCP 评估器测试工具、多模态输入支持，以及为 Claude 在 OpenAI Responses 网关后添加提示缓存断点。同时修复了多个问题，如输出令牌截断、分析导出 URL 检查、提示版本指标维度等。
正文结构化主题已通过公开置信门槛
Qwen3.8-Flash-Next 混合量化 SSD-PLE GGUF 发布
Baekpica 发布了 Qwen3.8-Flash-Next 的混合量化 GGUF 模型，采用 SSD-PLE 技术将 51.2B 参数的预测性潜在嵌入表移至 SSD，以 BF16 存储，从而将显存预算分配给 128.8B 参数的计算主干。在单个 NVIDIA DGX Spark 上，Q5 变体实现了 606.4 tok/s 的中位冷预填充速度和 28.3
正文结构化主题已通过公开置信门槛
llama.cpp b10733 发布：CI 更新及多平台支持
llama.cpp 发布 b10733 版本，主要更新为将 CI 中的 ccache-action 升级至 v1.2.24。该版本提供了适用于 macOS、Linux、Windows、Android 等多种平台的预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
DeepSeek V4 Pro与Harness深度拆解：后训练成主战场，缓存优化控成本
雷峰网发布万字长文，拆解DeepSeek V4 Pro与Harness框架。文章通过实测发现，V4 Pro在Terminal Bench等agentic任务上大幅提升，但相比Flash性价比不高，且其1M上下文是通过YaRN外推实现，但实测未衰减。DeepSeek通过缓存优化和定价策略控制成本，并开源Harness框架，强调后训练成为旗舰模型升级主战场。
正文结构化主题已通过公开置信门槛
LMDeploy v0.17.0 发布：集成 DeepEPv2 并支持 Kimi K2.6
LMDeploy 发布 v0.17.0 版本，集成了 DeepEPv2，支持 Kimi K2.6 和 mooncake store，并优化了 GLM-5.2 服务性能。该版本还引入了服务端 fan-out、PDL 分页注意力、FP8 MoE 优化等改进，并修复了多个 bug。
正文结构化主题已通过公开置信门槛
Qwen3.8-27B 3-bit MLX 文本版量化模型发布
lukaskremla 发布了 Qwen3.8-27B 的 3-bit MLX 量化版本，该版本移除了视觉塔，仅保留文本生成能力。模型基于 Qwen/Qwen3.8-27B，使用 mlx-lm 0.31.2 转换，支持长上下文、多语言、推理和工具使用等功能。
正文结构化主题已通过公开置信门槛
Qwen3.8-27B 2-bit MLX 文本版发布
lukaskremla 发布了 Qwen3.8-27B 的 2-bit MLX 量化版本，该版本移除了视觉塔，仅保留文本生成能力。模型基于 Qwen/Qwen3.8-27B，使用 mlx-lm 0.31.2 转换，采用 2-bit 权重量化（RTN，group-size-64），支持长上下文、多语言、推理和工具使用。用户可单独下载 MTP 头，另有支持视觉的
正文结构化主题已通过公开置信门槛
存算一体进入产业化时刻，谁在领跑规模化交付？
2026年存算一体技术进入产业化阶段，小米、谦合益邦、东方算芯等公司发布或量产相关芯片，后摩智能M50和知存科技实现规模化落地。行业面临工程化、软件工具链和市场三道门槛，不同技术路线（SRAM、RRAM、3D等）竞争激烈，市场预计2030年达312.5亿美元。
正文结构化主题已通过公开置信门槛
llama.cpp b10731 发布：支持 Qwen4Exp 循环状态回滚，提升 MTP 解码速度
llama.cpp 发布 b10731 版本，新增对 Qwen4Exp 模型循环状态回滚的支持，以优化 MTP 投机解码性能。该更新通过为每个槽位写入快照，修复了卷积状态恢复问题，使解码速度在代码和散文场景下分别提升至 183 和 144 tok/s，相比之前有显著提升。
正文结构化主题已通过公开置信门槛
llama.cpp b10730 发布：优化 Qwen4Exp 索引头求和，提示处理提速
llama.cpp 发布 b10730 版本，针对 Qwen4Exp 模型优化了 indexer 头的求和操作，通过切片方式替代转置和 sum rows，减少了内存拷贝和计算量，在 RTX PRO 6000 上提示处理速度从 2170 提升到 2366 t/s，生成速度不受影响。该版本还提供了多平台预编译二进制文件。
正文结构化主题已通过公开置信门槛
Fal 突破实时视频生成极限，推出无限视频流服务
Fal 对 Minimax 的 H3 模型进行后训练和推理优化，实现了 35 倍速度提升，突破了实时视频生成的瓶颈，并推出了无限视频流服务。该服务因内容质量低被 Twitch 和 YouTube 下架，但 Fal 自建平台继续运营。文章认为这标志着更快实时视频生成的可能性，对 AI 行业具有前瞻意义。
正文结构化主题已通过公开置信门槛
MoziAI-35B-V3.8：15.9GB 本地部署多模态金融模型
MoziAI-35B-V3.8 是由中国金融领域意见领袖陈雨墨团队开发的开源多模态 AI 模型，基于 Ornith-1.5-35B-A3B 基础模型，采用 MoE 架构，通过自研 MoziSmartBit 量化压缩至 15.9GB，支持本地部署和免费商用。模型具备动态七维思考框架、Agent LOOP 迭代机制、金融垂直优化和无审查特性，支持多语言、视觉理解
正文结构化主题已通过公开置信门槛
壁仞科技中期业绩营收激增近20倍，亏损收窄加速
国产GPU企业壁仞科技发布2026年中期业绩，上半年营收12.36亿元，同比增长约1997.6%，亏损大幅收窄76.4%至3.77亿元。公司完成互联网大客户导入，并发布新一代NPO光互连超节点方案，支持FP8/FP4精度，自研BLink 2.0协议。壁仞科技正牵头制定异构混训国家标准，并完成DeepSeek-V4等旗舰大模型适配。
正文结构化主题已通过公开置信门槛
BaryCache：基于重心外推的扩散 Transformer 内存高效加速方法
本文提出了一种名为 BaryCache 的训练免费加速方法，用于扩散 Transformer（DiT）的采样过程。该方法利用重心外推器进行逐步特征预测，通过稳定的权重构造和在线解耦技术，在减少内存占用和保持生成质量的同时，实现了高达 3.30 倍的端到端加速。实验在图像和视频生成任务上验证了其有效性。