MLX v0.31.1 发布:CUDA 优化与混合分片支持
MLX 发布了 v0.31.1 补丁版本,包含多项 CUDA 内核优化(如量化 GEMV、Hadamard 变换、SegmentedMM)、混合分片(Hybrid sharding)支持、bug 修复及文档改进。该版本提升了 GPU 上的计算性能与稳定性,并新增了 bartlett 函数。
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3343 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
MLX 发布了 v0.31.1 补丁版本,包含多项 CUDA 内核优化(如量化 GEMV、Hadamard 变换、SegmentedMM)、混合分片(Hybrid sharding)支持、bug 修复及文档改进。该版本提升了 GPU 上的计算性能与稳定性,并新增了 bartlett 函数。
LlamaIndex 发布 v0.14.16 版本,包含多个核心修复和新功能,如新增令牌桶和滑动窗口限流器、多模态 LLM 重排序器、扩展向量存储元数据过滤器,并修复了多个 bug 和安全问题(CWE-502)。同时更新了多个集成包,包括 OpenAI、Anthropic、Bedrock 等,新增对 gpt-5-chat 和 reasoning conten
Google DeepMind 发布了 Gemini 3.1 Flash-Lite,这是 Gemini 3 系列中速度最快、成本效益最高的模型,专为大规模高吞吐量开发者工作负载设计。该模型定价为每百万输入 token 0.25 美元、每百万输出 token 1.5 美元,性能优于 2.5 Flash,输出速度提升 45%,首 token 时间快 2.5 倍。
Gemini API 于 2026 年 2 月 26 日发布 Nano Banana 2 和 Gemini 3.1 Flash 图像预览版,后者为高效模型,针对速度和大量使用场景优化。同时宣布 Gemini 3 Pro 预览版将于 2026 年 3 月 9 日关闭。
Groq 宣布扩大其 GroqCloud 全球基础设施,以应对高性能 AI 推理需求的激增。作为扩张的一部分,Groq 与 Equinix 合作在英国推出了新的数据中心,为欧洲开发者提供低延迟、确定性的推理服务。GroqCloud 开发者数量已超过 350 万,生产流量持续增长。该扩张旨在支持实时 AI 应用,并改善总拥有成本。
百度千帆平台在2026年2月13日更新,新增GLM-5、Kimi-K2.5、MiniMax-M2.1深度思考模型,并支持自主规划Agent一键发布为秒哒插件,同时上线OpenClaw快速体验页面,新用户部署成功可获200元代金券。此外,工具广场推出AI论文功能,由百度文库、网盘与千帆团队联合打造,可一键将大纲扩展为高质量正文,提效50%以上。
MLX 发布了 v0.30.6 版本,主要亮点是在 macOS 26.3 及以上版本中通过 JACCL 实现了更快的带宽。此外,该版本修复了多个问题,包括 WSL 中的托管内存、非 simd f16 构建、M2 以下芯片的 2pass sdpa、小 N 的 qmv impl 以及多设备 CUDA 的补丁。
斯坦福大学 NLP 团队发布了 DSPy 3.1.3 版本,主要修复了 RLMs 和 GEPA 的多个问题,包括代码解释器、代码围栏解析、变量注入、工具序列化等,并更新了 GEPA 依赖以支持缓存评估和 Python 3.14。此外,该版本还稳定了真实 LM 测试,并处理了 ColBERTv2 服务器的错误响应。
MLX 发布了 v0.30.5 版本,包含多项修复和优化,如 CUDA 事件回退、B200/H100 图形大小调整、Metal splitk GEMM 调优、ALiBi 斜率修复等。该版本还改进了分布式示例文档和错误提示,并修复了 Windows 测试问题。
百度飞桨框架发布3.3.0版本,重点提升大模型训练效率、开发体验和国产硬件适配。新版本升级了FlashMaskV3稀疏注意力内核,性能超越FlexAttention,并推出FlexCheckpoint参数自动切分重组系统,权重转换性能比Megatron-LM快1.2倍以上。同时引入虚拟内存动态碎片整理技术,将MoE模型显存碎片率从10%降至3%。此外,新版本
百度千帆平台在2026年1月23日更新了模型服务,deepseek-v3.2-think支持交错思考,Anthropic API支持通过safety参数调整安全等级。在Agent开发方面,RAG功能新增支持Qwen-Embedding-4B模型,优化了文本解析与检索效果,并新增研报底稿功能及生成模式选择(性能优先与效果优先)。
DSPy 发布了 3.1.2 维护版本,主要修复了 RAG 教程中的下载问题、改进了 JSON 解析(移除了初始正则提取),并更新了设置保存/加载方法。此外,Parallel 组件新增了 timeout 和 straggler limit 参数,CI 流程也进行了调整。该版本包含来自新贡献者的代码,提升了库的稳定性和可用性。
Hugging Face 发布 smolagents v1.24.0,包含多项修复和改进:为已弃用的 HfApiModel 添加向后兼容性,支持向 apply chat template 传递额外参数,实现 Python 执行的稳健超时机制,并兼容 Gradio 6。此外,更新了无停止序列模型列表以支持 gpt-5.2 ,并修复了多个 bug。
百度千帆平台在2026年1月9日更新了模型服务,包括Qwen3-30B-A3B-Instruct-2507支持混合TPM配额,DeepSeek-V3.2开启分段计费并支持前缀缓存(白名单内测),以及自定义接入点功能。同时,工具广场新增了智能商品搜索、商品生动化标题生成MCP和百度彩票走势MCP等工具。
Ray 发布了 2.53.0 版本,宣布将在 2.56.0 版本中停止支持 Pydantic V1,并新增了 Kafka 数据源和 Iceberg 支持。Ray Data 引入了基于利用率的集群自动缩放器、数据集摘要 API 和多项性能优化。Ray Serve 增加了部署拓扑可见性、外部自动缩放器集成和自定义批处理大小函数等功能。
Hugging Face 发布了文本生成推理库 Text Generation Inference 的 v3.3.7 版本。该版本新增了 max image fetch size 参数以限制图像获取大小,修复了当 NVIDIA VISIBLE DEVICES 为 'all' 或 'void' 时设备数量自动计算的问题,并引入了维护模式。这些更新旨在提升推理服
Gemini API 在 v1beta 版本中对 Interactions API 进行了破坏性变更,将 total reasoning tokens 字段重命名为 total thought tokens,以更好地与思考模型中的“thoughts”概念对齐。
Gemini API 于 2025 年 12 月 10 日发布了文本转语音模型的增强功能,推出 Gemini 2.5 Flash TTS 预览版(针对低延迟优化)和 Gemini 2.5 Pro TTS 预览版(针对质量优化),增强了表现力、精确节奏和无缝对话能力。
Google DeepMind 与 Google Research 联合发布了最先进的天气预报模型 WeatherNext 2,其生成预报的速度比之前快 8 倍,分辨率可达每小时。该模型采用新的功能生成网络(FGN)方法,能够从单一输入预测数百种可能的天气情景,并在 99.9% 的变量和预测时效上超越前代模型。WeatherNext 2 的预报数据现已通过
Hugging Face 发布了 smolagents v1.23.0,新增了对话模式 CLI、Blaxel 远程代码执行支持、指数退避重试、自定义 Python 执行器等功能,并修复了多个 bug。该版本还改进了文档翻译,并将默认推理模型改为 Qwen3-Next-80B-A3B-Thinking。