SGLang v0.5.22 发布:新增多模型支持与推理性能提升
SGLang 发布 v0.5.22 版本,包含来自 245 位贡献者的 950 个 PR。新增 Clef、PPLX-Decider、EmbeddingGemma 2、HunyuanImage-3.0-Instruct 等模型支持,DeepSeek-V4.1 在 H200 上吞吐提升最高 2.3 倍并支持 AMD MI350X/MI355X,InstantTe
技术方向 · 开源模型、框架与仓库动态:权重开放、社区项目、开源与闭源的力量对比 · 共 2112 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
SGLang 发布 v0.5.22 版本,包含来自 245 位贡献者的 950 个 PR。新增 Clef、PPLX-Decider、EmbeddingGemma 2、HunyuanImage-3.0-Instruct 等模型支持,DeepSeek-V4.1 在 H200 上吞吐提升最高 2.3 倍并支持 AMD MI350X/MI355X,InstantTe
llama.cpp 发布 b11723 版本,主要针对 Hexagon 后端(高通 NPU)的 FLASH ATTN EXT 进行改进,以支持更长上下文和 SWA(滑动窗口注意力)模型。改动包括支持掩码块跳过以减少 DMA 数据搬运、微调 hmx 到 hvx 的切换阈值(提升 gemma-4 表现),以及更新 hmx 门控以考虑 mdev.count。该版本
Simon Willison 发布了 llm-tools-datasette 0.1.1 版本,这是其 llm 工具生态中用于 Datasette 的插件更新。正文仅包含版本号与博客近期文章列表,未披露具体功能变更或影响。
Simon Willison 为其 LLM 工具链中的调试插件 llm-echo 发布 0.5 版本。该插件提供一个不调用真实 LLM、仅回显输入提示的模拟模型,新版本更新了模拟 token 用量统计,将工具调用、系统提示和推理 token 纳入计算。此举服务于作者正在筹备的新 LLM 版本发布,便于测试 PR 时更准确地模拟用量。
FermionResearch 发布开源英语语音识别模型 Phonon-2,基于 NVIDIA parakeet-tdt-0.6b-v3 量化而来,下载体积仅 164 MB,在 Open ASR Leaderboard 七个英语测试集上平均词错误率 5.21%,接近其 2.5 GB 全精度教师模型的 4.96%。该模型采用约 2.1 比特的五级权重量化,可在
开发者 mradermacher 在 Hugging Face 上发布了 Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic 模型的 GGUF 静态量化版本,提供从 Q2 K 到 Q8 0 以及多模态 mmproj 补充文件等多种量化格式,并附有下载列表与使用说明。该模型基于 medismera 的同名基座模型,采用 A
llama.cpp 发布 b11721 版本,在 CUDA 后端将 qwen4exp 的 SCALE - SIGMOID - SCALE - hc post 计算链融合为单个 kernel,这是对 Vulkan HC POST GATE 融合(#29520)的移植。改动后 hc post 权重由 2 sigmoid(inject/hc) 构建,dsv4 hc
DeepBeepMeep 发布了 WanGP,一个开源视频生成工具,支持 Wan、Hunyuan Video、Flux 1 & 2、Qwen、Z-Image 和 LTV Video 等模型,最低仅需 6GB 显存,兼容旧 GPU,并提供 Web 界面、Lora 支持、队列系统等功能。该工具旨在让低配置用户也能使用先进的视频生成模型。
VAST 正式发布并开源实时世界模型 EdenLive,该模型采用「解耦世界状态与视觉渲染」路线,由上游交互系统维护状态与规则,EdenLive 负责实时生成精细画面。在单张消费级显卡 RTX 5090、720P 条件下,5B 模型生成速度超过 24FPS,端到端延迟为百毫秒级,并支持分钟级连续生成。VAST 同步开放模型权重、推理代码、技术报告与端到端 D
llama.cpp 发布 b11719 版本,主要变更是 ggml-cuda 后端在 flash attention 中当 k VKQ max 等于 k VKQ max - nbatch fa 时不再做越界检查(PR #30572)。同时该版本提供了 macOS、iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包,包括 CUD
LiteLLM 发布 v1.107.0-rc.1 候选版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit 哈希和 release tag 的两种验证方式。该版本包含多项修复与功能更新,涉及 MCP 网关 OAuth 作用域、Anthropic 自适应思考参数处理、代理层 agent access default deny
LiteLLM 发布 v1.106.0,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。该版本包含多项变更:默认禁用 stdio MCP 服务器(破坏性变更)、新增一键启动 gateway/Postgres/管理界面的 Docker quickstart、新增 Laya
llama.cpp 发布 b11718 版本,由 Intel 工程师 Todd Malsbary 提交的 PR #30239 在 FFN 路径上恢复并重新启用了 ESIMD 内核,同时将 ESIMD 融合扩展到 Q8 0 量化格式,并清理了 test-backend-ops 中显式引用 ESIMD 的注释。该改动主要提升 Intel GPU 上前馈网络推理的
llama.cpp 发布 b11717 版本,为 Hexagon 后端新增对 Hadamard MUL MAT 以及 flat 和 tiled Q1 0、Q2 0 量化格式 GET ROWS 的支持,并优化了 q8 1 量化器与 vec dot q1 的数据包数量。该更新主要提升高通 Hexagon NPU 上的量化推理能力,同时照例提供覆盖 macOS、L
Ollama 发布 v0.40.7 版本,包含三项改动:允许在非思考模型上使用 OpenAI Responses 的 effort 参数;让 llama-server 自动推断 draft speculative 类型;为 MLX 增加 PPLX Decider v1.2 支持。这些更新主要面向本地推理与模型服务能力,属于小版本迭代。
开发者 akatz-ai 在 Hugging Face 发布 MiniMax-H3 角色替换 LoRA 的 V1.5 版本,基于 Comfy-Org/MiniMax-H3 适配器,可将源视频中选定人物替换为图片参考中的角色。V1.5 被推荐用于新任务,官方称在保留参考角色身份、发型和风格化面部方面优于 V1,但作者强调这仍是实验性模型,身份、时序和遮挡仍可能
Veloxy AI 在 Hugging Face 发布 Veloxy-Flash-15B Faz 11 的 GGUF 量化版本(i1-Q6 K,6.84 GB),基于 Qwen 架构,主打类 OpenAI o1/o3 的动态思维链与跨语言内部推理(内部用英语/逻辑符号,对外输出土耳其语),并支持 512K YaRN 上下文。模型以 Apache 2.0 许可
DeepSeek将V4.1-Flash更新至V4.1-Flash-1017版本,网页端、App与API同步更新,模型权重在HuggingFace和ModelScope开放下载。官方称新模型在DeepSWE、Automation-Bench等多项基准测试中领先Kimi K3、GLM 5.3、GPT 5.6-Sol和Claude Opus 5等模型,DeepSW
另有 3 家信源报道
PydanticAI 发布 v2.58.0,包含多项兼容性变更、新功能与缺陷修复。兼容性方面调整了挂起响应的用量统计、RealtimeConnection 生命周期事件公开、read file 支持图片与 PDF 等。新功能包括委派任务 steer、消息单次存储、模型请求重试与超时控制、Vercel AI 与 AG-UI 前端消息流等。修复涉及系统提示保留、
LiteLLM 发布 v1.103.5 版本,该版本将 #46099 和 #46109 两个修复回移到 stable/1.103.x 分支,主要涉及 responses 相关功能。发布说明同时强调所有 Docker 镜像均使用 cosign 签名,并提供基于固定 commit hash 和 release tag 两种验证方式。