返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3312 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月12日周一 · 2 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Qwen3.8-Flash-Next 去审查 GGUF 量化版发布,适配 DGX Spark

Hugging Face 用户 wy2pay 发布了 Qwen3.8-Flash-Next 的去审查(abliterated)GGUF 量化版本,基于 huihui-ai 的 abliterated 模型,采用 IQ4 XS 量化(97.5GB),并附带 LoRA v1 适配器、MTP 投机解码草稿模型和视觉投影器。该版本针对单台 DGX Spark(128

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Jundot 发布 Qwen3.8-Flash-Next 的 MLX 混合精度量化版

开发者 Jundot 在 Hugging Face 发布了 Qwen3.8-Flash-Next-oQ4e-mtp,这是对 Qwen/Qwen3.8-Flash-Next 的 MLX 混合精度量化版本,使用 oQ(oMLX v0.7.1)与改进的 oQe 量化方法完成。源模型是 Qwen4 架构的实验性预览,为 125B 参数、6B 激活的 MoE 视觉语言

10月11日周日 · 18 条
正文结构化主题已通过公开置信门槛
THE DECODER研究

研究:AI智能体团队耗费巨量token却几乎无质量提升

评测公司 Vals AI 在 Vibe Code Bench 上测试了 GPT-6 Sol 和 Claude Opus 5.5 的单体与多智能体团队表现,发现团队成本是单体的 1.8 至 5.1 倍,但四次对比中仅一次有统计显著提升。Anthropic 自身测试也显示,从 10 个扩展到 100 个智能体后分数仅微增。OpenAI 研究员 Noam Brow

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11557:RPC 日志改为分级详细度并统一日志入口

llama.cpp 发布 b11557 版本,主要改进 RPC 后端的日志系统。GGML RPC DEBUG 环境变量被改为数字化的详细级别(0 关闭,1-3 逐级增加输出),并新增共享 log.h 作为 RPC 日志的唯一入口,统一了客户端与服务端的日志宏。此外补充了握手、张量传输、图计算等环节的日志,并将远程分配失败、RDMA 回退 TCP 等降级事件提

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering研究

Meta等提出上下文语言模型CLM:让模型自管上下文

Meta、MIT 和华盛顿大学的研究者提出 Context Language Models(CLMs),让语言模型把上下文当作可自由编辑的文件自行管理,而非依赖预定义的摘要、压缩和检索机制。研究探索了零样本、上下文学习和强化学习三种方式,在 BrowseComp-Plus、EdgeBench 等基准上报告了准确率提升与 FLOPs 下降。研究者也承认存在信息

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11556 新增 Prism Bonsai 2 27B 支持

llama.cpp 发布 b11556 版本,新增对 Prism Bonsai 2 27B 模型的运行时支持,并配套更新了转换器中的 Prism Hadamard 键与方法。该改动由 Georgi Gerganov 等人提交,部分工作借助 Claude Code 完成。发布同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11555:修复 AVX2 CPU 未使用 F16C 的问题

llama.cpp 发布 b11555 版本,主要修复了在支持 F16C 的 CPU 上 AVX2 未启用 F16C 的问题(#30270)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11554:Vulkan 后端优化 mul mat id 重复处理

llama.cpp 发布 b11554 版本,主要更新为 Vulkan 后端优化:在预处理阶段处理 mul mat id 的重复行 ID,而非循环处理,通过始终启用「hoist row ids」优化并生成紧凑的 tile 描述列表,在需要时发射多个 tile,从而收紧 workgroup 数量上界并让尾部提前退出。该版本同时提供 macOS、Linux、Wi

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Qwen-Image-2.1 无审查 GGUF 量化版发布

用户 abenzerps 在 Hugging Face 发布了 Qwen-Image-2.1-Uncensored-GGUF,这是对 Qwen/Qwen-Image-2.1 的 GGUF 量化版本,用于本地图像生成。该仓库提供 BF16、FP8、INT8、NVFP4、MLX 4/6/8-bit 以及 Q8 0 到 Q4 0 等多种量化文件,并附带文本编码器和

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Apodex-1.1-mini 发布 GGUF 量化版本

Hugging Face 用户 abenzerps 发布了 Apodex-1.1-mini 的 GGUF 量化版本,该模型为 35.95B 参数的 Qwen3.5 MoE 模型,面向研究、数据、文件和代码等工具驱动任务。量化文件覆盖 IQ1 M 到 Q8 0 共 12 种规格,保留原生 MTP/NextN 头,并提供 F16 视觉投影器以支持图像输入。模型采

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Spark-X2.5-4B 发布 GGUF 量化版本,支持 1M 上下文

Hugging Face 用户 abenzerps 发布了 XHToken/Spark-X2.5-4B 的 GGUF 量化版本,提供 Q4 0 至 Q8 0 五种量化文件,采用 Apache-2.0 许可。该模型为 4B 通用语言模型,面向推理、编码、工具调用和智能体工作流,原生上下文长度达 1,048,576 tokens(1M)。使用这些 GGUF 文件

正文结构化主题已通过公开置信门槛
THE DECODER商业

更便宜的 AI token 推动需求增长,正合黄仁勋心意

THE DECODER 报道称,Ornn、Silicon Data 和 Bloomberg 截至 2026 年 8 月的数据显示,AI 市场出现 a16z 所称的教科书式杰文斯悖论:token 价格持续下降,但 H100 GPU 租赁价格保持稳定甚至上涨。更便宜的 token 解锁了 AI 智能体、自动化和新应用,使使用量增长快于单位成本下降。整个体系依赖一

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

DeepBeepMeep 发布 LTX-2 视频模型,WanGP 工具支持低显存生成

DeepBeepMeep 发布了 LTX-2 视频模型,用于其 WanGP 工具,该工具支持多种开源视频生成模型,包括 Wan、Hunyuan Video、Flux 1 & 2、Qwen、Z-Image 和 LTV。WanGP 旨在降低视频生成的硬件门槛,支持低至 6GB 显存和旧款 GPU,并提供 Web 界面、自动下载模型、Lora 支持等功能。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

StartLux-Decision-35B-A3B 的 GGUF 量化版本发布

开发者 mradermacher 在 Hugging Face 上发布了 StartLux-Decision-v1-35B-A3B 模型的 GGUF 静态量化版本,提供从 Q2 K 到 Q8 0 以及 mmproj 多模态补充文件等多种量化格式。该模型为基于混合专家(MoE)架构的决策/分类模型,采用 cc-by-nc-4.0 非商用许可。此举方便用户在本地

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Agention 发布 Qwen3.8-Flash-Next 的 ROCmFP4 GGUF 量化版

Agention 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 ROCmFP4-FAST imatrix GGUF 量化版本,180B 模型以 4.23 bpw 压缩到 87.06 GiB,可完全运行在 128 GB 统一内存设备(如 Strix Halo)的 96 GiB 显存中,困惑度仅比未量化模型高 2.5%。该版本包

正文结构化主题已通过公开置信门槛
量子位商业

硅谷AI算力争夺战:谁有算力谁是爹

硅谷AI行业正陷入算力争夺战,算力取代资金和人才成为核心资源。Anthropic因算力不足向SpaceX采购超300兆瓦容量、22万块英伟达GPU,SpaceX季度AI业务收入达25.61亿美元。谷歌顶级研究员Noam Shazeer因团队算力被重新分配而转投OpenAI,小型创业公司则面临云服务商要求多年合约和高额预付款的困境。H100租赁价格上涨近40%

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Krea 2 Turbo 2步蒸馏 LoRA 发布:8步降至2步,去噪提速4倍

开发者 lvladikov 在 Hugging Face 发布 Krea2-Turbo-Distill-2step-LoRA,将 Krea 2 Turbo 文生图模型从 8 步蒸馏到 2 步,去噪速度提升 4 倍(1024×1024 下 76.4 秒降至 19.3 秒),细节保真度达教师模型的 0.97–1.09 倍。该 LoRA 基于 4 步项目记录的 1

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11552 修复忙槽位被 prompt cache 覆盖问题

llama.cpp 发布 b11552 版本,修复了服务器端一个并发调度缺陷:当某个请求指定了正被占用的 id slot 时,此前仍会先对该槽位执行 prompt cache 更新,导致在另一请求仍在生成时把更匹配的缓存载入该槽位,使生成在错误的上下文上继续。现在该忙槽位会被原样返回,请求需等待其释放。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11551 新增 MiniCPM-V 4.7 支持

llama.cpp 发布 b11551 版本,新增对 MiniCPM-V 4.7 多模态模型的支持,由 tc-mb 提交并经 Hugging Face 的 Sigbjørn Skjæret 与 Xuan Son Nguyen 协作审查。改动包括在 mtmd 中接入 MiniCPM-V 4.7、允许 mrope 时间从额外位置槽获取、为 GGUF 增加 rop

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

MiniMax-H3 社区混合量化版:fl2va 与 ref2va 拼接 w4a8

Hugging Face 用户 berryber09 发布了 MiniMax-H3 的社区混合量化版本,将首尾帧关键帧模型 fl2va 与参考条件模型 ref2va 通过整块拼接合并为单一 w4a8 4-bit 检查点,约 12.5 GB,可在 16 GB 显存显卡上运行。该版本让一次生成既能以首帧作为硬时间锚点,又能同时使用参考图像控制人物身份或风格,并已