AtomicChat 发布 Qwen3.8-27B GGUF 量化模型
AtomicChat 发布了 Qwen3.8-27B 的 GGUF 量化版本，基于 Qwen 原始权重并使用自己的重要性矩阵进行量化。该模型支持文本生成和多模态（图像）输入，提供了多种量化级别，并附有详细的量化分析、运行指南和速度测试。用户可通过 llama.cpp 或 Atomic Chat 应用本地运行该模型。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3340 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月17日周一 · 3 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Nail-Qwen3.6-35B-A3B-GGUF：高效量化模型，提升推理速度与对话质量
peculiar-ragdoll 发布了 Nail-Qwen3.6-35B-A3B-GGUF，这是基于 Qwen3.6-35B-A3B 的 4-bit 量化模型，采用改进的聊天模板和强制系统提示，旨在减少过度思考、工具调用失败和冗长输出。在基准测试中，Nail 在响应速度和多轮对话质量上优于 Qwen3.6-27b 及其微调版本，但在长上下文任务中，其密集版
正文结构化主题已通过公开置信门槛
Mastra 发布更新：TokenCostControl 重命名及多项新功能
Mastra 发布了 2026 年 8 月 14 日的更新，主要亮点包括将 CostGuardProcessor 重命名为 TokenCostControl，并新增了更丰富的预算选项（如 warnAtPercent、按请求的 maxCost 函数、新的成本范围等）。同时，为 agent 和 controller 增加了活动运行检查 API，并修复了可观测性、
8月16日周日 · 15 条
正文结构化主题已通过公开置信门槛
llama.cpp b10453 发布：移除部分 ggml concat 代码
llama.cpp 发布 b10453 版本，主要更新是移除了部分 ggml concat 代码，由 Hugging Face 的 Xuan Son Nguyen 共同贡献。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种后端如 Vulkan、CUDA、ROCm 等。部分平台的构建（如 ma
正文结构化主题已通过公开置信门槛
llama.cpp b10452 发布：重构聊天内容处理逻辑
llama.cpp 发布 b10452 版本，主要重构了聊天功能中 supports string content 和 supports typed content 的处理逻辑，并新增了测试用例。该版本提供了适用于 macOS、Linux、Android、Windows 等多个平台的预编译二进制文件，但部分平台（如 macOS KleidiAI、Ubuntu
正文结构化主题已通过公开置信门槛
llama.cpp b10451 发布：修复 LoRA 张量越界检查
llama.cpp 发布 b10451 版本，主要修复了 LoRA 张量数据越界检查问题，确保 LoRA 张量数据在文件边界内。该版本提供了适用于 macOS、Linux、Android、Windows 等多个平台的预编译二进制文件，并包含 UI 组件。
正文结构化主题已通过公开置信门槛
Anthropic营收暴涨1400%，估值2万亿美元冲刺IPO
Anthropic第二季度营收超过115亿美元，同比增长逾14倍，调整后营业利润首次转正。投资人押注其以超过2万亿美元估值冲刺IPO，若成行将超越SpaceX成为史上估值最高的IPO。但分析指出，营收增长可能受Tokenmaxxing短期透支影响，且高额算力合同成本仍是盈利挑战。
正文结构化主题已通过公开置信门槛
LiteLLM v1.97.0 发布：镜像签名验证与多项功能更新
LiteLLM 发布 v1.97.0 版本，所有 Docker 镜像均使用 cosign 签名，并提供了通过固定提交哈希或发布标签验证签名的方法。该版本包含多项功能更新和修复，如支持 Cursor 模型名称后缀解析、团队回调日志停止、JWT 认证用户邮箱回填、非流式响应切换、默认组织设置、缓存客户端连接回收、Rubrik 护栏的提示词审核与响应文本阻止、自定
正文结构化主题已通过公开置信门槛
FastGPT v4.16.0 发布：沙盒架构调整与数据迁移指南
FastGPT 发布 v4.16.0 版本，主要更新包括 Agent Sandbox 架构调整、新增环境变量、移除 E2B 支持，并引入多项数据迁移脚本。该版本要求用户按指南更新代理和沙盒配置，执行系统模型配置清洗、HTTP 工具数据迁移及 Agent Sandbox 数据迁移，以兼容新版本。
正文结构化主题已通过公开置信门槛
Krea 2 Turbo Edit GGUF 量化版发布，支持身份保持编辑
ChrisColeTech 在 Hugging Face 发布了 Krea 2 Turbo Edit 的 GGUF 量化版本，支持文本到图像、图像到图像和身份保持编辑，8 步推理，在 RTX 5090 上生成 1024² 图像约需 35 秒。该版本包含三个量化等级和 FP8 缩放构建，并集成了 Qwen3-VL-4B 文本编码器和 Qwen-Image VA
正文结构化主题已通过公开置信门槛
llama.cpp 新增 Kimi-K3 模型支持，实现混合注意力与 MXFP4 优化
llama.cpp 发布 b10448 版本，新增对 Kimi-K3 文本模型的支持，包括混合 KDA 线性注意力和 MLA 全注意力架构，以及跨层残差注意力、潜在 MoE、situ 激活、MLA 输出门和全秩 KDA 门等特性。该版本还实现了 MXFP4 量化权重的无损重打包，并添加了 Kimi K3 的聊天格式支持，包括推理提取和工具调用解析。验证显示与
正文结构化主题已通过公开置信门槛
llama.cpp b10447 发布：重构 server 线程模型
llama.cpp 发布 b10447 版本，主要重构了 server 的 yield to queue 线程模型，将 speculative 处理移至 worker 线程，并交换了 worker 与主线程的设计。该版本提供了多平台二进制文件，包括 macOS、Linux、Windows、Android 等，并支持多种后端如 Vulkan、CUDA、ROCm
正文结构化主题已通过公开置信门槛
llama.cpp b10446 发布：更新 BoringSSL 并发布多平台二进制
llama.cpp 发布 b10446 版本，主要更新为将 BoringSSL 升级至 0.20260813.0。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。部分平台的构建（如 KleidiAI、ROCm 等
正文结构化主题已通过公开置信门槛
llama.cpp b10444 发布：支持 MTP 辅助模型加载
llama.cpp 发布 b10444 版本，主要新增 --models-dir 选项以支持加载 MTP 辅助模型，并优化了预设检查逻辑。该版本提供了覆盖 macOS、Linux、Windows、Android 等多平台的预编译二进制文件，但部分平台构建（如 KleidiAI、ROCm、openEuler）被暂时禁用。
正文结构化主题已通过公开置信门槛
Qwen3.6-35B-A3B 未审查多模态模型 Genesis Hermes V7 发布
LuffyTheFox 发布了基于 Qwen3.6-35B-A3B 的未审查多模态 MoE 模型 GGUF 版本，名为 Genesis Hermes V7。该模型通过其自研的 Genesis 算法对张量进行噪声修复，并融合了 Hermes 微调数据，旨在提升模型稳定性和指令遵循能力。模型支持多语言和视觉任务，并提供了量化脚本和推荐配置。
正文结构化主题已通过公开置信门槛
llama.cpp b10443 发布：修复 GGUF 数组类型检查
llama.cpp 发布 b10443 版本，主要修复了读取 GGUF 数组类型前未检查类型的问题，并更新了相关技能。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。部分平台构建（如 macOS KleidiAI、Ub
正文结构化主题已通过公开置信门槛
txtai 推出 LEMUR 与均值中心化，提升晚期交互检索效率
txtai 引入了 LEMUR（Learned Multi-Vector Retrieval）和可配置的均值中心化，以改进晚期交互检索。LEMUR 学习多向量表示的固定维度编码，使晚期交互模型能使用标准向量索引；均值中心化解决了 token 向量各向异性问题。在 BEIR 数据集上，LEMUR 在相同向量维度下相比 MUVERA 显著提升 NDCG@10，但
正文结构化主题已通过公开置信门槛
Nesso-1：加速开源结合亲和力预测
Valence 和 Recursion 团队发布了 Nesso-1，一个开源粗粒度共折叠模型，用于蛋白质-配体结合亲和力预测。相比 Boltz-2，Nesso-1 速度快一个数量级以上，在多个公共和专有数据集上达到或超越其准确性，且单 GPU 预测仅需 1 秒。该模型旨在解决封闭源码瓶颈、计算成本高、人类与 AI 归纳偏差以及公共基准泄漏等问题，并支持大规模
8月15日周六 · 2 条
正文结构化主题已通过公开置信门槛
llama.cpp b10442 发布：优化 Intel Xe Vulkan 性能
llama.cpp 发布 b10442 版本，主要针对 Vulkan 后端在 Intel Xe 显卡上的 coopmat mul mm 操作添加了 SHMEM STRIDE PAD 和 APPLY SLM A RESHAPE 优化，并修复了共享内存估算和越界读取问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编
正文结构化主题已通过公开置信门槛
MiniMax H3 量化权重集合发布，支持消费级 GPU 本地运行
Hugging Face 上出现了一个社区整理的 MiniMax H3 量化与剪枝权重集合，支持 INT4、INT8、混合精度及 NVFP4 格式，旨在让消费级 GPU（16-24GB 显存）用户通过 ComfyUI 本地运行 MiniMax H3 的多模态视频生成模型。该集合提供了针对不同显卡的下载指南，并包含文本编码器和 VAE 文件。MiniMax H