返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月9日周五 · 8 条
正文结构化主题已通过公开置信门槛
TechCrunch AI商业

本·阿弗莱克展示AI技术理解走红网络

演员本·阿弗莱克因在采访中展示对神经网络、机器学习、Transformer、张量、GPU、推理等 AI 概念的理解而走红网络。他此前将自己创办的 AI 电影制作初创公司以报道中的 5.87 亿美元出售给 Netflix,并透露曾参观 OpenAI。他称自己用开源模型解冻权重进行微调,并自建数据集用于后期训练,还表示不担心 AI 像“天网”一样接管电影业,认为

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11512 发布:修复 DFlash 输出头共享

llama.cpp 发布 b11512 版本,主要修复了 DFlash 输出头共享问题(#30111),包括从 GGUF 元数据读取绑定输出权重、共享绑定词嵌入元数据,并移除 DFlash 嵌入头回退逻辑。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、Open

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

YuE2 GGUF 预量化模型发布,支持 C++ 歌曲生成

Serveurperso 发布了 YuE2 的预量化 GGUF 模型,用于其 C++17 实现 yue2.cpp,可在 CPU、CUDA、Vulkan 上运行。该实现基于 m-a-p 的 YuE2-3B 等模型,输入风格标签和歌词即可生成 48kHz 立体声音频,并输出模型创作的 ABC 乐谱。模型采用混合 Transformer 架构,包含自回归和非自回归

正文结构化主题已通过公开置信门槛
智东西商业

上海海思发布XDAS框架,重做端侧AI开发者生态

上海海思提出“轻智能”终端判断,认为每个IoT终端都值得被重构成AI泛在入口,通过端侧AI与云端协同实现小算力大智慧。公司以全系列端侧芯片为底座,升级HiSpark开发者生态社区,首创XDAS四维框架(AI for Development/Application/Support、EXperience for AI),并推出数字FAE公测、MCP服务与CLI工

正文结构化主题已通过公开置信门槛
智东西商业

曝三星将代工Anthropic自研AI芯片:2nm工艺,初期产量或达20万颗

据海外科技媒体Sammy Fans援引半导体博主Jukan的爆料,Anthropic正考虑采用三星2nm工艺制造其自研定制AI加速器,该芯片由博通担任设计合作伙伴,算力约4000TOPS、功耗约1300W,配备192GB HBM3e内存,初期产量或达20万颗。若消息属实,这将成为三星代工继特斯拉165亿美元订单之后在超大规模客户中的又一重要订单,也意味着An

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11510:CUDA 新增循环 PAD 内核

llama.cpp 发布 b11510 版本,主要更新为 CUDA 后端新增循环 PAD 内核,以支持超过 65535 行或切片的张量填充操作。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Goodfire推出低成本AI代理内部监控探针

AI可解释性初创公司Goodfire推出了一种新的AI代理监控方案,通过探针读取模型内部激活信号来检测恶意行为,而非依赖第二个AI模型审查输出。该监控已向Baseten客户开放,在Kimi K3测试中监控约1500个会话仅花费51美元,远低于传统方案,并捕获了94%的恶意黑客会话。此举针对开源模型缺乏防护的问题,旨在在推理阶段部署更廉价的安全护栏。

10月8日周四 · 12 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11509 修复 CUDA CCCL 版本守卫缺陷

llama.cpp 发布 b11509 版本,修复了 CUDA 后端中 CCCL 版本守卫在重大版本号滚动时失效的问题。原守卫分别比较主次版本号,导致 CCCL 4.x 及以上版本被误判为不满足条件,argsort 静默回退到 init offsets 路径,造成无警告的性能损失。修复改用 CCCL 打包整数版本号进行单次比较,并在 RTX 4070、CUD

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

Claude Haiku 5.5 发布:操作能力暴涨,复杂编程仍逊于 Sonnet

Anthropic 发布 Claude Haiku 5.5,在 OSWorld 2.1 计算机操作评测中成绩从上一代 15.7% 提升至 72.4%,知识工作与多学科推理能力也明显改善,平均运行成本下降约 75%。新模型首次支持自适应推理(Adaptive Thinking)与 100 万 Token 上下文,但复杂终端编程任务仍与 Sonnet 5.5 差

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

mradermacher 发布 Qwen3.8-Flash-Next-Uncensored GGUF 量化版

开发者 mradermacher 在 Hugging Face 上发布了 Qwen3.8-Flash-Next-Uncensored 模型的 GGUF 静态量化版本,基于 orcarouter 的原始未审查模型。该仓库提供从 Q2 K 到 Q8 0 的多种量化文件及多模态补充文件,采用 Apache-2.0 许可,方便本地部署使用。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11507:支持 MoE 缓存跨多 GPU

llama.cpp 发布 b11507 版本,主要变更是支持 MoE 缓存在多 GPU 间分布(PR #30112)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此举可提升大 MoE 模型在多卡环境下的推理效率。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Kolibri-1 78B MoE 模型的 GGUF 量化版发布

Hugging Face 用户 Hob-forge 发布了 Aleph Alpha 的 78B 参数混合专家推理模型 Kolibri-1 的 GGUF 量化版本,包含 Q2 K 至 Q8 0 多种量化格式,支持德语和英语。由于 llama.cpp 尚未支持 kolibri1 架构,作者提供了补丁和预编译版本,并验证了量化模型与 PyTorch 参考实现的对齐

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11503:升级 cpp-httplib 至 0.60.1

llama.cpp 发布 b11503 版本,主要更新是将内置的 cpp-httplib 依赖升级到 0.60.1(由 Adrien Gallouët 提交,PR #30134)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CPU、CUDA、Vulkan、ROCm、

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11501:SYCL FWHT 优化

llama.cpp 发布 b11501 版本,主要更新为针对 SYCL 后端的 FWHT(快速沃尔什-哈达玛变换)优化(PR #29605)。该版本同时提供覆盖 macOS/iOS、Linux、Windows、Android 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL 等多种后端

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11499:CUDA roll 支持非连续操作

llama.cpp 发布 b11499 版本,主要变更是 CUDA 后端在 roll 操作中改用字节步长(byte strides),以支持非连续的 ROLL 操作。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11498:修复 CUDA norm 系列 kernel 网格维度限制问题

llama.cpp 发布 b11498 版本,主要修复了 CUDA 后端中 norm 系列 kernel 在 ne[2]/ne[3] 超过 grid 维度限制时的问题(PR #28175)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11497:SYCL 融合 delta-net alpha gate 算子

llama.cpp 发布 b11497 版本,主要变更是为 SYCL 后端融合 delta-net 的 alpha gate 算子(add + unary + mul),并新增了针对该融合算子链的测试,同时为其提供 flat path 并固定节点跳过逻辑。该版本照例提供覆盖 macOS、Linux、Windows、Android 等多平台与多种后端(CUDA

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

StandardOne-8B-GGUF v2.2 发布并支持 llama.cpp 决策端点

StandardThinking 在 Hugging Face 发布了 StandardOne-8B-GGUF 的 v2.2 版本,基于 Ministral 3 8B 文本模型与 Pixtral 视觉塔(mistral3 架构),提供从 BF16 到 IQ2 M 共九种量化文件及视觉投影器。更新为九个语言模型文件新增了决策元数据,使其支持 llama.cpp

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

StandardOne-3B-GGUF 发布:支持 llama.cpp 决策端点

StandardThinking 在 Hugging Face 发布了 StandardOne-3B-GGUF,这是基于 Ministral 3 3B 文本模型与 Pixtral 视觉塔(mistral3 架构)的 GGUF 量化版本,供 llama.cpp 使用。该仓库更新至 v2.2 权重,并新增决策元数据,使全部九个语言模型文件支持 llama.cpp