llama.cpp 发布 b11812:为 granite 模型记录层输入
llama.cpp 发布 b11812 版本,主要变更为为所有 granite 模型记录层输入(#30957),该改动位于 GraniteSpeculatorSupport 分支,由 IBM 的 Gabe Goodhart 提交,并标注为全程使用 Claude + Sonnet 5.5 辅助完成。发布同时提供 macOS/iOS、Linux、Android、
公司与模型 · 英伟达的 AI 芯片与生态动态:GPU 新品、CUDA 生态、机器人平台与 AI 算力供给
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-11 07:16
llama.cpp 发布 b11812 版本,主要变更为为所有 granite 模型记录层输入(#30957),该改动位于 GraniteSpeculatorSupport 分支,由 IBM 的 Gabe Goodhart 提交,并标注为全程使用 Claude + Sonnet 5.5 辅助完成。发布同时提供 macOS/iOS、Linux、Android、
llama.cpp 发布 b11808 版本,主要变更是 dflash 支持加载可选的 FC 输入缩放(PR #30945),该改动由 Codex 协助完成。发布同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11806 版本,主要变更是 LoRA 支持 prism.hadamard 折叠权重(PR #30910),同时从 test-llama-archs 中移除了 LoRA 测试。该版本照例提供 macOS/iOS、Linux、Android、Windows 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO
Hugging Face 上发布了 audio-cpp/audio.cpp-gguf 仓库,将多个语音模型(涵盖 TTS、ASR、语音转换、音频生成、说话人分离等)转换为 audio.cpp 原生 GGUF 格式并量化。仓库列出了各模型对应的 audio.cpp family、提供的 GGUF 精度(如 BF16、Q8、F32)及原始许可证,供 audio.
该论文在IBM合成反洗钱交易数据集上构建了包含1,026个问题、带检索级金标文档标注的确定性问答基准,用于评估面向金融交易数据的RAG。作者将NVIDIA 29M参数的Transaction Foundation Model(TFM)与五个通用及金融领域文本嵌入模型在规模和数据匹配条件下对比,发现TFM在Recall@5(0.81 vs 0.25–0.39)
黑石集团高管Jas Khaira在TechCrunch Disrupt上表示,市场对AI基建债务的担忧被夸大。黑石通过债务与股权等灵活结构大举投资算力领域,已成为超大规模云厂商之外最大的算力所有者,曾以GPU和客户合同为抵押向CoreWeave提供23亿美元贷款,并参与Firmus 100亿美元信贷、向Crux AI承诺50亿美元。他承认利率上行与信用利差扩
llama.cpp 发布 b11802 版本,主要修复了 jinja 模板中命名空间属性被字典方法遮蔽的问题(PR #30941)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属于常规缺陷修复与构建发布,对使用
AWS 机器学习博客介绍了一种基于 Strands Agents 构建的自适应智能体智能框架(AAIF),该框架用小型语言模型(llama3.2:1b)作为编排层,将常规任务在本地通过 Ollama 处理,复杂任务则路由到 Amazon Bedrock 上的云端大模型。文章以物联网监控为参考场景,展示了该架构可运行于树莓派等边缘设备、纯云端或混合部署,旨在降
AI 初创公司 Recursive 发布首个免费编程模型 Flint,该模型可在笔记本上离线运行,采用 Apache 2.0 开源协议,并已上线 Hugging Face。Flint 的开发过程大量借助公司自研的自动化研究系统 Eureka Machine,小团队不到四个月即从零完成构建。Flint 采用混合专家架构,总参数 400 亿、单次仅激活 25 亿
llama.cpp 发布构建版本 b11799,主要变更为 SYCL 后端新增 q8 快速反量化(#30775)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新可提升 Intel GPU 上量化模型的推理效率。
llama.cpp 发布 b11798 版本,主要变更是 jinja 模板支持十六进制字符串转义(PR #30929)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于推理框架的细节改进,影响使用 jinja 模板渲染提示
llama.cpp 发布 b11797 版本,主要变更为 ggml-opencl 后端新增 IM2COL 3D 支持,并统一 kernel 与 host 的数据类型、修复旧款 Adreno GPU 的兼容问题。该提交由高通工程师参与贡献,同时版本照例提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、S
AI 初创公司 Inception 发布扩散式语言模型 Mercury 3,采用先草拟整体答案再逐步精炼的生成方式,而非逐词输出。Inception 称其在 Nvidia GPU 上每秒生成超 1000 个 token,速度是 GPT-6 Luna 和 Claude Haiku 5.5 的 4 到 8 倍,并在内部 12 项基准中赢下 8 项,但部分长代码和
llama.cpp 发布 b11795 版本,主要改动在 server 端:/v1/messages 接口现在会转发 llama.cpp 的采样参数,并支持通过 extra params 传入这些参数,同时改为直接透传请求而非复制指定字段。该版本还提供了覆盖 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm
llama.cpp 发布 b11793 版本,核心变更是优化词表(vocabulary)加载流程,由 Georgi Gerganov 等人参与代码审查,并在 gguf kv to str 中增加 reserve、修复尾随空格。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROC
llama.cpp 发布构建版本 b11791,主要修复了 Metal 后端在 GPU capture 路径中的内存泄漏并清理了相关逻辑(PR #30890)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于常规维护性修复
llama.cpp 发布 b11789 版本,主要变更为在 OpenCL 后端新增支持向量加载激活的 dp4a GEMM 变体,并重命名了相关 kernel 与环境变量。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 等多平台、多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译二进制包。此次
llama.cpp 发布 b11788 版本,主要修复 SYCL 后端中 Flash Attention 在查询头维度不匹配(neq0 != HSK,D=2048/4096)时的崩溃问题(PR #30286)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CUDA、Vu
llama.cpp 发布构建版本 b11787,主要变更是 SYCL 后端在 mmq 中合并重复的 need check 启动函数体(PR #30739)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于底层推理引擎的维护
DeepSeek 在 PyTorch Conf 首日开源了其生产推理栈 DeepInfer,该引擎基于 vLLM 定制,支持分布式推理、投机解码与结构化输出,并可在 NVIDIA 与华为昇腾平台运行。官方披露单集群日处理 155 万亿 token、96% 输入缓存命中、约 80% 推理毛利率与 81 天回本周期,但 KV 缓存管理与负载均衡等核心组件尚未完全