llama.cpp b11521 发布:服务器默认端口改为 9931
llama.cpp 发布 b11521 版本,主要变更是将服务器默认端口改为 9931(PR #30159)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11521 版本,主要变更是将服务器默认端口改为 9931(PR #30159)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
llama.cpp 发布 b11518 版本,主要变更为在 Metal 后端新增 128/96 flash attention 内核,并支持接受所有已编译的配对组合(PR #30209)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenV
阿里 ModelScope 发布 v1.40.2 版本,新增对 Intel XPU(含 iGPU 及 Arc、Flex、Max 系列独显)作为模型推理与训练目标设备的支持,可结合 IPEX-LLM 优化在 Intel GPU 硬件上运行 ModelScope 模型。此外引入小版本镜像构建流程以提升容器化部署的发布粒度,并更新了 modelscope-hub
llama.cpp 发布 b11517 版本,主要变更是 CUDA 后端将 src1 精度传递给主机端 MMQ 配置辅助函数(PR #30168),由 NVIDIA 的 ynankani 提交。该版本同时提供覆盖 macOS、Linux、Windows、Android 等平台的预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO
字节Seed团队发现DeepSeek-V4系列模型存在「相位敏感性」问题:同一道题仅改变输入中无关Token的数量,模型答案就会以4个Token为周期反复横跳。在128K长上下文检索测试中,同一信息仅改变位置,DeepSeek-V4-Flash-Base准确率差距可达40.2个百分点。研究将原因指向DeepSeek-V4采用的分块KV Cache压缩技术,并
另有 1 家信源报道
该论文提出「无规则数字孪生」(RDTs)方法,用纯声明式用户规格自动生成最优决策,替代传统基于规则的数字孪生决策模型。RDTs 结合语义知识库、逻辑推理、仿真模型和自主计算架构,且各组件均基于广泛使用的标准或技术。在虚拟办公室环境实验中,RDT 在维持目标室温和降低动态电价下能耗成本方面优于基于规则的 bang-bang 控制器,但组合决策树构建导致较长预测
该论文提出 OcuBench 多源基准(含 10,280 合成对、732 真实输入伪对、458 真实测试图)与 OcuFlow 框架,用于眼镜反光去除。OcuFlow 基于几何自适应 token 支持与几何引导的 pMF,实现单次前向生成,在 RTX 4090 上每图 56 ms,并在配对基准、真实场景无参考评估、用户偏好及下游虹膜定位上均优于现有方法。
该论文提出一种基于 Transformer 的文本自编码器架构,通过沿时间轴对隐藏表示进行残差降采样与升采样,并结合残差低维离散瓶颈与量化,学习文本的有损压缩潜在表示。在网页文本数据上,4.3B 参数模型达到每字节 2.24 比特的压缩率,作者称这是文献中文本自编码器模型的最高压缩率。研究还比较了不同量化方法、训练目标和数据集,发现重建与表示之间存在权衡,且
该论文研究MoE语言模型推理时产生的路由遥测信息是否会导致成员推断隐私泄露。作者提出一种结合输出信号与路由特征的攻击方法,在三种MoE架构和三个数据域上,路由遥测使1%假阳性率下的真阳性率提升2.7至9.4个百分点,且在全量微调、冻结路由器、LoRA和指令微调下均持续存在。机制分析表明泄露源于微调将成员信息编码进隐藏表示,而路由器即使参数冻结也会暴露该信号的
该论文研究基于SVD的KV缓存压缩中的参数高效微调方法,发现共享学习率会导致不公平比较,使最小可训练参数臂看似占优。在Qwen2.5-VL-3B-Instruct上,当每个实验臂使用各自调优的学习率后,仅训练编码器(冻结解码器)与仅训练解码器或全量微调达到相同精度,同时减少3个可训练参数和3倍优化器状态内存(0.57 vs 1.72 GiB)。该结果在纯文本
llama.cpp 发布 b11515 版本,主要更新为 SYCL 后端新增 Q5 K 重排布局的 MMVQ 与融合 GLU 支持(PR #29375)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO
该论文提出 V-CoLA,一种面向线性注意力架构(如 Qwen3.5)的免训练视觉 token 压缩框架。现有基于 softmax 注意力的压缩方法在混合线性注意力模型上性能明显下降,V-CoLA 通过基于循环状态的唯一性感知重要性评分与自适应 token 合并来解决这一问题。实验显示,仅保留 50% 视觉 token 时可维持原性能的 99.5%,保留 1
MirroS团队发布AgentGarten,将可执行代码环境与实时神经渲染器连接,让智能体在代码定义物理规则、模型生成视觉反馈的闭环中持续交互与试错。在重做的捉迷藏实验中,智能体通过逐轮撰写并传承经验手册,躲藏者第4轮学会搭掩体、搜寻者第10轮学会借坡道翻墙,远快于2019年OpenAI需数千万至上亿局自我博弈的结果。该框架还扩展到陪伴小狗、狭桥会车、合作牧
另有 1 家信源报道
Vercel AI SDK 发布 ai@7.0.136 补丁版本,修复流式输出超时问题:当模型响应结束时停止 chunkMs 和 firstChunkMs 计时,避免长时间运行的本地工具误触发模型输出超时,并为每次重试提供全新的输出超时预算;stepMs 仍覆盖包含本地工具在内的完整步骤。同时更新了依赖 @ai-sdk/gateway@4.0.110。
Hugging Face 用户 freakyskittle 发布了 CYBER-FROST-3.8 的 GGUF 量化版本,该模型基于 Blackfrost-AI/CYBER-FROST-3.8-BF16,架构为 qwen4exp,约 180B 参数、6B 激活,采用 MoE 设计。发布者上传了多种量化文件(Q2 至 Q4 等),并在 Radeon 680M
IsValorum 在 Hugging Face 发布了 KAT-Coder-V2.5-Dev 的 GGUF 量化版本 APEX-I-MiniPlus-V2.1,基于 Kwaipilot/KAT-Coder-V2.5-Dev 模型,采用逐张量定制量化方案,主打在 13–14 GB 体积内实现接近 Q5/Q6 的保真度,并支持 24GB 显存工作站运行完整 2
llama.cpp 发布 b11514 版本,主要修复了 Musa 后端的 FWHT(快速沃尔什-哈达玛变换)问题(PR #30167)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
llama.cpp 发布 b11513 版本,主要改进 CUDA 后端的 top-k 算法选择。新实现用基于行的 radix select 替代 CUB 的逐行 DeviceTopKKernel,在 qwen4exp 34,816 tokens 场景下将 top-k 从 1,671,253 次启动/5,761.8 ms 降至 2,329 次/941.8 ms
AWS 博客介绍 BlockRun 与 Incarna 如何利用 Amazon Bedrock AgentCore payments 实现 AI 智能体的按次推理付费。BlockRun 是支持 x402 协议的按需推理路由器,提供 15 家以上供应商的 90 多个模型,每次调用独立报价与结算。AgentCore payments 提供托管钱包、原生协议处理、
NVIDIA KGMON 团队在 KDD Cup 2026 Data Agents 竞赛中获得第二名,其系统核心思路是让智能体的 harness 更小、更清晰、更易验证。面对数据库、CSV、JSON、文档、PDF 和视频等异构数据源,团队通过统一 SQL 接口、约束工具集、持久化状态和可检查的执行轨迹来提升可靠性。文章强调,在固定的小型 LLM 上,可靠性更