llama.cpp b11795:/v1/messages 支持转发采样参数
llama.cpp 发布 b11795 版本,主要改动在 server 端:/v1/messages 接口现在会转发 llama.cpp 的采样参数,并支持通过 extra params 传入这些参数,同时改为直接透传请求而非复制指定字段。该版本还提供了覆盖 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm
技术方向 · 开源模型、框架与仓库动态:权重开放、社区项目、开源与闭源的力量对比 · 共 2112 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11795 版本,主要改动在 server 端:/v1/messages 接口现在会转发 llama.cpp 的采样参数,并支持通过 extra params 传入这些参数,同时改为直接透传请求而非复制指定字段。该版本还提供了覆盖 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm
Agno 发布 v3.1.8,新增 PostgresCheckpointStore,可将沙箱检查点直接存入 PostgreSQL,使多副本部署无需 S3 或共享文件系统即可恢复会话;检查点按 SHA-256 去重并分块事务写入。该版本还允许公司 Routine 使用内部 Product Manager 或 OS Manager 作为执行器,并将沙箱检查点默认
llama.cpp 发布 b11793 版本,核心变更是优化词表(vocabulary)加载流程,由 Georgi Gerganov 等人参与代码审查,并在 gguf kv to str 中增加 reserve、修复尾随空格。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROC
llama.cpp 发布构建版本 b11791,主要修复了 Metal 后端在 GPU capture 路径中的内存泄漏并清理了相关逻辑(PR #30890)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于常规维护性修复
LiteLLM 发布 v1.106.2 版本,该版本为稳定分支的补丁更新,主要回移了多项修复:Bedrock Mantle 的 404 回退处理、批处理成本与定价及翻译的 P0 级修复,以及代理的支出与成本修复。同时,发布说明强调所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit 哈希和 release tag 两种验证方式。
llama.cpp 发布 b11788 版本,主要修复 SYCL 后端中 Flash Attention 在查询头维度不匹配(neq0 != HSK,D=2048/4096)时的崩溃问题(PR #30286)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CUDA、Vu
LiteLLM 发布 v1.105.3 版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。该版本主要包含若干修复的 backport:MCP 按用户鉴权的工具列表、Bedrock Mantle count tokens 回退、LIT-145 计费修复及 aiohttp
生数科技世界模型团队于10月21日开启Motubrain 2.0训练全流程公开直播,计划持续半个月,向公众展示具身模型的训练过程与研究进展。直播涵盖预训练、后训练、Agent任务执行和RSI递归自我改进探索四个环节,Motubrain 2.0即将开源。此举尝试打开具身模型训练的“黑盒”,让研究者和开发者看到模型能力形成过程及训练中的失败与调整,为Physic
llama.cpp 发布构建版本 b11787,主要变更是 SYCL 后端在 mmq 中合并重复的 need check 启动函数体(PR #30739)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于底层推理引擎的维护
英伟达CEO黄仁勋在柏林GTC 2026发表主题演讲,宣布Vera Rubin计算平台已全面量产,并推出DSX POD模块化AI工厂参考设计,可将现场部署时间从六个月缩短至14天。他还发布面向安全AI智能体的开源运行时OpenShell参考架构,以及连接企业数据的Agent Knowledge Foundation。英伟达此前已承诺向欧洲技术生态投入近100
开发者 ArtomYuan 在 Hugging Face 发布了 Ornith-1.5-35B-A3B-ROCmFPX,这是对 ornith-ai/Ornith-1.5-35B-A3B 官方基座模型进行本地重量化后的 GGUF 版本,提供 7 个量化档位及视觉 mmproj。该版本需配合其 llama.cpp 分支 strix.cpp 使用,后者针对 AMD
开发者 DogukanUrker 在 Hugging Face 发布了 Qwen/Qwen-Image-2.1-Turbo(8 步蒸馏的 7B DiT 文生图模型)的 GGUF 量化版本,使用 stable-diffusion.cpp 在发布当天从官方 diffusers 权重转换,并在单张 RTX 3060 12GB 上测试了每个量化档位。该版本面向 st
n8n 发布 2.44.5 版本,修复了两个缺陷:核心模块在关闭恢复时按任务键控队列任务结果,编辑器模块在启动时加载凭证类型。该版本为常规补丁更新,主要提升工作流自动化平台的稳定性。
DeepSeek 在 PyTorch Conf 首日开源了其生产推理栈 DeepInfer,该引擎基于 vLLM 定制,支持分布式推理、投机解码与结构化输出,并可在 NVIDIA 与华为昇腾平台运行。官方披露单集群日处理 155 万亿 token、96% 输入缓存命中、约 80% 推理毛利率与 81 天回本周期,但 KV 缓存管理与负载均衡等核心组件尚未完全
LiteLLM 发布 v1.104.5 版本,说明所有 Docker 镜像均使用 cosign 签名,并给出通过固定 commit hash 或 release tag 验证镜像签名的命令。该版本还修复了 count tokens 问题,将 Bedrock Mantle 的 count tokens 回退逻辑回移到 stable/1.104.x 分支。
llama.cpp 发布 b11784 版本,主要修复了 SYCL 后端下 IQ3 量化格式导致的崩溃问题(PR #30604)。该版本同步提供 macOS/iOS、Linux(含 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等后端)、Android、Windows 及 openEuler 的多平台预编译二进制包和 UI 包。此次更新属于常
llama.cpp 发布 b11782 版本,修复了 server 在 n 1 时 usage.completion tokens 统计偏少的问题(由 Copilot 辅助完成)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译二进制包。
llama.cpp 发布 b11781 版本,在 server 中新增 POST /tts 端点以支持 TTS 模型,并引入 mtmd 音频输出流 API、通过 form-data 上传 speaker ref、向 API 暴露 seed 参数,同时修复了 PCM 头、penalty last n、server output limits 及 pocket-
llama.cpp 发布 b11780 版本,其 server 组件新增实时转录 API(realtime transcription API),支持 WebSocket 代理与 API key 中间件在握手阶段鉴权。该实现按 Realtime 规范调整了会话对象结构(GA transcription session shape)、音频缓冲区提交事件顺序,并
该研究评估了五款开源大模型(Falcon 7B Instruct、Gemma 7B、Llama 3.1 8B Instruct、Phi Mini MoE Instruct、Qwen 2.5 7B Instruct)在重复囚徒困境博弈中模拟人类合作行为的能力,并设置固定对手(有记忆)与随机换对手(被告知对手会变)两种实验框架。结果显示所有模型与人类合作率均存在