返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3311 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月16日周五 · 2 条
正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Black Forest Labs 发布 FLUX 3 Image Klein,8GB 显存可跑

Black Forest Labs 发布开源权重图像模型 FLUX 3 Image Klein,参数规模 5.6B,支持文生图、图像编辑及最多十张参考图生成,具备原生 4K 输出和像素级编辑能力。其 INT8 版本可在仅 8 GB 显存的 NVIDIA GPU 上运行,在 RTX 4070 上生成一张图不到 9 秒。该模型以 FLUX Kommunity 许

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11669,版本号升至 0.7.0

llama.cpp 发布 b11669 版本,将版本号提升至 0.7.0(PR #30603)。该版本为 macOS/iOS、Linux、Android、Windows 及 openEuler 等多个平台提供预编译二进制包,覆盖 CPU、CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等多种后端,并附带 UI 包。

10月15日周四 · 18 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11662 版本:同步 ggml 并更新多平台构建

llama.cpp 发布 b11662 版本,主要变更为同步 ggml 子模块。该版本提供了覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL 等多种后端,并附有 UI 包。此次更新属于常规构建发布,为本地大模型推理用

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Rivian 计划让汽车运行 Anthropic 等外部 AI agent

Rivian 推出车载 AI 助手,允许用户通过语音与车辆交互。CEO RJ Scaringe 在 TechCrunch Disrupt 上表示,未来 Rivian 汽车将能运行 Anthropic 等外部公司开发的 AI agent,并已自研 agentic 框架来路由本地与云端模型。他强调车辆级控制不会交给 agent,具体落地时间未公布,更多细节将在

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

微软为英伟达RTX Spark笔记本优化Windows

微软与英伟达在旧金山为搭载Arm架构芯片的RTX Spark笔记本举办发布活动。微软为Windows做了大量优化,包括让Hermes、Perplexity、OpenClaw等AI代理通过Windows Store两键安装、改进Prism模拟器以兼容x64应用、优化统一内存管理(最高128GB)并支持GPU显存手动分配。这些优化旨在让本地AI模型和游戏在Arm

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源开源

Tokenmaxxing BERT:分词速度提升 50 倍

Hugging Face 博客介绍了 tokenizers 库的优化工作,通过性能分析发现 BERT 分词器 88% 的编码时间花在文本规范化上,其中大部分消耗在 unicode categories crate 的 char::is mark nonspacing() 检查。作者针对这一瓶颈进行优化,使 bert-base-uncased 的编码速度再提升

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11658 新增 maion-coder 架构支持

llama.cpp 发布 b11658 版本,主要新增对 maion-coder 架构的支持,并加入对 Draft 模型的初步支持,同时移除了 maion 的 context shift 函数。该改动由微软的 Karthik Vijayan 参与贡献,随版本一同提供 macOS、Linux、Windows、Android 等多平台预编译二进制。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11655:修复 Vulkan 并发首次设备初始化

llama.cpp 发布 b11655 版本,主要修复了 Vulkan 后端并发首次设备初始化的问题(#29766),并在 test-thread-safety 中改为并行加载模型以暴露该并发初始化崩溃。同时该版本提供了覆盖 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11645:Metal 张量 API 闪存注意力内核新增 BF16 变体

llama.cpp 发布 b11645 版本,主要变更是为 Metal 后端的 tensor API flash attention kernel 增加了 BF16 变体,并将 tensor FA kernel 移动到 kernels/fa tensor.metal 文件中。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse v4.60.0 发布:新增组织级连接与计费账本

Langfuse 发布 v4.60.0 版本,新增组织级 LLM 连接、基于 ClickHouse 追加式账本的计费单元记录、评估器画廊评分预览、追踪提示缓存命中率展示、自托管出站主机白名单等功能,并修复了 Web UI、OpenTelemetry 映射、查询 AST 类型对齐、认证权限提示等多项问题。该版本主要面向使用 Langfuse 进行 LLM 可观

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

基元律动开发者入驻超30万,开启双11预售福利

基元律动(Token Rhythm)宣布其 TokenRhythm API 平台已有超过30万名开发者入驻,并推出双11预售限时福利:单笔充值满50元可获等额模型调用额度,赠额永久有效且不设上限,同时上线邀请返利活动。平台定位为中国版 OpenRouter,通过一个 API Key 提供主流模型统一入口,并搭配自研开源智能体 OpenSquilla 实现多模

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11643 发布:修复仅 embedding 图空图问题

llama.cpp 发布 b11643 版本,修复了仅含 embedding 的图在关闭 embeddings 时因 build pooling() 提前返回、t embd 不再展开而导致图为空、输入未被分配的问题,通过在该情况下展开 t embd 解决。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台多后端(CUDA

正文结构化主题已通过公开置信门槛
THE DECODER商业

Anthropic第三季度营收168亿美元,增长放缓,拟11月IPO

Anthropic在旧金山向潜在投资者披露第三季度营收达168亿美元,环比增长约45%,但增速较第二季度超140%的增幅明显放缓。公司连续第二个季度实现调整后盈利,调整后营业利润率为11%,且现金流为正。Anthropic计划于11月感恩节前进行IPO,但部分投资者对营收数据感到失望,预计估值可能被下调至1.5万亿美元以下。此外,公司估计5%至7%的收入来自

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

海康威视AI超声检测获2026工博会工业自动化奖

海康威视在2026中国国际工业博览会上凭借AI超声检测技术获得“工业自动化奖”。该技术对超声原始信号进行AI建模、定量分析与分类识别,自研知识增强信号重建网络与超声大模型,实现自适应噪声分离、经验嵌入、少样本迁移和自动定量分析,相控阵识别精度达0.1毫米。在新能源汽车零部件检测中,缺陷识别准确率≥99.5%,单工件检测效率提升60%以上,企业总体投入较采购整

正文结构化主题已通过公开置信门槛
Meituan Technical Team一手来源研究

美团 SLM 高并发推理引擎:延迟约束下吞吐较 SGLang 提升 10 倍

美团技术团队针对搜索推荐场景中 SLM(0.5 1B)在线推理的极低延迟约束,提出以静态 DAG 组织完整业务请求的推理框架,将 Prefill-Only 和固定次数 Beam Search 定义为「有界生成负载」,并结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享和选择性 FP8 压缩调度与计算开销。在平均端到端时延低

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

大模型 Infra 人才薪资狂飙:年薪冲 800 万,仅少数人吃到红利

雷峰网报道称,DeepSeek R1 发布后 AI Infra 人才薪资大幅上涨,优秀 Infra 工程师年包可达七八百万,跳槽涨幅常见 2 倍、个别达 3 倍。原因是行业从拼算法转向拼底层系统工程,Infra 通过提升 GPU 利用率(行业平均仅 25% 27%,优秀团队可达 40%)直接为公司节省数千万算力成本。但高溢价仅集中在推理优化、模型量化、算子开

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11642:server 仅缓存可恢复的 slot 状态

llama.cpp 发布 b11642 版本,主要改进 server 端的 prompt cache 机制:现在只保存可恢复的 slot 状态到缓存中,避免 rerank、embedding、decision、infill 等任务的状态无意义地占满缓存。改动引入 cache pending 标记跟踪可恢复状态,并让 infill 和 decision 任务也

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM 发布 v1.107.0-dev.2:镜像签名验证与多项修复

LiteLLM 发布 v1.107.0-dev.2 开发版本,说明所有 Docker 镜像均使用 cosign 签名,并提供基于固定 commit hash 与 release tag 两种验证方式。该版本还包含大量修复与功能更新,涉及 Anthropic、Vertex AI、Gemini、Databricks、MCP、缓存、代理分析及 DashScope

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11640:Vulkan 后端优化 cm2 mulmat 调度

llama.cpp 发布 b11640 版本,主要变更是 Vulkan 后端针对 cm2 mulmat 采用对 L2 缓存友好的 workgroup 调度(PR #30215)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11639 修复 OpenCL CLAMP 非连续视图问题

llama.cpp 发布 b11639 版本,主要修复了 OpenCL 后端 CLAMP 算子在处理非连续(strided)视图时索引错误的问题。修复方式是新增一个针对非连续输入的 strided kernel clamp nc,并在源张量非连续时启用该内核,行为与其他一元算子保持一致。该版本同时提供 macOS、Linux、Windows、Android