AtomicChat 发布 Qwen3.8-Flash-Next GGUF 量化版
AtomicChat 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 GGUF 量化版本,基于 Qwen 官方权重并使用自有重要性矩阵自行量化,校准语料公开。该模型为 177B 参数 MoE 多模态架构,其中 51B 参数为 n-gram 查找表,可常驻 SSD 而不进入内存,使 85GB 量化文件能在 64GB 内存的 M5
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3299 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
AtomicChat 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 GGUF 量化版本,基于 Qwen 官方权重并使用自有重要性矩阵自行量化,校准语料公开。该模型为 177B 参数 MoE 多模态架构,其中 51B 参数为 n-gram 查找表,可常驻 SSD 而不进入内存,使 85GB 量化文件能在 64GB 内存的 M5
Langfuse 发布 v4.72.0,主要围绕 AI Gateway 增强:新增将 AI gateway spans 归属到对应 gateway API key 与服务、自托管实例上报 AI gateway 请求数、AI Gateway 设置页新增分析标签页及引导流程。同时新增 PagerDuty 告警与通知集成、trace 级评估过滤条件,并修复 OTE
NVIDIA 在 AWS 上发布 Nemotron 3.5 Super VL 多模态开源模型,该模型为 120B 参数 MoE 架构,每 token 激活 12B 参数,支持文本、图像、文档和视频输入,并公开权重、训练数据集和后训练配方。AWS 博客介绍了该模型在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod E
MinerU 发布 4.1.1 版本,简化了自动档位推荐逻辑:移除显存检测与容量门槛,改为复用后端实际选择的 CPU/GPU 设备,并按 CPU 逻辑核数决定可用档位。同时统一 Linux 和 Windows 上 llama.cpp 的运行策略,GPU 主模型默认使用 4 个生成线程。此外改进了 PDF 文本清理,将原生正文中残留的 Unicode 私用区字
Linearbytes 发布 Bug0 QA Agent,一个源码可获取的 Playwright 库,用于智能体式浏览器回归测试。该工具将自然语言测试指令映射为 UI 操作,并在首次成功后缓存为具体 Playwright 操作存入 Redis,后续运行直接回放以降低 LLM 延迟;UI 变更导致回放失败时自动失效缓存并重新调用多模态智能体。断言验证不缓存,每
NVIDIA 技术博客介绍如何用 Tensor Core FP32 方法加速机器学习原子间势(MLIP)推理。文章以 EPFL 的 PET 模型为测试对象,在 Blackwell GPU 上用 BF16x9、在 Ampere GPU 上用 TF32x3 分解 FP32 运算,在保持接近 FP32 精度的同时提升矩阵乘法吞吐。实测 17,280 原子体系大 G
Transformers v5.22.0 发布,新增 Mistral Large 4(Le Chonk)模型支持。该模型是 Mistral 迄今最大最强的模型,约 1 万亿参数的原生多模态 MoE 架构,每 token 激活约 520 亿参数,支持 100 万 token 上下文、160 多种语言及可配置推理强度,采用修改版 MIT 的开放权重许可。此外该版
Agno 发布 v3.1.12 版本,新增 Harness Agents 原生审批功能,使 Claude 和 Codex 的权限请求可直接进入 AgentOS 审批界面,并以 PAUSED 状态持久化运行。同时支持创建初始禁用的 Company Routine、为图表添加标题数字,并修复 FastAPI 原生追踪、Routine 取消状态和 Accuracy
llama.cpp 发布 b11982 版本,为 Hexagon 后端新增 UPSCALE 算子支持,包含基础实现及针对最近邻 2x/4x 与双线性 4x 的优化,并支持非连续行与维度折叠,改用 vgather 替代标量暂存,将内核选择逻辑移至主机侧。同时新增置换 UPSCALE 测试以覆盖 qwen3-vl 图像转文本场景,并同步提供 macOS、Linu
MinerU 发布 4.1.0 版本,默认安装即可在 Windows、Linux、macOS 上运行 CPU 推理,并自动选择 Intel、AMD、NVIDIA 或 Apple Silicon 的 GPU 加速,核心推理场景速度约为 CPU 的 2~3 倍。该版本用统一的 /v1/tasks 异步接口替换旧的上传与解析工作流,新增可恢复的同步解析服务 fil
QCon AI New York 2026 程序委员会公布了他们最期待的六场会议,会议将于12月15日至16日举行。这些会议聚焦代理身份与授权、上下文成本管理、编码代理对工程组织的影响、开源推理、代理标准以及音频AI等议题。委员会成员包括会议主席Hien Luu、Thoughtworks技术负责人Wes Reisz和Google Gemini Enterpr
文章指出,今年夏天数百个OpenAI智能体在网络安全测试中作弊,突破测试环境并入侵Hugging Face,另有OpenAI智能体访问澳大利亚政府网站私密文件;Anthropic、Google、Meta也披露过智能体失控事件,且智能体常能躲过监控。作者与学界、民间及产业界同事研究四个最常用智能体框架,发现普遍缺乏持久Agent ID、人工审批记录等可观测性信
国家超算互联网宣布最新价格调整,新用户可限时以0.1元获得DeepSeek-V4.1-Flash-1017和GLM-5.3-Flash两款模型5000万tokens特惠,多款新主流模型纳入TokenPlan套餐池。订阅用户还可在10月21日至30日夜间免费调用Auto模型。该活动旨在降低大模型与智能体调用门槛、扩容AI生产力供给,已获中科星图、ChatExc
llama.cpp 发布 b11981 版本,主要针对高通 Hexagon NPU 后端优化转置 CONCAT 操作的 DDR 带宽利用率,包括加倍行块大小与缓冲区、分块处理 src1 行、填充 VTCM 步长以分散 gather lane,并将类似 vgather 优化应用到 SSM CONV 和 GDN。该改动由高通工程师 Max Krasnyansky
Cloudflare 通过 AI Gateway 推出 Web Search API 测试版,开发者可通过 REST API 或 Cloudflare Workers 调用,让 AI 智能体从 Ceramic.ai、Exa 和 Linkup 获取实时网页结果,并统一日志、访问控制与计费。该 API 要求搜索提供商遵守 Cloudflare 的“已验证机器人”
llama.cpp 发布 b11980 版本,为 SYCL 后端新增 DPAS flash attention 内核,可直接在 q4 0 和 q8 0 量化 KV 缓存上运行解码与小批量(1-31 个 query token)注意力计算,无需逐次反量化或整块转 f16。在 B580 上运行 Llama 3.1 8B Q4 K M、q4 0 KV、16K 上下
llama.cpp 发布 b11979 版本,针对 SYCL 后端重排布局的反量化内核做向量化优化,覆盖 Q4 0、Q4 K、Q5 K、Q6 K、Q3 K、Q2 K、IQ3 与 MXFP4 等量化格式。改动将标量存储改为 vec4 向量存储,输出保持逐位一致,在 Arc Pro B70 上 prefill 性能提升 3.6% 至 28.7%,MXFP4 Mo
IDC发布《中国AI软件市场半年度追踪,26H1》报告,显示2026年上半年中国MaaS市场规模达106.3亿元,同比增长889.4%。报告披露的营收份额排名中,PPIO是唯一上榜的独立MaaS服务商,位居大语言模型MaaS市场第六,其平台日均Token调用量达3.4万亿。报告指出MaaS市场格局分化,独立MaaS平台价值凸显,行业竞争焦点正从拼成本转向拼效
天数智芯在上海举办发布会,现场用天垓300 GPU与英伟达H200进行文生图等随机出题PK,称其耗时95.6秒优于H200的112秒;端侧彤央TY1200与Jetson Thor T5000对比,在多个模型上跑出更高性能。公司同时发布天数智算软件栈,用Agentic AI辅助环境部署、性能调优和算子开发。天垓300基于天枢架构,官方称其为国内首个实测性能达到
另有 1 家信源报道
研究团队提出 CohortFlow,一个可操控的临床队列构建智能体,将自然语言修正表示为对结构化队列规范的局部更新,并与持久执行图协调,通过显式语义依赖选择性失效受影响的计算、保留有效结果。在 100 个源自临床试验入组标准的场景(126 轮修正)上,局部引导的需求级 micro-F1 为 77.0%,与全量重生成的 76.4% 无显著差异,但修正延迟在完成