Qwen3.8-Flash-Next Coder cut240:48GB Mac 的 MLX 部署
开发者 Schiltmans 在 Hugging Face 发布了 Qwen3.8-Flash-Next-Coder-cut240,这是一个面向 48GB Apple Silicon Mac 的 MLX 部署方案。该方案基于 ISTA-DASLab 的 IQ1 M Coder GGUF,从 12,288 个路由专家中移除 768 个(每层平均保留 240 个
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3295 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
开发者 Schiltmans 在 Hugging Face 发布了 Qwen3.8-Flash-Next-Coder-cut240,这是一个面向 48GB Apple Silicon Mac 的 MLX 部署方案。该方案基于 ISTA-DASLab 的 IQ1 M Coder GGUF,从 12,288 个路由专家中移除 768 个(每层平均保留 240 个
AI 基础设施公司 Runware 在推出模块化数据中心 Sonic Inference Pod 数月后,宣布计划在罗马尼亚建设流水线工厂,像生产汽车一样批量组装这些预制数据中心,目标到 2028 年实现日产 30 兆瓦、约每月 1 吉瓦的产能。公司称其交付速度比 Crusoe、Schneider Electric 等竞品更快,并已获得 10 亿美元意向订单
llama.cpp 发布 b12005 版本,为 OpenCL 后端新增 q2 0 量化格式的初步支持,包含 AOS/SOA 矩阵向量乘、分块矩阵乘、面向 Adreno GPU 的 noshuffle GEMM/GEMV 与 dp4a 实现,并优化了 Adreno 上的解码与小批量场景。该版本同时提供覆盖 macOS、Linux、Windows、Androi
llama.cpp 发布 b12004 版本,主要变更是 common 模块在提示词中出现结束标签时终止 reasoning budget forcing。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端构建产物。
Netflix 详细介绍了其构建的大规模 GPU 训练与推理可靠性平台,该平台基于 Kubernetes,采用分层健康检查、自动修复和容错训练机制,使长周期训练任务在硬件故障下仍能持续运行。Netflix 报告 GPU 节点可用性超过 99.95%,任务成功率从约 98% 提升至 99.5% 以上。文章还对比了 Meta 在 Llama 3 训练中硬件故障占
llama.cpp 发布 b12003 版本,主要修复了 SYCL 后端 FLASH ATTN EXT 失败的问题(#30761)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于开源推理框架的常规构建发布,影响使用 SY
文章梳理了2026年国内主要模型厂商在递归自我改进(RSI)方向上的进展:智谱用GLM-5.3驱动的Infra Agent在10万张国产芯片上两周搭建生产级推理服务,并推出HarnessPro优化Agent框架;DeepSeek联合清华推出日产能300万沙箱的DSec集群,并开源模块化Harness;面壁让AI自主编写训练框架与底层算子;月之暗面以大规模强化
AMD 宣布以约 82 亿美元全股票收购李飞飞创立的世界模型公司 World Labs,这是 AMD 史上第二大收购。交易完成后,李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向苏姿丰汇报,World Labs 团队以相对独立的研究单元并入 AMD。文章回顾了李飞飞从 ImageNet、AI 民主化到空间智能的三次「挖坑」,认为此次收购让世界模型赛道获得
面壁智能的算子生成系统ForgeKernel在无人参与的情况下,仅用22.5小时、42轮迭代,在英伟达B200上生成的FlashMLA Prefill算子比DeepSeek人类手写版本快9.8%(472微秒 vs 518微秒),全程未使用人类编写的代码。此前该系统已登顶昇腾CANNBench 950DT、950PR、A3三大硬件榜单第一。团队联合清华等机构发
llama.cpp 发布 b12002 版本,核心变更为 ggml 新增通用批量张量拷贝 API,并在 llama 的 context IO 与设备 IO 中启用该 API,同时加入 CUDA 后端支持。该版本移除了异步 tensor n API,改为按缓冲区类型分组批量操作,并新增 mock buffer 类型测试以覆盖调度逻辑与回退路径。
mlx-community 在 Hugging Face 发布了 Qwen3.8-27B-Uncensored 的 OptiQ 混合精度 4bit 量化版本,基于 orcarouter 的无审查 Qwen3.8 27B 推理模型,采用逐层 4/8-bit 分配,磁盘占用 19GB。该版本保留 MTP 推测头以加速解码,需通过 mlx-optiq 工具链在 A
mlx-community 发布了 Qwen3.8-27B 的 4-bit 混合精度 MLX 量化版本,基于 mlx-optiq 工具链,通过 KL 散度敏感度分析将敏感层保留为 8-bit、其余层用 4-bit,磁盘占用 19.0 GB。该量化模型支持在 Apple Silicon 上本地运行文本与图像输入,并附带 MMLU 84.1%、GSM8K 96.
开发者 mudler 在 Hugging Face 发布 parakeet-cpp-gguf 仓库,将 NVIDIA NeMo Parakeet 系列语音识别模型(含 tdt ctc-110m、ctc/rnnt/tdt 0.6b 与 1.1b、实时流式 EOU 模型等)转换为 GGUF 格式,供 C++/ggml 实现的 parakeet.cpp 在 CPU
天数智芯在媒体开放日上披露,其新一代通用GPU天垓300在第三方测试中,典型PD分离部署下单卡端到端吞吐达到英伟达H200的1.05倍,GLM-5.3长上下文MoE吞吐为H200的1.15倍,Agent场景首字延迟降低约10%至30%。公司同时展示AFD异构分离方案(GPU承担Prefill与Decode中的Attention,合作厂商XPU承担FFN),称
另有 1 家信源报道
InfoQ 发布 2026 年 AI、ML 与数据工程趋势报告,基于编辑团队与外部嘉宾的播客讨论,总结年度技术趋势并更新采用曲线图。报告指出语言模型从大模型转向小模型与推理模型,AI Agent 从个人助手扩展到团队和企业级应用,推理成为年度重点(预计年底占 AI 算力支出约三分之二),并新增 Agent 间协议、推理引擎(vLLM、SGLang、llm-d
Latent Space 的 AINews 介绍了 AI Engineer CODE 大会的策划思路,该大会面向全球前 1000 名 agentic 工程师,围绕 Scaling without Slop、System One 模型和提升野心三大主题回顾 2026 年编码领域趋势并展望 2027 年。同期资讯重点报道 Mistral 发布旗舰模型 Mistr
llama.cpp 发布 b12001 版本,在 ROCm/HIP 后端新增 RDNA4 M 家族支持,覆盖 gfx1170/gfx1171 架构。该改动指出 gfx117X 更接近 RDNA4 并支持 128b WMMA,但两者并不完全相同,因此调整相关宏定义以适配新家族。同时该版本照例提供 macOS、Linux、Windows、Android 等多平台
英伟达与麻省理工学院联合团队在 Hugging Face 发布视频增强项目 Open-H3-Regenerate-2K 的模型权重,配套推理代码已在 NVlabs/Sana 仓库开放。该方案基于 MiniMax H3,可将低分辨率视频草稿重生成至 2K,最高支持原生 4K 输出。测试显示,在单张 B200 GPU 上处理约 5 秒视频的耗时从 87.26 秒
国产团队 SoMark 开源了 1.3B 参数的文档解析模型 OXR(Optical Everything Recognition),在 OmniDocBench、olmOCR-Bench、DocParsingBench 三个榜单均排名第一。该模型在后训练阶段引入递归自我改进(RSI)范式,通过预测分类、归因规划、数据生成三轮迭代,不依赖新增人工标注即可自我
mlx-optiq 发布了 Qwen3.5-9B 的 4-bit 混合精度 MLX 量化版本,基于 KL 散度敏感度分析将敏感层保留为 8-bit、其余层为 4-bit。该量化在六项基准的平均 Capability Score 上略优于统一 4-bit(69.85 对 69.66),磁盘体积约 6.6GB,比统一 4-bit 大 1.1GB。模型附带 MTP