kindlingai 发布 DeepSeek-V4.1-Flash 的 exlr8 多精度量化权重
Hugging Face 用户 kindlingai 发布了 deepseek-v4.1-flash-exlr8,这是对 DeepSeek-V4.1-Flash-1017 官方权重的重新打包版本,采用 exlr8 v2 文件布局,并为第 0-7 层及第 38-39 层的专家权重额外提供 4-bit、3-bit、2-bit 的 trellis 量化编码。仓库通
公司与模型 · DeepSeek(深度求索)的模型发布、开源权重与技术报告——开源大模型价格与能力的搅局者
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-10 01:51
Hugging Face 用户 kindlingai 发布了 deepseek-v4.1-flash-exlr8,这是对 DeepSeek-V4.1-Flash-1017 官方权重的重新打包版本,采用 exlr8 v2 文件布局,并为第 0-7 层及第 38-39 层的专家权重额外提供 4-bit、3-bit、2-bit 的 trellis 量化编码。仓库通
llama.cpp 发布 b12202 版本,核心改动是让 llama 与 mtmd 遵循 ggml prec set acc 调用的参考精度:GLM4 系列的下投影与输出投影、MiMoVL 视觉矩阵乘、Qwen3-TTS 说话人编码器 conv1d 改为 GGML PREC BF16,而 DeepSeek V4/V4.1 路由器和 MiniMax-M3 索
卡内基梅隆大学团队联合美国能源部国家实验室构建了名为「Into the Unknown」的基准,让九个 AI 智能体(包括 Claude Opus 4.8/5/5.5、GPT-5.6 Sol、GPT-6 Astra、DeepSeek V4 Pro、Kimi K3、GLM-5.3 等)针对 15 个尚未发表的科研方向开展自主后续研究。结果显示,135 份提交中
硅谷华人团队AFK AI推出的产品Comma,采用「单Router+多Worker」架构,实现一个主对话调度多个独立上下文的Agent并行执行任务,并支持跨平台接入(微信、Signal、Linear等)与7×24小时主动值守。文章将其与DeepSeek Harness团队提出的Super-agent架构设想进行对比,指出两者在连续、高效、主动、持久四大特质上
墨芯人工智能完成近10亿元人民币C+轮融资,距上一轮近10亿元融资仅5个月。该公司专注稀疏专用推理芯片,采用权重与激活双稀疏算法及软硬件协同设计,在MLPerf Inference部分类别连续三届夺冠,2026年Q3营收数倍增长,并计划年底推出SP200板卡、发布升级版SECA软件栈。文章认为稀疏计算因MoE架构普及而成为AI算力设计重要方向,墨芯为国产芯片
NVIDIA 在技术博客中介绍其 AI 工厂的协同设计方法,通过 NVFP4 低精度格式、宽专家并行(Wide-EP)、KV 缓存复用与 Dynamo 分布式服务等手段,提升每字节内存的有效利用率。文章称在 SemiAnalysis AgentX 基准上,Vera Rubin NVL72 在每用户 160 tokens/s 下每兆瓦吞吐量可达 GB300 N
斯坦福研究者 Owen Queen 与 James Zou 检验了 50 条被广泛引用的 LLM 结论,在 20 个模型上复测后发现 44% 已「过期」,有预估期限的 22 条结论平均寿命仅 15.7 个月。关于模型「做不到什么」的结论失效最快,而偏好与倾向类结论更持久;幻觉引用等能力缺陷在部分新模型上消失,但不同模型间差异巨大。研究者据此呼吁论文应标注具体
Latent Space 报道了一篇关于「权重空间编程」的论文:研究者让大语言模型直接读取并编辑较弱模型的神经网络权重,无需编写 PyTorch/JAX 代码或运行训练流程,即可识别权重功能、根据失败轨迹一次性修复缺陷,甚至从零生成完整网络权重并超过部分独立训练的模型。该能力被视为递归自我改进(RSI)从 0 到 1 的突破,已有独立复现,但目前仅适用于简单
阿里巴巴达摩院旗下玄铁 C950 在 2026 年“中国芯”集成电路产业促进大会上荣获“年度重大创新突破产品奖”。该处理器是面向服务器场景的旗舰 RISC-V 处理器 IP,最高主频 3.2GHz,SPECint2006 单核性能首次突破 70 分,并首次实现 CPU 原生支持 Qwen3.8-Flash-Next、DeepSeek V4-Flash 等主流
字节跳动Seed团队在9月底的研究中发现,DeepSeek-V4-Flash基础模型会因代码前无关Token长度变化,在正确答案与错误答案之间周期性切换,并将原因指向其CSA/HCA分块KV压缩机制带来的“相位敏感性”。雷峰网通过DeepSeek官方API对现役V4.1-Flash进行64组实测,未复现答案翻转,但观察到正确答案概率随填充长度波动。论文数据显
开发者 BertholomusAI 在 Hugging Face 发布了 DeepSeek-V4.1-Flash-1017 的 EXL3 2.5bpw 量化版本,使用 ExLlamaV3 转换,量化后权重约 185GB,可在两台 GB10(DGX Spark 级)节点上通过 TensorFold 张量并行 2 与 RDMA 部署。该版本支持 100 万 to
摩尔线程与无锡惠山招商集团、新石器达成战略合作,新石器计划在无锡(惠山)国产智算中心扩大自动驾驶模型训练规模,算力需求将达近万卡级。该中心一期部署2112张摩尔线程MTT S5000 GPU,已基本满载运行,算力使用率92.9%,付费算力占比59.7%,已有20多家客户测试或使用。实测显示MTT S5000在DeepSeek V4 Flash模型上SLA达标
开发者 peasantsmith 在 Hugging Face 发布了 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本(Maya-S 与 Maya-XS),专为 Project Maya 推理引擎设计,通过将高频专家保留在 GPU、其余专家从内存和 SSD 读取,使模型可在 128GB 内存的 PC 上运行。两个量化版本均基于 De
面壁智能的算子生成系统ForgeKernel在无人参与的情况下,仅用22.5小时、42轮迭代,在英伟达B200上生成的FlashMLA Prefill算子比DeepSeek人类手写版本快9.8%(472微秒 vs 518微秒),全程未使用人类编写的代码。此前该系统已登顶昇腾CANNBench 950DT、950PR、A3三大硬件榜单第一。团队联合清华等机构发
CMSManhattan 在 Hugging Face 发布 JiRack Ultra 1B 模型,约 1.5B 参数,基于重新设计的 DeepSeek R1 架构并原生支持 BitNet 风格三值(1.58bit)量化,面向 CPU 推理优化,提供 GGUF 量化版本与 Docker 部署方式。模型更新了 tokenizer,新增 Routing、Tool
该论文提出 UniMASO,一个面向异构 LLM 多智能体系统的统一优化框架,联合调整各智能体的提示词与执行模型分配,而非像以往工作那样固定其中一项。方法通过局部、下游与全局反馈评估候选更新,结合成本感知的帕累托搜索与拓扑感知协同演化,并用跨层轨迹记忆指导后续搜索。在五个基准和五种执行拓扑上,UniMASO 在集中式执行下将平均分从 69.79 提升至 70
Hugging Face 用户 IndrasMirror 发布了 DeepSeek-V4.1-Flash-1017 的量化版本 XQ-Uncensored,通过混合精度量化(三值、2-bit、3-bit 及原生 FP4)将 552B 参数的 MoE 模型压缩至约 163 GB,使其能在单张 RTX 4090(24 GB 显存)加 90 GB 内存的消费级 P
山东大学两位研究者刘和韩在固定模型的前提下,用Claude Code、OpenCode和mini-SWE-agent三种harness测试了五个模型,发现更换harness带来的成绩差异与同一配置重跑两次的波动相当,但成本最高可增至三倍。论文题为《What does a harness buy? Mostly tokens.》,指出此前宣称的20分以上har
StartLux原点星辉开源了首个面向决策模型的推理引擎Prism,通过收敛输出计算范围、森林式计算、整数运算和混排调度四项优化,在单张H200上处理同一材料连续三问时比原vLLM方案快5.3倍,231题平均延迟41毫秒。该引擎与DeepSeek开源的DeepInfer几乎同期发布,反映模型厂商自研推理引擎的趋势。Prism的int8量化版本准确率与原版差距
Spring AI 发布 v2.1.0-RC1,新增会话记忆(事件日志与按轮次压缩)、工具调用确认、OpenSearch 向量检索的 upsert 与查询嵌入搜索等功能,并弃用 ChatMemory。该版本将 DeepSeek 与 OpenAI 聊天模型迁移至 message parts,同时升级 Kotlin 2.4.21 与 Tika 4.0.0。