llama.cpp b12250:Vulkan 新增分块转置 concat 着色器优化 Qwen
llama.cpp 发布 b12250 版本,为 Vulkan 后端新增分块转置 concat 着色器,针对 Qwen 模型的 delta-net 卷积状态路径优化 ggml transpose 直接写入 dim-0 concat 的场景。该优化通过共享内存 32x32 分块使读写合并访问,并严格限定触发条件,其余情况回退原内核。在 gfx1151/RADV
公司与模型 · 阿里通义千问 Qwen 系列的开源发布与迭代:从旗舰模型到端侧小模型的全谱系
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-11 04:34
llama.cpp 发布 b12250 版本,为 Vulkan 后端新增分块转置 concat 着色器,针对 Qwen 模型的 delta-net 卷积状态路径优化 ggml transpose 直接写入 dim-0 concat 的场景。该优化通过共享内存 32x32 分块使读写合并访问,并严格限定触发条件,其余情况回退原内核。在 gfx1151/RADV
ManniX-ITA 在 Hugging Face 发布 opencoti-llamafile,这是基于 Mozilla-Ocho llamafile 的单文件推理引擎,并集成了 opencoti 补丁系列。它新增了 PolyKV/KVarN 的 KV 驻留与量化、KV 滚动窗口、弹性多会话服务、DCA 长上下文扩展、MTP 投机解码、稀疏注意力、RYS 层
腾讯(Yuanbao 团队)提出 Yuanbao-Reranker,基于 Qwen3 构建 0.6B、4B、8B 三档通用稠密重排序模型。方法上结合答案优先与查询类型引导的文档接地合成、三阶段数据筛选,并用教师分数间隔采样难/中/易负例,构造 275 万条 1:3 排序组;训练时联合优化逐点交叉熵与有界最小间隔 hinge 目标,支持跨规模与同规模蒸馏及逐层
huihui-ai 在 Hugging Face 发布了 Huihui-Qwen3.6-35B-A3B-abliterated-MTP-GGUF,这是基于 Qwen/Qwen3.6-35B-A3B 通过 abliteration 技术移除拒答行为的无审查版本,并提供 GGUF 量化格式。该模型附带 patch-unsloth 补丁,可对 unsloth 的多
RedHatAI 发布了 Qwen3.8-27B 的 INT4 量化版本,权重由 16 位压缩至 4 位,磁盘与 GPU 显存需求降低约 75%,激活值保持原精度并采用 FP8 KV cache。该模型使用 LLM Compressor 结合 AWQ 平滑与 W4A16 GPTQ 方案生成,可直接通过 vLLM 部署,并支持推测解码。在 IFEval 等基准
《The Verge》报道称,NVIDIA CEO 黄仁勋与 Megaspeed 高管 Alice Huang 存在私人关系,而 Alice Huang 被指为中国国家安全部招募的"蜜罐"。Megaspeed 与中国军方有关联,在东南亚建设数据中心向阿里巴巴出售算力,所用芯片被禁止出口至中国。NVIDIA 已对黄仁勋展开调查,股价下跌近 5%,此事还牵涉美国
另有 1 家信源报道
该研究在GoEmotions数据集上评估了Llama、Gemma和Qwen家族的七个指令微调模型,比较模型输出预测与情感提示下的末token表示。研究发现,在无监督KMeans聚类下,隐藏表示最清晰的划分是正负情感两类,较粗的情感分组也能用更少簇恢复,但线性探针仍保留大量细粒度情感预测信息,作者将这一现象称为相对GoEmotions分类体系的"过度压缩"。
Hugging Face 用户 DavidAU 发布了基于 Qwen3-30B-A3B 混合专家模型的 GGUF 量化版本,通过自研 NEO Imatrix 数据集和 YARN 技术将上下文从 32k 扩展至 128k。该版本提供从 IQ1 M 到 Q8 的多种量化规格及 Max、Max Plus、Max Super、Max ULTRA 等定制变体,可在 G
Hugging Face 用户 DavidAU 发布了 Qwen3-Zero-Coder-Reasoning-V2-0.8B-NEO-EX-GGUF,这是一个基于 Qwen3 平台、由两个 0.6B 模型合并而成的 0.8B 代码生成与推理模型,提供多种 NEO Imatrix 量化版本。作者称其在中等硬件上可达 150 t/s 以上、纯 CPU 也能超过
阿里巴巴与多所亚洲高校的研究者构建了 Co-Design Bench 基准,用真实用户变更请求测试编码智能体。表现最好的 GPT-6 Astra 平均满足约 70% 的需求,但仅 26.4% 的任务完全正确,说明现有基准接近饱和、与现实可用性差距明显。研究还发现工作环境(harness)对结果影响与模型本身相当,建议排行榜同时报告模型与运行环境。
ggml-org 在 Hugging Face 发布了 Qwen3.6-35B-A3B 的 GGUF 量化版本,基于 Qwen/Qwen3.6-35B-A3B 及 z-lab 的 DFlash 版本自动转换而来,采用 Apache-2.0 许可,支持 image-text-to-text 任务。用户可通过 Llama 应用或命令行 llama serve 直
用户 Vishva007 在 Hugging Face 发布了 Qwen3.8-27B 的 W4A16 量化版本,使用 Intel AutoRound 算法生成,组大小为 64,视觉塔与 MTP 层保留 BF16 精度。量化后显存需求从约 54GB 降至 16–18GB,可在单张 24GB 消费级显卡上运行,并支持通过 vLLM 部署。
Nous Research 对阿里巴巴的 Qwen3.8-27B 进行监督微调,使用约 5300 万 token 训练出 Arete-27B,将模型回答中的中国官方宣传比例从 22% 降至 0.9%,同时基本保持通用能力。团队用 803 条提示词、以 Grok 4.7 作为评判模型构建测试,称中国开源模型的政治倾向只是可被剥离的"薄层"。该模型的权重、测试集
Xinference 发布 v4.2.0,新增 Windows 服务重启、Web UI 内检查并安装更新、Worker 控制器会话准入等能力,并扩展对 DeepSeek-V4.1-Flash-1017、Qwen NVFP4/YaRN、MiniMax-H3、Qwen3 实时音频及多款 OCR/TTS 模型的支持。该版本还引入 Xavier 跨引擎前缀缓存共享、
Unsloth 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 GGUF 量化版本,采用 Unsloth Dynamic v3.1 量化方案,宣称相比其他前沿量化方案准确率提升 15%、token 使用量减少 50%、推理速度提升 5%,并支持 MTP 实现 1.3-1.7 倍推理加速。该模型是 Qwen 推出的实验性架构预览
李佳琦直播间上架千问办公Token算力,半小时售出10万份月卡、累计约2万亿Token,标志Token被包装成电商商品销售。天猫、京东、运营商等纷纷将模型调用资源做成月卡、套餐上架,阿里还成立Token Foundry事业部推进Token战略。但文章指出,低价冲动购买、计费口径不透明、用户缺乏复购等问题意味着Token生意尚未跑通,平台需从卖额度转向卖可感知
阿里在2025年双11期间联合淘宝短剧、天猫小黑盒和天猫国际推出多部AI品牌短剧,包括温碧霞主演的《九尾神临》、全友家居定制剧《终章之外》和天猫国际宠物主题的《毛手毛脚餐厅》,均由阿里8月发布的视频生成模型Wan3.0提供技术支持。文章称Wan3.0在角色一致性、商品还原、复杂空间和多角色互动等商业视频高难度场景中表现稳定,并披露百雀羚等品牌AI短剧带动店铺
AgentionAI 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 Gyro-Coder GGUF 量化版本,通过每层仅保留 512 个专家中与编程相关的 256 个,并用自研 trellis 编码器实现 2.125 bits/weight,使 125B 参数的 MoE 编码模型可在单张 24GB 显卡(19.92 GiB 权
AgentionAI 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 Gyro 系列 GGUF 量化模型,包含面向 32GB 显卡的 Gyro-S、48GB 的 Gyro-M 和 64GB 统一内存的 Gyro-L,通过自研 APR 旋转基与 trellis 量化,在更小显存下实现接近 Q4 的精度。官方称 Gyro-S 在单
研究将多智能体系统中的评审机制视为制度管辖权问题:在提案、任务信息、模型和评审输出都相同的条件下,评审者何时有权让自己的建议成为最终决定。作者比较了两种制度:一种是广泛覆盖权,另一种是证据门控,即评审者必须给出机制上有效的约束违反记录和合规修复,才能替换原提案。在两种本地运行的开源权重模型、96个空间政策任务和96任务组合迁移基准上,证据门控大幅减少对正确提