Unsloth 发布 FLUX 3 Image Klein FP8/INT8 量化版
Unsloth 发布了 FLUX 3 Image Klein 的 FP8/INT8 量化版本，将图像 transformer 从 11.1 GB 压缩至 6.44 GB，同种子 LPIPS 为 0.035（INT8）和 0.036（FP8），SSIM 约 0.95。该版本可在 Unsloth Desktop 中直接加载预量化权重，跳过 bf16 下载与在线量
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3291 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
11月9日周一 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Unsloth 发布 FLUX.2-klein-4B 的 FP8/INT8 量化版
Unsloth 发布了 FLUX.2-klein-4B 的 FP8/INT8 量化版本，该版本基于 black-forest-labs 的 4B 参数 rectified flow 图像模型，旨在降低显存占用、提升推理效率。量化版在同种子下与 bf16 模型的 LPIPS 分别为 0.123（INT8）和 0.104（FP8）。原模型支持文生图与多参考图像编
正文结构化主题已通过公开置信门槛
DavidAU 发布 LFM2.5-2.6B Turbo Brilliance GGUF 模型
Hugging Face 用户 DavidAU 发布了基于 LiquidAI/LFM2.5-2.6B 的 GGUF 量化模型，名为 LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF。该模型通过 Turbo Brilliance 系统新增了 12 种推理模式和 12 种指令模式，可在对话提示
正文结构化主题已通过公开置信门槛
DavidAU 发布 Qwen3.8-27B 多阶段微调 GGUF 模型
Hugging Face 用户 DavidAU 发布了基于 Qwen3.8-27B 的多阶段微调模型 TURBO-Fable-Cold-Fusion-735-882，提供常规与 MTP 两种 GGUF 量化版本。作者称该模型在 8bit 下 ARC-C 达 735、4bit 下达 719，超过基座 Qwen3.8 27B 及 Qwen3.6/3.5 系列，并
正文结构化主题已通过公开置信门槛
DavidAU 发布 Qwen3.8-27B Cold Fusion 微调模型
Hugging Face 用户 DavidAU 发布了基于 Qwen3.8-27B 的微调模型 Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF，采用其自研的 COLD FUSION（GAIN + Unsloth）训练方法。作者称该方法在 4bit 和 8bit 量化下保留约 99% 的 BF
正文结构化主题已通过公开置信门槛
DavidAU 发布 Qwen3.6-27B Fable-Fusion-711 无审查微调模型
Hugging Face 用户 DavidAU 发布了基于 Qwen3.6-27B 的多阶段微调模型 Fable-Fusion-711，提供常规与 MTP 两种 GGUF 量化版本。作者称该模型在 8bit 和 4bit 量化下 ARC-C 得分均突破 700（达 711），是首个进入该分数区间的同规模开源微调模型，并在 7 项基准中的 6 项超过原版 Qw
正文结构化主题已通过公开置信门槛
NVIDIA 与韩国扩大主权 AI 合作
NVIDIA 与韩国科学技术信息通信部（MSIT）扩大主权 AI 合作，覆盖 AI 半导体、数据中心基础设施、人才、初创企业、模型、智能体和安全。合作内容包括让韩国 NPU 和 XPU 企业探索加入 NVIDIA NVLink Fusion 生态，并提供培训认证、黑客松和技术研讨会。NVIDIA 还将与韩国 AI for All 计划选出的三个联合体和四家基
正文结构化主题已通过公开置信门槛
NVIDIA Dynamo 部署配方助力韩国开源模型落地生产
NVIDIA 发布针对韩国主要开源模型的 Dynamo 优化部署配方，涵盖 SK Telecom 的 A.X K2、LG AI Research 的 K-EXAONE 2.0、Upstage 的 Solar Open 2 和 Motif Technologies 的 Motif-3。这些配方针对 NVIDIA B200 GPU 优化，开箱即可带来最高 2 倍
正文结构化主题已通过公开置信门槛
AIM：多模态LLM推理中多智能体辩论的自适应交互
该论文提出AIM（自适应交互多智能体辩论）框架，用于多模态大模型推理。AIM不再固定使用文本或图结构交互，而是动态选择文本、图以及任务相关模态（图像区域、音频片段、视频时空片段）的组合来交换证据。实验覆盖VQA、Audio-QA、Video-QA共八个基准，AIM准确率最高，相比最佳单模态基线提升至多6.4%，相比各基准最优固定组合再提升至多4.2%，同时t
正文结构化主题已通过公开置信门槛
分解、诊断与组合：优化智能体流水线与执行框架
论文提出 DeCAF（分解式信用分配框架），用于自动优化多智能体流水线，联合调整提示词、拓扑结构、模型选择与工具策略等耦合设计维度。该方法先按基准与种子流水线自适应分解优化维度，由独立编码智能体会话在受限编辑范围内分别实验，最后综合各维度发现并用组件级轨迹评估器定位薄弱环节。在多个智能体基准上，任务性能平均提升 2.58 个百分点，推理成本降低 4.30%，
正文结构化主题已通过公开置信门槛
CascadeRec：多租户内容推荐的自适应 LLM 算力分配
Workday AI Research 提出并部署了 CascadeRec，一个面向多租户 FP&A SaaS 内容推荐的两级 LLM 重排序级联系统：轻量 Tier-1 模型处理所有请求，路由器仅将可能受益的请求升级到更昂贵的 Tier-2 流程。该系统在生产 A/B 实验中运行超过一个月，推理成本降低约 10%，延迟影响极小且未观察到质量回退。论文还基于
正文结构化主题已通过公开置信门槛
Shopify 提出 SID-LLM：用语义 ID 生成统一搜索与推荐
Shopify 在 arXiv 发布技术报告，介绍其生成式搜索与推荐模型 SID-LLM。该模型将商品表示为语义 ID（内容嵌入量化得到的短 token 序列），联合预训练目录数据与行为数据，使搜索和推荐共享同一表示与训练目标，并通过强化学习提升搜索相关性、从任务专家蒸馏提升推荐质量。在服务端，SID-LLM 结合多 token 预测与轻量级排序器，在降低延
正文结构化主题已通过公开置信门槛
DavidAU 发布 Qwen3-30B-A3B 128k 上下文 NEO Imatrix GGUF 量化模型
Hugging Face 用户 DavidAU 发布了基于 Qwen3-30B-A3B 混合专家模型的 GGUF 量化版本，通过自研 NEO Imatrix 数据集和 YARN 技术将上下文从 32k 扩展至 128k。该版本提供从 IQ1 M 到 Q8 的多种量化规格及 Max、Max Plus、Max Super、Max ULTRA 等定制变体，可在 G
正文结构化主题已通过公开置信门槛
DavidAU 发布 Qwen3 0.8B 代码推理模型 GGUF 量化版
Hugging Face 用户 DavidAU 发布了 Qwen3-Zero-Coder-Reasoning-V2-0.8B-NEO-EX-GGUF，这是一个基于 Qwen3 平台、由两个 0.6B 模型合并而成的 0.8B 代码生成与推理模型，提供多种 NEO Imatrix 量化版本。作者称其在中等硬件上可达 150 t/s 以上、纯 CPU 也能超过
正文结构化主题已通过公开置信门槛
rahul7star 发布 gemma-gguf 量化模型合集
Hugging Face 用户 rahul7star 发布了一个名为 gemma-gguf 的 GGUF 量化模型合集，基于 google/gemma-4-E2B-it、gemma-4-12B-it 和 ornith-ai/Ornith-1.5-9B 等模型，并提供 Gradio 演示空间。该合集包含多个编码 Agent 和未审查（heretic/uncen
正文结构化主题已通过公开置信门槛
DavidAU 发布 Psyonic-Cetacean 20B FP32 重制量化版
Hugging Face 用户 DavidAU 发布了 Psyonic-Cetacean-Ultra-Quality-20b-GGUF-imat-plus2，对 Jeb Carter 原版 Psyonic-Cetacean 20B 模型进行 FP32 精度重制，并使用自建数据集与主数据集合并生成新的 Imatrix Plus 2 量化版本。作者称在 Q2K、
正文结构化主题已通过公开置信门槛
Ternary-Bonsai-1.7B 的 LiteRT-LM INT2 端侧量化包
Hugging Face 上发布了 litert-community/Ternary-Bonsai-1.7B，这是将 prism-ml/Ternary-Bonsai-1.7B-unpacked 以 INT2（三值）量化后打包为 LiteRT-LM 格式的模型，可在 GPU 或 CPU 后端运行，不支持 NPU。发布方推荐使用 fp32 激活版本，因为当前 L
正文结构化主题已通过公开置信门槛
Sketchpad：小视觉语言模型实现可证明的精确算术
该论文提出 Sketchpad 方法：使用 Qwen3.5-0.8B 加低秩适配器，在渲染的“草稿纸”上执行算术步骤，每次前向只读取外部工作内存的三格视图并输出一步（数字、进位/借位、下一操作），由固定运行时移动视图。作者在 Lean 中证明：只要每步只读有界视图，模型在所有长度输入上的精确性等价于在运行时呈现的有限视图集合上的精确性，并证明若步骤可读取先前
正文结构化主题已通过公开置信门槛
OTel-2.0-Decision-26B-A4B-4bit 量化决策模型发布
开发者 farbodtavakkoli 在 Hugging Face 发布了 OTel-2.0-Decision-26B-A4B-4bit，这是基于 Google Gemma 4 26B-A4B-it 的 4-bit W4A16 量化版本，面向分类、是/否问答和有序等级等类型化决策任务，通过读取答案标签概率而非生成文本给出结果。模型在 AMD MI350P
正文结构化主题已通过公开置信门槛
Unsloth 发布 LTX-2.5 视频 DiT 的 FP8/INT8 量化版本
Unsloth 发布了 Lightricks LTX-2.5 蒸馏视频 DiT 的 FP8/INT8 量化版本，将原 38.0 GB 的 bf16 transformer 压缩至 19.1–25.1 GB，文本编码器、VAE 等其余组件保持不变。三个量化文件中 INT8-ConvRot 与 bf16 的 LPIPS 差异最小（0.265），被推荐使用；FP8