handy-computer 发布 whisper-small 的 transcribe.cpp GGUF 量化版
handy-computer 在 Hugging Face 发布了 openai/whisper-small 的 GGUF 量化版本,供 transcribe.cpp 使用。该模型支持多语言转录、语言检测和语音翻译,提供 F32 到 Q4 K M 六种量化规格,其中 Q8 0 仅 270MB 且 LibriSpeech test-clean WER 为 3.
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3317 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
handy-computer 在 Hugging Face 发布了 openai/whisper-small 的 GGUF 量化版本,供 transcribe.cpp 使用。该模型支持多语言转录、语言检测和语音翻译,提供 F32 到 Q4 K M 六种量化规格,其中 Q8 0 仅 270MB 且 LibriSpeech test-clean WER 为 3.
handy-computer 在 Hugging Face 发布了 openai/whisper-medium 的 GGUF 量化版本,供 transcribe.cpp 使用。该模型支持多语言转录、语种检测和语音翻译,提供 F32 到 Q4 K M 共六种量化规格,其中 Q4 K M 仅 504 MB 且 LibriSpeech test-clean WER
Hugging Face 用户 koongrizzly 发布了 MiniMax H3 的量化模型合集,包含来自 Winnougan 的 INT4/W4A8 ConvRot 量化 transformer 与文本编码器,以及自行转换的混合 FP16/FP32 Video VAE,并整合了 Turbo LoRA。该仓库面向消费级 GPU 的本地低显存推理,官方适配
Argmax 在 Hugging Face 上发布了 SpeakerKit Core ML 模型,这是一个基于 pyannote 的说话人分离(diarization)模型,采用 Core ML 格式并经过量化,配套 WhisperKit 使用。该模型与 Swift 框架 SpeakerKit 配合,相关架构和基准测试发表在 Interspeech 2025
llama.cpp 发布 b10948 版本,主要变更是将 HY V4 从 WebGPU 的 test-llama-archs 测试中排除(PR #28855,由 Stanisław Szymczyk 共同提交)。该版本同时提供 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台预编译二进制包,覆盖 CUDA、V
llama.cpp 发布 b10947 版本,修复了 nemotron-h 模型在加载时的专家 FFN 尺寸回退逻辑缺陷。当 NextN/MTP 尾部循环中 expert feed forward length 未提供该层数值时,代码会用 n ff/n expert used 推导专家 FFN 尺寸,而这两个逐层数组在非 MoE 层上合法地为 0,导致同时为
llama.cpp 发布 b10946 版本,主要变更是为 ggml-cpu 的 s390x 架构添加对 VXE 专用 repack 辅助函数的保护(PR #28775)。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、Ope
Hugging Face 用户 gbuzhf 发布了 Ornith-1.5-35B-A3B 的 abliterated(去审查)GGUF 量化版本,基于 huihui-ai 的 abliterated 权重,提供 19G/21G/23G/25G 四档 ICE 量化及 BF16 主模型。该版本使用 27,513 条全语料重要性矩阵校准,并嵌入模型自带的 MTP
智东西报道,英特尔将于9月22日-23日举办2026英特尔技术创新与产业生态大会(Intel Connection 2026),聚焦智能体AI、端侧全场景创新与AI基础设施三大赛道。大会包含11场主题演讲、7大专题论坛、40+场技术课堂、15000平方米AI成果展区(1300+项成果)及5场免费开发者实操工作坊,英特尔与60余家合作伙伴展示云边端全栈技术。
llama.cpp 发布 b10944 版本,主要修复 SYCL 后端获取内存时的错误(#28227),包括对不支持 ZES API 的处理、优化代码、调整日志级别、清理无用头文件,并修复检测 Level Zero SDK/开发包失败时的构建错误。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包。
社区开发者 ngquocvinh 在 Hugging Face 上发布了 IFM/K2-Horizon-7B 的 GGUF 量化版本,共 15 个文件,覆盖 Q8 0 到 Q1 0 等多种量化等级。该模型原生支持 524,288 token 上下文,面向英文、中文、编程、推理、长上下文和智能体任务。发布者提供了与 BF16 参考模型在 WikiText 上的
9月12日晚,绿联科技在品牌全球发布会上推出与后摩智能合作的UGREEN HomeAgent HA100 Pro,定位为以本地AI算力打造的家庭AI中枢。该产品结合后摩智能M50芯片的本地AI算力,将本地计算、存储、家庭看护和全屋设备管理能力融为一体,试图解决家庭设备数据分散、入口割裂及隐私安全问题。后摩智能M50基于存算一体架构,单芯片提供160 TOPS
雷峰网通过2026外滩大会观察蚂蚁集团的AI布局:底层为已迭代至Ling 3.0的百灵模型(含flash、tiny及多模态、金融版本),上层面向用户推出阿福(用户1.5亿、日均健康咨询约2000万次)和阿宝,面向企业由蚂蚁数科推出升级为商业智能体超级工厂的Agentar,并延伸至具身智能的灵波通用大脑。蚂蚁数科CEO赵闻飙披露AI To B业务增速达三位数。
开发者 saidutta69 在 Hugging Face 发布了 MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-heretic,这是对 GnLOLot 的 MiniCPM5-1B 微调版使用 Heretic v1.4.0 进行定向消融(abliteration)得到的去审查变体。该方法通过编辑注意力输出和 MLP 下
开发者 saidutta69 在 Hugging Face 发布了 LFM2.5-2.6B-Fable5-Coding-Agent-heretic,这是对 AyoubChLin/lfm2.5-2.6b-fable5-coding-agent(基于 LiquidAI/LFM2.5-2.6B 全参数 SFT)的「去审查」变体,使用 Heretic v1.4.0
llama.cpp 发布 b10938 版本,主要修复 Vulkan 后端的一个驱动 bug:当同一 VkDevice 上的两个队列同时提交时,会破坏内部同步。在驱动修复前,项目在 queuesubmit 周围加互斥锁作为临时方案。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。
GitHub 推出 Project HydraFusion 研究预览,为 GitHub Copilot 提供运行时多模型编排能力,通过 Single、Cascade、Critique 三种执行模式动态路由请求。该系统在 TerminalBench 2.1 上相比 Claude Opus 5 提升 4.9 个百分点任务质量并降低 67% 预估成本,在内部 Ch
bartowski 发布了 Qwen3.8-27B 的 GGUF 量化版本,使用 llama.cpp b10896 进行 imatrix 量化,支持文本与图像输入(需 mmproj 文件)以及 MTP 推测解码。该版本于 2026-11-09 更新,采用新的 tensor-layout 重新上传,并提供了各量化档位的文件大小、bpw、PPL 与 KLD 等指
llama.cpp 发布 b10937 版本,主要变更是将 OpenCL 后端的 noshuffle 行对齐规则从仅适用于 q6 K 扩展到 q4 K、q5 K 和 q8 0 量化类型(PR #28575)。该版本同时提供 macOS、iOS、Linux、Android、Windows 及 openEuler 等多平台预编译二进制包,覆盖 CPU、CUDA、
llama.cpp 发布 b10936 版本,主要改进 qwen3-coder 聊天解析器对复杂类型的支持,并清理了相关语法。该版本同时提供覆盖 macOS、Linux、Windows、Android 等多平台的预编译二进制文件。