本·阿弗莱克展示AI技术理解走红网络
演员本·阿弗莱克因在采访中展示对神经网络、机器学习、Transformer、张量、GPU、推理等 AI 概念的理解而走红网络。他此前将自己创办的 AI 电影制作初创公司以报道中的 5.87 亿美元出售给 Netflix,并透露曾参观 OpenAI。他称自己用开源模型解冻权重进行微调,并自建数据集用于后期训练,还表示不担心 AI 像“天网”一样接管电影业,认为
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
演员本·阿弗莱克因在采访中展示对神经网络、机器学习、Transformer、张量、GPU、推理等 AI 概念的理解而走红网络。他此前将自己创办的 AI 电影制作初创公司以报道中的 5.87 亿美元出售给 Netflix,并透露曾参观 OpenAI。他称自己用开源模型解冻权重进行微调,并自建数据集用于后期训练,还表示不担心 AI 像“天网”一样接管电影业,认为
llama.cpp 发布 b11512 版本,主要修复了 DFlash 输出头共享问题(#30111),包括从 GGUF 元数据读取绑定输出权重、共享绑定词嵌入元数据,并移除 DFlash 嵌入头回退逻辑。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、Open
Serveurperso 发布了 YuE2 的预量化 GGUF 模型,用于其 C++17 实现 yue2.cpp,可在 CPU、CUDA、Vulkan 上运行。该实现基于 m-a-p 的 YuE2-3B 等模型,输入风格标签和歌词即可生成 48kHz 立体声音频,并输出模型创作的 ABC 乐谱。模型采用混合 Transformer 架构,包含自回归和非自回归
上海海思提出“轻智能”终端判断,认为每个IoT终端都值得被重构成AI泛在入口,通过端侧AI与云端协同实现小算力大智慧。公司以全系列端侧芯片为底座,升级HiSpark开发者生态社区,首创XDAS四维框架(AI for Development/Application/Support、EXperience for AI),并推出数字FAE公测、MCP服务与CLI工
据海外科技媒体Sammy Fans援引半导体博主Jukan的爆料,Anthropic正考虑采用三星2nm工艺制造其自研定制AI加速器,该芯片由博通担任设计合作伙伴,算力约4000TOPS、功耗约1300W,配备192GB HBM3e内存,初期产量或达20万颗。若消息属实,这将成为三星代工继特斯拉165亿美元订单之后在超大规模客户中的又一重要订单,也意味着An
联想于10月8日开启YOGA Pro 15 RTX Spark笔记本全网盲约,该产品是全球首批搭载英伟达RTX Spark N1X超级芯片的本地智能体AIPC。芯片集成6144核Blackwell RTX GPU与20核Grace CPU,可提供1Petaflop FP4本地AI算力,支持至高128GB统一内存,能本地运行超千亿参数大模型并出厂自带35B本地
llama.cpp 发布 b11510 版本,主要更新为 CUDA 后端新增循环 PAD 内核,以支持超过 65535 行或切片的张量填充操作。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
AI可解释性初创公司Goodfire推出了一种新的AI代理监控方案,通过探针读取模型内部激活信号来检测恶意行为,而非依赖第二个AI模型审查输出。该监控已向Baseten客户开放,在Kimi K3测试中监控约1500个会话仅花费51美元,远低于传统方案,并捕获了94%的恶意黑客会话。此举针对开源模型缺乏防护的问题,旨在在推理阶段部署更廉价的安全护栏。
llama.cpp 发布 b11509 版本,修复了 CUDA 后端中 CCCL 版本守卫在重大版本号滚动时失效的问题。原守卫分别比较主次版本号,导致 CCCL 4.x 及以上版本被误判为不满足条件,argsort 静默回退到 init offsets 路径,造成无警告的性能损失。修复改用 CCCL 打包整数版本号进行单次比较,并在 RTX 4070、CUD
Anthropic 发布 Claude Haiku 5.5,在 OSWorld 2.1 计算机操作评测中成绩从上一代 15.7% 提升至 72.4%,知识工作与多学科推理能力也明显改善,平均运行成本下降约 75%。新模型首次支持自适应推理(Adaptive Thinking)与 100 万 Token 上下文,但复杂终端编程任务仍与 Sonnet 5.5 差
开发者 mradermacher 在 Hugging Face 上发布了 Qwen3.8-Flash-Next-Uncensored 模型的 GGUF 静态量化版本,基于 orcarouter 的原始未审查模型。该仓库提供从 Q2 K 到 Q8 0 的多种量化文件及多模态补充文件,采用 Apache-2.0 许可,方便本地部署使用。
llama.cpp 发布 b11507 版本,主要变更是支持 MoE 缓存在多 GPU 间分布(PR #30112)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此举可提升大 MoE 模型在多卡环境下的推理效率。
Hugging Face 用户 Hob-forge 发布了 Aleph Alpha 的 78B 参数混合专家推理模型 Kolibri-1 的 GGUF 量化版本,包含 Q2 K 至 Q8 0 多种量化格式,支持德语和英语。由于 llama.cpp 尚未支持 kolibri1 架构,作者提供了补丁和预编译版本,并验证了量化模型与 PyTorch 参考实现的对齐
llama.cpp 发布 b11503 版本,主要更新是将内置的 cpp-httplib 依赖升级到 0.60.1(由 Adrien Gallouët 提交,PR #30134)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CPU、CUDA、Vulkan、ROCm、
llama.cpp 发布 b11501 版本,主要更新为针对 SYCL 后端的 FWHT(快速沃尔什-哈达玛变换)优化(PR #29605)。该版本同时提供覆盖 macOS/iOS、Linux、Windows、Android 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL 等多种后端
llama.cpp 发布 b11499 版本,主要变更是 CUDA 后端在 roll 操作中改用字节步长(byte strides),以支持非连续的 ROLL 操作。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11498 版本,主要修复了 CUDA 后端中 norm 系列 kernel 在 ne[2]/ne[3] 超过 grid 维度限制时的问题(PR #28175)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO
llama.cpp 发布 b11497 版本,主要变更是为 SYCL 后端融合 delta-net 的 alpha gate 算子(add + unary + mul),并新增了针对该融合算子链的测试,同时为其提供 flat path 并固定节点跳过逻辑。该版本照例提供覆盖 macOS、Linux、Windows、Android 等多平台与多种后端(CUDA
StandardThinking 在 Hugging Face 发布了 StandardOne-8B-GGUF 的 v2.2 版本,基于 Ministral 3 8B 文本模型与 Pixtral 视觉塔(mistral3 架构),提供从 BF16 到 IQ2 M 共九种量化文件及视觉投影器。更新为九个语言模型文件新增了决策元数据,使其支持 llama.cpp
StandardThinking 在 Hugging Face 发布了 StandardOne-3B-GGUF,这是基于 Ministral 3 3B 文本模型与 Pixtral 视觉塔(mistral3 架构)的 GGUF 量化版本,供 llama.cpp 使用。该仓库更新至 v2.2 权重,并新增决策元数据,使全部九个语言模型文件支持 llama.cpp