Jev AI 实用指南:System One 与可执行决策
Hugging Face 博客发布了一篇关于 Jev AI 的实用指南。Jev AI 是 TypeSafe 的旗舰模型和首个 System One 模型,定位为面向软件团队的决策工具,通过「状态 + 类型化问题」的接口返回选项、分数、是/否判断和概率信号,而非生成文本。文章将其与生成式 LLM 对比,说明它适合分类、路由、评分和安全检查等有界决策场景,并介绍
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3314 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
Hugging Face 博客发布了一篇关于 Jev AI 的实用指南。Jev AI 是 TypeSafe 的旗舰模型和首个 System One 模型,定位为面向软件团队的决策工具,通过「状态 + 类型化问题」的接口返回选项、分数、是/否判断和概率信号,而非生成文本。文章将其与生成式 LLM 对比,说明它适合分类、路由、评分和安全检查等有界决策场景,并介绍
llama.cpp 发布 b11181 版本,主要变更是提高 HIP 版本要求以支持 fp8,避免在 HIP 6.2 中缺少 hip fp8 e4m3 支持的问题。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包,涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11180 版本,主要修复了 RPC 后端中 get alloc size 缓存键未包含 nb 参数的问题,并将计算结果下限设为 ggml nbytes。该改动由 Georgi Gerganov 等人提交,旨在提升 RPC 内存分配计算的正确性。同时发布了覆盖 macOS、Linux、Windows、Android 等多平台及 C
Langfuse 发布 v4.46.0 版本,新增实验并排对比、数据集条目格式化 JSON、基础技能管理以及追踪表格 100 行分页选项等功能。同时修复了计费 webhook 时间戳解析、数据保留设置、图表与界面细节等多项问题,并进行了设计系统迁移和数据集读取性能优化。
Perplexity 将核心搜索服务层从 Amazon DynamoDB 迁移到自研的 Rust 分布式键值存储 CobbleDB,以解决向大语言模型提供多 KB 文档批次时的高延迟与高成本问题。新架构将持久化存储与热层检索解耦,使批量读取延迟降低约 5 倍,存储费用至少降低 20%。CobbleDB 由两名系统工程师配合 AI 编码智能体在两个月内完成,公
ggml-org 在 Hugging Face 上发布了小米 MiMo-V2.6-Flash-RL 的 GGUF 量化版本,支持通过 llama.app 运行。该版本提供 MXFP4、Q2 K 等多种量化输出,并附带用于投机解码的 MTP 与 DFlash drafter sidecar,以及面向视觉和音频编码器的 Q8 0 mmproj。模型由 ggml-
美国国家安全局向国会表示,今年将花费数十亿美元测试先进AI模型,其中算力是最大开支,人员薪酬也因需与AI实验室竞争而推高成本。在医疗领域,医院和保险公司利用AI进行账单编码与理赔审查,互相博弈导致护理成本上升,蓝十字蓝盾协会称医院借此两年多收近10亿美元。文章还指出,企业按token计费的模式使大客户算力支出高昂,OpenAI和Anthropic等提供商正通
canada-quant 发布了 GLM-5.3-Flash 的 W4A16(INT4)量化版本,仅对 36,288 个路由专家 GEMM 做 GPTQ 对称 INT4 量化,注意力、路由、共享专家、嵌入、视觉塔和 MTP 头保持 BF16。模型体积从约 599 GiB 降至 177.7 GiB(-70%),可在 H100、H200、RTX PRO 6000
llama.cpp 发布 b11178 版本,集中修复 MUSA 后端(摩尔线程 MTT S5000 / PH1)的多个问题。改动包括:让 MUSA 使用 16 字节拷贝、启用 CUB 路径、采用上游代码路径、移除多余编译期守卫、在 PH1 上禁用 MMQ 路径,并修复 fused TOPK MOE 内核在 MUSA 上的死锁。修复后 27B 模型困惑度从
雷峰网AI科技评论梳理了梁文锋过去三年署名的11篇论文,涵盖DeepSeek LLM、DeepSeekMoE、DeepSeek-V2、DeepSeek-Coder-V2、DeepSeek-V3、DeepSeek-R1、NSA、mHC、DSpark及最新DSec等。文章称这些论文分别从数据配比、MoE架构、MLA注意力、代码能力、低成本训练、纯强化学习推理、硬
Anthropic 与 Akamai Technologies 签署了一份为期七年、价值 116 亿美元的云服务协议,并获得最多相当于 Akamai 5% 股份的认股权证。消息公布后 Akamai 股价盘后上涨 22%。此前 Anthropic 上月刚与 Nscale 达成 450 亿美元算力承诺,据报道其 11 个月内累计算力交易额已达 5170 亿美元。
另有 1 家信源报道
Mastra 发布 1.71.0 版本,为可观测性存储引入能力协商机制,服务器通过新接口暴露存储支持的可观测性 API,客户端可据此发现兼容端点而无需升级存储。同时新增 trace 聚合规划 API、工具参数完成即执行的流式优化、Discord 集成与沙箱凭证物化,以及 MongoDB 向量自动嵌入功能。此外包含一处破坏性变更,移除了 playground-
Langfuse 发布 v4.45.4 版本,包含两项改动:刷新助手内置的 Langfuse 技能,以及在 CI 密钥替换前跳过 Azure LLM 连接测试。该版本为常规维护性更新,未涉及新功能或重大变更。
n8n 发布 2.40.7 版本,主要修复了核心模块的一个问题:将项目级 span 属性传播到节点级 span。该修复涉及 PR #39457,属于可观测性/追踪相关的缺陷修正,不涉及新功能。
PydanticAI 发布 v2.50.0,引入 DecisionModel 基类以支持 Decisions 协议的路由决策,并调整了 ModelSelectionContext 的消息与提示结构。该版本新增 Gemini 3.8 Live 实时模型支持、OpenAI service tier 暴露及 RunContext.in durable contex
西安交通大学利物浦大学的研究者提出 PTC-Bias,一个基于音素级时间竞争的两阶段上下文偏置框架,用于语音大模型(SpeechLLM)的稀有词识别。预填充阶段通过 PTC Retrieval 做帧同步音素解码与候选发音时间竞争,生成紧凑的偏置词候选表及对应语音区间;解码后 PTC Correction 在同一区间内对候选词与不匹配转写片段做二次局部竞争,实
该论文提出 OneTrans-V2,用单个 Transformer 统一工业推荐系统中的召回、粗排和精排三个阶段。它只编码一次用户行为序列作为共享上下文,各阶段保留自身候选特征与计算,并通过联合训练实现精排到粗排的模型内知识蒸馏。模型采用稀疏 MoE 扩展共享骨干、P-style 参数化稳定训练,并引入 DCGR 与 SNT。部署于大规模工业推荐系统后,GM
研究团队使用无第三方运行时依赖的 Zig 机器学习栈 numbat,从随机初始化预训练了 124.4M 参数的 GPT-2,在 9.91B token 网络文本上训练,并与 llm.c 的公开结果对比。其留出交叉熵为 3.2588(参考 3.29),HellaSwag 为 0.3053(参考 0.299),吞吐达 43,374 tokens/秒,高于 PyT
该论文提出 X-Rec,一种基于流匹配(flow matching)的生成式检索方法,直接在连续物品嵌入空间建模推荐分布,以规避 U2I 表达力不足和 SID-AR 量化误差、低吞吐的问题。X-Rec 引入锚点条件、黎曼流匹配和延迟交互扩散 Transformer 三项设计。在流式基准上,X-Rec 显著优于 U2I 基线,检索质量与 SID-AR 相当,推
该论文提出 Seek,一个无需训练的迭代式知识检索框架,通过在测试时多轮交互语料库来克服单次检索的局限。每轮由 LLM 生成伪段落扩展查询、检索器获取新候选、专用评估器给出分级相关性判断并指导后续轮次。在 TREC Deep Learning 上 Seek 匹配训练过的重排序器并提升 Recall@100;在 BRIGHT 上 Qwen2.5-7B 相对 B