返回主题地图

评测与基准

技术方向 · 模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1078 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月25日周日 · 3 条
正文结构化主题已通过公开置信门槛
THE DECODER研究

Anthropic 联合创始人 Jack Clark 将自我改进 AI 预测提前至 2027 年

Anthropic 联合创始人 Jack Clark 基于新基准 TasteVal 的结果,将递归自我改进(RSI)可能实现的时间预测从 2028 年提前至 2027 年。TasteVal 由 P-Zero Research 提出,用于衡量 AI 自主设计实验并解读结果的能力,即“研究品味”;测试中表现最好的模型是 Anthropic 的 Opus 5.5,

正文结构化主题已通过公开置信门槛
THE DECODER开源

OpenMobile-2 证明开源手机智能体可媲美闭源模型

南京大学、商汤等机构的研究者发布开源项目 OpenMobile-2,基于 Qwen3.5(90 亿参数)和 Qwen3.6(270 亿参数)训练出两个手机智能体模型,并公开完整训练环境、数据和复现说明。他们重建了淘宝、京东、滴滴、美团、Slack 等 110 多个模拟应用,生成约 1.16 万个示例工作流,由 Gemini 3.1 Pro 作为教师模型产出训

正文结构化主题已通过公开置信门槛
智东西模型发布

3万亿参数Kimi K3.1 Pro发布,国产第一、价格仅对手1/5

月之暗面发布旗舰模型Kimi K3.1 Pro,参数规模达3万亿级,由Kimi K3后训练而来,支持100万token上下文,并计划在11月4日前开源。该模型在Artificial Analysis榜单上排名总榜第四、国产第一,超过Claude Fable 5.1和GPT-6 Astra,价格仅为GPT-6 Astra的20%。智东西实测显示其在网页开发、游

10月24日周六 · 10 条
正文结构化主题已通过公开置信门槛
TechCrunch AI研究

研究:Grok 在中期选举中 92% 推荐共和党,GPT 97% 推荐民主党

Convovo 的一项研究通过 API 向 Grok 4.7 和 GPT-6.1 Sol 提问,要求它们在近 500 场中期选举中直接推荐候选人。结果显示,Grok 在 92% 的回答中推荐共和党候选人,GPT 在 97% 的回答中推荐民主党候选人,两者一致率不足 10%。研究还发现,Grok 的 API 请求中带有约 1240 个研究者无法查看或移除的额外

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse v4.70.0:新增 Topics API 与批量评估 MCP 工具

Langfuse 发布 v4.70.0,新增只读 Topics 公共 API 端点、runBatchEvaluation MCP 工具,并改进 AI Gateway 的 Claude Desktop 配置流程与密钥页内联说明。修复方面加强了 webhook 与 PostHog 目标变更时的密钥校验,并升级 dompurify、nodemailer 依赖。整体

正文结构化主题已通过公开置信门槛
THE DECODER研究

研究:花哨的harness让编码智能体更贵而非更好

山东大学两位研究者刘和韩在固定模型的前提下,用Claude Code、OpenCode和mini-SWE-agent三种harness测试了五个模型,发现更换harness带来的成绩差异与同一配置重跑两次的波动相当,但成本最高可增至三倍。论文题为《What does a harness buy? Mostly tokens.》,指出此前宣称的20分以上har

正文结构化主题已通过公开置信门槛
Latent Space模型发布

Kimi K3.1 Pro 发布:2.8T 开源权重模型逼近闭源前沿

Moonshot 发布 Kimi K3.1 Pro,这是一个 2.8 万亿总参数、1040 亿激活参数的多模态 MoE 模型,支持 100 万 token 上下文,API 已上线并提供速度提升 2-3 倍、价格翻倍的 Highspeed 版本,同时推出 Kimi Hosted Agents 托管执行环境。Artificial Analysis 将其排在 In

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

FusionEval:大语言模型模型融合基准

研究团队提出 FusionEval 基准,用于系统评测大语言模型融合方法。该基准基于 Qwen3 和 Llama 构建数学、代码、科学推理、指令遵循和工具使用五个领域的独立专家池,统一比较免训练与需训练两类融合方法在八个公开基准上的能力保留率、运行时间和峰值显存。实验发现免训练方法能保留推理能力但显著损害工具使用,多教师在线策略蒸馏(MOPD)能力更均衡但计

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

研究:低资源语言研究增长但语言包容性未同步提升

该研究分析了2020至2025年间1158篇同行评审的低资源语言(LRL)开放获取论文,发现相关论文年发表量从52篇增至415篇,但增长主要集中在已有代表性的语言上,而非扩展覆盖不足的语言。研究提出多维度的“语言包容性框架”(LIF),从研究增长、代表性扩展、代表性连续性和分布公平四个维度衡量包容性,并指出亚洲语言占所分析LRL使用者的64.1%,却仅获得4

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

TauIndianBankBench:面向工具使用对话智能体的流程感知动作评估

研究者提出 TauIndianBankBench,一个面向印度零售银行业务、评估工具使用型对话智能体的动作导向基准,包含 1000 个任务,同时检查最终记录状态和是否执行了所有必需步骤(含只读调用)。实验评估 Gemma 4 系列五个模型和 Qwen3.8-27B,发现仅检查最终记录时,每个模型有 6.5%–12.0% 的会话被误判为成功,尽管助手跳过了必需

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog模型发布

Kimi K3.1 Pro 登陆 API,承诺 11 月 4 日前开源权重

Moonshot 在 Kimi API 上线 Kimi K3.1 Pro,暂未开放权重,但承诺 2026 年 11 月 4 日前发布完整模型权重。定价为输入每百万 token 2 美元、输出 10 美元,与 GPT-6.1 Sol 持平,为 Claude Opus 5.5 的一半;另提供速度提升 2-3 倍、价格翻倍的 Highspeed 版本。Artifi

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Moonshot 发布 Kimi K3.1 Pro,逼近 Claude Opus 5.5

中国 AI 公司 Moonshot AI 发布 Kimi K3.1 Pro,在 Artificial Analysis 智能指数上以 55 分升至第四名,仅落后榜首 Claude Opus 5.5 三分。该模型在智能体任务、编程和 3D 建模上提升显著,参数量维持 2.8 万亿但 API 价格下降 33%,并计划在 2026 年 11 月前开放模型权重。若如

正文结构化主题已通过公开置信门槛
智东西产品发布

金蝶灵基升级三项核心能力,发布企业级智能体评测基准

金蝶在2026创见者大会上发布企业智能体操作系统灵基的三项核心升级:灵基Manage、企业上下文和ERP连接器,并联合大模型厂商与高校推出国内首个面向企业管理场景的智能体评测基准Lingee Bench及白皮书。灵基付费用户已达3706家,阶跃星辰模型已落地其数据分析与AI速记场景,其智能体手机STEPX Neo也将接入灵基。金蝶CEO徐少春提出企业AI转型

10月23日周五 · 7 条
正文结构化主题已通过公开置信门槛
量子位观点

特赞提出企业AI需要两个世界模型

特赞创始人范凌在上海西岸WTCC论坛上提出,企业AI需要两个世界模型:理解客户的主观世界模型和理解公司内部流程的企业世界模型,二者数据来源与更新节奏不同,难以合并。特赞还披露引入多领域专家采集判断路径作为训练数据,并发布Agentic Transformation共建计划,联合高校、研究机构与企业推进企业智能体落地。

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源研究

ALTK-Evolve:用学习记忆让非前沿模型登顶τ²-bench客服榜

Hugging Face 博客介绍 ALTK-Evolve 方法:用 GPT-4.1 分析客服智能体在 τ²-bench 训练任务上的成功与失败轨迹,自动提炼行为规则并追加到系统提示中,无需更新模型权重或人工标注。在零售领域,该方法使 GPT-4.1 智能体的 Pass^4 从 57.5% 提升至 67.5%,超过榜单上所有零售条目;航空领域 Pass^4

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

OpenDS-World:真实开放网络环境下的深度搜索基准

研究者提出 OpenDS 任务与 OpenDS-World 基准,用于评估自主多步深度搜索智能体在真实开放网络环境中的端到端研究能力。该基准包含 200 个跨模态、跨格式且需交互访问的挑战性任务,并经人工验证确保证据有效与答案唯一。在统一工具环境下评测 12 个前沿模型,最佳模型准确率为 39.0%,而人类在 1000 次独立尝试中的准确率为 21.1%。分

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

Manifold AI 流形空间 WorldScape R²SI 登顶 RoboDojo Agent 榜

Manifold AI 流形空间发布 WorldScape R²SI(机器人递归自进化)框架,在 RoboDojo Agent Track 榜单上以 46.58 分登顶,成功率达 39.35%,超过此前 GPT-6 Astra 的 28.97 分。该框架通过内层 Robot Reactive Agent 执行任务、外层 Recursion Reflectiv

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

一致却有偏:多智能体临床决策中主席人格以偏差换噪声

该研究构建了一个由七个LLM智能体组成的模拟脊柱外科科室,让它们讨论20个退行性颈椎脊髓病病例,病例证据在每次运行中保持不变,仅改变主席及副主席的人格提示(无、协商型、专制型、回避型,分别以行为规则或性格特质形式书写)。结果显示,以规则形式书写时,专制型主席在93%的运行中选择立即手术,回避型仅2%,无人格时为57%,但几乎所有决策仍计划手术,人格主要改变的

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

V-JEPA 2结合AQA:山地自行车跳跃的阶段评分与参考反馈

该研究针对山地自行车跳跃动作质量评估(AQA),在仅有二值弱标签(好/差技术)和95段现场视频的条件下,利用冻结的V-JEPA 2视频特征结合二维姿态与运动测量,构建了基于阶段的评分器与参考层反馈生成流程。五折交叉验证中完整评分器取得AUROC 0.768、平均精度0.812,但作者指出该结果属探索性,存在测试折选择训练轮次、未按骑手划分数据等偏差;外部探针

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

FormBench:配方专利细粒度检索基准

研究者发布 FormBench,一个面向配方专利细粒度检索的基准,包含 55,352 条查询和两个各约 100 万段落的语料变体(随机干扰项 C0 与结构相近干扰项 C1),并提供基于材料本体的分级相关性标注。他们评测了 OpenAI、Voyage 等商业 API 编码器、Nomic、GTE-large、Qwen3-Embed 等开源编码器及其任务自适应微调