MatrAIx:用83亿人物代理模拟世界以评估AI系统
原标题:MatrAIx: Simulating the World with 8.3 Billion Persona Agents
AI 摘要
MatrAIx 是一个由哈佛和 MIT 研究人员组织、超过 200 名科学家参与(包括来自 OpenAI、Anthropic、Google DeepMind 和 xAI 的 40 多名科学家)构建的群体规模模拟用户评估基础设施。它包含 83 亿个由 1290 个类别维度表示的人物档案,提供四种模拟环境和覆盖 25 个领域的 1010 个应用任务,并进行了 18189 次评估试验。研究验证了 AI 代理能模拟人类行为的多样性,在 400 次试验中人物遵循率达到 91.5%,旨在解决产品测试中成本高、周期长和覆盖有限的问题。
正文节选
MatrAIx: Simulating the World with 8.3 Billion Persona Agents Abstract Human evaluation of AI systems and digital products is costly, slow, and difficult to scale. Offline evaluations are more scalable but often abstract away human diversity and interactive behavior. We therefore introduce MatrAIx, a population-scale simulated-user evaluation infrastructure for testing AI systems and digital products with heterogeneous users. MatrAIx has three core components: First, Persona 8B contains 8.3 bill