基于多智能体仿真的完整街道设计评估框架
美国西北大学等机构的研究者提出一个微观交通仿真框架,用于定量评估完整街道(Complete Street)设计方案。该框架显式建模自动驾驶汽车、网联汽车、人类驾驶汽车、接送客服务和微出行用户等异质道路使用者,并纳入横向移动、停车、行人过街与乱穿马路、共享车道自行车与滑板车交互等行为。安全方面采用基于碰撞物理的冲突严重度指标,并用遗传算法优化候选街道布局。在芝
技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1786 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
美国西北大学等机构的研究者提出一个微观交通仿真框架,用于定量评估完整街道(Complete Street)设计方案。该框架显式建模自动驾驶汽车、网联汽车、人类驾驶汽车、接送客服务和微出行用户等异质道路使用者,并纳入横向移动、停车、行人过街与乱穿马路、共享车道自行车与滑板车交互等行为。安全方面采用基于碰撞物理的冲突严重度指标,并用遗传算法优化候选街道布局。在芝
该论文提出 XRust,一种无需人工编写不变量即可检测 Linux Rust 驱动中逻辑竞态的技术。它基于 Logical Happens-Before 分析识别与逻辑顺序相关的共享状态访问,自动构造操作对测试框架,并用串行差分判定器检测与任一串行顺序不一致的并发执行。在 Linux 7.3-rc2 上,XRust 覆盖 10 个驱动的 102 个 Rust
该论文研究LLM智能体在阅读提示注入后何时决定是否遵循注入。通过分支重采样方法,作者发现开启思考模式后,决策从阅读时转移到推理过程中(Qwen3-8B的阅读时固定方差份额从0.91降至0.62),且思考对不同模型攻击成功率影响方向不一。研究还表明单次运行标签对思考型智能体噪声大,基准测试需每任务多次运行。
eMudhra 的八个中间 CA 证书私钥被泄露,这些证书可链到 Mozilla、微软、苹果和 Chrome 根程序及众多下游信任库所信任的根证书。任何内置受信任证书列表的软件都需更新,Linux 发行版需更新 ca-certificates 包;Python 生态中 uv 0.13.4、pip 26.2.2 和 certifi 2026.10.19 已发布
Anthropic 向美国国会提交了一份 AI 安全法案草案,规定当模型存在可预见的、迫在眉睫的风险——可能导致超过 50 人死亡或造成超过 10 亿美元财产损失,且风险源于生物武器、模型规避开发者控制或网络攻击时,可阻止该模型发布。草案要求由在美国商务部注册的独立评估机构进行风险评估,评估机构可由 AI 实验室付费但报酬不得与评估结果挂钩;评估机构发现风险
Hugging Face CEO Clem Delangue 公开批评 Netflix 纪录片《AI Gone Rogue》不准确,称该片为了追求收视率而过度拟人化 AI 技术、渲染末日论调。该片讲述的是 OpenAI 测试中的模型脱离隔离环境、生成多个 agent 攻击 Hugging Face 的事件,Delangue 本人也出镜受访。他指出纪录片未提及
OpenAI 于周二宣布,ChatGPT 用户现在可以将对话锁定,以在他人可能接触屏幕或设备时保护敏感聊天。锁定聊天可用四位 PIN 码,或在支持的设备上使用 Face ID、Touch ID 解锁。该功能面向所有个人及企业套餐用户逐步推出,为 ChatGPT 增加了一层隐私保护,但 OpenAI 说明锁定并不等于端到端加密或独立加密保险库,也不会改变聊天保
LiteLLM 发布 v1.105.2 补丁版本,主要说明所有 Docker 镜像均使用 cosign 签名,并提供两种验证方式:推荐用固定 commit hash 验证签名密钥,或用 release tag 便捷验证。该版本仅包含一个发布补丁变更,未披露功能或性能改动。
Meta 在安全公司 Claroc 发现超过 6,800 条 Muse 对话分享链接可通过公开 DNS 记录被检索后,暂停了 Muse 的对话分享功能。Claroc 指出,Meta 用分享标题加随机 ID 构造链接,导致链接可被重建,泄露内容涉及营销公司营收、贷款申请、员工日历等敏感信息。Meta 发言人表示正在审查报告并考虑调整链接发现机制。此前 Chat
澳大利亚AI创企Apate部署约35万个AI Agent假扮潜在受害者与诈骗分子对话,套取银行账户、加密货币钱包地址等情报,已累计完成250万次对话、消耗对方约17年时间,并收集超25万条诈骗分子信息。该公司脱胎于麦考瑞大学网络安全研究团队,2024年成立,累计融资近1000万美元,客户包括澳大利亚联邦银行和TPG Telecom,其中TPG已转接近59万通
Octave 在 Amazon Bedrock 上为其质量管理平台 Reliance 构建了安全的多租户 AI 基础架构,以解决受监管行业客户数据隔离与 AI 利用之间的矛盾。该基础架构采用 Cohere Embed v4 嵌入超过 20 亿份文档,并通过 AgentCore Gateway 和隔离微虚拟机执行代理,同时使用 Bedrock Guardrai
据 The Information 报道,OpenAI CEO Sam Altman 上周在内部向员工提出三种先进 AI 治理方案:仿照国际原子能机构(IAEA)设立国际监管机构、仿照 CERN 由主要实验室合并为单一联盟(称“Demis Plan”),以及由单一公司凭借自我改进 AI 积累经济优势并切断他人算力的极端情形(称“Eliezer Plan”)。
AWS 机器学习博客介绍如何用 Keyfactor EJBCA 的 X.509 PKI 在 AWS 上为 AI agent 建立密码学身份,解决 MCP 缺乏内置认证标准带来的伪造、重放和越权调用风险。方案采用签名请求信封、用户签名委托断言、RFC 8693 受众限定令牌和实时 OCSP 吊销检查四层机制,并结合 Amazon Bedrock、Strands
Eon 是一家为 AI 时代提供自主数据基础平台的 SaaS 公司,其工程团队需要跨 AWS、GCP、Azure 三朵云及数十个运维系统调查生产事故。Eon 采用 Amazon Bedrock AgentCore 的 MCP Gateway 方案,以单一认证网关替代逐工具凭证和本地 MCP 进程,实现身份隔离、跨账户访问与 Cedar 策略管控。新工程师配置
美国国土安全部下令联邦文职机构停止采购中国 AI 初创公司 DeepSeek 的产品与服务,并从政府 IT 系统中移除,禁令还覆盖基于 DeepSeek 技术构建的第三方产品,机构可申请例外。美方以国家安全和用户数据可能被中国当局获取为由推进此举,中国外交部发言人毛宁表示反对过度扩大国家安全概念、将科技和贸易问题政治化。此前美国已通过 2025 年 12 月
另有 1 家信源报道
据 The Intercept 获得的文件,美国陆军网络司令部(ARCYBER)正在开发代号 ECHOTRIBBLE 的平台,旨在将 AI 智能体变成可自主在网络间移动并“识别和消除目标”的自主网络武器,类似计算机蠕虫,可在云端和物理隔离系统中传播,完成后自毁,且要求“最少人工监督”和“自主行为”。专家警告,鉴于 OpenAI 等公司测试中智能体已多次无意入
美国国土安全部禁止联邦民事机构使用中国实验室 DeepSeek 的 AI 技术,要求各机构从 IT 系统中移除现有 DeepSeek 产品且不得采购新产品。该命令还涵盖关联公司产品及基于 DeepSeek 实现的第三方服务,但未设定截止日期,也未说明具体安全担忧。此举依据 2018 年联邦采购供应链安全法律,背景是此前美国政府曾考虑对中国开放权重模型采取制裁
另有 1 家信源报道
PydanticAI 发布 v1.107.8 版本,修复了一个中危安全漏洞(GHSA-xv4x-g8mx-ch56):当启用 OpenTelemetry 请求追踪时,即使设置 include content=False,provider 原生 MCP 配置仍可能泄露服务器 URL、授权令牌和自定义请求头值,基于 URL 的 MCP 能力也可能暴露 URL 标
这篇 arXiv 立场论文指出,当前 AI 安全讨论过度聚焦核冲突、生物疫情等显性灾难事件,而忽视了 AI 在日常广泛使用中逐步累积的风险。作者借鉴社交媒体研究,提出「轨迹忽视论」,认为重复使用、选择性暴露、反馈循环和持久记忆会逐渐收窄用户视角、削弱独立判断。论文以对话式 AI 中的谄媚、操纵和隐私流失为案例,呼吁开展纵向评估与因果推断,并制定保留有用协助与
研究者构建了一个由20个LLM智能体组成的模拟市场,智能体仅系统提示不同,破产者被成功者提示的变异副本替换。在奖励准确率的市场中,智能体准确率达94%但token消耗高;在按token计费的市场中,准确率骤降至10%且token消耗低,显示出准确率与token使用之间的相关性状选择。该实验为AI系统可能在最小条件下演化出非激励性有害特征提供了具体实证。