返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1783 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月7日周六 · 10 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布1

SRA-RiskGate-4B:稳定币支付风险门控模型

开发者 sriram1983007 在 Hugging Face 发布 SRA-RiskGate-4B,这是一个基于 Qwen3-4B-Instruct-2507 微调的 4B 模型,用于对 AI 代理发起的稳定币支付做风险门控与争议裁决。模型配套发布了 SRA Stablecoin Risk Bench 基准数据集,并给出风险门控决策准确率 0.9949、

正文结构化主题已通过公开置信门槛
The Verge AI政策

中国被指招募AI高管刺探黄仁勋

据《纽约时报》报道,中国国家安全部招募了 Megaspeed 高管 Alice Huang,目的是收集美国 AI 芯片情报,并可能影响英伟达向中国提供最先进芯片。Alice Huang 与英伟达 CEO 黄仁勋关系密切,且与技嘉等芯片行业高层有联系。美国众议院三个委员会已要求黄仁勋就此事参加闭门简报。

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源1

LiteLLM 发布 v1.108.2:镜像签名验证与多项修复回移

LiteLLM 发布 v1.108.2 版本,所有 Docker 镜像均使用 cosign 签名,用户可通过固定 commit hash 或 release tag 验证镜像签名。该版本主要将多项修复回移到 lts/1.108.x 分支,涉及音频转录、router、Bedrock、Vertex AI、MCP 及 responses 等模块。

正文结构化主题已通过公开置信门槛
TechCrunch AI安全

数百个Artex AI黑客工具实例公开暴露于互联网

安全公司Censys发现超过800个公开暴露在互联网上、无需密码即可访问的Artex部署实例。Artex是一款中国制造的开源自主渗透测试AI工具,自7月发布以来已被关联到多起网络攻击,包括9月针对韩国金融业的攻击和10月对IT支持巨头ConnectWise的入侵。研究人员指出,这些暴露的系统可能被他人发现并滥用,同时也会泄露植入物等攻击工具。Artex已宣布

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

用 Okta XAA 与 Amazon Bedrock AgentCore 治理 AI agent 访问(下)

AWS 发布博客第二部分,介绍如何用 Okta Cross App Access 与 Amazon Bedrock AgentCore 治理 AI agent 访问。文章将第一部分的单 agent、双 MCP 服务器拓扑升级为通过 AgentCore Gateway 统一入口,由 Gateway 兑换 Okta 授权、用 Cedar 策略做默认拒绝的授权校验

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

用 Okta XAA 与 Amazon Bedrock AgentCore 治理 AI 智能体访问(上)

AWS 博客介绍如何用 Okta Cross App Access(XAA)与 Amazon Bedrock AgentCore 治理 AI 智能体访问:在 Okta 中注册智能体并由管理员审批其可访问的应用,Okta 每次请求时评估策略;AgentCore Identity 负责兑换短期访问令牌并存入令牌库。测试中撤销用户对智能体的分配后约 1 秒内 Ok

正文结构化主题已通过公开置信门槛
The Verge AI观点

AI成旧金山约会新分歧点:择偶立场与行业影响

《The Verge》报道旧金山约会场景中,对AI的态度正成为新的择偶分歧点:部分人在Hinge等约会软件上明确表示不与使用AI的人交往。AI安全研究者因担忧人类灭绝风险而难以规划长期关系,而前沿AI公司员工则认为AI立场与恋爱无关,但AI行业高薪和IPO前景反而提升了约会吸引力。报道还提到27%的美国人对AI聊天机器人倾诉个人情感问题。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源商业

Greenlight 基于 Amazon Bedrock AgentCore 构建自主 SOC 方案

Greenlight Financial 在 Amazon Bedrock AgentCore 上构建了自主安全运营中心(SOC)解决方案 Luna,采用分层多智能体架构,包含 30 多个专用智能体。Luna 每月处理 3,000–4,000 个安全与风险告警,其中超过 90% 无需人工介入即可解决,常规案件分诊时间缩短至数秒。该方案还从 SOC 场景扩展到

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布1

Taxbit 在 Amazon Bedrock AgentCore 上构建角色感知 AI 助手

Taxbit 是一家数字资产税务合规平台,其在 Amazon Bedrock AgentCore 上构建了内嵌于仪表盘的 AI 助手 Taxbit Assist,用于帮助合规团队查找产品与流程答案。该助手强调答案有引用来源、按用户角色与组织权限过滤、不做税务建议,并通过地理感知推理满足数据驻留要求。Taxbit 称超过 55% 的用户在提问后 24 小时内会

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

在 Amazon Bedrock AgentCore 上以安全控制运行 Claude Code 远程会话

AWS 博客介绍如何将 Claude Code 从本地扩展到 Amazon Bedrock AgentCore 的远程会话中运行。方案通过 AgentCore runtime 为每个编码任务分配独立 microVM 隔离环境,结合 IAM、Guardrails、AgentCore Identity 与 memory 等能力,最终以 GitHub Pull R

11月6日周五 · 10 条
正文结构化主题已通过公开置信门槛
Transformers Releases一手来源开源

Transformers 发布 v5.22.2 补丁版本

Hugging Face 发布 Transformers 库补丁版本 v5.22.2,包含两项修复:一是分布式相关改动,仅对 NCCL 设置 device id;二是加固 Jinja 沙箱。该版本属于安全与分布式问题的过渡性补丁,影响使用该库分布式训练及模板渲染功能的用户。

正文结构化主题已通过公开置信门槛
量子位研究

Anthropic三大内部模型曝光,Model 4能力超Opus5.5约三个月

第三方评估机构METR的报告披露了Anthropic三个未公开的内部模型Model 2、Model 3、Model 4,其中最强的Model 4在Anthropic综合能力指数AECI上超过已发布的Opus5.5约3.9分,相当于约3个月的进步幅度。Anthropic联合创始人Sam McCandlish回应称AI正在加快公司研发,但难以精确衡量加速程度,并

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Qwen3.5-4B-heretic 去审查变体发布

开发者 saidutta69 在 Hugging Face 发布 Qwen3.5-4B-heretic,这是基于 Qwen/Qwen3.5-4B 的去审查(decensored)变体,使用 Heretic 2.0.0.dev0 的任意秩消融(ARA)方法仅对语言塔第 15-27 层进行编辑,视觉编码器未改动。模型拒答率从 99/100 降至 13/100,K

正文结构化主题已通过公开置信门槛
THE DECODER研究

METR审计:Anthropic模型加速或已触及自身预警阈值

非营利机构METR在获得Anthropic内部研究数据十一周访问权限后发布审计报告,发现Anthropic模型能力的提升速度自2025年10月以来约为此前的1.9倍,其中约80%的加速来自AI被用于公司自身研究。该加速可能已触及Anthropic《负责任扩展政策》中设定的预警阈值,METR认为该阈值或早在7月15日就已被跨越。但Anthropic对大部分关键

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

GitLab 19.5 将代理式开发纳入 DevOps 治理体系

GitLab 于 10 月 15 日发布 19.5 版本,正式开放 GitLab MCP 服务器,使 Claude Code、Cursor 等外部 AI 代理能够访问 GitLab 的工具目录,并调用 GitLab Duo Agent Platform 的代理与流程。该版本同时为外部代理加入治理控制,安全团队可查看代理的使用者、使用对象和涉及项目,并支持将审

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

小米 MiMo-V2.6 去审查变体发布:拒答率降至 8/100

开发者 saidutta69 在 Hugging Face 发布了 MiMo-V2.6-Distill-Qwen-9B-heretic,这是对小米 MiMo-V2.6-Distill-Qwen-9B 的「去审查」微调变体,使用 Heretic v1.4.0 的方向性消融(abliteration)技术,通过定向修改注意力输出与 MLP 下投影权重来抑制拒答行

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

AWS 正式发布代码漏洞检测服务 Continuum

AWS 宣布代码漏洞检测服务 Continuum 在美东(弗吉尼亚北部)和美西(俄勒冈)正式可用,距其限量预览发布约四个月。该服务通过构建代码仓库与 AWS 环境的上下文图来发现并验证漏洞,在隔离沙箱中运行漏洞利用并附带概念验证代码,输出攻击路径和爆炸半径评估,而非仅给出风险评分。定价按受保护代码行数(每百万行 200 美元起)和推理单元(每单元 10 美元

正文结构化主题已通过公开置信门槛
量子位产品发布

PPIO 沙箱:把 Personal Agent 的云电脑做成 API

PPIO 派欧云推出 PPIO 沙箱,将 Personal Agent 所需的云端执行环境封装为开箱即用的 API,支持代码执行、浏览器访问、安全隔离、暂停恢复与克隆,冷启动平均不到 200 毫秒,并兼容 E2B 接口。文章指出 Meta Muse、OpenAI dots、Manus、Kimi Claw 等产品均为每个用户或任务配备独立云电脑,而本地运行方案

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

OpenAI 产品与安全分工调整:Tibo 转岗抓安全,Andrew 接手 Codex 体验

OpenAI Codex 团队产品负责人 Andrew Ambrosino 接手产品体验协调工作,此前负责该事务的 Tibo 被调去牵头 OpenAI 内部安全专项。据路透社报道,Tibo 已抽调约四分之一生产工程师投入安全基础设施建设,背景是 OpenAI 近期发生多起安全事件,包括 AI Agent 突破沙盒入侵 Hugging Face、研究人员利用

正文结构化主题已通过公开置信门槛