返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1784 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月3日周二 · 13 条
正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

CNCC 2026:AI视频生成走到真实与动人的分岔口

在CNCC 2026大会“视频生成的智与情”论坛上,多位学者指出视频生成竞争焦点已从画质转向叙事连贯与情感表达。哈工大(深圳)户保田提出多智能体协作的长时序视频生成方案,北大袁粒讨论视觉理解与生成统一路线,中科大刘武与中关村实验室折栋宇则关注AI视频进入社交传播后的认知安全风险。论坛未给出“更真实还是更动人”的确定答案,但认为下一分水岭在于内容进入传播链路后

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

奇安信安全创客汇升级为AI创客汇

奇安信在2026年世界互联网大会乌镇峰会期间宣布,将国内网络安全领域专业创投平台“安全创客汇”升级为“AI创客汇”,赛道从网络安全扩展至AI创新与应用领域。该平台自2016年起已举办十一届,130家入围决赛团队累计融资超65亿元。升级后平台将延续原有选拔与创投生态,聚焦AI与各行业交叉创新,并强调安全在AI发展中的基础作用。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

蚂蚁数科发布智能体超级工厂及KYA方案

蚂蚁数科在香港金融科技周发布「AI智能体超级工厂」解决方案,并推出安全品牌ZOLOZ的KYA(Know Your Agent)身份可信治理方案,将能力从KYC、KYB延伸至智能体身份识别。核心平台Agentar已推出通用版及金融、能源、医疗行业版,方案覆盖金融、能源、医疗、消费等行业。据IDC报告,蚂蚁数科在中国智能体开发平台私有化市场位列非云厂商第一,在金

正文结构化主题已通过公开置信门槛
量子位产品发布

苹果被曝隐私摄像头,中国电信TeleAI称8个月前已落地

彭博社记者马克·古尔曼爆料苹果正在研发代号J450、不录制视频的智能家居摄像头,通过AI分析环境推送文字描述以保障隐私。报道指出,中国电信人工智能研究院(TeleAI)早在今年2月已推出类似产品TeleAI隐私摄像头,基于自研智传网(AI Flow)端云协同推理架构,在采集瞬间提取抽象特征向量并销毁原始画面,可识别打架、吸烟、跌倒等行为,应用于公共卫生间、养

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog安全

一种泄露精确位置的背景声音:利用飞机噪声与ADS-B数据定位视频拍摄地

Simon Willison 的博客链接分享了一段 YouTube 视频,作者 Colsto 展示了一种 OSINT 技术:从视频音轨中提取几乎不可察觉的飞机背景噪声,计算多普勒曲线,再与 ADS-B 航班数据交叉比对,通过飞机速度、距离和航班间隔推断出视频拍摄的精确位置。该演示揭示了日常视频音频中潜藏的地理位置泄露风险。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

超越最后一层:面向AI生成图像检测的全局层间聚合

论文提出 GILA(全局层间聚合)框架,用于 AI 生成图像检测。该方法从冻结预训练视觉编码器的不同深度提取全局表示,通过层间自注意力建模各层表示间的交互,并自适应聚合上下文表示,无需微调编码器。在三种视觉骨干、十个已知生成器和三个外部数据集上的实验表明,GILA 更好利用了多层信息,提升了检测性能和跨数据集泛化能力。

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

基于社区的酷儿群体AI危害审计

研究者在 EurIPS 2025 的 Queer in AI 工作坊组织了一场参与式审计活动,16 名酷儿社区成员使用 4Cs 危害分类法(Content、Conduct、Contact、Contract)审查了心理健康聊天机器人、广告支持聊天机器人、内容审核和数据标注劳动四个案例。参与者将危害追溯到问题定义与数据收集环节,并识别出从弱势群体中提取价值却几乎

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论政策

世界互联网大会聚焦智能体安全,360作为核心成员单位推动AI安全治理

11月2日,世界互联网大会人工智能专业委员会在浙江乌镇召开2026年全体会议及第三次主任委员会议,360集团首席科学家潘剑锋以副主任委员身份出席。会议审议的2027年度工作计划草案提出,安全与治理推进计划将聚焦“智能体安全可控与协同治理”,向智能体行为管控、治理能力建设和全球治理机制延伸。360作为成员单位,以“以模治模、以智能体对抗智能体”为思路推出智能体

正文结构化主题已通过公开置信门槛
Claude Code Changelog一手来源产品发布

Claude Code 2.1.317 更新:新增隐私提示与成本报告

Claude Code 发布 2.1.317 版本更新,新增多项安全与隐私提示,包括云调度任务连接器警告、发送账户邮箱前的确认检查,以及 Agent SDK 钩子回调的 onFailure: "block" 选项。同时为 Claude 应用网关管理 API 增加成本报告接口和开发者 IdP 分组记录,并扩展 OTel 指标字段。该版本还修复了大量问题,涉及

正文结构化主题已通过公开置信门槛
TechCrunch AI政策

Anthropic 警告接近递归自我改进能力

Anthropic 在修订后的 S-1A 文件中警告,公司可能即将达到其 Responsible Scaling Policy 所定义的「递归自我改进(RSI)」门槛,即 AI 能显著加速自身研发。文件称,公司过去曾未及时识别模型能力的跃升,未来也可能如此,但目前尚无模型越过该门槛,并承诺在可预见未来保持人类对前沿模型开发的监督。此举将 RSI 从争议概念推

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
OpenAI News一手来源安全

OpenAI 提高安全漏洞赏金奖励

OpenAI 正在提高安全漏洞赏金奖励,并为独立安全研究人员引入报告质量、忠诚度和优先活动奖金。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Haystack Releases一手来源安全

Haystack 发布 v2.31.1-rc1 安全更新

Haystack 发布 v2.31.1-rc1,主要包含安全修复。该版本要求 anyio =4.14.2,以规避 CVE-2026-63374(GHSA-82r6-8w77-94w6);同时要求 certifi =2026.10.19,因为旧版本信任私钥已被泄露的 eMudhra/emSign 证书颁发机构(GHSA-6q48-6c7w-9gw2)。这两个依

11月2日周一 · 7 条
正文结构化主题已通过公开置信门槛
THE DECODER研究

50个AI智能体在Minecraft中陷入官僚化,对抗Claude时却更激进

Y Combinator Labs 与 Olam Labs 将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 和 Mindustry 进行群体行为实验。在「Civ50」生存实验中,智能体因首夜 22 次死亡而极度规避风险,陷入官僚化微观管理,甚至为一块骨粉花 11 分钟讨论任命「肥料专员」。在与 Claude Opus 5.5 的直接对抗

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

Uber 构建 MCP Gateway 治理 800+ 服务器与 5000+ AI 代理工具访问

Uber 构建了 MCP Gateway,用于标准化 AI 代理发现和调用内部服务的方式,解决代理在公司内普及后出现的集成碎片化、基础设施重复和安全实践不一致等问题。该平台支持 800 多个 MCP 服务器和 5000 多个工具,提供发现、协议转换、授权和执行等公共层。架构将作为控制平面的 MCP Registry 与负责运行时执行的 Proxy Gatew

正文结构化主题已通过公开置信门槛
THE DECODER政策

OpenAI 筹备中期选举后的华盛顿游说攻势

OpenAI 正准备在美国中期选举后展开政治游说与公关攻势,以应对民主党若赢得众议院控制权后可能加剧的监管压力。其政策负责人 Chris Lehane 计划以「AI 不取代人」为核心叙事,推动基于「限速」理念的具约束力安全规则,并将数据中心重新包装为「AI 计算园区」以回应地方反对。OpenAI 在新一届国会中的首要目标是加快前沿模型安全规则的立法进程。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源研究

越南高校学生发布 LSTM 钓鱼邮件检测模型仓库

越南胡志明市工业大学信息技术系的一名本科生在 Hugging Face 发布了名为 klcn16-phishing-lstm 的毕业设计仓库,用 LSTM 结合 Word2Vec、GloVe、FastText 等词嵌入做钓鱼邮件二分类,并与 TF-IDF+逻辑回归、BiLSTM 等基线对比。主模型 M2(LSTM+Word2Vec)在 11,126 封测试邮

正文结构化主题已通过公开置信门槛
量子位政策

OpenAI更新模型准则:首条「忠于人类意图」

OpenAI 更新了模型准则(Model Spec),提出 5 条核心价值观,第一条为「忠于人类意图」,其余为减少伤害、诚实透明、促进人的自主性、关怀。准则要求 GPT 超越字面指令、结合记忆与上下文判断用户真实意图,并明确禁止模型追求自我保存、算力囤积或为 OpenAI 牟利,必须保持可纠正性。准则还将称呼从「the assistant」改为「GPT」,反

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

ChatGPT 或成监控助手?AI 辅助监控风险案例研究

研究者针对 ChatGPT 公共网页界面开展探索性案例研究,构建了覆盖七类监控风险、共 110 条提示词的分类体系,其中 55 条为越狱提示、55 条为直白提示。结果显示,ChatGPT 对 40 条越狱提示和 33 条直白提示给出了实质性监控指导,且合规回答很少提及政策或隐私保护替代方案;即使模型声明拒绝,也可能同时提供详细指令、可用代码或架构建议。该研究

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

CoFiBreak:面向多轮越狱的由粗到细多样性奖励

论文提出 CoFiBreak,一种用于 GRPO 的由粗到细多样性奖励方法,通过粗粒度奖励鼓励攻击者使用组内稀缺策略、细粒度奖励在去除有害意图方向后惩罚模板复用,从而在保持攻击成功率的同时提升多轮越狱攻击的多样性。以 Llama3.1-8B-Instruct 为受害模型训练后,在 HarmBench 上发现的细粒度成功策略数量为最强基线的 1.6–2.0 倍