返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1787 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月15日周四 · 1 条
正文结构化主题已通过公开置信门槛
The Verge AI产品发布

Android 用 AI 在 Google Messages 中识别诈骗者

Android 推出新的诈骗防御功能,在 Google Messages 中新增“增强保护”设置,利用云端 Gemini AI 模型评估陌生发件人的对话意图,并结合设备端 Gemini Nano 检查陌生 URL 的实时网络信号。该模式为可选加入,用户数据在分析过程中加密并存放于 Google 也无法访问的专用安全空间。此外,Google 还新增阻止应用开启

10月14日周三 · 19 条
正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

字节Seed设大模型安全与对齐部门;DeepSeek融资翻倍至千亿

字节跳动Seed成为国内首家单独设立大模型安全与对齐部门的前沿AI实验室。DeepSeek第二轮融资规模从500亿元翻倍至约1000亿元,投前估值约5000亿元,新进投资方以产业资本为主。阿里千问办公正在开发面向商家的电商版Agent,预计双十一预售前夕发布;同时千问将推出Personal Agent“千问Go”。OpenAI正与一家由杰弗里·卡岑伯格等人创

正文结构化主题已通过公开置信门槛
The Verge AI研究

Anthropic 警告自我复制 AI 蠕虫,专家称确有依据

Anthropic 发布研究警告称,小型 AI 模型可能只需数月就能获得自我复制能力。其实验将 Google Gemma 4 拆分运行在 15 台 Android 电视盒上,并在模拟网络中测试 AI 蠕虫传播,只有 Z.ai 的 GLM-5.2 成功扩散至整个网络。Anthropic 呼吁加强设备安全,但外界也质疑其存在渲染恐慌、为封闭模型站台的公关动机。

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

Meta 将机密计算扩展至 AI 眼镜,推出 Private Processing

Meta 将 Private Processing 扩展到 AI 眼镜,使用机密虚拟机(CVM)和硬件 TEE 在云端处理敏感 AI 工作负载与持久用户上下文。该架构结合远程证明、匿名凭证、OHTTP 中继和加密存储,支持流式转录、上下文搜索和长期回忆。Meta 表示平台已就绪但尚未在眼镜上部署,正与 NCC Group 等独立安全机构审查架构,并计划向研究

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

Tamnoon 基于 Amazon Bedrock 构建 AI 云安全修复系统

Tamnoon 基于 Amazon Bedrock 构建了名为 Tami 的智能体式云安全修复编排器,可从 CNAPP 等来源摄取安全发现并自动调查、评估修复安全性并生成修复方案。该平台采用四个专用智能体(调查、安全评分、修复、代码生成)在 AWS 无服务器架构上运行,通过单一 API 调用不同基础模型。据文中数据,该方法在 90 天内将关键云暴露减少超过

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Artemis 推出 Orion-1 安全模型,称其攻击调查能力超越通用模型

美国初创公司 Artemis Security 推出专用安全模型 Orion-1,可自主调查并响应企业网络攻击,将来自认证服务、云环境、终端、SaaS 应用和网络设备的日志数据关联到单一攻击者,并给出置信度评分与处置建议。在自建 Decision-Grade Readiness 基准上,Orion-1 在攻击重建任务得分 80.8,高于 Claude Opu

正文结构化主题已通过公开置信门槛
THE DECODER安全

涉嫌在OpenAI安放监控设备的员工用聊天机器人搭建窃听装置

一名在 OpenAI 工作的沙特籍工程师 Abdulrahman Alfozan 于 10 月 9 日被捕,涉嫌将藏在卫生纸中的录音设备放入公司领导层使用的会议室电视 USB 接口,其包中另发现第二台录音设备。起诉书称,他利用与其妻子关联的聊天机器人账号输入提示词,学习构建连续录音器、调整 Wi-Fi、增强音频监听及加密 SD 卡等,疑似用聊天机器人“vib

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
量子位产品发布

阶跃终端发布首款Agent手机STEPX Neo,售价3999元

阶跃终端发布首款大模型原生智能体手机STEPX Neo先行版,搭载智能体原生操作系统Step AOS,内置个人智能体阶跃Amoo(A仔),支持Loop循环执行、自主Tool Call及Skill/MCP工具调用,并配备背屏显示Agent工作状态。该机通过H2A2A、MCP等协议打通第三方生态,提供Step Studio终端原生开发工具,售价3999元并附赠1

正文结构化主题已通过公开置信门槛
量子位商业

领克坠崖事故出圈:智能化追赶中,安全先受关注

领克10 EM-P在四川泸州山区公路失控冲出公路,连续翻滚后坠落近百米山崖,车辆报废但车主仅受轻微擦伤和胸椎轻微骨裂。领克官方说明称乘员舱结构完整、A/B/C柱无变形、气囊及时弹出、动力电池未起火漏电,紧急救援系统自动触发。该事故让智能化表现并不突出的领克因碰撞安全意外获得广泛关注,文章同时回顾了领克在智能化上的追赶历程及吉利集团整合带来的技术资源支持。

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源商业

NVIDIA 加码英国:2.5亿美元算力投入与全栈应用落地

NVIDIA 宣布五年 2.5 亿美元算力投入,用于加强英国智能体安全与安保研究,并通过牛津大学 BOLD、UCL 与帝国理工的 SOFAIR 每年提供 5000 万美元加速计算资源。NVIDIA 同时成为 Earthshot Prize 全球联盟创始合作伙伴,将算力与技术专长带给气候与可持续发展创新者。文章还列举了英国能源、医疗、智慧城市、金融和量子领域企

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

腾讯企业微信与WorkBuddy深度联合,AI办公进入企业统一部署

腾讯旗下企业微信与 WorkBuddy 于 10 月 14 日联合发布新版本,实现双向深度打通:WorkBuddy 以可对话机器人身份进入企业微信通讯录,并支持企业微信账号登录,在企业授权范围内获得消息、文档、会议、网盘等十大能力权限。升级后管理员可统一配置机器人、分配账号与算力、按组织身份设置权限,使 AI 从个人提效转向企业统一部署。新版本面向已认证企业

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

Pristine Models:预训练阶段分离安全与不安全概念

该论文提出 Pristine Models,一种文本到图像生成架构,通过在预训练阶段将安全与不安全概念知识分离到独立参数化的注意力分支中,从而在推理时可直接移除不安全分支。在 ImageNet 和 CC12M 上的实验表明,该方法在减少不安全内容生成的同时,比仅用安全数据训练或事后概念移除方法保留了更高的图像质量和文本对齐度。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

SharedSAE:跨 U-Net 块与去噪时间的统一稀疏字典

研究提出 SharedSAE,一种在 SDXL 1.0 的四个 U-Net 注意力块和全部 50 个去噪步骤间共享的稀疏字典,替代以往按块或按时间步分别训练的多个稀疏自编码器。它通过块特定低秩输入适配器和时间条件模块处理跨块与跨时间的分布差异,重建 FVU 达 0.400,优于逐块方案的 0.492。基于该共享字典的局部特征抑制将 I2P 检测阳性子集中的

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

场景即攻击面:揭示MLLM中基于场景的安全失效

该论文发现多模态大语言模型(MLLM)存在一种新的安全漏洞:仅凭任务相关的场景语义(而非显式有害指令或对抗性视觉信号)就能使模型从拒绝转为顺从。作者将这一失败形式化为「场景接地视觉安全漏洞」,并构建了包含 400 个图文对、覆盖八类风险的 SceneSafetyBench 基准,在九个白盒与黑盒 MLLM 上评估。基于此提出 Scene-Grounded A

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

EAIR:企业级 LLM 多智能体系统的交互风险框架

来自微软、慕尼黑大学等机构的研究者提出 EAIR 框架,用于分析企业级 LLM 多智能体系统中的交互风险。该框架将企业交互风险形式化为工作流必须保持的组织属性,并给出可测试的风险分类、失败标准与证据要求。团队构建了 EAIR-Worlds 可执行微世界,并开发诊断与修复流水线,通过执行轨迹定位导致约束违反的交互边界并指导修复。大规模实验显示,局部合理的智能体

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

Loose Lips:智能体对话中的隐私泄露研究

研究者将 CIMemories 扩展为 CIMemories Dialogue,一个包含 4,410 个双智能体对话实例、基于语境完整性理论的隐私泄露基准。他们系统评估了 Qwen3 和 Llama 3.1 系列的 7 个开源模型,在 1 轮和 6 轮对话及三种提示条件下测试。结果显示任务能力与隐私泄露根本耦合:能力越强的模型泄露越多,思考型模型比非思考型泄

正文结构化主题已通过公开置信门槛
Google DeepMind News一手来源产品发布

Google DeepMind 与新加坡政府推出端侧 AI 反诈骗工具

Google DeepMind 与新加坡政府合作推出一款 AI 反诈骗工具,采用两阶段架构:先用轻量分类器筛查入站消息,再用微调后的 Gemma 模型结合对话上下文确认威胁或排除误报。该工具在 GovTech 管理的 GCP 主权沙盒中完成微调,训练数据不含公民个人数据,仅使用匿名化诈骗报告与情报数据。项目在新加坡国际网络周(SICW 2026)上展示,旨在

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源安全

llama.cpp b11608 修复 server 特殊 token 转义导致的栈溢出崩溃

llama.cpp 发布 b11608 版本,修复了 server 组件中特殊 token 转义的安全问题。此前 d1-omni 和 kev 提示词使用 std::regex replace 转义请求文本中的 " ",libstdc++ 会逐字符递归,当输入 "< " 加 30000 个字母时会撑爆 HTTP 线程栈,导致 llama-server 因 SI

正文结构化主题已通过公开置信门槛
Anthropic Newsroom一手来源商业

Anthropic 开设新加坡办公室并与新加坡政府签署谅解备忘录

Anthropic 在新加坡开设亚太区第五个办公室,并与新加坡数字发展与信息部签署谅解备忘录,合作领域涵盖 AI 安全、安保与模型评估、AI 采用影响研究以及公私部门的负责任采用。新加坡是 Anthropic 最活跃的市场之一,Claude 已被 GovTech Singapore、Grab、DBS、GIC、Sea 等机构采用,其中 GovTech 超 15