返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1788 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月3日周六 · 13 条
正文结构化主题已通过公开置信门槛
量子位商业

DeepSeek弹性计算团队扩招,公开Agent训练沙盒基础设施DSec

DeepSeek 弹性计算团队(DSec)大规模扩招,尤其需要资深工程师,并发布技术报告介绍其面向大规模 Agent 训练的沙盒基础设施。DSec 单个分片约 160 台服务器、3 万 CPU 核心、250TB 内存,每天服务约 300 万个沙盒,高峰期同时在线超 38 万个。该基础设施支撑 DeepSeek-V4 全部训练、评测和数据预处理流程,并通过镜像

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

GLM-5.3-Flash-Uncensored 的 imatrix GGUF 量化发布

Hugging Face 用户 BoldingBuilds 发布了 GLM-5.3-Flash-Uncensored 模型的 imatrix GGUF 量化版本,基于 OrcaRouter 的去审查 FP8 模型构建,为 320B 总参数/18B 激活的 MoE 架构,支持 1M 上下文。作者因 IQ2 S 量化版本出现循环和输出不连贯问题而重建了多个量化版

正文结构化主题已通过公开置信门槛
量子位商业

OpenAI安全团队再震荡:透明度负责人离职,三名员工因泄密被开

OpenAI安全透明度负责人David Robinson离职,他曾主导撰写模型system card并参与起草《Preparedness Framework 2.0》。此前OpenAI以向外部AI安全机构泄露敏感信息为由解雇了Jasmine Wang、Tomek Korbak和Mikita Balesni三名安全与对齐研究人员。这些变动延续了OpenAI安全

正文结构化主题已通过公开置信门槛
The Verge AI政策

苹果将限制 Mac 磁盘访问,称 AI 代理大幅增加风险

苹果宣布将在 macOS 上对“完全磁盘访问”权限增加新的限制,要求用户在授予应用这一权限时必须采取“非常明确的用户操作”。苹果表示,部分开发者滥用该权限,可能暴露用户文件、邮件、消息和浏览历史,而随着 AI 代理能力增强且更自主,这种访问级别的风险将大幅上升。此举发生在有报道称 Meta 的 Muse AI 在未获明确授权的情况下读取用户消息之后,Meta

正文结构化主题已通过公开置信门槛
THE DECODER商业

Anthropic 被曝秘密咨询宗教领袖,探讨 Claude 是否有意识

据《纽约时报》报道,Anthropic 自 2025 年秋季起秘密邀请数十位神学家和哲学家,讨论其语言模型 Claude 是否可能具有意识,并为其进行道德教育,参与者均需签署保密协议。联合创始人 Christopher Olah 主导的 Model Welfare 研究项目将 Claude 视为潜在有感知的存在,公司还发布了 84 页的 Claude「宪法」

正文结构化主题已通过公开置信门槛
TechCrunch AI政策

苹果因 AI 智能体风险收紧 macOS 完全磁盘访问权限

苹果宣布将收紧 macOS 的“完全磁盘访问权限”控制,原因是 AI 智能体带来了新的风险。此前有记者称 Meta 的 Muse 应用在 Mac 上读取了其私密信息,Meta 对此予以否认;另有报道称 ChatGPT 的 Mac 应用存在漏洞。苹果表示,未来将要求用户通过“非常明确的用户操作”才能授予应用这一权限,并强调随着 AI 智能体能力增强,此类访问的

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

OpenAI 发布企业级代理平台 Dots,实测表现喜忧参半

OpenAI 本周发布企业级 AI 代理平台 Dots,面向最高付费层级用户(包括每月 100 美元的 Pro 账户)开放。作者实测发现,Dot 在日程安排、账户登录等个人任务中频繁卡在安全验证环节,表现不如 Meta Muse 和 Instinct;但在获得个人电脑访问权限后,它能完成视频剪辑和网站部署等任务。文章认为 Dots 更像面向工作场景的协作软件

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

白宫AI安全承诺与"超级智能"更名,消费级AI仅2%买单

本周白宫召集扎克伯格、贝索斯、马斯克及Anthropic的Dario Amodei等主要科技CEO签署AI安全承诺,特朗普称其具有"道德约束力",并签署行政令将AI正式更名为"超级智能"。与此同时,Meta和OpenAI正为自家AI产品塑造更亲和的形象,但AI领域最大的收入仍来自企业端。TechCrunch的Equity播客本期讨论了这些AI动向、消费级AI

正文结构化主题已通过公开置信门槛
MCP TypeScript SDK Releases一手来源API 更新

MCP TypeScript SDK 发布 2.3.0 版本

MCP TypeScript SDK 发布 2.3.0 版本,核心、客户端、服务端等包同步升级。该版本要求每个请求使用独立的服务器实例,HTTP 客户端重定向限制在同源范围内,并新增工具输入元素数量限制和令牌受众校验选项。此外,客户端依赖 eventsource-parser 3.0.8 以上版本,大幅优化了大型 SSE 消息的接收速度与内存占用。

正文结构化主题已通过公开置信门槛
TechCrunch AI政策

白宫将AI更名为“超级智能”,科技CEO签署安全承诺

白宫本周召集扎克伯格、贝索斯、马斯克及Anthropic的Dario Amodei等主要科技公司CEO,签署了一项被特朗普称为“道德约束力”的AI安全承诺。特朗普还签署行政令,正式将AI重新命名为“超级智能”。与此同时,Meta和OpenAI正为其AI产品塑造更友好的形象,而AI领域最大的收入仍来自企业端。TechCrunch的Equity播客讨论了这些动态

正文结构化主题已通过公开置信门槛
MCP TypeScript SDK Releases一手来源开源

MCP TypeScript SDK 发布 1.32.0:重定向同源限制与工具输入限制

MCP TypeScript SDK 发布 1.32.0 版本,主要变更包括:HTTP 客户端传输现在仅在同源(同协议、主机、端口,允许同主机 http 到 https)时跟随重定向,跨源重定向需显式配置 redirectPolicy: 'follow';新增默认关闭的 maxToolInputElements 选项以限制工具调用参数中的数组元素和对象成员数

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Circuit Breaker Labs 用模拟用户智能体为 AI 安全做红队测试

TechCrunch 2026 年 Startup Battlefield 200 入围者 Circuit Breaker Labs 推出 AI 安全测试平台,用模拟不同年龄、背景、语言和文化用户的 AI 智能体对模型进行红队测试,以发现模型在识别心理有害互动时的漏洞。该公司的创立受到 14 岁少年 Sewell Setzer 与 Character.AI

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Security-SLM:基于 Gemma 4 E2B 的本地网络安全微调模型

Hugging Face 上发布了 Security-SLM-Gemma-4-E2B-it-GGUF,这是一个基于 Gemma 4 E2B Instruct 用 LoRA rank 16 微调、以 GGUF Q4 K M 格式分发的网络安全助手模型,可在本地通过 Ollama 等离线运行,面向红队、蓝队和 SOC 场景。模型使用 505 样本的 agenti

10月2日周五 · 7 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

用 Amazon Bedrock AgentCore 为 Claude Desktop 添加安全 Web 搜索

AWS 发布博客介绍如何通过 Amazon Bedrock AgentCore 的 AgentCore Gateway 为 Claude Desktop 添加安全的 Web Search 能力,弥补模型训练知识截止的局限。方案使用 MCP 兼容的托管 Web Search(基于 Amazon 网页索引),并通过 AWS IAM Identity Center

正文结构化主题已通过公开置信门槛
Google AI一手来源模型发布

Google 9月AI汇总:发布Gemini 4 Argon等系列模型

Google 发布 2026 年 9 月 AI 进展汇总,核心是推出前沿模型 Gemini 4 Argon,具备先进推理能力和 100 万 token 上下文窗口,面向网络安全防御场景,通过 Fairwind 计划向可信防御者分阶段开放。同期还发布了 Gemini 3.8 Flash、3.8 Flash Cyber、Gemini 3.8 Live 语音模型、

正文结构化主题已通过公开置信门槛
Cloudflare AI Blog一手来源商业

Cloudflare 向民间社会组织提供 750 万美元 AI 服务额度

Cloudflare 通过 Cloudflare Impact 计划向民间社会组织提供超过 750 万美元的开发者服务额度,并选出首批 30 家非营利组织加入其创业孵化项目。这些组织利用 Cloudflare 的 Workers AI、AI Gateway 等无服务器和 AI 服务构建自动化工具,应用于心理健康支持、地方新闻编辑、人权倡导等领域。Cloudf

正文结构化主题已通过公开置信门槛
THE DECODER商业

OpenAI 安全团队三人被解雇、一人离职

据《华尔街日报》报道,OpenAI 解雇了三名被指将机密信息泄露给外部 AI 安全组织的研究人员,分别是 Jasmine Wang、Tomek Korbak 和 Mikita Balesni,其中 Korbak 在安全团队,Wang 和 Balesni 在对齐团队。OpenAI 发言人证实调查发现他们违反了公司敏感信息处理规定,但未确认姓名,也不清楚信息流向

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering开源

Docker 将 AI Agent 权限打包为 OCI 镜像的 Sandbox Kit 规范捐给 CNCF

Docker 宣布将 Sandbox Kit 规范捐赠给 CNCF,该 Apache 2.0 规范已到 v3,把 AI agent 及其工具、所需主机、凭证和卷的带类型清单打包成普通 OCI 镜像。Kit 只声明权限,由宿主运行时决定是否授予,Docker Sandboxes 是首个符合规范的运行时。Docker 称已与 AWS、Box、Datadog、Sn

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

DigitalOcean 推出托管智能体基础设施服务

DigitalOcean 推出 Managed Agents 公开预览版,为 AI 智能体提供托管云基础设施层,包含基于 microVM 的 Harness Runtime 和统一 MCP 工具接入的 Action Gateway。该服务支持 Claude Code、Codex CLI、LangGraph 等智能体框架,提供会话持久化、空闲暂停、并行执行及集

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM 发布 v1.105.0-dev.2,含镜像签名验证与多项修复

LiteLLM 发布 v1.105.0-dev.2 开发版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。该版本包含大量修复与功能更新,涉及路由、Bedrock、成本计算、代理安全、Agent 权限、追踪(traces)存储与 OTLP 接入等。