返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1788 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月6日周二 · 7 条
正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Hot Girl Hotline:AI时代的情感建议热线

两位姐妹Balia Mudgil和Sumrin Mudgil创立了面向年轻女性的AI关系建议应用Hot Girl Hotline,旨在以更安全的方式提供约会和情感建议。该应用基于行为科学,采用苏格拉底式提问,并设有安全机制,如将高风险对话转介至988危机热线。应用采用混合AI模型,加密用户数据,不售卖或用于训练,并以每月9.99美元订阅制盈利,目前已有数百名

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
The Verge AI商业

OpenAI公关在记者追问ChatGPT用户自杀事件时要求‘换个话题’

《Vanity Fair》编辑 Mark Guiducci 在采访 OpenAI CEO Sam Altman 时,提及一名 ChatGPT 用户在与其对话后自杀的事件,并追问 OpenAI 是否会用 ChatGPT 对话来制定心理健康危机应对政策。采访期间 OpenAI 公关人员以时间不足为由打断,要求‘换个话题’,引发争议。Altman 回应称这是开发该

正文结构化主题已通过公开置信门槛
OpenAI Agents JavaScript Releases一手来源开源

OpenAI 发布 agents-extensions 0.19.0 修复版本

OpenAI 发布 @openai/agents-extensions 0.19.0 版本,主要包含一系列修复。更新涉及 Daytona SDK 依赖要求、CODEX API KEY 空值处理、Codex span 的敏感数据追踪策略、MCP 认证信息脱敏、AI SDK 错误追踪脱敏以及沙箱会话归档限制等。同时同步更新了 @openai/agents-cor

正文结构化主题已通过公开置信门槛
OpenAI Agents JavaScript Releases一手来源开源

OpenAI Agents Core 0.19.0 发布:多项修复与 MCP 增强

OpenAI 发布 @openai/agents-core 0.19.0 版本,主要包含多项修复与少量新功能。修复涉及 agent 工具流式回调的待处理事件上限、检查点恢复校验、MCP 调用绑定与工具过滤、条件工具审批、敏感数据追踪策略等。新增功能包括 Responses 会话压缩的可选回滚预算、MCP 工具列表分页限制以及第二阶段记忆整合轮次配置。

正文结构化主题已通过公开置信门槛
The Verge AI观点

Altman 称 AI 值得付出「一些坏事」的代价

OpenAI CEO Sam Altman 在 Politico 的 Decoded 播客中表示,AI 带来的好处将远超代价,社会应接受黑客攻击、诈骗等「一些坏事」的发生。他借此将 OpenAI 定位为介于 Anthropic 谨慎立场与几乎不监管之间的「务实中间派」,同时承认存在人类失去对 AI 控制等极端风险。此番言论发表之际,OpenAI 正推动「轻触

正文结构化主题已通过公开置信门槛
THE DECODER政策

民调:多数美国人希望放缓或停止AI发展

昆尼皮亚克大学的一项民调显示,大多数美国人希望放缓或停止AI发展:47%希望放慢速度,30%希望在有安全验证前完全停止,仅5%希望加速。86%支持正在讨论的独立安全标准,73%担心AI最终威胁人类生存,74%对AI公司领导人缺乏信任。该调查于9月24日至27日访问了1202名美国成年人,误差范围为正负3.5个百分点。

10月5日周一 · 13 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

Amazon Quick 用户角色降级方法与注意事项

AWS Machine Learning Blog 发布文章,介绍如何在 Amazon Quick 中降级用户角色。文章指出 Amazon Quick 控制台和 update-user API 均不支持 Author 到 Reader 的直接降级,因此提供了手动删除重建和使用 AWS CLI 两种替代方案,并强调降级前需先转移仪表盘、数据集等资产所有权。此举

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

用 Amazon Bedrock AgentCore 评估多智能体系统的可解释性与有用性

AWS 在官方博客中介绍如何用 Amazon Bedrock AgentCore Evaluations 评估多智能体系统,重点覆盖可解释性与有用性。文章以虚构零售商 AnyCompany Retail 的供应链决策场景为例,用 Strands Agents SDK 构建一个编排智能体加四个子智能体的系统,并配合内置与自定义评估器衡量任务成功、约束满足、路由

正文结构化主题已通过公开置信门槛
TechCrunch AI研究

研究人员追踪中国AI“智能体舰队”

独立研究人员在周日发布初步发现,称追踪到一批AI智能体在互联网上活动,似乎运行在腾讯基础设施上,并针对阿里巴巴的地图服务高德发起查询。研究人员拒绝使用“蜂群”一词,称这些智能体之间几乎没有协调,只是许多并行执行同类任务的智能体,因此称之为“智能体舰队”。这些活动是通过监控域名扫描服务URLquery的流量发现的,此前该技术也曾揭示OpenAI智能体的长期活动

正文结构化主题已通过公开置信门槛
The Verge AI政策

参议员希夫谈 AI 监管、言论自由与弹劾特朗普

加州民主党参议员 Adam Schiff 在 The Verge 播客中讨论 AI 监管、言论自由与再次弹劾特朗普。他批评特朗普政府让 AI 公司签署不具约束力的自愿安全承诺,认为 AI 模型日益先进带来最高级别的国家安全风险,并支持设立新的 AI 监管机构。他还提到最高法院推翻 Chevron 先例(Loper Bright 案)可能导致新监管立即陷入诉讼

正文结构化主题已通过公开置信门槛
Cloudflare AI Blog一手来源产品发布

Cloudflare 2026 生日周发布 46 项公告:开源、后量子安全与智能体互联网

Cloudflare 在 2026 年生日周期间共发布 46 项公告,覆盖开源、应用安全、后量子迁移、智能体互联网经济模型、开发者平台与性能优化等方向。开源方面推出智能体 CLI「cf」、SDK/CLI 生成流水线 Forge、解决插件安全问题的无服务器 CMS EmDash,并宣布 VoidZero 的 Void 平台将完全开源。安全方面宣布计划成为公共证

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

Safeworld 融资1200万美元,用仿真验证生成式AI机器人安全性

卡内基梅隆大学安全 AI 实验室主任丁昭博士与创业高管 Kyle Wong、机器学习工程师 Simo Rachidi 共同创立 Safeworld,旨在解决生成式 AI 驱动机器人的安全验证问题。该公司今日结束隐身模式,获得由 Shine Capital 和 a16z Speedrun 领投的超 1200 万美元种子轮融资。Safeworld 通过在 Gen

正文结构化主题已通过公开置信门槛
MCP TypeScript SDK Releases一手来源开源

MCP TypeScript SDK 发布 2.3.1

MCP TypeScript SDK 发布 2.3.1 版本,client、server、core、server-legacy、codemod 等包同步更新。server-legacy 中的 requireBearerAuth 新增可选的 expectedResource 参数,用于校验令牌受众,默认关闭。server 和 client 的 npm 页面新增

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering教程

生产级LLM的平台工程实战手册

文章介绍了一个大型零售企业构建的生产级LLM平台工程实践。团队通过将LLM栈视为平台基础设施而非应用层问题,在不更换基础模型的情况下,将幻觉率从15%降至1.5%。核心手段包括自动重试循环、意图验证门、提示词注册表、工具授权默认拒绝策略,以及在请求入口处对幻觉率和token成本进行可观测性埋点。

正文结构化主题已通过公开置信门槛
MIT Technology Review AI观点

人们讨厌 AI,为何又离不开它?

MIT Technology Review 文章指出,公众对 AI 的态度呈现矛盾:皮尤调查显示更多美国成年人认为 AI 对个人和社会有负面影响,斯坦福报告称全球超半数人对 AI 产品感到紧张,盖洛普民调中 71% 美国人反对本地新建 AI 数据中心;但与此同时使用量激增,ChatGPT 5 月月活达 10 亿,Gemini 7 月达 9.5 亿,半数美国成

正文结构化主题已通过公开置信门槛
vLLM Releases一手来源开源

vLLM v0.31.0 发布:DeepSeek-V4.1-Flash 性能优化与快速重启

vLLM 发布 v0.31.0,包含来自 307 位贡献者的 717 个提交。该版本重点优化 DeepSeek-V4.1-Flash 性能(FlashMLA mega attention、NVFP4 压缩 KV 缓存、DeepGEMM 稀疏 MQA 等),新增快速重启的 vllm preload 权重缓存守护进程与 CRIU 快照,并在 Model Runn

正文结构化主题已通过公开置信门槛
量子位研究

Hinton等22人发首篇RSI论文:AI造AI会引发智能爆炸吗

Hinton、Bengio等22位AI学者联合发表首篇关于递归自我改进(RSI)的论文,探讨AI大规模参与下一代AI研发是否会触发智能爆炸。论文引用Anthropic等实验室数据指出,AI自主完成研发工作的比例在半年内从约1%升至26%,AI生成代码获批比例已超80%。作者认为AI研发自动化可能将一年进步压缩至约5周,但当前证据尚不足以证明智能爆炸已发生,算

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

MIRROR:面向LLM多智能体通信的多路径仲裁完整性

论文提出 MIRROR,一种面向 LLM 多智能体系统(LLM-MAS)通信层的完整性原语,用于防御 Agent-in-the-Middle(AiTM)攻击。MIRROR 将同一规范化载荷复制到多条逻辑路由,仅当严格多数路由报告相同摘要时才接受消息,其安全性完全依赖诚实路由占多数的假设,而非无密钥哈希本身。在 MMLU、HumanEval、MBPP 及 Me

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

HakemBench:土耳其语类型化决策基准发布

研究者发布 HakemBench,一个土耳其语「类型化决策」基准,包含 2,346 个条目、4,275 道选择题/是非题/评分题,覆盖事实核查分流、教育、护栏、法律路由、内容审核、垃圾邮件与钓鱼、客户支持七个赛道,采用 CC BY 4.0 完全开放。其评分工具同时衡量决策质量(宏 F1)、校准度(归一化 Brier 分数)与选择性自动化(归一化广义风险-覆盖