返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1784 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月4日周三 · 13 条
正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM v1.108.0 发布:镜像签名验证与多项修复

LiteLLM 发布 v1.108.0,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 的两种验证方式。该版本集中修复了 A2A 协议、Bedrock、Anthropic、Azure AI、代理透传、视频与文件路由等多处问题,并新增 Azure AI Entra ID/OAuth 认证

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

10万智能体已运行:CNCC专家激辩智能体安全失控挑战

在CNCC 2026智能体安全专题论坛上,来自蚂蚁集团、华为、上海人工智能实验室及CCF的专家指出,智能体已大规模进入生产系统(蚂蚁运行超10万个、华为部署数千个),但安全体系严重滞后。于锐介绍了中国以GB/T 185国标和强制性标准推动智能体身份标识与分级授权,最高法亦出台AI纠纷责任划分意见。韦韬、胡侠、肖亚军等分别警示自然语言载体缺陷、内生与衍生风险、

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM 发布 v1.109.0-rc.1:镜像签名验证与多项修复

LiteLLM 发布 v1.109.0-rc.1 候选版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit 哈希和 release tag 两种验证方式。该版本包含大量修复与功能更新,涉及代理错误类型、PDF 页面计费、流式响应重建、批处理 token 统计、成本映射更新、MCP 路由权限、新增 CLF AI Gatewa

正文结构化主题已通过公开置信门槛
Ray Releases一手来源开源

Ray 2.60.0 发布:默认 shuffle v2、Serve 滚动更新与安全修复

Ray 发布 2.60.0 版本,将 shuffle v2 设为 join 和聚合的默认策略,并让 Parquet 读取基于行组元数据精确打包读取任务。Ray Serve 新增 max surge percent 滚动更新参数,并在新副本持续失败时保留旧副本可路由。安全方面,Ray Data 在所有反序列化外部 Arrow 数据的读取器中拒绝 pickle

正文结构化主题已通过公开置信门槛
TechCrunch AI研究

Anthropic 研发 FlashProve 系统,用密码学证明 AI 模型身份

Anthropic 于周二发布博客,宣布正在研发开源系统 FlashProve,通过密码学证明验证某段输出确实来自特定 AI 模型,类似邮件数字签名,可防止模型冒充。系统要求 AI 实验室发布不泄露模型权重的模型「指纹」,并设计为轻量级、可在本地设备验证,从而也适用于闭源商业模型。研究者同时公开了技术规范与部分代码,但强调研究仍在进行,暂无在 Anthrop

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

Ballistic Ventures 拟募资 4.9 亿美元,押注 AI 网络安全热潮

由前 Kleiner Perkins 合伙人 Ted Schlein 联合创立的网络安全风投公司 Ballistic Ventures 本周向美国 SEC 提交文件,计划通过两只新基金募集 4.9 亿美元,其中第三只旗舰基金目标 3.6 亿美元,与 2024 年上一只基金规模持平,另有 1.3 亿美元的 Fund B。此举正值 AI 推动网络攻击升级、AI

正文结构化主题已通过公开置信门槛
OpenAI Python SDK Releases一手来源API 更新

OpenAI Python SDK v3.44.0 新增工作负载身份与联邦规则

OpenAI 发布 Python SDK v3.44.0,新增工作负载身份提供方(workload identity providers)与联邦规则(federation rules)两项 API 功能。该更新面向使用 OpenAI API 的开发者,扩展了身份与访问管理能力。

正文结构化主题已通过公开置信门槛
智东西研究

Gartner发布2027十大技术趋势:非文本AI居首,Harness成1-3年重点

Gartner研究副总裁高挺在媒体交流会上解读了《2027年十大战略技术趋势》报告,列出大型定量模型、语音推理模型、世界模型、AI上下文平台、编码智能体框架、AI智能体身份、自主式暴露修复、主权技术、可抛弃型应用和湿件即服务十大趋势。报告认为这些趋势聚焦非文本AI能力扩展、智能体治理体系建设与技术持久敏捷性,并预测到2028年采用编码智能体框架的企业软件缺陷

正文结构化主题已通过公开置信门槛
Microsoft Research Blog一手来源观点

微软研究员谈黑客思维与AI网络安全

微软研究院研究经理 Mike Walker 在微软研究院播客中讲述自己从黑客文化走向网络安全的职业经历,包括他此前领导 DARPA 网络大挑战(Cyber Grand Challenge)——该赛事展示了能自动发现并修补软件漏洞的自主 AI 系统,今年迎来十周年。他目前负责 AI、网络安全与大规模分布式系统交叉领域的研究,并讨论了安全系统中用户信任与社会规则

正文结构化主题已通过公开置信门槛
The Verge AI政策

Google 对拒绝 AI 的学校完全关闭搜索

Google 向《纽约时报》证实,对于拒绝启用其 AI 功能的学校,将完全关闭 Google Search。Google 在周二的教育相关更新中表示,K-12 学生账户对 Gemini、Gemini Notebook、Gemini in Classroom 和 Google Search 的访问将默认关闭,除非管理员明确开启。管理员无法在保留 Search

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

Bedrock AgentCore Gateway 实现 ServiceNow 代表用户令牌交换

AWS 博客介绍如何通过 Amazon Bedrock AgentCore Gateway 配置代表用户(OBO)的令牌交换,使 AI 代理在调用 ServiceNow REST API 时保留发起用户的身份。方案涉及 Microsoft Entra ID 的两个应用注册(AI 代理与 ServiceNow API 连接器)以及 ServiceNow 入站

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

用 EDB Postgres AI 与 Bedrock AgentCore 构建智能体语义层

AWS Machine Learning Blog 发布教程,介绍如何用 EDB Postgres AI 和 Amazon Bedrock AgentCore 为智能体 AI 构建语义层。方案把业务语义(COMMENT 语句、外键连接图、GRANT 与行级安全)直接放在运营型 Postgres 数据库内,通过内置 MCP 端点暴露给运行在 AgentCore

正文结构化主题已通过公开置信门槛
TechCrunch AI政策

Google 允许学校禁用 AI 工具,但代价是失去搜索

Google 宣布从明年起,K-12 学校必须由管理员主动开启才能使用其 AI 工具,否则 Gemini、NotebookLM、Gemini in Classroom 及 Google Search 中的 AI 功能将默认关闭。由于 AI 功能已深度整合进搜索引擎,选择完全禁用 AI 的学校将同时失去 Google Search 访问权限。此举凸显 Goog

11月3日周二 · 7 条
正文结构化主题已通过公开置信门槛
The Verge AI商业

2026中期选举:科技行业关注的议题与动向

The Verge AI 汇总了2026年美国中期选举中与科技行业相关的议题,包括数据中心建设引发的当地反对、AI安全监管、监控技术扩张以及加州亿万富翁财富税。OpenAI 设立了选举运营中心以打击选举虚假信息,成为首家采取此类行动的主要 AI 公司。多个科技界支持的超级政治行动委员会已投入巨额资金参与选战,Meta 则通过特殊股权安排阻止扎克伯格因加州税收

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

ViuAI 开源 500M 参数 DPO 对齐小模型 Sarus-500M

ViuAI Research 发布并开源了 ViuAI Sarus-500M,这是一个从零训练、经 SFT 与 DPO 对齐的 4.95 亿参数小型语言模型,采用 GQA、RoPE、RMSNorm 等架构,上下文长度 2048,模型体积约 944MB。该模型面向边缘设备和 CPU/GPU 轻量部署,提供 Apache-2.0 许可及免 transformer

正文结构化主题已通过公开置信门槛
TechCrunch AI政策

苹果新规:约会应用与AI陪伴应用须限18岁以上

苹果周一宣布调整 App Store 政策,要求所有提供约会或恋爱关系功能的应用必须标注 18+ 年龄分级,并从 11 月 16 日起强制开发者添加新的内容描述符,以更严格地限制未成年人使用约会应用和涉及性/浪漫内容的 AI 陪伴应用。该政策延续了苹果此前推出的全球年龄验证技术和家长控制等儿童保护措施,可能影响 Character.AI、Replika 及

正文结构化主题已通过公开置信门槛
THE DECODER商业

OpenAI 聘请前陆军部长,中期选举前拓展两党关系

OpenAI 聘请前美国陆军部长 Dan Driscoll 担任「国家安全现代化高级顾问」,负责与政府、产业、学界及盟友合作,以 AI 强化国家安全与网络防御。Driscoll 曾任美国陆军第 26 任部长,主导过 Project ARIA 等军队 AI 现代化项目,并与国会两党及副总统 JD Vance 关系密切。此举被视为 OpenAI 深化国防业务、争

正文结构化主题已通过公开置信门槛
MIT Technology Review AI研究

逆向博弈论能否约束AI智能体

MIT Technology Review 报道,AI 对齐研究者开始探索用「逆向博弈论」(机制设计)约束 AI 智能体:不再试图理解模型内部,而是设计规则让守规成为最理性的选择。MIT 经济学家 Stephen Morris 等提出通过交叉验证、智能体互相对抗或配对偏置相反的模型来防止「放水」;普林斯顿的 Elad Hazan 则借鉴人类社会规范,让模型轮

正文结构化主题已通过公开置信门槛
THE DECODER安全

OpenAI 将漏洞赏金最高提至 17.2 万美元并启动安全冲刺

OpenAI 宣布将漏洞赏金计划最高奖励提升至约 17.2 万美元,其中 ChatGPT、Codex 等核心产品的严重漏洞最高可获 3 万美元,特别发现可达 10 万美元,叠加质量、忠诚度和活动奖金后总额约 17.2 万美元。公司还新增五级忠诚度计划和限时活动奖励,并对过去 30 天内报告漏洞的研究者追溯补发新旧费率差额。同时,OpenAI 将联合安全公司

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

香港大学发布全球首个KYA报告,聚焦智能体信任体系建设

香港大学副校长汪扬与经管学院副教授杨宏代表KYA课题组,在香港金融科技周发布全球首个KYA(Know Your Agent)报告《KYA:智能体信用体系研究报告》。报告基于109份从业者问卷及Stripe、蚂蚁数科等近十个企业案例,提出智能体成熟度模型、KYA框架与智能体发展指数,并探讨“智能体信任资本”的经济价值。报告指出76%受访企业存在智能体信任顾虑,