返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1786 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月20日周二 · 7 条
正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM 发布 v1.104.4:镜像签名验证与多项修复

LiteLLM 发布 v1.104.4 版本,所有 Docker 镜像均使用 cosign 签名,用户可通过固定 commit hash 或 release tag 验证镜像签名。该版本修复了 guardrails 配置加载、代理的团队级批量模型访问、token 计数兼容性(含 Google 请求)及旧版 token 计数输入优先级等问题。

正文结构化主题已通过公开置信门槛
TechCrunch AI政策

纽约市长马姆达尼批评联邦AI监管缺位,呼吁市民抵制

纽约市长佐兰·马姆达尼在AI Now Institute主办的“人民AI大会”上与活动人士伊拉娜·格雷泽对谈,呼吁纽约人抵制AI必然取代工作、影响儿童心智的叙事,主张由地方政府问责AI公司。他此前已下令禁止小学和初中使用AI,并推出房产挂牌AI生成图像披露政策。他批评联邦政府在AI监管上“完全缺位”,并援引美军依赖AI targeting导致伊朗学校遭袭的事

正文结构化主题已通过公开置信门槛
TechCrunch AI观点

Hugging Face 政策负责人:嵌入式 AI 评估者并非易解方案

Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,当前 AI 模型评测方法仍不成熟,可复现性存疑,评测之间难以有效比较,且失效速度快。她指出业界对「嵌入式评估者」(第三方观察员进驻 AI 机构)需求旺盛,但评估者资质标准亟需统一;同时评测对象正从模型本身扩展到包含 harness 与 age

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

微软推出 Guardian Agents,称前沿模型不可信任

微软推出 Guardian Agents 等新安全功能,用于监控企业内部的 AI 智能体,并将其类比为“内部威胁”。微软 CEO 纳德拉和安全业务负责人表示,前沿模型不可信任,企业应将智能的供给与对智能的授权分离。微软同时在 Defender 中加入智能体检测,可识别 Claude Code、Codex 等 60 类智能体,并限制其数据访问与权限。

正文结构化主题已通过公开置信门槛
TechCrunch AI安全

OpenCode 遭黑客入侵,用户 AI 账户被刷出高额费用

开源 AI 编程工具 OpenCode 披露,攻击者夜间入侵其旧系统,影响 OpenCode Console 在线平台 1.4% 的用户,这些用户在该平台存放访问 AI 服务的 API 密钥。部分开发者报告 OpenAI、Anthropic、Google 账户出现数百至上千美元未授权扣费,三家厂商已封禁相关密钥,OpenAI 表示配合恢复访问并退款。Open

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

AI 陪伴应用 Tolan 获 3000 万美元融资

AI 陪伴应用 Tolan 完成 3000 万美元新融资,投资方包括 Union Square Ventures、Khosla Ventures 和 Homebrew,累计融资额翻倍,估值据 PitchBook 估计超过 2.68 亿美元。Tolan 通过卡通角色为用户提供日常事务、情绪与目标管理支持,采用分级会员订阅收费,年经常性收入已达数千万美元级别,拥

正文结构化主题已通过公开置信门槛
MIT Technology Review AI观点

“我们看错了”:颠覆AI界的爆炸性主张

Goodfire 研究员 Nick Cammarata 发布约 2.6 万字博客,提出大语言模型内部机制可能比此前认为的更容易理解、监控和控制,引发 AI 圈热议,有人称其为年度最重要 AI 论文。斯坦福的 Chris Potts 等研究者则质疑这只是一个直觉猜想,并未真正降低理解 LLM 的难度。该主张若成立,将有助于应对 OpenAI、Anthropic

10月19日周一 · 9 条
正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源商业

NVIDIA 推进媒体智能体安全:EBU 主权框架与 Adobe 视频搜索加速

在柏林一场由 Adobe、贝塔斯曼、NVIDIA 和 UFA 共同主办的创意产业活动上,NVIDIA 宣布了两项面向媒体行业的智能体安全与效率进展。欧洲广播联盟(EBU)与 NVIDIA 扩展其主权框架,引入主权云提供商、开放模型开发者和系统集成商,帮助广播机构在部署智能体时保持对数据、基础设施、模型和安全的控制。Adobe Frame.io 则利用 NVI

正文结构化主题已通过公开置信门槛
THE DECODER政策

德国两法院裁定谷歌须为AI搜索摘要内容担责

德国亚琛地方法院在一起临时禁令中裁定,谷歌须为其AI搜索摘要中的虚假内容负责,禁止其继续传播关于一名医生的不实指控。法院援引慕尼黑地方法院此前的裁决,认定AI生成的文本属于谷歌自身的陈述,而非第三方网站的链接,因此谷歌需直接担责。谷歌此前在慕尼黑案中上诉后又和解,未形成上级法院判例,但亚琛法院再次采用相同逻辑,若该法律观点被确立,影响可能远超个案,波及AI搜

正文结构化主题已通过公开置信门槛
The Verge AI安全

黑客用 AI 代理集群攻破 John Deere 等百余网站

AI 安全公司 Norforge 发现,一名黑客利用开源 AI 平台 Cairn 编排大量 AI 代理,在约 23 小时内自主攻破 100 多个网站,受害者包括 John Deere、SharkNinja 和 Cummins。Norforge 还发现 20 多个疑似恶意的 Cairn 实例,正推动将其下线。Cairn 创建者回应称该平台并非黑客工具,滥用属于

正文结构化主题已通过公开置信门槛
The Verge AI政策

民主党人认为严管AI或成中期选举优势

美国中期选举临近,民主党人认为在AI议题上采取强硬监管立场可能成为其竞选优势。民调预测民主党有望夺回国会至少一院,从而掌握委员会领导权,可传唤AI公司CEO作证并要求提供内部文件。民主党超级政治行动委员会Tomorrow Together已投入400万美元广告,攻击共和党在AI议题上脱离选民;加州州长纽森和宾州州长夏皮罗等中间派民主党人也对AI采取更强硬立场

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

Git 被换掉,LLM 被替代:AI 编码开始反噬传统工具链?

Anthropic 因 Claude 持续生成代码导致提交量从每天约 2500 项增至超 3 万项,7 名工程师耗时 5 个月开发出版本控制系统 Scion 并迁移核心仓库,使基础设施 CPU 和内存需求缩小约 200 倍、检出从分钟级降至秒级。GitHub 用微调后的 ModernBERT 替换密钥扫描中的通用 LLM,线上扫描执行时间中位数下降 86%、

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

多智能体系统中涌现的歧视与极化

该研究从理论上探讨学习型智能体群体中歧视与极化如何涌现。每个智能体用自适应线性决策层将语言模型嵌入映射为二元观点,并维护对其他智能体的信任估计,通过基于贝叶斯规则的成对交互更新权重与信任;大语言模型的上下文学习实验定性复现了预测的观点与信任更新。作者为智能体分配任意群体标签并引入偏见强度,利用统计力学序参量发现四种集体状态:无歧视极化、有观点对齐的歧视、无观

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

RealCLI:面向 CLI 智能体人机协作的统一评估基准

论文提出 RealCLI,一个配对基准,用于在真实 CLI 任务上统一评估任务执行效果与人机协作质量。它构建了五维协作框架(可理解性、可引导性、观察与恢复、信任校准、安全与风险意识),细化为 22 个子维度和 51 个交互场景模板,并提供两种模式:RealCLI-EXEC 预先给出完整规格,RealCLI-COLLAB 由脚本化用户逐步提供信息、纠正和授权决

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

OpenAI 确认研发人形机器人;DeepSeek V4.1 Flash 更新;OpenCode 遭入侵

OpenAI CEO 奥尔特曼在播客中确认公司将亲自研发人形机器人,强调核心是打造驱动机器人运转的“大脑”而非外观。同日,DeepSeek 发布 V4.1-Flash-1017 版本,通过自反馈强化学习提升从零构建项目能力,多数场景 Token 用量下降逾 50%,API 新增 Search 与 Fetch 接口。英伟达通过 vLLM 上游优化使 Kimi

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

迪士尼同意聘用Character.AI多数员工

聊天机器人初创公司 Character.AI 本周申请破产后,迪士尼同意以 2000 万美元收购其部分资产,并向至少 60 名员工(占员工多数)发出聘用邀约,预计年薪总额约 6000 万美元。Character.AI 前 CEO Karandeep Anand 已出任迪士尼首位 CTO。该公司虽拥有庞大活跃用户群,但受高成本、诉讼责任和监管调查拖累,此次交易

10月18日周日 · 4 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM 发布 v1.107.0-rc.1:镜像签名验证与多项 MCP、计费修复

LiteLLM 发布 v1.107.0-rc.1 候选版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit 哈希和 release tag 的两种验证方式。该版本包含多项修复与功能更新,涉及 MCP 网关 OAuth 作用域、Anthropic 自适应思考参数处理、代理层 agent access default deny

正文结构化主题已通过公开置信门槛
vLLM Releases一手来源开源

vLLM 发布 v0.32.0:新增结构化决策端点与低精度 KV cache

vLLM 发布 v0.32.0,包含来自 363 位贡献者的 814 次提交。该版本新增 POST /v1/systemone 结构化决策端点与通用 hf 工具/推理解析器,将低精度 KV cache 扩展至 NVFP4、FP8 等多种硬件平台,并推出 Model Runner V2 的多项能力。同时修复三个 GHSA 安全漏洞,并包含移除 Python 3

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM v1.106.0 发布:镜像签名验证与 MCP 默认禁用

LiteLLM 发布 v1.106.0,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。该版本包含多项变更:默认禁用 stdio MCP 服务器(破坏性变更)、新增一键启动 gateway/Postgres/管理界面的 Docker quickstart、新增 Laya