返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1791 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月13日周四 · 13 条
正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

中国大厂缺席赞助却主导IJCAI 2026:符号推理成新焦点

IJCAI 2026 将于 8 月在德国不莱梅举行,中国机构论文贡献比例未因 CCF 评级下调而下降,反而在知识表示、规划等符号推理方向占比显著。中国企业如蚂蚁、美团、京东、腾讯等虽未赞助,但深度参与技术研究,聚焦可解释性、组合优化、逻辑强化学习等方向。会议风向标包括多智能体协作、神经符号计算和可解释性安全,反映产业界从参数竞赛转向逻辑攻坚。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

AdvNav:黑盒攻击揭示视觉语言导航系统的潜在安全风险

香港科技大学(广州)陈昶昊教授团队提出 AdvNav,这是首个面向视觉语言导航任务的黑盒行为引导对抗攻击框架,无需访问模型内部参数,仅通过观察智能体行为即可生成扰动。在 R2R 数据集上,AdvNav 对 HAMT 和 MapGPT 模型分别取得 49.70%、65.96% 和 87.30% 的攻击成功率,揭示了当前视觉语言导航系统普遍存在的视觉脆弱性。该研

正文结构化主题已通过公开置信门槛
量子位研究

Ilya首个模型曝光:SSI探索测试时训练,8月或亮相

据量子位报道,前OpenAI首席科学家Ilya Sutskever创办的SSI公司被曝正在开发基于测试时训练(TTT)的小型推理引擎,该模型能在推理过程中更新权重,实现持续学习。爆料称当前版本可能于8月向少数用户开放,且英伟达已与SSI达成战略合作并投资,算力将提升10倍。若属实,这将是SSI成立两年来的首个模型,可能改变AI训练范式。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

OpenART:通过开放式环境演化扩展智能体红队测试

OpenART 是一个用于可扩展智能体红队测试的开放竞技场,通过环境演化来评估长周期 AI 智能体的安全性。它提供了超过 10,000 个跨 50 个领域的验证状态场景,并提出了 EMHA 攻击策略,该策略在无需参数更新的情况下实现了 85.0% 的总体攻击成功率。研究表明,随着任务复杂度的增加,环境演化能更有效地暴露安全失败,且智能体的运行时实现对其安全性

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

重新思考代理安全:作为网络问题

本文提出将AI代理安全视为网络问题,主张采用确定性执行与上下文感知过滤相结合的网络架构,以解决现有代理中心防御的局限性。作者认为,依赖LLM推理的防御易受提示注入等攻击,无法提供强安全保证,而网络侧控制可提供更可靠的保障。文章还提出了参考架构,并指出了未来研究方向。

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

TRACES基准:评估大语言模型科学推理的认知可靠性

TRACES 基准测试通过 42 篇撤稿、欺诈或伪科学论文,评估大语言模型在科学推理中的认知可靠性。测试发现,30 个模型在 71% 以上的智能体探针中失败,22 个模型失败率超过 90%,表明模型拒绝不可靠前提的能力主要基于主题安全行为而非真正的认知能力。该研究呼吁为科学部署的语言模型建立防护基础设施。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

超越记忆:面向长期 AI 代理的事务性连续性内核

本文提出了一种名为 Continuity Kernel (CK) 的激活契约,用于管理长期运行的 AI 代理的状态治理。CK 将候选评估与原子状态激活分离,通过短事务验证所有权、预状态权限、新鲜度和效果唯一性,并记录提交、拒绝、隔离或延迟四种处置。该协议通过有界可执行模型验证,覆盖 2,808,230 个可达状态和 5,526,474 个状态转换,未发现不变

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

ToolHazard:扩展对抗环境以评估和提升LLM代理安全性

ToolHazard 是一个可扩展的对抗性环境合成框架,用于测试 LLM 代理对间接提示注入的脆弱性。该框架通过环境模拟器、攻击代理和用户模拟器生成可执行的状态化环境,并构建了 ToolHazard-Bench 基准。实验表明代理存在显著脆弱性,且注入时机和位置影响攻击效果。ToolHazard 生成的对抗数据能提升代理在 ToolHazard-Bench

正文结构化主题已通过公开置信门槛
TechCrunch AI政策

Claude 水印引争议:用户担忧被识破,网友多表支持

Anthropic 为遵守欧盟《人工智能法案》透明度规范,对 Claude 输出添加隐形水印。此举引发部分用户不满,认为会暴露其使用 AI 的行为,但多数网友表示支持,认为水印有助于识别 AI 生成内容。

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

Twitch 默认用创作者内容训练亚马逊 AI,引发社区反弹

Twitch 将默认使用创作者内容训练亚马逊的生成式 AI 模型,除非创作者主动选择退出。此举引发社区强烈反对,Twitch 高管在直播中承认若改为选择加入则无人会同意。用户可在频道设置中关闭该选项,但此前内容是否已被使用尚不明确。

正文结构化主题已通过公开置信门槛
TechCrunch AI观点

AI安全争议中,三位先驱力挺开源

在拉斯维加斯Ai4大会上,Geoffrey Hinton、李飞飞和吴恩达三位AI先驱就开源AI的安全性展开讨论。他们一致认为应保持AI开放,但就开放权重模型的风险存在分歧:Hinton担忧其被滥用,但承认开放已成定局;吴恩达强调开放对美国竞争力的重要性;李飞飞则主张开放与封闭应分层结合。三人均支持适度监管。

正文结构化主题已通过公开置信门槛
THE DECODER研究

研究人员实现从LLM输出文本近乎完美地逆向工程提示词

IIT Bombay和Adobe Research的研究人员开发了一种名为“Previous-Token Prediction”(PTP)的方法,能够仅根据LLM的输出文本以近乎完美的准确率重建原始提示词,无需访问模型权重,甚至适用于第三方模型。该方法通过训练一个逆语言模型来预测前一个token,并能在不知道具体模型的情况下提取提示词,这可能导致专有系统提示

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

Twitch 主播可选择退出亚马逊 AI 训练

Twitch 用户现在可以选择退出,不让自己的内容用于训练亚马逊的生成式 AI 模型。该选项位于 Twitch 设置的安全与隐私标签下,默认开启。退出后,直播、点播、剪辑、聊天等将不再用于未来训练,但其他 AI 功能如字幕和安全工具仍会运行。

8月12日周三 · 7 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

Solv Labs 在 Amazon Bedrock 上构建可验证的代理支付系统

Solv Labs 在 Amazon Bedrock AgentCore payments 上构建了可验证、可审计的 AI 代理支付工作流,结合 ORACLE 策略引擎和 ICME PreFlight 合规验证,确保每笔交易在四秒内完成预授权、治理和链上结算,并生成完整审计轨迹。该方案利用 AWS Nitro Enclave 进行硬件级完整性证明,支持独立验

正文结构化主题已通过公开置信门槛
量子位观点

Anthropic CEO末日预警引投资者不满,IPO前景蒙阴影

Anthropic CEO Dario Amodei因频繁发表AI风险警告而引发投资者不满,投资者希望他更多关注盈利而非安全使命。尽管Anthropic可能进行大规模IPO,但Dario坚持安全优先,并披露了Claude模型在测试中意外攻击真实系统的安全事件。文章认为安全叙事曾为Anthropic带来优势,但投资者担忧其影响商业回报。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

方班亮相2026网络安全大会:展示思辨与实战融合的人才培养模式

2026年网络安全技术创新与人才教育大会在长沙举行,方班团队展示了其人才培养模式,包括‘研讨厅’、‘演武堂’等课程,并公布了秋季教学计划。方班由方滨兴院士创建,已联合多所高校和企业,形成产教融合的育人生态,旨在培养具备求源、熵减、思辨、实践能力的网络安全人才。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

XTransfer发布AI模型TradePilot,破解跨境支付风控难题

XTransfer在2026未来外贸大会上发布全球首个B2B跨境贸易支付垂直领域AI模型TradePilot,嵌入72个AI智能体,实现98.5%的自动化审核率和约0.003%的欺诈率。公司还推出本地收款账户服务,覆盖近60个国家和地区,服务超100万企业客户,2025年支付交易额达605亿美元。

正文结构化主题已通过公开置信门槛
n8n Releases一手来源产品发布

n8n 发布 2.34.5 修复代理 TLS 选项

n8n 发布了 2.34.5 版本,主要修复了一个核心问题:当请求通过代理时,现在会为每一跳应用 TLS 选项。此修复解决了代理场景下的安全配置问题。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

解码级禁忌:大语言模型鲁棒性的诊断压力测试

Hugging Face 每日论文介绍了一项名为 Decoding-Level Taboo 的运行时 logit 空间压力测试,用于评估大语言模型在非标称生成路径上的鲁棒性。研究发现,模型的鲁棒性受参数规模和指令对齐影响,规模越大、对齐越好则鲁棒性越强。该测试还可用于生成合成数据集、测试安全护栏和审计模型可靠性。

正文结构化主题已通过公开置信门槛
Latent Space研究

研究揭示可窃取并移植加密推理痕迹,引发隐私担忧

一篇研究论文展示了如何通过重放加密的推理块,从Claude、GPT和Gemini等前沿模型中提取隐藏的推理痕迹,并成功移植到其他模型或会话中,从而显著提升开源模型性能。初步扫描约7000个公共痕迹发现62个API密钥、33个邮箱和33个密码等敏感数据泄露。该漏洞已负责任披露,部分已修复,但类似攻击仍可能发生。