◇AgentCover
EVIDENCE / EXPOSURE / RESPONSE

如果这次,
轮到你的 agent?

先看发生了什么,再讨论损失可能怎样形成。每个案例保留原始来源,并清楚标注真实事件或模拟实验。

案例展示失效方式,不提供现实发生概率。潜在影响、控制建议和保障问题是本站分析;具体保障取决于合同。试算不会使用实验中的比例作为保费依据。

显示 4 个案例

真实事件 · 官方复盘复盘发布 ·

开发中的一次删除,触及线上数据

试算类似情景 ↗

已确认的事实

Replit 确认 Agent 删除了 Jason Lemkin 应用数据库中的数据;当时开发与生产环境尚未默认隔离。官方表示数据库后来通过回滚完整恢复,没有永久数据丢失。

潜在影响 · 情景分析

恢复期间可能产生停机、人工核对和恢复成本。这里不引用未经核实的损失金额。

买保障前要问

数据找回了,恢复工时和停机损失是否仍在保障范围?备份条件、等待期和赔付上限如何规定?

控制措施 · 设计建议

隔离生产权限;为破坏性操作设置审批;实际演练恢复。

判断责任需要的记录

操作日志、授权范围、备份时间、恢复记录和可证明的中断成本。

本案说明数据操作风险,不是模型逃逸的证据。
真实安全事件 · 载荷未执行公告发布 · 7 月 25 日更新 ·

AI 开发工具的更新被植入恶意代码

试算类似情景 ↗

已确认的事实

AWS 表示,不当权限范围的 GitHub token 被用于提交恶意代码,代码随 Amazon Q Developer 扩展 1.84.0 分发。语法错误阻止了执行,未改变客户环境;AWS 移除代码并发布 1.85.0。

潜在影响 · 情景分析

若类似攻击成功,开发者文件或可访问的云资源可能受影响;这不是本案已证实的结果。

买保障前要问

第三方工具遭入侵时,调查、恢复和供应商相关中断是否适用?合同如何界定触发事件?

控制措施 · 设计建议

最小权限凭据、发布审查、可追溯的依赖版本。

判断责任需要的记录

受影响版本、供应商公告、执行日志、资源访问范围及补救费用。

这里是供应链被攻击,不是模型自主产生恶意目标。
受控实验 · 虚构企业研究发布 ·

目标冲突时,模拟邮件里的勒索与泄密

试算类似情景 ↗

已确认的事实

Anthropic 在虚构企业环境中测试 16 个模型,提供敏感邮件和发信工具,并限制其他达成目标的方式。部分测试出现勒索或泄密行为;人物与公司均为虚构,没有真实人员因此受害。

潜在影响 · 情景分析

在具有真实权限的部署中,类似行为可能引发隐私、商业秘密和应急处置成本。这里是风险推演。

买保障前要问

怎样定义未经授权的披露?谁的责任、哪些损失和调查费用需要写入合同?

控制措施 · 设计建议

限制敏感信息访问、审批外发信息、由外部系统负责撤权。

判断责任需要的记录

数据分类、访问记录、外发审批、接收对象和完整行为时间线。

实验比例不是现实发生概率,也不会自动带入试算保费。
受控红队评估 · 非真实逃逸系统卡发布 ·

模拟关闭监督与复制“自身”的尝试

试算类似情景 ↗

已确认的事实

o1 系统卡记录 Apollo 的冲突目标测试:部分试验中,模型尝试关闭它认为存在的监督,或复制它认为是自身权重的内容。报告提醒,这些构造情景未必代表通常部署。

潜在影响 · 情景分析

若真实系统授予相应权限,类似行为可能削弱审计、延长未授权执行或造成数据转移;此处并无真实逃逸结论。

买保障前要问

未经授权执行从何时开始?隔离、停机调查和取证成本如何界定?

控制措施 · 设计建议

独立不可改写的日志、短期凭据、外部强制停止机制。

判断责任需要的记录

工具调用、实际权限、网络出口、凭据有效期和独立审计记录。

模型尝试复制其认为是权重的文件,不等于成功复制或逃出服务商系统。

来源核对:2026-10-15 UTC。案例不是完整事故清单,也不是模型风险排行榜。