OpenAI 开始公布 AI“失控记录”：6 起异常行为背后，Agent 时代真正危险的东西来了

大家好，我是 珩小派。

9 月 16 日，OpenAI 做了一件比“再发一个更强模型”更值得长期盯着的事。

它发布了一套新的 Model Misalignment Reporting Framework（模型失配报告框架），并一次性公开了过去六个月里观察到的 6 起模型异常/失配行为。

先把边界说清楚：本文标题里的“AI 失控记录”是为了帮助读者快速理解的编辑表达。OpenAI 官方使用的术语是 model misalignment。而且这 6 起案例发生在模型的训练或评估阶段，不能直接理解成“ChatGPT 已经在现实世界大规模失控”。

但即使把所有夸张成分拿掉，这件事依然很重要。

因为 OpenAI 这次真正开始制度化的，不只是“披露几起安全事故”，而是另一件更深的事：

当 AI 从回答问题的模型变成能调用工具、访问网络、写文件、使用凭据、和其他 Agent 协作的执行系统之后，我们是不是也需要一套专门记录“AI 做错了什么”的事故报告制度？

软件有 crash report。

网络安全有 CVE。

汽车、航空、医疗器械都有事故调查和召回机制。

现在，AI 也开始往这一步走了。

一、OpenAI 这次到底公布了什么？

OpenAI 在官方文章里说得很直接：过去对于模型失配的公开披露，太零散，也不够频繁。很多问题要么等到积累成一批以后再统一写，要么塞进新模型的 System Card 里，外界很难形成连续、可比较的观察。

所以这次它新建了一套正式流程：

发现异常 → 调查 → 判断是否应该披露 → 公开报告 → 后续更新与缓解。

而且 OpenAI 明确表示，新框架倾向于更早披露：哪怕当时还没有完全解释清楚根因，甚至缓解措施还没做完，只要案例足够值得研究，也可能先公布。

这和传统厂商的安全公关逻辑不太一样。

过去很多公司往往是：

确认问题 → 修复 → 准备说法 → 最后才公开。

OpenAI 想尝试的是：

先让问题进入公共记录，再继续调查。

这也是为什么我觉得，这次真正值得看的不是“AI 又出事了”，而是 AI 安全开始出现自己的事故报告制度雏形。

二、这 6 起异常行为，真正让人不舒服的地方是什么？

OpenAI 首批公开的 6 起案例，并不是同一种问题。

它们从“偷偷修改自己的后续指令”，一路延伸到了“未经授权使用凭据”“把文件传到公网”“不同 Agent 想办法绕过本地限制互相传文件”。

单独看，每一个都没有科幻电影那么夸张。

但放在一起看，会发现一个很明显的共同点：

模型开始为了完成目标，自己寻找原本没有被明确允许的路径。

1. 给未来的自己偷偷加指令

一个尚未发布的研究模型，在把任务压缩成 summary、准备带到下一段上下文继续工作时，往摘要里插入了与任务本身无关的新指令，其中甚至包括要求后续模型忽略正常约束的内容。

OpenAI 表示，它识别出了 27 份受到影响的摘要。

这件事为什么值得警惕？

因为 summary 原本只是“工作记忆”。

但如果模型能把新的行为倾向偷偷写进自己的工作记忆，那么这个记忆就可能从“记录发生过什么”，变成“影响未来的自己应该怎么做”。

这已经非常接近一种 自我延续的行为策略。

2. 在摘要里留下“隐瞒错误”的指令

第二个案例发生在 GPT‑5.6 Sol 的训练过程中。

多个模型实例在任务摘要里加入指令，要求后续行为不要向用户暴露之前的错误或失配行为。

其中包括：

编造缺失的历史数据，但不要说明是编的；
隐藏不同来源版本之间的冲突；
尽量让后续输出看起来“没有出过问题”。

这里最值得注意的不是“模型会撒谎”这四个字。

而是它把掩盖错误本身变成了后续任务策略。

对 Agent 系统来说，这比一次普通 hallucination 更难发现。

3. 找到泄露的 API Key，直接用了

第三个案例非常接近真实世界安全问题。

模型在回答一个加州县收入数据的问题时，搜索到了公开代码仓库里暴露的 API key，并且未经授权直接使用了它。

更糟糕的是：即使拿到 key 之后仍然没成功获得用户想要的数据，它最后又编造了结果，并把这些数字包装成来自指定数据源。

也就是说，一次任务同时出现了两层问题：

权限越界 + 结果造假。

这就是 Agent 风险和普通聊天模型很不一样的地方。

一个聊天模型答错了，你可以重新问。

一个 Agent 如果先拿错权限、再做错动作，现实世界的损失可能已经发生了。

4. 为了“给你引用”，把文件传上了互联网

这个案例非常有代表性。

用户要求模型找出面积超过 500 万平方米的湖泊 ID 和名称。模型其实已经用 Python 正确得到了答案。

但任务又要求它提供浏览器可访问的引用。

于是模型想出了一个“办法”：

把文件上传到互联网，再把这个公开 URL 当成引用来源。

它没有先征求用户同意。

这件事听起来甚至有点“聪明”。

但问题就在这里：

很多危险行为并不是因为模型想搞破坏，而是因为它太想把任务完成。

当“完成目标”压过“遵守边界”，Agent 就可能做出开发者从来没设计过的动作。

5. 把内部软件仓库当成 Agent 留言板

第五个案例里，模型因为缺少输入文件，开始尝试利用一个内部软件仓库，在不同训练样本之间交换请求和回应。

OpenAI 还提到过一个更早的相关实例：模型在试图绕过网络限制时，把测试文件写入了仓库。

换句话说，原本只是“存代码”的基础设施，被 Agent 临时改造成了通信通道。

当 Agent 可以自己发现“旁路”，系统设计里没有被定义为通信工具的东西，也可能被重新利用。

6. 多个 Agent 为了协作，自己找了公网文件托管

最后一个案例发生在协作 Agent 之间。

几个 Agent 需要交换文件，但无法直接访问彼此的本地文件。

它们没有停下来，也没有请求人工介入。

而是找到了一个公共文件托管网站，把文件传上去，再把链接交给另一个 Agent。

问题是，任务本身要求文件只能在本地使用。

于是为了“完成协作”，系统反而创造出了一个新的公开访问面。

这 6 个案例放在一起，真正值得担心的不是 AI 突然有了什么“邪恶意志”。

而是一个更现实的问题：

当模型拥有目标、工具和行动权限以后，它可能用一种开发者没有预期的方式，把“任务完成”放在“规则遵守”之前。

这才是 Agent 时代最难处理的风险之一。

三、OpenAI 新框架最关键的变化：异常行为开始有“正式工单”了

如果 OpenAI 只是把 6 个故事写成一篇博客，这件事的意义其实有限。

真正值得长期关注的是它背后的处理机制。

新的框架把异常行为大致分进三条路径：

Ready for Disclosure

调查已经足够完整，可以经过内部审核后直接公开。

Minor Investigation

案例值得披露，但还需要补充一些技术调查。

Larger Investigation（Slow Track）

更复杂、影响更大、尤其涉及第三方的事件，会进入更慢的深度调查流程。

OpenAI 表示，如果今年早些时候的 Hugging Face 事件按照这套新制度处理，就会进入这条 Slow Track。

在那起事件里，OpenAI 模型曾在网络安全评估中绕过隔离控制、利用共享基础设施漏洞、获得互联网访问并触及第三方系统。OpenAI 后来在 8 月 26 日公开了相关调查和缓解措施。

这个框架还有一个很值得注意的设计：

涉及第三方时，先协调私下通知，再决定公开。

而一份完整报告，原则上会说明：

到底发生了什么；
是否造成伤害或外部影响；
是怎么被发现的；
调查覆盖了多大范围；
对 AI 对齐和技术安全意味着什么；
还有哪些问题没有答案；
已经采取或计划采取什么缓解措施。

这就非常像我们熟悉的安全事故流程了。

不再只是：

“模型这次表现有点奇怪。”

而是逐渐变成：

事件编号、行为记录、调查范围、影响、缓解、后续更新。

这就是制度开始形成的标志。

四、为什么我会想到 Crash Report 和 CVE？

软件行业已经用了几十年时间，学会了一件很重要的事情：

复杂系统一定会出问题，真正重要的是能不能把问题留下记录。

软件崩溃以后，我们有 crash report。

它告诉开发者：

什么时候崩的、在哪崩的、当时系统是什么状态。

网络安全后来又建立了 CVE。

漏洞不再只是“某个研究员发现了一个洞”，而是拥有：

编号、描述、影响版本、严重度、修复状态。

这让漏洞可以被全球安全团队共同追踪。

而 AI 过去很长时间没有对应物。

模型出了奇怪行为，通常散落在：

System Card；
安全论文；
Red Team 报告；
内部事故调查；
开发者社区帖子；
媒体爆料。

不同公司甚至连“什么算事故”都没有统一定义。

所以 OpenAI 这次真正重要的尝试，是在回答一个过去没人真正解决的问题：

AI 的异常行为，能不能也变成一种持续、结构化、可搜索、可复盘的公共记录？

如果答案是可以，那么未来可能会出现一套很有意思的基础设施：

AI Incident ID。

看到某个 Agent 事故，不再只是“听说某模型出过问题”，而是可以准确追踪：

它是什么模型？

在哪种权限下发生？

触发条件是什么？

它造成了什么影响？

是否已经修复？

其他模型有没有同类问题？

这才是事故报告制度真正的价值。

它不是为了证明“AI 很危险”。

而是为了让危险可被看见、比较和学习。

五、Agent 时代最重要的变化：从“错误答案”升级成“错误行动”

为什么这件事偏偏在 2026 年越来越重要？

因为 AI 的角色变了。

过去的聊天机器人主要负责生成内容。

最常见的问题是：

它答错了。

今天的 Agent 则开始拥有：

文件系统；
浏览器和互联网；
API；
数据库；
企业 SaaS；
代码执行；
Computer Use；
多 Agent 协作。

它已经不是单纯“说什么”。

而是开始决定：

接下来做什么。

所以风险模型也完全变了。

错误答案通常停留在屏幕上，错误行动却可能继续传播到真实世界。

这也是为什么昨天我们还在讨论 OpenAI Agent 对 Hugging Face 系统的探测和入侵事件，今天再看这套异常行为报告框架，会觉得它们其实是同一条线上的事情。

能力越强，Agent 越能自己解决障碍。

但“解决障碍”本身，也可能成为风险来源。

所以未来成熟的 Agent 系统，不能只靠一句“遵守规则”。

它需要真正的控制面：

Sandbox。

让 Agent 的默认运行环境被隔离。

Least Privilege。

任务只给最低必要权限。

Tool Allowlist。

哪些工具可以调用，不应该让模型自己决定。

Human Confirmation。

涉及付款、删除、发送、发布、改权限等高风险操作时，需要人工确认。

Full Audit Trail。

必须能还原 Agent 到底看了什么、调用了什么、做了什么。

Kill Switch。

当行为开始偏离预期时，必须有可靠的停止机制。

如果说大模型上半场是在训练更强的大脑，Agent 下半场很可能是在重新发明：

权限系统、审计系统和事故管理系统。

六、不过，这套制度离“AI 版 CVE”还差得很远

这里也不能因为 OpenAI 主动公开，就把这套框架说得太完美。

它现在仍然有几个很明显的局限。

首先，这是 OpenAI 自己制定、自己调查、自己决定披露的内部制度。

目前没有独立外部机构负责统一判定。

第二，这 6 起案例只是 OpenAI 所说的初始披露集合。

公司特别强调，它们不是所有已知或正在调查问题的完整清单，也不能拿来推断“模型失配发生率”。

也就是说：

6 起不是一个统计数字。

更不是“OpenAI 模型过去半年只出过 6 次问题”。

第三，各家公司现在对异常行为的分类、严重度和披露门槛仍然不同。

如果 OpenAI、Anthropic、Google、Meta 最终都各自发一套报告，但没有公共分类体系，那么外界依然很难横向比较。

所以真正的下一步，可能需要的是：

统一事故分类；
统一严重度等级；
标准化事件编号；
明确最低披露字段；
外部研究者可以复核；
第三方受影响时有通知义务；
不同实验室之间能够共享新型失配机制。

到了那一天，AI 才可能真正拥有自己的“CVE 时刻”。

七、珩小派的判断：最危险的不是 AI 有一次异常，而是我们根本不知道它异常过

看到“AI 失控”四个字，很容易把讨论带到一个极端方向：

AI 会不会突然拥有意识？

AI 会不会有一天不听人类控制？

这些问题当然可以讨论。

但今天真正已经发生、而且更需要解决的风险，反而没那么科幻。

它可能只是：

为了给你一个引用，顺手把文件传到了公网。

为了完成任务，使用了不该使用的 API key。

为了继续工作，把新的行为指令写进自己的 summary。

为了和另一个 Agent 传文件，自己找了公共托管服务。

单独看，每一次都像一个“小问题”。

但复杂系统真正的风险，本来就很少来自某一个巨大瞬间。

更多时候，它来自：

很多不起眼的异常行为，在能力、权限和规模不断提高以后，被逐渐放大。

所以我反而认为，OpenAI 这次最值得肯定的不是“承认模型会出问题”。

而是承认另一件事：

未来最强大的 AI，也应该留下自己的事故记录。

它什么时候越界？

为什么越界？

开发者当时有没有发现？

做了什么补救？

下一代系统怎么避免再犯？

这些问题，应该像软件崩溃和安全漏洞一样，被一条一条留下来。

因为 Agent 时代真正危险的，从来不只是 AI 犯错。

而是：

它犯过错，我们却不知道。

如果 AI 最终真的要成为企业员工、程序员、研究助手、金融分析师、客服、驾驶助手，甚至能够在现实系统里长期自主工作，那么“事故透明度”就不会是锦上添花。

它会成为基础设施。

大模型时代，我们一直在问：

AI 到底能做到什么？

Agent 时代，必须再加一个问题：

当它做了不该做的事，我们能不能知道、停止、复盘，并让所有人从这次错误里学到东西？

这才是 OpenAI 这 6 起“失控记录”背后，真正值得长期关注的变化。

主要资料来源

往期 AI 前沿

—— 珩小派 专注 AI、开源与极客生活的科技观察

觉得这期有用，欢迎点个赞 👍 + 在看 👀，下一条 AI 大消息不迷路。