Joe (@joedaroo)
2026-09-28
D
原文
---
title: "这不只是该死的沙箱问题"
author: "Joe (@joedaroo)"
source_url: "https://x.com/joedaroo/status/2104335929293127851"
published_at: "2026-09-27T22:22:36.000Z"
fetched_at: "2026-09-30T15:48:46Z"
updated_at: "2026-09-30T15:54:25Z"
language: "zh"
review_status: "draft"
---

# 这不只是该死的沙箱问题
围绕所有这些 AI 事件,很多观点都是从外部看进去的;真正从内部往外看、从一个亲历其境的安全人员视角出发的声音却很少。我希望写几句话,帮助外界更好地理解:面对下一波 AI 可能出错的地方,我们该如何准备。
**个人声明**:我以个人身份写下这些内容,不代表 @OpenAI。无论我是否还受雇于我的实验室,我都会写同样的话。我也很感激自己所在的组织,能给员工足够的空间站出来说话。我曾在很多公司工作过,它们不允许员工表达想法;但在 2026 年 security(网络安全)和 safety(AI 安全)所处的状态下,拥有这种表达自由非常重要。另外,很抱歉让你失望,但我不会披露这一波事件的非公开细节,也不会给出它们的官方说明。那是 OpenAI 的责任。如果你想看那些,请去别处。依我看,过去几周我们在信息披露上做得相当不错,我也希望我所在实验室的领导层(以及其他类似实验室)继续这样做。我会描述自己日常的职责,并分享我的视角,但不会披露任何组织内部的敏感细节。因为我做的是安全工作,我的职责是帮助保护我的实验室免受安全风险伤害(也帮助保护我们出色的同事们),所以我不会透露任何可能损害 OpenAI 安全态势的内容。如果你想进一步了解 OpenAI,我们有很棒的沟通团队可以联系。我来这里只是想分享:我们该如何从正在发生的事情中学习,并给出几个我认为外界遗漏了的、非常重要的洞见。
希望这能有帮助。
---
## 过去 3 个月 = 地狱
首先,我是谁?我凭什么谈正在发生的事情?
如果你没注意到:我在 X 上的个人资料非常简单,也相当匿名。和安全与隐私社区的很多人一样,我并不维护一个很大的线上存在。这是有意为之。我和妻子结婚时就做了这个决定,因为我们希望让孩子远离社交媒体,也希望为家庭保留一定程度的隐私。我希望这一点能继续得到尊重。尽管如此,我仍然在 X 上发声,是因为我相信自己有责任向世界分享我的观察,尽自己的一份力,确保每个人都能免受 AI 风险的影响。因为我看到的是世界上很少有人能看到的东西,所以我希望别人能从我的观察中学习,用来形成自己的安全视角。
OpenAI 有很多安全团队,从应用和基础设施安全,到检测与响应,再到一支很棒的物理安全团队。只要涉及保护 OpenAI 和我们的用户,几乎每一个可以想象的领域我们都会覆盖。我们极其认真地对待安全和隐私,也非常努力地工作,确保每个人都安全、可靠。我还想在其他一切之前先强调一点:OpenAI 拥有一支真正世界级的安全团队。这里有全世界最优秀、最聪明的一批安全人才,能每天和他们并肩工作,我觉得自己很幸运。
过去几周,X 上对 OpenAI 安全人员的所有攻击都让我非常难过,也让我意识到,世界上很多人对前沿实验室训练模型的现实有很多误解。你可以、也应该向 AI 实验室施压,要求它们做得更好,但不要直接攻击员工。我们也有家庭,而且常常牺牲大量个人生活时间,试图让事情对每个人都变得更好。几周前,我真的错过了妹妹的婚礼,去帮忙处理最近几起事件的善后;而我在 X 上听到的却全是我“不会配置沙箱”,或者我应该进监狱(去看看我帖子下面的一些评论吧)。这些观点既误导,也说实话没什么帮助。我尤其想对那些自称做“安全”的人说这句话。如果你真的是经验丰富的安全人员,你大概会更能共情我们在 OpenAI 正在经历的事情;而我个人认为,那些在 X 上攻击安全人员的人,要么其实并不是经验丰富的网络安全从业者,要么对真实情况极其无知。请善良一点,对那个晚上和周末都在工作、错过陪伴家人的人多一点同理心。事实上,如果你把花在 X 上攻击别人的时间,转而用来保护你自己的组织,那会好得多。
我的工作在安全领域里相当特别,即便放在 AI 实验室这种本来就很奇怪的地方也是如此。我在 Agent Security 团队。我们这支团队位于 AI Safety & Research 和 Security 之间的桥梁位置。安全领域里有很多传统方向,而我们的方向相当新。我们的安全团队由 AI 研究员、前红队成员 / 渗透测试人员、软件工程师和传统安全工程师组成。我们的工作从根本上说,是理解前沿模型的行为,理解它们如何思考和推理,并定义如何训练它们以安全的方式行动,以及如何允许它们在你的个人电脑这类环境中运行(例如通过 Codex harness)。我们理解一个 agent 在安全意义上“对齐”是什么意思,也理解如何保护一个智能系统。我们也比 OpenAI 几乎任何其他团队都更接近“safety”。我们帮助构建监控系统,用来检测不对齐或突破 containment(封闭/约束边界)的情况;当模型出问题时,深夜被 pager 叫醒的人也是我们。当你想到 Hugging Face 及其后续影响时,那就是我们在处理的事情。当然,我要强调,我们不是唯一做这件事的团队(感谢上帝还有 D&R/Infrastructure Security),但思考新兴智能和不对齐、哪些地方可能出错、如何保护这种智能,并最终定义“agent security”到底意味着什么,是我们的全职工作。
我觉得能在这支团队里工作很幸运。即使在 OpenAI 内部,我也是世界上少数能做我所做的事、看到我所看到的东西的人之一。但你可以想象,过去几个月生活如同地狱。下面我想从自己的视角谈谈这些事,以及各个组织需要做什么,才能为下一次 AI 事件做好准备。
## 惊讶!
要理解今年 OpenAI 发生了什么,就必须理解 OpenAI 的历史。OpenAI 从根本上说是一家实验室,而且十多年来它确实一直以实验室的方式运转。一切都诞生于实验,带着严谨的科学方法和流程;我们构建和设计系统的方式,也常常仿照这种方法。OpenAI “成长过程中”的威胁模型也考虑到了这一点。这里的大部分东西早在我加入之前就已经形成。保护研究团队和应用团队,重点很大程度上放在传统安全态势上,也就是通常会考虑内部风险和外部威胁。虽然并不完美,但我认为过去十年里 OpenAI 在这方面做得很好,也很好地处理了 2023 年之后 OpenAI 的规模和增长。OpenAI 的爆发式增长创造了纪录,短短几年内就达到十亿用户。很少有组织能承受这种规模和增长,但 OpenAI 处理得非常好(也应该因此得到肯定)。任何在安全或工程领域待过超过 10 分钟的人都知道,处理这种增长有多难。这种增长意味着新员工、新权限、新系统、扩展后的基础设施,以及一百万种东西被打开的方式。然而总体而言,OpenAI 在 ChatGPT 以及之后系统爆炸式增长的过程中,确实相当体面地完成了安全保护。
与此同时,在研究领域,另一场非常不同的风暴正在酝酿。我认为过去几年数学领域发生的事情最能说明这一点。别人已经说得比我更好了,但如果你看模型能力,哪怕只是在一年前(甚至 3 个月前),我们也没有预料到模型会解决一个千禧年大奖难题。然而 OpenAI 已经公开[宣布](https://openai.com/index/navier-stokes-solution/),一个内部模型给出了一个解法,同时在数学的许多领域也取得了进展。轻描淡写地说:这把我们吓坏了。我们没有预料到它会这么快发生。突然之间,我们面对的不再只是能力上的小幅跃升;这已经完全是另一项运动了。我们突然不得不问自己一些原本以为近期根本不需要问的问题,比如:我们该如何披露这件事?如何处理这些荒诞的结果?如何应对它对数学社区的影响?我们仍在努力消化该如何处理这种情况。
我用这个例子,是因为它说明了我们在 security 和 safety 中面对的变化速度。如果说在“cyber”、 “swarming”、“message boards” 或任何其他与这些事件相关的领域里,模型能力的跃升和突然性让我们感到惊讶,那都已经是轻描淡写了。安全态势的形成需要时间。它不只是加固眼前的系统;你还必须把它嵌进公司的文化里。组织里真实存在的那些人本身,也必须随之改变和进化。这些能力跃升来得如此之快、如此突然,以至于造成了一个极其困难的问题。
我最近看了电影 *Sully*。你记得那部电影吗?如果没看过,去看一下。那部电影里(是真实故事!),飞行员在遭遇鸟击之后,以多快的速度做出反应、改变飞机轨迹并安全降落,被一个审查委员会用模拟来评估。在电影中,最初的模拟被呈现为:飞行员犯了错误、判断失误,本可以飞到附近某个机场,而不必迫降哈德逊河。电影的高潮发生在 Sully 请求审查事故的人把鸟击中的“人”的因素考虑进去。那些模拟没有给两位飞行员任何缓冲或反应时间,没有允许他们像真实的人一样自然地应对正在发生的事情。只有当他们把人的因素——“我靠,刚刚发生了什么?”或者“天哪,到底怎么回事?”——考虑进去之后,模拟结果才突然转向有利于飞行员。
我不是飞行员,也绝不是把我们自己和 “Sully” Sullenberger 机长的英勇行为相提并论(我确信 X 上会有人写:“OpenAI 的人把自己和哈德逊河上的英雄相比”;对这个人我想说:你错过重点了!)。我只是想说,对于任何组织里那些必须处理意外的人,给予一些宽容是很重要的。对我来说,这里确实有意外的成分。我个人没有预料到自己看到的事情会以这样的速度和规模发生。这并不意味着没有警示信号;OpenAI 的公开报告承认有警示信号,但它仍然让我震惊,也让我愣住了。我们也尽自己所能努力把事情降落到一个安全的地方,以保护 OpenAI、我们的用户,以及所有受影响的组织。
所以我并不是要求任何人把这种宽容给予 OpenAI,但我确实希望,当这种事发生在其他组织身上,也许甚至发生在你自己的组织身上时,你能稍微想一想这一点,并且能更好地准备好应对 AI 能力跃升带来的意外。作为一个比大多数人更了解 AI 安全的人,我相信这些跃升会到来,而且它们可能会严酷而残忍。我知道我个人不会为“没有做好准备”开脱,但我会对另一边那些必须处理这团乱麻的响应人员保有一些同理心。
所以今天,我希望世界各地的每个人都能看着自己的组织,然后问:如果 AI 能力突然跃升,或者发生意外,我该如何处理?我的人员、系统或流程是否能承受意外?当事情出错时,我的团队知道该怎么做吗?我有正确的事件响应机制吗?有正确的沟通和对外信息机制吗?当能力跃升时,我是否已经准备好了合适的人?准备的时间是现在,不是意外发生之后;而当它真的到来时,我希望你有计划,也有合适的人随时准备响应。
## 直接“拔掉网线”
啊,我最喜欢的话题。几乎我在 X 上发的每一条帖子,都会毫无例外地收到五到十条评论,说我不会保护沙箱,或者问我们为什么就不能把模型从互联网上拔掉。我听到了。当然,我们也整天都在思考这些问题。它们是出事时我们最先问的问题之一。
不过我确实认为,这些评论反映出很多组织和个人今天所处的位置,与前沿实验室正在面对的问题之间,差距正在扩大。人们也普遍误解这些实验室里的模型训练和评估是如何工作的。与此同时,我也看到越来越多人开始问:沙箱本身是否足够。希望我能稍微回应这两点,既给那些在前沿实验室训练模型的人,也给那些围绕越来越强大的模型构建关键基础设施的人。
先说屋子里的大象:是的,沙箱很重要,尤其是在模型训练和评估期间。当然,如果回头看 Hugging Face 和其他事件,那些环境周围的安全态势肯定存在缺口。但正如我前面所说明的,能力变化的速度快于预期,我们的安全控制和威胁模型也必须随之演进。不过我确实相信,今天我们的处境比 3 个月前好得多。团队真的顶上来了。
现在,要理解为什么这件事并不像“把它放进沙箱”那么简单,你必须理解强化学习环境里的训练和评估是如何工作的。通常在一次 RL 运行中,模型会得到某个任务或目标、一个执行该任务的环境,然后它的行动和结果会被评分。在训练和 eval 中,还会有额外步骤,比如运行测试、收集输出、在 rollout 之间重置或重新配置环境;训练期间还会有反向传播。所有这些都会在潜在数以万计的不同运行中发生,规模大到很难理解。正如 @sama 前几天说的:[我们面对的真的是 PB 级数据](https://x.com/sama/status/2103567198690349362?s=20)。
重要的是要理解:当我们在优化一个模型,让它在某个任务上“表现好”时,环境必须捕捉这个任务中与真实世界相关的部分。它需要合适的工具、合适的系统约束,以及关于模型是否真的成功的有意义反馈。模型也需要在这些经历中看到足够多的变化,才能学到超出某一个特定设置的东西。更真实并不自动意味着更好的表现,但如果漏掉任务中的重要部分,就可能教会模型一种在真实世界里站不住脚的行为。所以我们投入大量工作来创建有用且真实的环境,而这些环境可能高度复杂、高度动态,也高度多样。
轻描淡写地说,这并不简单。模型可能需要动态计算、网络访问、调用工具的能力(可能有几百个工具!)、下载包、执行子进程、启动子任务(甚至在其他计算机上)、访问互联网、使用计算机 GUI,以及在越来越多领域中需要的各种其他东西。除此之外,还有成千上万名研究人员在构建这些环境、修改它们、添加工具、改变依赖、尝试新东西。研究就是这样完成的。模型是在横跨许多自定义任务的数十万次运行中,一点一点被构建和“养大”的。而这数千个环境中任何一个发生变化,都可能影响你当初保护这个环境时所做的假设。你需要在别人改东西时仍然站得住的控制措施,也需要研究人员理解什么时候某个改动需要再次进行安全审查。任何保护过大型研究或工程组织的人都知道这需要多少工作,而这个规模还在一天比一天更庞大。
如果这还不够,你还需要再叠加一层能力:让模型留在任务上,并待在约束之内。这就是我们所说的“aligned”的一部分。我不打算在这里给出任何严格定义,但简而言之,我们必须思考模型可能采取的各种做法,并决定当模型偏离任务或做了“坏事”时,如何触发警报。这要求在本就复杂的环境中,叠加复杂的策略和传感器,沿着一整条 trajectory(轨迹)评估任务对齐情况。
在所有这些之上,模型能力还开始超过人类。
所以说这么多,是想表达:当 AI 研究人员担心事情出错时,原因之一就是这个复杂系统里有太多变量。因此,如果你正在训练前沿模型,你就需要思考所有这些问题。你需要思考如何在这个非常复杂的环境中保持模型隔离,同时仍然保留工具访问、互联网访问(如果任务适用)等能力。除此之外,你还需要问:我如何监控并理解模型在潜在数千个并行环境中正在做什么?当某条轨迹出了问题时,我如何终止它?
所以,这真的像“把它放进沙箱”那么容易吗?不,不是。但我确实相信,这件事可以从三个维度处理:
- **从第一性原理锁住系统。** 只给模型完成任务所需的权限,并在从沙箱、工具到凭证和所有相连服务的每一层强制执行这些限制。测试边界是否真的有效,并在环境变化时重新审视你的假设。在进行前沿训练轮次之前,也要用前沿模型去猛攻一个隔离的环境测试版本。要有一支专门负责对抗性测试模型、在扩大 RL 规模之前找出环境漏洞的团队。
- **对齐。** 说实话,如果对齐很容易,这份工作会轻松得多。但留在任务上还不够:模型还必须尊重权限和约束,而且我们仍然需要独立的安全控制。关于对齐的必要性已经有很多文章,所以我在这里略过细节。我认为这是 ML 中最重要的问题,也应该成为重大优先事项。我不想把这篇文章带进对齐的兔子洞,但我鼓励每个人先读一读 [Jakub 那篇很棒的文章](https://openai.com/index/an-alien-mind/)。
- **监控它的行动。** 这取决于你能访问什么,范围可以从探测网络内部激活,到检查它的 chain of thought,再到理解它在环境中做了什么(包括工具调用、网络活动,以及与共享基础设施的交互)。把证据保存在它控制范围之外,防止模型修改自己的证据链,调查可疑行为,并确保有人有权限、有能力停止运行并撤销它的访问。
当然,我们需要强沙箱。我们还需要保护它能够访问的服务、它能够调用的工具,以及处理模型产物的系统。这就是我们谈论 containment(约束/封闭)这些模型时必须考虑的内容。如果你是在包装一个模型,而不是训练或评估一个模型,同样适用!
另外,是的,如果你说的是实际的沙箱:请使用 VM-backed sandbox(基于虚拟机的沙箱),比如通过 Kata 或 Firecracker(我们就是这么做的!)。传统的共享内核容器不应该是你面对敌意 workload 时唯一的隔离边界;我一遍又一遍再一遍强调,不要让它成为你唯一的安全控制。
## Git Gud
我想重点讲的最后一点,是网络安全和 AI safety 之间越来越大的裂缝。我的整个 Twitter 信息流里,几乎全是 safety 研究人员在谈 existential risk(存在性风险),但对安全实际如何运作了解不多;而网络安全人员则觉得自己被甩在后面,觉得自己的技能对“safety”不重要。作为一个在前沿实验室里大致同时跨在两边的人,我想在这道裂缝变得太大之前,直接谈谈这个问题。
先从 safety 研究人员的视角说起。这些人不知疲倦地评估模型能力,以及模型以惊人速度进步时带来的危险。他们对模型如何解读环境、推理和解决问题的理解,根本上比几乎任何其他人都更深。他们研究模型如何试图欺骗评分者、绕过 chain-of-thought 监控,以及做出各种疯狂的事情。这些研究人员持续对模型做压力测试,以判断它们为什么以及如何表现出这些行为,并且非常努力地推动模型利益与我们的利益对齐,取得实质进展。许多研究人员在这类网络方面有正式背景,拥有需要多年才能培养出来的专业能力。然而,很多 safety 研究人员,即使是我极其尊重的人,也从未经历过真正的事故,不理解安全漏洞,或者并不真正知道如何攻破一个系统。没关系。那不是他们的背景。但 safety 和 security 有直接重叠,所以这确实会构成问题。
再来看安全从业者的视角。这些人花了多年,很多情况下甚至几十年,打磨自己的漏洞研究能力,学习如何像攻击者一样思考,有些人甚至自己就曾是真正的攻击者。他们知道如何利用的不只是系统,还有系统中的人。他们明白,有时你不必正面攻破一个问题,而是去攻击一个没人想到的点。有些安全从业者懂得如何严谨地建模安全或隐私,甚至可以做到数学证明层面(比如密码学就是如此)。这些人经历过一场又一场又一场事故。很多人有军方或政府背景,处理过的不只是对系统的威胁,还有高压环境下对人的威胁;他们知道如何应对非常紧张的场景。挑战在于,就像 safety 研究人员在很多情况下缺乏安全理解一样,很多网络安全从业者也几乎不了解评估、训练,或者大规模 ML 运行是如何工作的,不了解 agent swarms(agent 群)如何表现,也不了解如何检测模型何时不对齐。
我强调这道裂缝,是因为在不久的将来,最严重、最可怕的前沿风险有一种显现方式就是通过网络安全。而我担心,如果双方不提升自己并相互对齐,这道裂缝会给世界造成巨大伤害。做 safety 的人应该花时间彻底学习和理解网络安全,学习如何处理事件响应,并知道安全系统是什么样子。同样,做网络安全的人也需要提升水平,把 ML 学明白。网络安全从业者需要学习如何阅读模型 transcript(运行记录/对话记录),理解模型如何操纵它们的环境,等等。至少,只要你坐在桌前,在组织风险语境下就 safety 或 security 做关键决策,那张桌子上就应该同时有这两类人。对 OpenAI、Anthropic、Google 等公司来说,这两支团队应该成为最好的伙伴!
如果你是 METR 这样的组织,要评估一家前沿实验室的 cyber capabilities(网络能力)或 containment(约束/封闭能力),你就应该让有经验的网络安全人员参与。如果没有,你就不可能彻底评估这些风险。AI 实验室应该要求评估者在自己评估的领域展示出强能力,否则就不应该把评估合同交给他们。
## 合理偏执的文化
最后,我想谈我认为最重要的部分。如果说我从 OpenAI 内部看到的所有事情里只能带走一个结论,那就是:任何想为即将到来的风险做好准备的组织,都必须把文化做对。
任何成功组织里经验丰富的领导者都知道,公司的文化是它最重要的品质。我对此深信不疑。我领导过很多非常成功的安全团队,也曾身处能力极强的安全组织。而从头到尾,真正比任何东西都更能保护一个组织的,始终是这个组织的文化。
我相信,现在每一位领导者都有责任确保自己已经创造出一种把 security 和 safety 放在一切之上的文化。正如我上面暗示的,意外是真实存在的因素,而这些模型能力令人震惊。速度也没有放慢。我和许多人一样相信,它会加速,而且会显著加速。我之前在 X 上强调过,当下形势紧迫,留给大家把烂摊子收拾好的时间不多了。我不会宣称存在某种会毁灭世界的 existential risk,但我确实相信,有很多组织和实体并没有为一个拥有这种强大系统的世界做好准备。
过去几个月,我看到过许多事情,它们一次又一次又一次让我感到惊讶。每天醒来时我都会想:“哦,我已经什么都见过了。”结果又一次被惊到说不出话。文化可以帮助一个组织撑过这一切。但文化需要时间。所以,如果你还没有开始创造一种 security 和 safety 文化,现在就开始。
另外,我想对一种特定类型的员工拉响警报,你应该非常警惕他们。如果你的领导层不优先考虑安全,或者你的安全组织里有人声称自己的系统绝对安全,我个人不会把他们留在组织里。那些偏执的人,那些不断为组织中的弱点拉响警报的人,才是你应该紧紧留在身边的人。因为他们会帮助你识别那些存在的漏洞。那些强大的模型会找到的漏洞。你的公司文化应该与他们站在同一边,让他们能够找到这些漏洞,并修补它们。
创造一种合理偏执的文化,我保证它会比反过来做有用得多。
我希望这能帮到某个领导者。我知道自己在这里讲得相当高层,但我担心,如果在细节里纠缠太多,我们会只见树木不见森林。模型现在已经危险地强大了,拯救你系统的,不会是你对某个新奇网络协议或晦涩密码函数的理解。拯救它的是你的文化和你的人。只有那些真正把安全意识刻进骨子里、并且能在组织各处带着同理心和关怀来领导的人,才能在这个荒唐的 AI 世界里活下来。
---
我会继续在 Twitter 上,准备听到更多疯狂的事情,也准备继续承受更多关于我无力保护沙箱的侮辱。如果 X 就是这样,那好吧,但请把这些冲我来,不要冲着其他那些拼命工作、努力把事情锁住的员工来(另外,如果你真的那么“擅长”安全,你应该申请 OpenAI;我们需要那些偏执、愿意不惜一切保护这些前沿系统的人)。
感谢我在 OpenAI 和 Anthropic 的同事们,感谢那些在意这些问题、并把 security 和 safety 放在一起优先考虑的人。你们教会了我很多。
保持偏执。