我为什么讨厌 GPT-6.2 Astra

在早期测试时,这个模型把我气得够呛,我甚至花了一天给 OpenAI 写了一封信。他们解决了我提到的一小部分问题,但还远远不够,我依然没法推荐大家使用它。

我现在生病躺在床上,今天没法拍视频聊这件事,所以决定把整封信原样发出来。

---

说这些让我有点过意不去,但我知道你们会认真听,也会用这些反馈做出更好的模型。接下来我要稍微发个疯了。

信不信由你,这些全是我亲手写的,没有任何 LLM 帮忙。(抱歉刚才提前发出去了,我再也不在 Slack 里起草长文了。)

总之。

我不喜欢 6.2 Astra。作为开发者,我不会放弃 Opus 5.5 而选择它来干活。

先快速说说它的优点:

- 审查能力很强,能发现其他模型漏掉的问题

- 偶尔会想出一些非常出色的新办法。它帮我搓出了一个新反向代理,每月能省 2.5 万美元;Opus 就没胆子把足够多的方案都探索一遍。

- 处理 3D 和游戏相关任务堪称世界一流

- 计算机操作能力强得离谱

- 代码质量有了明显提升

- 写出来的 subagent prompt 相当不错

现在你们得明白,这些话都是出于爱。我真的希望你们能做出一个让我每天都会在模型选择器里主动选用的模型。话虽如此:

这个模型的其他一切,我是真的全都讨厌。

问题实在太多,我甚至很难决定该重点说哪些。其中有些问题以前的 OpenAI 模型就有,我不打算谈那些。

这里要说的是一批新出现、糟糕得难以置信的行为,它们让这个模型用起来痛苦不堪。

1. 它完全意识不到用户可能存在知识盲区

这个模型在处理长任务时,可以调来大量 subagent,而且管理得还不错。可接下来,它会突然*问你某个莫名其妙的内部实现细节。那种破事,你在任何情况下都不可能知道,更别说给出意见了*。

我给它发了句“/goal make a new level for Outer Wilds”。两小时后,它却因为要问我“r24 的 reviewer 是把片段写进 24_g521.mp4,还是 24_p11.mp4?”而陷入“阻塞”。

我这辈子从没见过哪个模型这么干。GPT-5.6 Sol 不会这样。我不知道这种行为到底从哪儿冒出来的,但它糟透了,让我再也不想把长期任务交给它主导。因为这个问题,想让它做出点有意思的东西难了太多。我甚至不得不给其他 agent 设置 cron,专门检查 6.2 Astra 是不是又问了一个愚蠢的问题,然后把自己卡住了。

这会不会是因为我用的是 T3 Code?也许吧,但可能性不大。我还特意试了 Codex,结果照样遇到这些问题。

2. 它说的是只有 6.2 Astra 自己才听得懂的天书。

这是我今年用过的所有 LLM 里,输出最让人难以理解的一个。

我以前分享过例子:它做完一件事之后,根本不知道该怎么把这件事解释清楚。每次让它给出“解释”,它都会一头扎进细节深处,细到连回答本身都快不对了。它只见树木不见森林,然后还告诉你,森林里活着的只有树。这种感觉真的很难描述,但我几乎每次给它复杂任务时都会碰到。

我已经养成了一个习惯:每次 6.2 Astra 跑完一个长任务,我都会切到 Opus 5.5,只为了得到一份能看懂的总结。要是不这么做,只要任务比修一个小 bug 稍微复杂一点,它到底干了什么就根本没法看懂。

最糟糕的是:你好像没法靠 prompt 把它纠正过来。

我试过调整 system prompt。我甚至求它“用五岁孩子都能懂的方式解释”。

我问它,为什么 worktree 在一台机器上很慢,在另外三台上却很快。从给 pnpm 跑基准测试,到换个新文件系统把机器整个重装一遍,我们什么都试了。最后我说:“我感觉自己快疯了,你能不能直接告诉我为什么这么慢?”

6.2 Astra 用四段话大谈 pnpm 内部机制和缓存行为。

Opus 5.5 只说:“因为 SSD 很慢。”

3. 它会在循环里打转,哪儿也去不了

`ts-rust`(用 Rust 重写 TypeScript)是我在 OpenAI 新模型开放早期体验时,用来做基准测试的一个项目(顺便谢谢你们给的无限 token)。

没有一个 OpenAI 模型能真正把这个项目推进起来,哪怕已经在上面烧掉了价值 30 多万美元的 token。

我决定让 Opus 试试,结果不到两周就做完了,只花了大约 2 万美元的 token。

我原本特别、特别期待让新的 Astra 接手,看看它能不能缩小 ts-rust 和其他 Rust 重写项目之间的差距。

它跑了七天,没有带来任何改进。它死死盯住请求里“还要让它更小”这一部分,最后反而让编译器慢了 56%。

我叫它别再管体积,转而缩小性能差距。

它又跑了四天,还是一个改动都没做出来。

啊啊啊啊啊啊啊啊——

总之。

这个模型显然非常聪明,但真拿它做项目,合作体验简直让人受不了。它就像活在自己的世界里,还会随意决定把自己脑子里的哪些部分展示给我们看。

面对长任务,它不是因为愚蠢的理由把自己卡住,就是原地打转,毫无进展。

面对短任务,它写出的代码还可以,解释起来却比它写的代码本身更复杂。为了弄懂它的输出,我花掉的 token 比它生成这些输出时花的还多。

它“回归均值”的频率高得离谱。Ben 和我分别让它在不同的电子游戏里设计一个独特关卡,结果我们得到的都是以水、音乐和铃铛为主题的关卡,名字还都叫“bellwether”。游戏、prompt、环境等等全都不同,它却不知怎么给出了同一个名字和主题。

我预测这次发布会这样发展:

第 1 天,大家会很喜欢它。Twitter 上会到处都是那些疯狂的一发成型作品。人们会让它把项目从一种语言移植到另一种语言,或者让它完成那些卡了多年的传奇项目反编译工作。它会被用来做出很酷的东西,大家都会兴奋不已。

第 2 天,风向会开始转变。人们会发现它烧掉了多少使用额度,而跟 Opus 相比,实际完成的工作却少得多。人们看不懂 6.2 Astra 对代码的说明,却相信代码没问题,于是开始合并糟糕的代码。他们还会发现,有些从发布当天起就被遗忘、一直运行到现在的循环,至今毫无进展。

第 5 天,大多数人已经对它没兴趣了。届时会有一些帖子爆火,标题可能是“SOL 私下里其实比 Astra 更强??”、“ASTRA 已经变笨了吗??”之类。

第 14 天,这个模型基本就会被人遗忘。

我真的、真的、真的希望自己说错了。我很可能反应过度了(不得不承认,我确实以此出名)。我本可以选择冷静下来,等一等,再给出一份更克制的看法。但我还是把这些一股脑发在这里,因为我希望你们知道我对这个模型最真实的感受。

抱歉,发了一大通牢骚 🙃