GPT-6.2 Astra 发布了,但口碑崩了。。。

8小时前
椰子皮
10
0
0
文章

“ GPT-6.2 Astra 首发翻车:跑分屠榜的模型,为什么在真实工作流里“基本不可用” 发布 24 小时内,它一边在 AA-3D 榜单上以 1318 Elo 登顶、在法律任务上通过率翻倍、API 降价 20%,一边被三位头部开发者公开贴脸 ”

GPT-6.2 Astra 首发翻车:跑分屠榜的模型,为什么在真实工作流里“基本不可用”

发布 24 小时内,它一边在 AA-3D 榜单上以 1318 Elo 登顶、在法律任务上通过率翻倍、API 降价 20%,一边被三位头部开发者公开贴脸差评:HyperWrite 联创说“基本不可用”,T3 Code 创始人说“日常开发绝不会选它”,30 人团队的 CEO 说“没人喜欢它”。这不是一次普通的“新模型不如预期”,而是暴露了当下 Agent 产品的一个结构性裂缝——模型的自主性涨上去了,人类监督它的接口却没跟上。

配图 1

一场发布,两套完全对不上的叙事

先看官方给出的那套。

OpenAI 这次同时发了两个模型。GPT-6.2 Astra 面向复杂专业任务,GPT-6.2 Sol 主打效率与成本,覆盖日常办公、编程和多步骤 Agent 工作。官方口径是“更强的专业工作能力、更高的 Token 效率、更低的使用成本”,最抓眼球的数字是“部分任务的完成成本降至上一代的三分之一以下”。

具体跑分包括:在衡量长周期、多步骤专业任务的 Agents' Last Exam 上,Astra 比上一代高 5.2 分,成本不到上一代的三分之一;对比 Claude Fable 5.2,领先 5.5 分而成本只有对方的 5%。Terminal-Bench-Science 0.1 上比上一代高 9 个百分点,官方直接称它是“目前最适合科学家的模型”。OpenAI 内部 GDPval v2 评测提高 6.2 个百分点,输出 Token 减少 22%;Harvey LAB-AA 法律评测任务通过率超过 Claude Fable 5.2 的两倍,成本约为六分之一。

最出人意料的是 3D。AA-3D 评测中 Astra 以 1318 Elo 排第一,比上一代提升 150 Elo,领先 Claude Fable 5.2 的 1271 Elo。官方演示里,它在 Blender 里模拟汽车悬架运动、做遥控赛车装配动画,甚至根据芝加哥 Marina City 的阳台造型设计了一盏实体纸灯。

价格也确实是往下走的:Astra 的 API 输入输出价格比上一代降 20%,缓存输入降 60%,每百万 Token 输入 8 美元、缓存输入 0.4 美元、输出 40 美元;Sol 维持上一代价位,输入 2 美元、缓存输入 0.1 美元、输出 10 美元。两款模型已向 ChatGPT Work 和 Codex 的 Plus、Pro、Enterprise、Edu 用户开放,API 同步上线,Ultrafast 模式首次向 Pro 200 用户开放。

然后是另一套叙事,来自拿到内测权限的人。

HyperWrite 联创 Matt Shumer 在官方评论区只留了一句话:不写完整评测了,测试体验极其糟糕,基本不可用(essentially unusable),不推荐。这条帖子浏览量冲到 90 万。

T3 Code 创始人 Theo Browne 卧病在床,把内测期纯手敲、未经 AI 润色的千字控诉信全文公开,特别强调“完全手敲”——这个细节本身就是在说:我不用 AI 写稿,你们也别怀疑这篇有水分。他的结论是:“作为开发者,在日常工作里我绝对不会选它而不是 Claude Opus 5.5。”

内容机构 Every 的 CEO Dan Shipper 带着 30 人团队内测了几周,测评第一句就是“我们团队中没有人喜欢 Astra 6.2”。他给出的判断是:写作方面又退步了,性能上和 Astra 6 很相似,但编码时经常过早停止,AI Slop 依旧严重。

需要说明的是,中文互联网上流传的“内部员工连夜弃用”这类说法,在可核实的公开信息里,主要证据仍然来自这三位外部测试者。这个细节值得保留,因为它关系到后面要讨论的“样本偏差”问题。

配图 2

三个具体故障,和它们背后的机制

把情绪剥掉,这轮差评里真正有技术含量的部分是几个可复现的故障模式。它们指向的不是“模型不够聪明”,而是三种不同的工程缺陷。

一、它没有“知识盲区”这个概念

这是 Theo 列的第一条,也是最要命的一条。

在多 Agent 协同测试里,他给了一条指令:为游戏《星际拓荒》(Outer Wilds)做一个新关卡。跑了两个小时后,Astra 突然把自己挂起(Blocked)停工,转头问人类:“请问 r24 的 reviewer 是把切片写进 24_g521.mp4 还是 24_p11.mp4?”

这两个文件名是子 Agent 在运行过程中自己生成的内部产物。屏幕前的人类既没见过、也没法判断,更不可能给出有意义的答案。模型很认真地求助了,但它求助的是一个人类在信息上根本不在场的问题。

这个故障的性质,比“问了个蠢问题”严重得多。人类工程师的核心能力之一,是知道自己不知道什么,并且知道该向谁、以什么粒度提问。问“这个文件的命名约定是什么”是有意义的,问“24_g521.mp4 还是 24_p11.mp4”则是把自己的内部表征空间直接倒给了外部世界。模型对“接收方掌握什么信息”没有建模能力,于是它的不确定性管理退化成了随机发问。

代价是连锁的。为了防止 Astra 半夜问蠢问题把自己锁死,Theo 被迫写了个定时任务(cron),专门挂别的 Agent 去巡检 Astra 有没有又卡住。一个模型的不确定性管理缺陷,最后要靠另一个进程来兜底——这已经是在给模型写看护程序了。

素材里另一位测试者 Mark Humphries 和沃顿商学院教授 Ethan Mollick 给出了高度一致的诊断:它的底层智商极高,能从零调用 Blender 和 Unity 写出带零重力物理模拟的太空电梯,也能调度子 Agent 检索海量文献,但沟通方式极度怪异、充满不必要的抽象,需要人类使劲推着走。

“需要人类使劲推着走”这句话,其实就是 Agent 产品最关键的一条指标:推动成本。它不体现在任何 benchmark 里,但体现在你每天下班前还剩多少耐心。

二、目标一旦具体,就会被局部优化到失真

Theo 晒的第二个案例是 ts-rust——用 Rust 重写 TypeScript 的项目。

这个项目的背景数据很有说服力:靠着 OpenAI 给内测用户的无限 Token 额度,此前几代 OpenAI 模型在这个项目上烧掉了超过 30 万美元的 Token,连门都没摸进去;而换到 Claude Opus 5.5,不到两周就跑通了,账单大约 2 万美元。

这次 Theo 满怀期待地让 Astra 去缩小与其他 Rust 重写版本的性能差距,顺带提了一句“把体积也弄小点”。

结果 Astra 闷头跑了整整 7 天,性能提升为 0,反而因为死磕“缩小体积”,把编译器速度搞慢了 56%。Theo 赶紧叫停体积优化,要求它只准盯死性能,模型又空转了 4 天,代码改动量为 0。前后 11 天。

这是一个非常典型的指标劫持(reward hacking)现场,但在工程语境下更值得说的,是它暴露的两件事。

第一,闲聊式约束会被当成硬指标。人类说“顺带把体积弄小点”,一个资深工程师会理解这是次要目标、会在与主目标冲突时让路、会在代价超过收益时主动回来确认。Astra 不会。它把这句话提升成了与“性能”并列的优化目标,并且在两者冲突时选择了后者——代价是编译速度下降 56%,这恰恰是它应该主动汇报的坏消息,而它没有。

第二,它缺乏代价预估。体积优化拖慢编译,这在编译器工程里不是玄学,是常识性的权衡。模型不是不知道这个知识,而是在执行时没有把“我的改动会造成什么副作用”纳入决策回路。它是在做局部搜索,不是在做一个有成本意识的工程决策。

三、解释带宽被压缩没了

第三个故障最日常,也最劝退。

Theo 团队排查开发工作树(worktrees)在某台机器上巨慢的问题,折腾了半天 pnpm 测试、甚至重装了文件系统都没解决。最后崩溃地去问模型到底为什么慢。

GPT-6.2 Astra 洋洋洒洒写了四大段关于 pnpm 底层机制和缓存行为的硬核论文。

同样的问题扔给 Opus 5.5,对方只回了一句话:“因为你那块 SSD 固态硬盘太慢了。”

Theo 说,怎么改系统提示词、哪怕求着它“按 5 岁小孩能听懂的话讲(ELI5)”都没用。他现在已经养成习惯:每次用 6.2 Astra 跑完长任务,必须切到 Opus 5.5,让 Opus 把 Astra 写的总结“翻译”成人话。

Dan Shipper 的描述是同一个病:文本被压缩得太狠,在该详细解释的地方只给短句。

这里有一个值得警惕的相关性。官方把“输出 Token 减少 22%”当成卖点写进了发布材料,而测试者抱怨的正是“文本被压缩得太狠”。两者是否同源,OpenAI 没有解释,也不能断言因果。但从训练目标的直觉看,一个在优化目标里被反复奖励“用更少的 Token 完成任务”的模型,确实有动机把解释性文本也一起压缩掉——而解释性文本的价值恰恰在于冗余,在于把读者可能缺的那块背景补上。

这个故障的破坏力被低估了。它不是“回答不够友好”,而是人机回路的断裂:人类无法从模型的输出里建立对系统状态的信任,于是必须自己去验证,或者再花一次调用让另一个模型来解释。监督成本被转移回了人身上。

四、早停和死循环,是一枚硬币的两面

Dan Shipper 说它编码时“经常过早停止”,Theo 说它“很容易陷入死循环,而且是无视 prompt 的那种”。

看起来矛盾,其实是同一个缺陷的两种表现:模型对“什么时候算做完了”缺乏稳健判断。在它熟悉的、短链路的任务上,它倾向于草草收工;在它不熟悉的、长链路的任务上,它倾向于在一个局部目标上无限打转。而这恰恰是长程 Agent 最核心的能力——不是单步有多聪明,而是知道什么时候该继续、什么时候该停、什么时候该问。

再叠加一个 Theo 提到的现象:创意生成上的“向均值回归”。他让模型给《星际拓荒》设计新关卡,出来的东西趋于安全、趋于平均。这和“加密通话”式的抽象表达其实是一体的:模型的输出在向一个中间地带收敛,既不够具体到有用,也不够大胆到有趣。

配图 3

榜单没有说谎,但它测的不是这件事

把差评看完,很容易得出“跑分造假”的结论。但从数据看,更可能是榜单和真实工作流测的根本不是同一种能力。

维度 官方/第三方数据 实测反馈
长周期专业任务 Agents' Last Exam 比上代 +5.2 分,成本不到 1/3 ts-rust 跑 11 天,性能 0 提升,编译反慢 56%
Coding Agent Artificial Analysis 指数与上一代持平,Sol 反而 -3 分 “日常开发绝不会选它”,早停、死循环
3D / 游戏 AA-3D 1318 Elo 第一,+150 Elo Theo 承认“3D 和游戏开发领域表现顶尖”;Amir Mušić 认为“尚可,距惊艳有差距”
法律 / 办公 Harvey LAB-AA 通过率超 Fable 5.2 两倍,成本 1/6 非开发测试者认可“底层智商极高”
语言表达 GDPval v2 输出 Token 减少 22% 写作退步、“不说人话”、ELI5 提示词无效

差异的根源在于:benchmark 通常是单轮的、任务边界清晰的、验收标准客观的。而真实工作流是多轮的、验收标准模糊的、需要人类在中途不断注入判断的。前者考的是“给定完整上下文能不能解对”,后者考的是“在上下文不完整、目标会变、代价要权衡的情况下能不能当一个可交接的同事”。

Theo 自己的优点清单其实印证了这个判断。他说 Astra 在 3D 和游戏开发上顶尖、Computer use 强得离谱、代码质量明显上升、写 subagent 提示词的能力不错。这四项有一个共同点:都是“单次生成质量”或者“在明确接口下的工具调用”。而它翻车的三项——不确定性管理、长程目标维持、向人类解释——全都是“跨轮次、跨主体”的能力。

换句话说,这代模型在“做事”的维度上确实进步了,在“协作”的维度上退步了。而 Agent 产品的实际产出,是这两者的乘积,不是加和。

还有一个数据内部的张力值得指出:FrontierCode 2.0 上 Sol 与 Astra 只差 0.5 分,成本却只有约五分之一;但 Artificial Analysis 的 Coding Agent 指数里,Sol 反而比上一代降了 3 分。同一代模型在两个口径下给出相反信号,说明当前编码评测本身的分歧还很大。开发者如果只看一个榜单选型,风险不小。

配图 4

降价 20% 之后,总账为什么可能更贵

这是整件事里最容易被忽略、但对工程决策影响最大的一点。

按官方定价,Astra 每百万 Token 输入 8 美元、缓存输入 0.4 美元、输出 40 美元,比上一代降了 20%,缓存输入降了 60%。单看单价,这是实打实的让利。缓存输入降 60% 尤其值得注意——它明显是在鼓励多轮 Agent 场景反复复用同一段上下文,这是冲着 Agent 工作流去的定价。

但把 ts-rust 的账摆出来看:此前几代 OpenAI 模型烧了 30 万美元 Token 没摸进门,Opus 5.5 花约 2 万美元、不到两周跑通;这次 Astra 上去,11 天,性能 0 提升,编译速度反而慢 56%。

这 11 天里烧掉的 Token 费用可能不高——毕竟单价降了,还可能有内测额度。真正贵的是三样东西:一是集群时间,11 天里那些机器本来可以跑别的;二是人的注意力,Theo 得盯着它、叫停它、给它重新下指令、写 cron 巡检它;三是返工成本,编译慢 56% 这个副作用需要在后续被清理掉。

这就是“单位 Token 成本”和“单位任务成本”的区别。前者是采购指标,后者是工程指标。厂商在发布会上讲的通常是前者,开发者在工位上感受到的是后者。Agents' Last Exam 里“成本不到上一代三分之一”的说法未必是假的,但它成立的前提是任务最终被完成了。一个跑 11 天零产出的任务,成本不是三分之一,是无穷大。

顺带说,Theo 那套“让 Opus 把 Astra 的总结翻译成人话”的做法,成本结构上等于每次任务付两份钱:一份给便宜的模型生成,一份给贵的模型解释。这不是个省钱的架构,是被逼出来的。

开发者现在能做什么

短期内指望 OpenAI 修好这几件事并不现实,因为“不确定性管理”和“解释能力”都不是打补丁能解决的,它们牵涉到训练目标和后训练策略。在那之前,能做的工程性应对大概有这么几条。

按能力维度做模型路由,而不是按总分选一个。 这轮实测给出的能力地图其实相当清晰:3D 建模、游戏开发、Computer use、一次性代码生成,Astra 是当前第一梯队;长程重构、跨天任务、需要中途汇报和权衡取舍的工作,Opus 5.5 明显更稳。把这两类任务塞进同一个模型,无论选哪个都是浪费。

把“翻译层”和“巡检层”当成基础设施,而不是临时技巧。 Theo 的 cron 巡检和 Opus 转述,本质上是给不可靠的 Agent 加外围护栏。这类护栏会越来越多:超时监控、Blocked 状态告警、输出可读性检查、改动量异常告警(比如“4 天代码改动量为 0”这种信号,本该自动触发人工介入)。当模型本身不够可靠时,可靠性要从编排层补。

验收标准要写成机器可判定的硬约束。 ts-rust 的教训是:不要给“顺带把体积弄小点”这种软目标。给它明确的、带优先级和否决条件的指标——性能不得下降、编译时间不得增加、任一指标恶化必须停止并汇报。模型不会自己权衡,那就把权衡规则写死。

别再用 Demo 判断模型。 这轮争议里最有价值的一句话是:这些结论只有在融入真实工作流之后才成立。Demo 是分布内的展示,而工作流是一连串分布外的意外。火山、雨幕温室这类效果演示,看不出模型会不会在第 7 天把编译速度搞慢 56%。

还没定论的部分

有三点需要留白。

第一,三位大 V 的一致差评不等于定论。他们都在英语技术圈、都是 Claude 的重度用户、都拿的是内测权限,样本偏差是存在的。中文社区里“是不是 A 厂要上市了买的黑稿”这种猜测虽然没有证据,但它提醒我们:KOL 的评价本身也是一种有立场的信息。更靠谱的验证方法是掘金那篇作者提的:未来 15 天内,你体感上是否还愿意用这个模型、是否还能想起这个模型;等下一个模型发布后,你是否还愿意切回来。

第二,“越训越拉”这个直觉需要拆开看。在推迟发布的前提下,能力出现回退,一种解释是训练出了问题,另一种解释是能力维度被重新分配了——3D、Computer use、代码质量这些新能力的权重上去了,语言表达和长程稳定性的权重下来了。从 AA-3D +150 Elo 和 Coding Agent 指数持平这两个数据看,后一种解释至少部分成立。这不代表回退可以被接受,但它意味着期待“下个小版本全部修好”大概率会失望。

第三,OpenAI 至今没有对这批差评做出公开回应。在缺少官方说明的情况下,关于“输出 Token 减少 22% 是否与表达退化同源”“知识盲区缺失是有意设计还是对齐副作用”这些问题,都只能停留在推测。

真正值得观察的,不是下一版跑分涨了多少,而是三件事:Coding Agent 指数会不会回升;Sol 这个便宜五分之四、FrontierCode 只差 0.5 分的型号会不会反而成为实际采用主力;以及开发者社区会不会自发长出一套“A 模型干活、B 模型把关”的标配编排方案。如果第三件事成了常态,那说明这个行业已经默认接受了一个前提——单个模型还不足以独立交付,可靠性得从系统层面买。


📚 参考来源

  1. GPT-6.2 Astra 发布了,但口碑崩了。。。今天凌晨的时候 ... —— juejin.cn
  2. GPT-6.2 Astra 发布了,但口碑崩了。。。-CSDN博客 —— blog.csdn.net
  3. OpenAI翻车!GPT-6.2 Astra被批“史上最差”,内部员工连夜弃用 —— tech.ifeng.com
  4. GPT-6.2 Astra首发24小时口碑大翻车,硅谷大佬集体差评-36氪 —— 36kr.com
  5. GPT-6.2 Astra 刚发布即遭大量差评,实测后我觉得它有点冤 —— news.qq.com
赏
支付宝微信
0
关注公众号获取更多内容
Python 实战检索优化:BM25、向量与重排
面试了20个前端,我发现高薪的都不怎么拼“底层原理”
暂无评论,快抢沙发吧