AI编程Agent的评测格局，10月被一份新榜单改写。斯坦福、Harbor和Laude Institute联合推出的Terminal-Bench 4.0，用66道全新任务重排了所有主流模型。这份榜单最大的变化在成本栏：OpenAI的GPT-6.1 Sol用约八分之一的成本，追平了自家旗舰GPT-6 Astra的得分。
66道新题，每题限时8小时
Terminal-Bench 4.0于8月28日发布，10月仍在滚动更新。它彻底抛弃了旧版题库，66道任务全部由社区贡献、维护者审核，与2.1版本的89道题零重叠。
题目难度按专家工时标注：中位数4小时，最长一题需要专家干上60小时。每道题围绕一个真实交付物展开——一个能跑的服务、一份CAD模型、一个训练好的GPU内核、一份取证报告。评分器只看最终产物，没有部分得分。Agent做完，验证器跑完整测试套件，全过才算赢。
测试协议同样严格。所有模型统一使用mini-swe-agent外壳，只给一个bash工具，每轮跑三次取平均。单题限时8小时，超时即零分。
榜首：Claude Opus 5.5登顶
据评测机构Vals AI的10月快照，Claude Opus 5.5以65.15%排在第一，单次测试成本13.20美元。Anthropic自家的Claude Sonnet 5.5以64.14%紧随其后，只用二号位价格的一半。最新快照中，月之暗面的Kimi K3.1 Pro也冲到63.64%，国产模型首次贴近第一梯队。
OpenAI这边，GPT-6 Astra得59.60%，单次成本9.58美元，耗时35分42秒——全场最快之一。GPT-6.1 Sol得55.05%，成本1.72美元，是前者的大约五分之一。
国产模型走的是另一条路线。智谱GLM 5.3 Flash单次成本1.22美元，拿到37.37%。DeepSeek V4.1 Flash 1017成本只有0.54美元，得分31.82%。小米MiMo V2.6 Pro更是把成本压到0.50美元。旗舰打性能，轻量模型打性价比，两条曲线已经分开。
官方榜单上，成本差距拉到8倍
Terminal-Bench官网的Claude Code和Codex数据更直观。Opus 5.5以64.8%登顶，整轮测试消耗80亿Token，成本4700美元。GPT-6.1 Sol拿到58.2%，与GPT-6 Astra并列第三，Token消耗15亿，整轮成本只要600美元。
同样的分数，账单差出5倍以上。Sonnet 5.5多花6.7倍的运行成本，换来3.6个百分点的提升。这笔账怎么算，每家团队答案不同。
选型结论已经清晰：预算充足的深度工程任务交给Opus 5.5；大批量、高并发的日常任务，GPT-6.1 Sol和GLM 5.3 Flash这类高效模型更划算。
三分之二的题与写代码无关
4.0版本的另一个信号容易被忽略：任务构成大幅扩宽。软件类只占18题，科学类14题、机器学习11题、运维9题、硬件5题、安全5题、媒体4题。约四分之三的任务在传统软件工程之外。
Agent要训练模型、做RTL芯片设计、处理保险理赔、写取证报告。这对模型的能力宽度提出新要求，也让”编程基准”这个词显得过时。AI Agent正在从写代码工具，变成通用的数字员工。
对照另一条线索：OpenAI今年2月宣布停报SWE-bench Verified，理由是题目污染日益严重，转而推荐Scale AI的SWE-bench Pro。后者有1865道任务、来自41个专业仓库，公开榜最高分是Meta的Muse Spark 1.1，61.50%。老基准退役、新基准扩宽，行业在重新定义”会干活”。
开发者现在该看什么
第一，看harness。榜单上的每个分数都是”模型+Agent外壳”的组合，同一个模型换外壳，成绩差出十几个百分点。厂商宣传的分数，先问是哪套Agent跑出来的。
第二，看成本栏。Terminal-Bench把每题成本直接写在榜单上，这个栏目比分数更能决定你的月度账单。Artificial Analysis的统计显示，Opus 5.5降价20%后，单任务成本仍比上一代高出21%。
第三，看自己的任务类型。如果你的工作流以终端操作、系统运维为主，Terminal-Bench 4.0的参考价值最高；纯Python修bug场景，SWE-bench Pro仍然够用。
榜单会继续洗牌，成本曲线只会更陡。下一轮更新，比的可能已经不是谁分数高，而是谁用一块钱干出了别人十块钱的活。
苏公网安备32010502011527号
发表回复