湿实验预测基准SPU发布12款前沿模型最高分仅0.486

AI 生成的事件示意图,不代表新闻现场照片。
据量子位11月14日报道,UniPat AI 牵头,联合斯坦福、康奈尔、哈佛、北大、港科大及 FutureHouse 等十余家机构,发布湿实验预测基准 SPU(Science Prediction Universe)。首轮评测覆盖12款前沿模型、13种配置,最高平均分只有0.486,来自 Claude Opus 5.5——刚好只有一半任务跑赢随机水平。
SPU:把湿实验结果预测变成可打分的考场(图片来源:量子位报道原文配图)
一张不许背题的考卷
SPU 收录116个任务、4207个真实湿实验,横跨化学、材料科学、生物与医学32个子领域。100个公开任务取自85篇近期论文;16个私有任务来自四组未发表实验,涉及 VHH 纳米抗体、反应条件、电解液与 Magrolimab 变体,实测结果对模型隐藏。
考试条件近乎苛刻:模型每次运行8小时,配8核 CPU、16 GiB 内存和一块 H20,可联网检索、自行安装科研软件;评分在断网容器中进行,用 Spearman 相关系数对照预测与实测排序,另为每道题生成4000份随机排序,取第95百分位作随机阈值。防作弊也是动真格——评分时自动扫描工具输出里的论文 DOI 与标题。量子位报道称,沿单一趋势就能排序的简单题被直接剔除,留下的是更难、更有区分度的题。
SPU 的任务覆盖与来源(图片来源:量子位报道原文配图)

AI 生成的事件示意图,不代表新闻现场照片。
最高分0.486,一半任务不及随机线
13种配置里,能超过随机阈值的任务比例只有34%~52%。模型分成两个梯队:领先组6个,同题平均比其余7个高约0.15分,但仍有约9%的任务得负分,即预测与实测呈负相关;落后组这一比例达22%。分学科看,化学最高分是 Opus 5.5,材料科学是 Fable 5.1,生物学是 GPT-6 Astra Medium,医学是 Opus 5,其中 Fable 5.1 与 Opus 5.5 还出现了拒答现象。
一道溶液任务暴露了差距的来源:同一聚合反应换12种溶剂,按产物质量排序,Opus 5.5 得0.874,66对比较排对56对;Qwen 3.8 得 -0.126,只排对30对。前者盯住原料混溶与催化剂相容性,后者只看溶剂能溶解多少乙烯——即便中途算出了问题,也没能推翻自己最初选定的排序依据。出错最多的一步,恰恰是选择判断依据。
各模型在四个学科上的得分(图片来源:量子位报道原文配图)

AI 生成的事件示意图,不代表新闻现场照片。
算力翻5倍,分数纹丝不动
更反直觉的是资源投入。同样8小时里,GPT-6 Astra 从中等推理强度调到最高,运行时间中位数增至4.8倍、API 成本中位数增至5.3倍,得分几乎不变——在完成的79个任务上,它运行到中位26%时就交了答案,之后的计算只是微调。工具也类似:Max 配置每次运行使用4类方法,Medium 只用1类,得分无显著差别。全部运行中成功跑上 GPU 的仅255次,不到五分之一;各配置单次运行 API 成本从0.22美元到65.91美元,相差300倍。
先量出距离,再谈走近
SPU 的价值在于把一次错误判断拆开来看:哪些测量目标容易预测、哪些任务差异最大、模型在哪一步选错了依据,从此都有数值可查。100个公开任务将以 Harbor 任务包形式发布,数据集与代码已开源,论文挂在 arXiv(2611.15049)。模型的科研判断怎样一步步养成,第一次有了一张可以反复重考的卷子。
AI 能在8小时里装三套软件、跑完 DFT 再做蒙特卡洛,却还没学会问自己一句:我算的这个量,是不是实验真正要测的那个量。