SPU湿实验预测基准发布：前沿模型最高仅0.486分
UniPat AI发布SPU基准，含116个任务、4207个湿实验，覆盖化学、材料、生物和医学；12款前沿模型13种配置平均最高仅0.486分，多数任务未超随机水平。
要点
- SPU含116个任务、4207个湿实验，覆盖化学、材料、生物和医学
- 100个公开任务取自85篇论文，16个私有任务来自未发表合作实验
- 首轮评测12款前沿模型13种配置，最高平均分0.486，仅一半任务超随机水平
- GPT-6 Astra最高推理强度耗时增至4.8倍、API成本5.3倍，得分几乎不变
- 数据集和代码已开源，公开任务计划以Harbor任务包发布
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。