AI 代理在编程、办公等领域的表现已有不少评测,但科研工作流的复杂性远超常规任务。Terminal-Bench-Science 的出现,试图为这一领域建立新的标尺。

发生了什么

Terminal-Bench-Science 是一个新的评测基准,专注于评估 AI 代理在科研工作流中的能力。它基于终端环境,设计了一系列模拟真实科研任务的测试,涵盖文献检索、数据处理、实验设计等环节。该基准的发布,意味着 AI 代理的评测从通用任务向专业领域延伸。

为什么重要

科研工作流具有高度非结构化、依赖领域知识、且需要多步骤推理的特点。现有的 AI 评测(如代码生成、数学解题)往往聚焦于单一技能,难以反映科研场景的真实需求。随着 AI 代理被尝试用于辅助科研,缺乏针对性评测的问题日益突出。Terminal-Bench-Science 的推出,为开发者提供了更贴近实际的测试环境,有助于推动 AI 在科研领域的落地。

影响与看点

对于科研人员,这类基准可能预示 AI 助手将更深入地介入日常研究,从文献整理到实验分析。对于开发者,它提供了一个优化模型的方向:不仅要会写代码,还要能理解科研逻辑。值得关注的是,该基准如何平衡通用性与领域专业性,以及它能否被扩展至更多学科。一个独立判断是:科研评测的难度远超现有基准,其进展将直接反映 AI 推理能力的上限。