把「资深投资人的判断」当作可评测的标尺,是这次发布最值得注意的地方。
发生了什么
OpenAI 公布了一个来自 Terminal X 的案例:其 Eval Agent 使用一套 54 项标准的评分表(rubric)对模型输出进行打分,在接入 GPT-6.1 Sol 之后,对「偏离基金委托要求(mandate)」的识别量提升了 25%。同时,该系统的评分结果与资深投资人的人工判断一致率达到 88.6%。
需要说明的是,披露信息只给出了这三个关键点——54 项标准、25% 的偏离识别提升、88.6% 的一致率——并未公开评分表的具体维度、测试样本规模与构成,也没有说明「一致率」的计算口径(是逐条标准一致,还是最终结论一致)。这些细节决定了数字的实际分量,读者应保留判断空间。
为什么重要
投资判断长期被视为最难自动化的领域之一,原因不在于信息不足,而在于「委托要求」本身是模糊的:一只基金的投资范围、风险偏好、集中度约束往往写在文档里,却要靠人来解释和执行。合规与投研团队日常做的大量工作,本质上就是判断某个标的、某笔交易是否「越界」。
Terminal X 的做法是把这件事拆成可评测的形式:先用一套细颗粒度的 rubric 把模糊的委托要求显式化,再让模型逐条比对输出。这与「让模型直接给投资建议」是两条完全不同的路径——前者做的是审查与偏离检测,后者做的是决策。前者更容易被验证,也更容易被机构接受。
88.6% 的一致率之所以被拿出来说,是因为它把 AI 的输出锚定在了一个人类专业基准上。这类「与专家判断对齐」的指标,正在取代单纯的准确率,成为企业级 AI 评测的主流叙事。
影响与看点
对金融科技团队而言,可复用的不是这个数字,而是方法:把领域专家的隐性标准写成 rubric,再用模型做规模化的一致性审查。这套模式可以迁移到法务合同审查、医疗指南依从性、内部风控等场景。
对开发者来说,值得关注的是「Eval Agent」这一产品形态——评测本身正在从离线基准变成生产系统里的一个常驻组件,持续对输出做打分和拦截。
有三个问题目前没有答案:54 项标准由谁制定、是否公开;25% 的提升是相对什么基线;88.6% 剩下那部分不一致,是模型错还是专家错。
一个独立判断:这类发布真正的价值不在于证明模型「像投资人」,而在于证明委托要求可以被工程化。一旦标准被写下来,模型能力提升就会直接转化为审查效率,而不需要重新设计流程。



