用大模型给科研想法打分，正在从实验性尝试变成流程的一部分——但它给出的“新颖性”判断，究竟有多少可信度？

发生了什么

Hugging Face 上出现了一篇讨论，标题直指核心问题：我们能否信任 LLM 来判断一个研究想法是否新颖。它把近期一个越来越常见的做法摆上台面——让大语言模型阅读研究提案，评估其与已有工作的差异，并给出新颖性评价。讨论并未停留在“能不能用”，而是追问这种判断本身的可靠性边界。

为什么重要

新颖性是科研评审中最难量化的维度之一。它既依赖对海量文献的熟悉程度，也依赖评审者对“什么算真正不同”的品味。人类评审尚且存在分歧，把这一环节交给模型，等于把一个高主观性的判断外包给一个概率系统。

问题在于，LLM 在这方面有结构性弱点。它们对文献的覆盖不完整，训练数据存在时间截点，容易把“自己没见过的组合”误判为新奇，也容易把冷门但早已存在的思路当成原创。更微妙的是，模型倾向于给出流畅、自信的评价，这种表达方式会掩盖判断本身的不确定性，让使用者高估其可靠性。

与此同时，AI 辅助评审的现实需求在上升。投稿量增长、评审资源紧张，让自动化初筛具有吸引力。这正是争议的焦点：效率收益真实存在，但错误代价由谁承担。

影响与看点

对研究者而言，把 LLM 当作新颖性的“第一读者”是可行的，但应把它定位为提示工具而非裁决者——用它找出可能遗漏的相关工作、暴露表述模糊之处，而不是接受它的结论。

对构建评审系统的开发者，这篇讨论指向几个值得投入的方向：让模型输出可核查的文献依据而非笼统评分，明确区分“未检索到相似工作”和“确实不存在相似工作”，以及在界面层传达置信度而非单一结论。

对出版与评审机构，关键问题是流程设计：模型判断应作为辅助信号进入人类评审视野，而不是替代判断。透明记录模型参与了哪个环节，比追求一个“新颖性分数”更有价值。

一个独立判断：LLM 目前更适合做新颖性的“反方”——帮评审者寻找反例和先例，而不是做“正方”给出背书。把它的角色限定在证伪一侧，风险可控，价值也更实在。