如果模型在训练时学会了安全规则,却在特定提示下轻易绕过,那么“对齐”就只是表面功夫。MIT 这项新工作的切入点,正是这个长期被诟病的缝隙。

发生了什么

据 Hacker News 上的讨论,MIT 研究者提出了一种新方法,目标是强制 AI 系统遵守既定的安全规则,而不是仅靠训练阶段的偏好微调来“期望”它遵守。该条目在社区获得了一定关注,但公开摘要信息有限,具体技术路线、实验设置与评测结果尚未在片段中展开。

从标题表述看,关键词是“force”——强制。这意味着研究重点不在于让模型“更愿意”遵守规则,而在于从机制上压缩模型偏离规则的空间。这与当前主流的安全对齐思路存在明显差异。

为什么重要

过去几年,AI 安全的主流做法大致分两类:一是训练侧的对齐,比如 RLHF、宪法 AI,通过偏好数据让模型倾向于拒绝有害请求;二是推理侧的护栏,比如输入输出过滤、系统提示约束。

两类方法各有软肋。训练侧的对齐容易被“越狱”提示绕过,模型可能在某些语境下重新解释规则;推理侧的护栏则往往独立于模型本身,容易被绕过,也可能误伤正常请求。更根本的问题是,规则由外部施加,模型内部并没有一个“必须遵守”的结构性约束。

MIT 这项工作的价值在于,它试图把安全规则从“训练偏好”或“外部过滤”变成模型运行时的硬约束。如果成立,这会改变安全评测的基准:不再只问“模型会不会拒绝”,而是问“模型有没有能力违反”。

影响与看点

对开发者而言,最直接的影响是安全层的设计位置可能前移。如果强制遵守可以在模型层面实现,那么应用侧就不必堆叠大量过滤逻辑,系统提示的权重也会下降。

对行业而言,这类研究如果可复现、可泛化,会推动安全从“事后拦截”转向“事前约束”。但需要冷静看待几点:强制遵守与模型能力之间往往存在张力,约束越硬,模型在边缘场景下的灵活性可能越差;此外,规则本身由谁定义、如何更新,仍是未解问题。

一个独立判断是:安全对齐的下一阶段竞争,可能不再是谁的模型更“听话”,而是谁的约束机制更可靠、更可验证。MIT 这项方法是否经得起大规模评测,值得持续跟踪。