AI安全护栏本意是防止模型被滥用，但进攻型网络安全研究者发现，这些护栏也阻碍了他们的工作。
发生了什么
TechCrunch采访了多位进攻型网络安全研究者，他们专门寻找未知漏洞并开发利用工具。这些研究者表示，OpenAI和Anthropic等公司为AI模型设置的安全护栏，经常误判他们的工作内容，拒绝执行合法且必要的安全研究请求。例如，当研究者要求模型分析一段漏洞代码或生成PoC（概念验证）时，模型可能因触发安全策略而拒绝响应。
为什么重要
进攻型安全研究（红队）是网络安全生态的关键一环，通过主动发现和利用漏洞，帮助组织提前修补。AI模型本可加速这一过程，例如辅助分析代码、生成测试用例。但安全护栏的过度限制，使得研究者不得不花费额外时间寻找变通方法，甚至放弃使用AI工具。这可能导致漏洞发现速度变慢，最终影响整体安全防御能力。此外，护栏的误判也反映了当前AI安全策略的粗粒度——难以区分恶意行为与合法研究。
影响与看点
- 对安全研究者的影响：工作效率降低，需手动绕过护栏或使用其他工具。长期可能促使研究者转向更开放或自建的模型。
- 对AI提供商的影响：需优化护栏策略，例如引入研究认证机制或更精细的上下文理解，避免误伤合法请求。
- 对行业趋势的启示：AI安全护栏的“一刀切”模式面临挑战，未来可能出现针对特定领域（如安全研究）的定制化护栏。
- 值得关注的点：OpenAI和Anthropic是否会调整策略？社区是否会开发专门用于安全研究的微调模型？
独立判断：AI安全护栏的当前设计过于保守，在保护与赋能之间尚未找到平衡；进攻型安全研究者的反馈应成为改进的重要依据。
