当网站开始为“会自己上网的软件”单独设计规则,互联网沿用了三十年的“人还是机器人”二分法正在失效。
发生了什么
MIT科技评论在《The Algorithm》通讯中提出一个判断:让互联网对AI代理更友好,可能同时让它对其他人更不友好。文章指出,长期以来网站只把访问者分成两类——机器人和人。网站允许机器人执行抓取页面内容等自动化任务,并据此制定规则。但随着能够自主浏览、点击、填写表单、完成多步任务的AI代理出现,这套建立在“机器人只做简单自动化”前提上的规则开始不够用。
为什么重要
过去网站对机器人的管理逻辑相对简单:用robots协议、访问频率限制、验证码区分“人”和“爬虫”,再决定放行还是拦截。爬虫的行为模式单一,识别成本低。AI代理则不同,它模仿人的浏览路径,会登录、会交互、会跨站点完成任务,既可能是用户授权的助手,也可能是大规模自动化的采集者。
当网站为了“让代理顺利办事”而放宽准入、提供机器可读接口或专用通道时,滥用门槛也随之降低。反过来,如果为了防滥用而加严验证,正常用户的体验和开放网络的互通性又会被牺牲。这正是标题所指的张力:为代理优化,未必等于为所有人优化。
影响与看点
对平台而言,核心问题从“是不是机器人”变成“这个代理代表谁、有什么权限、行为是否可追溯”。身份认证、授权委托和访问审计可能成为下一阶段网站基础设施的一部分。
对开发者而言,代理能否稳定访问网页,将直接决定自动化工作流的上限;依赖网页抓取的产品需要重新评估合规与稳定性风险。
对普通用户而言,值得关注的是验证环节会不会变得更繁琐,以及公开内容是否会被进一步圈进需要授权才能访问的围墙。
一个独立判断:互联网的分层不会消失,只会从“人机二分”变成“按代理权限分级”,而分级的默认值由平台设定,普通用户往往没有谈判权。



