当 AI 代理开始像浏览器一样消费网页,内容协商(Content Negotiation)正在成为新的战场。

发生了什么

Hacker News 上出现了一则讨论,提议使用 HTTP 的 Accept 头来向 AI 代理提供 Markdown 格式的内容。传统上,Accept 头用于告知服务器客户端能理解的内容类型,如 text/html 或 application/json。该提议设想,AI 代理可以在请求中发送 Accept: text/markdown,服务器则返回 Markdown 格式的页面内容,而非 HTML。

这并非新概念,但讨论的热度表明,开发者社区正在积极寻找优化 AI 代理与网页交互的方式。

为什么重要

当前,AI 代理(如爬虫、自动化工具)通常需要解析 HTML 来提取信息,这不仅低效,而且容易出错。HTML 包含大量与内容无关的标签、脚本和样式,增加了代理的处理负担。Markdown 则是一种轻量级、结构化的纯文本格式,更易于解析和理解。

如果内容提供者支持 Accept: text/markdown,AI 代理就能直接获取干净的内容,减少预处理步骤,提高效率和准确性。这类似于早期为移动设备提供简化版页面,但现在是针对机器读者。

此外,这一做法可能推动内容协商的标准化,让 AI 代理与网站之间的交互更加规范。

影响与看点

对开发者而言,实现这一功能并不复杂:服务器端检测 Accept 头,若包含 text/markdown,则返回 Markdown 版本。但关键在于内容维护:需要确保 Markdown 版本与 HTML 同步更新,避免信息不一致。

对内容创作者和网站运营者,这可能是一个新的 SEO 维度——为 AI 代理优化内容,使其更容易被引用和传播。

值得关注的是,主流搜索引擎和 AI 公司是否会采纳这一标准。如果像 Google 或 OpenAI 这样的巨头支持,那么它可能成为事实标准。

我的判断是:这不会是革命性的突破,但它是生态系统中一个务实的补充。随着 AI 代理的普及,内容提供者需要思考如何更好地服务这些新“用户”,而 Accept 头是一个简单且优雅的起点。

未来,我们可能会看到更多针对 AI 代理的协议和格式出现,但基于 HTTP 的现有机制往往是最容易被采纳的。