Cloudflare AI 流量分类设置清单:Search、Agent、Training 与 9 月 15 日广告页默认策略怎么验收

Cloudflare 这轮真正改变站长决策的,不是再多一个“Block AI bots”总开关,而是 Search、Agent、Training 已经被拆成三类,而且 9 月 15 日开始新域名会吃到新的广告页默认策略。
围绕「AI crawlers」的文章归档,便于从同一个关键词继续追踪相关观察。

Cloudflare 这轮真正改变站长决策的,不是再多一个“Block AI bots”总开关,而是 Search、Agent、Training 已经被拆成三类,而且 9 月 15 日开始新域名会吃到新的广告页默认策略。

只把 AI 爬虫一刀切拦掉,已经不够用了。现在更有价值的,是先补好 robots.txt、再看 Directives、再判断哪些内容该给 agent 看、哪些训练爬虫该被引导走规范路径。