Cloudflare 这轮真正改变站长决策的，不是再多一个“Block AI bots”总开关，而是 Search、Agent、Training 已经被拆成三类，而且 9 月 15 日开始新域名会吃到新的广告页默认策略。
- 01先读摘要，判断是否与你的场景相关。
- 02再看来源，保留继续查证的路径。
- 03最后看步骤、风险和可复用动作。
过去很多站长处理 AI bot 的方法只有两个字：全拦。但 Cloudflare 在 2026 年 7 月把问题重新拆开后，这种粗暴做法已经不够用了。因为现在你面对的不是一类“AI 爬虫”，而是至少三类行为：Search、Agent、Training。再加上 2026-09-15 起新域名在广告页上的默认策略会变化，站长最需要的不是情绪判断，而是一套能落地的分类、验收和回滚清单。
适用场景
- 你的网站走 Cloudflare 代理，并且有公开内容页、广告页或资源页。
- 你不想再用单一的 Block AI bots 思路，而是想分清哪些流量该留、哪些该拦。
- 你需要让内容、SEO、广告和技术同事对同一套 bot 策略说同一种话。
- 你想在 9 月默认策略生效前，先决定自己是否跟随默认值。
不适用场景
- 你的站点不在 Cloudflare 后面，或你没有对应 zone 的操作权限。
- 你根本没有广告页，也不在乎搜索发现或 AI referral，这类细分收益会小很多。
- 你希望靠一条规则把所有自动化流量一刀切，后续也不打算细化。
- 你想把这套策略当版权或合同替代品，它更适合流量治理，不是法律意见。
先看 2026-07-01 这轮变化到底改变了什么
Cloudflare 在 2026-07-01 把 AI traffic 从“要不要封 AI bot”升级成“按行为管理 Search、Agent、Training”。这三个分类对应完全不同的业务含义：Search 代表预先索引并带来发现或引用；Agent 代表实时替用户完成任务的访问；Training 代表把内容拿去训练或微调模型。官方 changelog 还明确写了每类策略都可以选择 allow、block all pages 或 block only on pages that display ads。
更关键的是时间线。Cloudflare 已宣布从 2026-09-15 起，新接入的域名默认会在显示广告的页面上阻断 Training 和 Agent，而 Search 继续默认允许；如果是同时具备 Search 和 Training 行为的多用途 crawler，也会按最严格规则命中。对内容站来说，这不再是抽象理念，而是会直接影响默认访问面。
准备材料
- 一张站点路径清单，至少区分文章页、广告页、资源页、工具页和后台路径。
- Cloudflare zone 权限，以及能进入 AI Crawl Control 与 WAF 的管理员账号。
- 站点当前 robots.txt 与广告位分布情况。
- 最近 7 到 30 天的业务目标：更重搜索发现，还是更重广告变现，还是更重文档可读性。
- 一张回滚表：当前策略、修改时间、谁改的、何时恢复。
步骤一：先把页面分成“广告页”和“非广告页”，别直接先改 bot
Cloudflare 新默认策略针对的是“pages that display ads”。如果你自己都没定义哪些页面算广告页，就很容易在 9 月前做出错误预期。对小站来说，最实用的第一步不是研究 bot 目录，而是先把站点里的广告页标出来：哪些页面真的靠广告、哪些只是内容展示、哪些是工具页或登录页。
- 把目录、分类和关键 landing pages 先按广告页与非广告页标记。
- 如果广告位是脚本条件注入，也要写清哪些模板会出现广告。
- 对不确定的页面先归入“待复查”，不要仓促分到允许或阻断。
- 把这张页面分类表共享给 SEO、内容与技术负责人。
步骤二：按业务目标决定 Search、Agent、Training 的初始策略
Cloudflare 给了三类按钮，但按钮本身不会替你做业务决策。内容站最常见的实用起点是：Search 更容易保留，因为它仍带来发现；Training 更容易收紧，因为它不一定返还价值；Agent 则要看你的页面类型，如果页面主要面向人类阅读和广告展示，就更可能跟 Training 一样保守。
- 以搜索发现为主的文章站，通常先保留 Search。
- 以广告页变现为主的页面，优先考虑收紧 Agent 与 Training。
- 以文档或工具说明为主、希望被助手读取的页面，再单独判断 Agent 是否该留。
- 不要因为一个 crawler 名字熟，就跳过它的具体行为分类。
步骤三：在 Crawlers 表里核对真实访问，而不是只看策略开关
Manage AI crawlers 文档最有价值的地方，在于它提醒你看真实访问表。Crawlers tab 不只列名字，还会给出 operator、requests、robots.txt violations 和 action。策略设置完后，真正要复查的是：哪些 operator 正在请求你、是否出现 robots.txt 违规、你 block 后是否还有大量 unsuccessful requests。
- 进入 AI Crawl Control → Crawlers，先按 operator 和 category 过滤。
- 记录高请求量 crawler，不要只凭印象判断谁最常来。
- 查看 robots.txt violations，区分“没看规则”和“看了还在试”。
- 对已经 block 的 crawler，观察 unsuccessful requests 是否异常攀升。
步骤四：block response 和 WAF 扩展要一起设计
Cloudflare 的 block 不只是“挡住”，还允许你返回 403 或 402，以及自定义响应体；同时，AI Crawl Control 创建的 block 规则还能在 WAF 里继续扩展。这意味着真正可运维的做法不是只点 Block，而是想清楚：你只是拒绝访问，还是准备表达付费或授权路径；你要不要给某些路径做例外。
- 明确拒绝访问时，用 403 更直接。
- 如果你要表达付费授权意图，402 与自定义响应体更适合。
- 需要 path-based exceptions 时，不要硬在 UI 里赌，转去 WAF 扩展规则。
- 每做一次 WAF 扩展，都把原始 AI Crawl Control 规则 ID 记下来。
步骤五：在 9 月 15 日前决定是跟随默认值，还是主动 opt out
Cloudflare 已经说明，客户可以在 2026-09-15 之前 opt out 新默认值。如果你的站点并不想让广告页按默认方式拦 Agent 和 Training，必须现在就做决定，而不是等到新域名或新项目上线后才意识到流量行为变了。
- 为每个站点明确写下是否接受默认值，而不是让系统“替你决定”。
- 多用途 crawler 如果既做 Search 又做 Training，要特别单独检查。
- 对新域名站点，把默认策略决定写进建站清单。
- 到 9 月前安排一次复查，确认没有遗漏 opt-out 或 follow-default 的记录。
可复制策略模板
站点：
广告页模板：
非广告页模板：
Search：allow / block ads pages / block all
Agent：allow / block ads pages / block all
Training：allow / block ads pages / block all
高请求量 operator：
robots.txt 违规 crawler：
block response：403 / 402
自定义响应体：
WAF 例外规则：
是否接受 2026-09-15 默认值：是 / 否
下次复查日期：实际例子：博客站和资源页走两套判断
一个团队运营主博客和一组资源页。主博客靠广告和搜索流量，资源页则希望被助手稳定读取。团队没有再用一套“全站 AI bot 策略”，而是把主博客的 Agent / Training 收紧到广告页阻断，同时保留 Search；资源页则保留 Search，并只在特定路径上放开 Agent。这样做之后，策略能对齐业务，而不是对齐口号。
验收清单
- 广告页与非广告页已经明确分类。
- Search、Agent、Training 三类策略已经按业务目标单独决定。
- Crawlers 表已复查过真实访问和 robots.txt violations。
- block response、WAF 例外和回滚记录都已写明。
- 对 2026-09-15 默认值已做跟随或 opt-out 决定。
常见坑
- 还把所有 AI 访问当成一类流量。
- 没有先定义广告页，就开始讨论 9 月默认值。
- 设置了策略却不看真实 crawler 表，结果谁在访问都不知道。
- Block 之后不管 response code 和 WAF，后面难以运营。
- 多用途 crawler 既做 Search 又做 Training，却只按名字直觉判断。
排错路径
- 策略效果不明显：回到 Crawlers 表看请求和 operator，而不是只看设置页开关。
- 误伤了该保留的流量：先看它的行为分类，再用 WAF 做更细路径例外。
- 广告页定义模糊：回头检查模板和广告脚本注入条件。
- block 后对方仍频繁请求：区分是否 robots.txt 违规，再决定是否升级规则。
- 不确定要不要 opt out：按站点业务目标逐站判断，不要靠习惯默认。
后续维护建议
更新日期：2026-07-27。建议把 AI 流量策略并入每月站点运营复查，而不是只在热点新闻出来时看一眼。真正长期有价值的不是“今天拦了谁”，而是你能不能持续分清哪类自动化在给站点带来发现，哪类只在消耗内容价值，以及这些判断有没有随着广告页、资源页和站点结构变化同步更新。