Google Search Console 里,4sea.cc 的站点地图变成红色:无法抓取。
同一台服务器上还有 4sea.online,配置几乎一样,它的是绿的。
我盯着这两个结果看了很久。同一个 IP、同一个 nginx、同一套签发证书的流程、同一个 Cloudflare 账号。一个能抓,一个不能。
从下午查到深夜,第二天早上接着查,中间猜错了三次。
第一次:我以为是协议的问题
日志里 Google 对 4sea.cc 的请求,有几条是 HTTP 不是 HTTPS:
66.249.68.2 GET /robots.txt HTTP/1.1 301
66.249.68.3 GET / HTTP/1.1 301
我的 80 端口把所有请求 301 到 https。当时的想法是:Google 的 sitemap 校验得先读 robots.txt,撞上跳转就中止了。
改起来很快。让 80 端口直接返回 robots.txt 和 sitemap.xml,不跳。
改完再提交。还是无法抓取。
第二次:日志里没有那条请求
我把三个日志文件全翻了一遍。
/var/log/nginx/access.log/var/log/nginx/4sea.online.access.log/var/log/nginx/seo-crawl.log(只记 sitemap 和 robots)
Google 对 4sea.cc 的 sitemap 请求,次数是 0。
不是失败,是根本没发。
而 4sea.online 那边有一条:
66.249.68.6 [19/Nov 16:50:32] GET /sitemap.xml 200 324
324 字节是 gzip 后的大小,原始文件 1123 字节。它拿到了,也解析了,GSC 显示成功。
同一天、同一台机器,一个抓到了,一个连请求都没发。
第三次:我把配置改坏了
排查途中我写了条正则,想清理 nginx 里错位的 location:
re.sub(r"\n\s*location = /robots\.txt \{[^}]*\}\n\s*location = /sitemap\.xml \{[^}]*\}\n", "\n", s)
re.sub 没限制替换次数,把 443 端口块里两个正常的 location 也删了。robots.txt 和 sitemap.xml 从「nginx 直出」变成「经过 WAF 转发」。
功能没坏,但多了一跳,也不再享受原设计里绕开 WAF 的好处。第二天我对比版本库才发现。
真正的差异
服务器这边我能查的都查了,全部正常:DNS 用 Google 自己的解析器查是对的,证书链验证通过,TLS 三条曲线都能握手,防火墙没封 Google 网段,安全浏览没有标记,人工处置措施是空的。
差异在域名本身。
4sea.cc 注册于 2026-02-25,NS 当天 11:37 才从 DNSPod 改到 Cloudflare
4sea.online 注册于当天,第一次解析就是 Cloudflare
4sea.cc 有九个月的 DNSPod 解析历史。4sea.online 没有。
一开始我算的时间是六小时:从公共解析器查 NS,返回的 TTL 是 21600。11:37 改的 NS,加六小时是 17:37。
结果 17:40 重试,还是抓不到。
后来才发现这个数字读错了。21600 是 Cloudflare 自己那条 NS 记录的 TTL,不是注册局的委派 TTL。真正决定「全世界要多久才能看到新 NS」的,是注册局那一层。
直接问 .cc 的顶级域服务器,非递归:
$ dig @ac1.nstld.com 4sea.cc NS +norecurse
4sea.cc. 172800 IN NS zita.ns.cloudflare.com.
4sea.cc. 172800 IN NS ben.ns.cloudflare.com.
172800 秒,四十八小时。
所以旧委派最长能活到 11-21 中午 11:37,不是当天下午 17:37。时间窗口比我一开始算的大八倍。
顺手把十三个公共 DNS 查了一遍 —— Google 的 8.8.8.8、Cloudflare 的 1.1.1.1、Quad9、OpenDNS、Verisign、Yandex,加上国内的 DNSPod、阿里、百度、114、中华电信,还有 Comodo。全部已经返回 Cloudflare 的 NS 和正确的 A 记录。
只有一个意外:DNSPod 的权威服务器还在应答 4sea.cc,返回的也是 43.154.79.189。旧记录没删。这反倒成了兜底 —— 万一还有解析器拿着旧委派,它也能拿到正确地址,不会解析到别处去。
到这一步,能确定的只有一件事:问题不在服务器,在 Google 还没更新它的 DNS 缓存。至于它什么时候更新,我控制不了。
现在还没解决
Google 没来。日志里只有爬虫在抓页面,sitemap 那条请求始终是 0。
我能确认的只有一件事:服务器对任何来路的 sitemap 请求都返回 200。这一点我从应用层、WAF 层、完整链路、外部网络四个入口都试过。
事情没有结局。等 11-21 中午 DNS 委派全部过期,如果还是没有抓取记录,就按「Google 侧的抓取异常」处理,转头做内容去 —— sitemap 只是加速收录,不是收录本身。
这次排查暴露的三个问题
第一,应该先要对方的实证。
GSC 里有个「网址检查」,可以让 Google 当场抓一次并显示结果。我一开始就该用它,而不是先在服务器上猜。
它给的证据很直接:17:27:11,Google 的检查工具抓到了 sitemap,200,224 字节。如果早两个小时看到这个,能省掉一大段错路。
第二,得先确认日志文件的边界。
4sea.online 的 server 块单独指定了 access_log,它的请求不在 access.log 里。我第一次统计只看 access.log,得出「Google 没抓过任何一方」—— 是错的。
第三,别往生产日志里塞测试数据。
测告警脚本时我伪造了一条 403 记录,结果那封「抓取异常」的邮件发到了真实邮箱,后来花了两条消息解释那是假的。
测试数据要用隔离的文件。