要取得可复查的状态证据,核心是让每一次观察都能被第三方按相同方法重现。对于同一服务器上的网站,这意味着你需要记录“请求了什么、从哪里请求、返回了什么、何时返回”,而不是只截图一个页面或凭记忆描述现象。可复查的证据必须包含时间、来源、原始响应和判断依据,并且这些内容应当保存为可独立打开的文件或日志。
同一服务器网站可能指同一 IP 或同一主机下部署的多个站点。取证前要明确你关心的是哪一层:
层次不同,证据形式不同。服务器层需要原始响应头和 IP 记录;站点层需要各域名独立的抓取结果;页面层需要 URL 级别的状态码与正文摘要。混在一起记录,复查时无法定位问题。
最直接的方式是使用 curl 把响应头和正文分别保存,并附加时间戳。以下命令在 Linux 或 macOS 终端中执行:
curl -sS -D headers_$(date +%Y%m%d%H%M%S).txt -o body_$(date +%Y%m%d%H%M%S).html -w "url=%{url_effective} code=%{http_code} ip=%{remote_ip} time=%{time_total}\n" https://example.com/page
这条命令会生成三个可复查文件:响应头、正文、以及一行包含最终 URL、状态码、连接 IP 和耗时的摘要。把 example.com/page 替换为实际要检查的 URL。如果同一服务器上有多个域名,对每个域名分别执行一次,不要只测一个就推断全部。
判断结果时注意:200 表示服务器返回了内容,但不代表内容正确;301 或 302 需要继续跟踪最终地址;403 或 404 要结合服务器配置判断是全局行为还是单站行为。如果多个域名返回相同 IP 但状态码不同,说明问题更可能在站点配置层,而不是服务器网络层。
robots.txt 的抓取限制不等于可靠的索引移除。它只是告诉爬虫哪些路径不应抓取,但已经收录的页面不会因为新增一条 Disallow 就自动从索引中消失。因此,当你为同一服务器上的多个网站取证时,应当分别保存每个域名的 robots.txt 原始内容,而不是只看一个。
可执行步骤:
curl -sS https://域名/robots.txt -o robots_域名.txt,保存原始文本。Sitemap: 行,并记录指向的站点地图地址。curl 方法确认它们实际返回的状态码。站点地图不保证收录,它只是提交候选 URL 的一种方式。可复查的证据在于:你保存了提交内容、提交时间,以及后续实际抓取到的状态。如果站点地图里包含其他域名的 URL,或者 robots.txt 屏蔽了整站,这些都可以从保存的文件中直接核对。
HTTPS 不保证安全无漏洞或排名。它只表示传输层加密存在。对于同一服务器上的多个网站,证书可能覆盖多个域名,也可能只覆盖其中一个。取证时要分别检查每个域名的证书信息和响应头。
检查证书的命令示例:
echo | openssl s_client -connect example.com:443 -servername example.com 2>/dev/null | openssl x509 -noout -subject -dates -ext subjectAltName
把 example.com 替换为实际域名。输出中可以看到证书主题、有效期和备用名称。如果同一服务器上另一个域名不在备用名称列表中,浏览器访问该域名时可能出现证书名称不匹配。这是可复查的事实,不需要依赖主观感受。
响应头方面,重点记录 Server、Content-Type、Location、X-Robots-Tag 等字段。其中 X-Robots-Tag 可能影响页面是否被索引,但它与 robots.txt 是不同机制,需要分别判断。不同搜索引擎对这些指令的支持情况须分别核查,不能用一个搜索引擎的结果推断另一个。
可复查的关键在于:第二次检查时,你打开的是第一次保存的原始文件,而不是重新凭记忆写一段结论。建议把每次取证的文件放在以日期命名的目录中,例如 2025-06-01/,目录内包含各域名的响应头、正文、robots.txt 和站点地图。
复查时执行以下对照:
Location 是否指向同一最终地址;如果不同,说明重定向规则可能发生了变化。如果两次结果不同,不要直接断言“服务器不稳定”。可能原因包括:CDN 或缓存层返回了不同副本、负载均衡将请求分发到不同后端、或者本地 DNS 解析到了不同 IP。要区分这些可能,需要在同一时间从不同网络位置分别请求,并记录每次连接的 remote_ip。只有当你已经定位到具体原因时,才把它写成结论;否则应保留为待验证项。
下一步,选一个你关心的域名,按上面的 curl 命令完整执行一次,把生成的文件保存到独立目录,然后对同一服务器上的第二个域名重复同样操作。两份记录放在一起,就是可复查状态证据的起点。