形成可复用检查清单的关键,是把“这次为什么没收录”变成“以后每次按什么顺序查”。可复用的清单不是把所有SEO知识堆在一起,而是固定检查对象、判断标准和记录方式。下面用两种方案对比:方案A按页面生命周期分阶段检查,方案B按故障现象反查。两者都能形成清单,但适用条件不同。
假设某站点上线了100个新页面,两周后只有30个被搜索引擎收录。此时不要先猜算法,而应按可观察证据分三栏记录:页面是否可访问、是否允许抓取、是否值得收录。可执行步骤如下:
robots.txt是否屏蔽了这些路径,并确认屏蔽规则没有被误写成全站禁止。<meta name="robots" content="noindex">,注意它和robots.txt限制抓取是两回事。常见错误是只查站点地图。站点地图能帮助发现网址,但不保证收录;提交了站点地图不等于页面会被索引。另一个错误是把robots.txt当成移除工具:它限制抓取,不等于可靠的索引移除。若页面已被收录,仅加robots.txt限制抓取,搜索结果中仍可能保留该网址。
方案A把清单分成上线前、上线后、复查三个阶段。上线前检查可访问性、抓取权限、索引指令、内链入口和内容唯一性;上线后检查状态码、规范化标签、站点地图是否包含、日志中是否有抓取记录;复查阶段对比已收录与未收录样本,判断差异出在抓取、索引还是展示环节。
适用条件:站点有稳定发布流程,能要求编辑或开发在上线前逐项确认。判断结果是,如果同一类问题在多个页面重复出现,就把它固化成模板级检查项,而不是每次临时排查。优点是能提前拦住批量错误;缺点是清单较长,发布频率低时容易流于形式。
方案B从现象出发,例如“页面能打开但搜不到”“旧页面改版后消失”“新页面只被部分搜索引擎收录”。每个现象对应一组检查项:先确认搜索引擎是否抓取过,再确认是否允许索引,最后确认页面是否具备被收录的独立价值。若日志显示从未抓取,优先查入口和抓取限制;若已抓取但未收录,优先查内容质量、重复度和索引指令。
适用条件:站点没有统一发布流程,或问题集中在少数页面。优点是响应快、不要求全站改造;缺点是容易只修个案,不解决批量原因。判断结果是,如果同类现象反复出现,应把反查路径合并回方案A,形成固定清单。
选择时看三个条件:发布频率、问题范围、执行角色。高频发布且问题成批出现,选方案A;低频发布且问题零散,选方案B。若开发、编辑、SEO由不同人负责,清单要标明每项由谁确认、证据放在哪里。
robots.txt、状态码、内链入口、站点地图。noindex、规范化标签、重复内容、内容是否依赖交互才出现。HTTPS只说明传输层加密,不保证页面安全无漏洞,也不保证排名。不同搜索引擎对同一指令的支持和反应可能不同,应分别核查,不能用一个引擎的结果推断全部。
每次排查后只做一件事:把“这次实际发现的原因”和“当时误判的方向”写进清单备注。下次遇到相似现象,先看备注,再按固定顺序检查。清单的价值不在于长,而在于同一问题第二次出现时,你能用更少步骤确认它是否仍然成立。
下一步:选一个当前未收录的页面,按方案B走一遍反查,再把有效检查项并入方案A的发布前清单。