网站词数分析：怎样记录改动前后的基线
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5b9632607251.html
📄
网站词数分析：怎样记录改动前后的基线
记录改动前后的基线，核心是让“改动前”和“改动后”两次数词使用同一套口径。具体做法是：固定页面范围、固定正文提取规则、固定分词与统计方式，在改动前保存一份可复核的明细，改动上线后按同样规则再跑一次，最后对比总量与页面级差异。如果两次口径不一致，词数变化就无法判断是改动造成的，还是统计方式变了。
先确定基线要记录哪些字段
只记一个总词数往往不够，因为总量不变时，不同页面的增减可能互相抵消。建议每个URL至少记录以下字段，并保存为表格文件：
- 页面地址或唯一标识，例如路径或内容ID
- 页面类型，例如栏目页、详情页、帮助文档
- 正文词数，明确是否包含标题、导航、页脚、评论
- 抓取时间与统计脚本版本
- 页面状态，例如正常、跳转、无法访问
- 内容是否发生改动的标记
其中“正文词数”的口径最容易出问题。同一页面，把导航和页脚算进去与只算主体内容，结果可能相差很多。因此基线文件里要写清楚提取规则，而不是只留一个数字。
用可复现的方式采集改动前的数据
如果网站页面数量不多，可以先导出URL列表，再用脚本逐页抓取并提取正文。以常见的HTML结构为例，可以约定只取<main>或<article>内部文本，剔除<script>、<style>、<nav>、<footer>等标签内容。若使用现成工具，也要确认它是否按同样规则提取，不能直接拿工具默认结果与自建脚本结果对比。
采集完成后，至少做三项检查：
- 抽样打开几个页面，人工核对词数量级是否合理，例如是否把整段代码当成了正文。
- 检查是否有页面返回错误状态却被计入统计。
- 确认同一URL在两次采集中是否对应同一内容版本，避免改版后地址不变但内容已换。
判断结果时，如果抽样页面词数明显异常，应先修正提取规则再继续，而不是先记录再解释。
改动上线后按同一规则复查
改动后重新采集时，脚本、分词方式、是否包含标点、英文按单词还是按字符统计，都应保持与基线一致。对比时先看总量，再看页面级差异：
- 总量变化大，但多数页面变化小，可能是少量页面大幅增删。
- 总量变化小，但多个页面方向相反，说明改动影响分散，需要逐页核查。
- 某页面词数归零或骤降，先检查是否抓取失败、内容被折叠或改为异步加载，再判断是否为真实删减。
这里要区分“可能原因”和“已经定位的原因”。词数下降可能是内容删减，也可能是提取规则漏掉了新模板中的正文容器。只有通过查看页面源码、对比抓取日志，才能确认属于哪一种。
把词数变化与其他证据放在一起判断
词数只是内容规模的一个指标，不能单独用来推断搜索表现变化。第三方估算流量、搜索引擎后台报告与站内统计的口径本来就不同，词数变化与流量变化之间也不存在固定换算关系。更稳妥的做法是建立证据链：改动记录、基线文件、复查文件、页面截图或源码片段、抓取日志。这样即使词数出现波动，也能回溯到具体页面和具体改动。
如果改动目的是删减冗余内容，复查时应重点看被删页面是否仍保留必要信息；如果改动目的是扩充内容，则要确认新增文字是否进入正文提取范围，而不是只加在图片说明或折叠区域里。
下一步可以做的，是选定一个页面范围，先跑一次基线采集并保存原始文件，等改动上线后再用同一脚本复查，把两次结果按URL合并成一张对比表。
