不少企业把新栏目页发上线就开始等收录，一周后去豆包搜品牌词，引用的还是三个月前那批老页面。多数人第一反应是内容写得不够好，实际排查下来，卡点常常在更前面：抓取这一步就没通过。先分清是没被发现，还是被发现了没被采信，处理方式完全不同。
先查日志，别靠感觉
在服务器访问日志里按 UA 中含 bot 的请求筛一遍，看目标网址有没有被请求过。三十天内一次都没有，属于发现阶段的问题；有请求却返回 404、503，或者整页是前端渲染的空壳，属于响应质量的问题。这一步能压缩一大半排查范围，也能避免盲目重写内容。日志里还要看响应时间，单页超过三秒，抓取频次会被压低。
入口太少，爬虫找不到
新页面的发现主要靠内链和站点地图。新栏目如果只挂在首页某个小图标的跳转里，或者列表页用无限滚动而没有分页链接，等于没有入口。发布当天的动作可以按下面顺序做：
- 从两个以上已有页面加一条正文内链，锚文本用页面真实主题；
- 确认新网址已进入站点地图对应分片，分片不宜过大；
- 整站导航里给新栏目留一个稳定位置，别只靠推荐位。
进来了不引用，问题在结构
正文被导航、推荐位、弹窗代码包住，抽取出来的有效文本不足三成，模型就判断不出页面在讲什么。可核对的指标是正文文本占比，一般要过半。把结论放在前两段，每个小节给一个明确的二级标题，条件与步骤用列表写，比反复堆关键词管用。标题层级不要跳级，二级下面再分三级就够用。
前端渲染要单独验一次
部分爬虫不执行脚本。关掉脚本用命令行取一次源码，正文不在里面，等于交了一张白纸给模型。这类问题在改版或换组件库之后最容易出现，上线前测一次比事后补救省事得多。
建议按周做一次固定检查：取本周新增网址清单，逐个核对日志有无抓取、源码有无正文、站点地图是否包含，三项都过再谈内容质量。连续四周抓取率没有起色，再考虑调整入口结构或者改版。另外，站点地图的更新时间要真实变更，反复提交同一版本换不来重抓。
