内链策略：批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b24d3b726a75.html
📄
内链策略：批量页面只有一部分被发现时怎样划分对照组
先给结论：不要按“已发现”和“未发现”直接分组，而应按内链入度是否被改动来分组。如果一批页面里只有一部分被搜索引擎发现，最有效的对照划分是：把未发现页面中“入度为零或极低”的作为实验组，把未发现页面中“入度正常但依然未被发现”的作为第二对照组，再把已发现页面作为基线组。这样划分能区分两种完全不同的原因：是内链根本没铺到，还是内链铺到了但其他条件阻断了发现。
矛盾现象：同一批页面为什么只被发现一部分
批量上线或批量迁移后，常见现象是：同一模板、同一时间发布、内容结构相近的页面，一部分出现在搜索结果中，另一部分长期不出现。常规做法通常是补站点地图、加导航链接、提交抓取，但如果这些动作做完仍然只有一部分被发现，说明问题不在“有没有提交”，而在“提交之后哪些条件真正起作用”。
此时最危险的动作是把所有未发现页面当成同一类问题处理。如果原因不同，统一加内链、统一改模板、统一提交，都会让后续判断失去参照。
两种解释：内链没铺到，还是内链铺到了但被阻断
解释一：内链路径缺失。未发现页面在站内没有任何可抓取入口，或入口藏在需要交互才出现的位置。这种情况下，页面本身没有进入抓取队列的机会，与内容质量和站点地图都无关。
解释二：内链存在但发现被其他条件阻断。页面有入链，甚至入链来自已发现页面，但抓取仍然没有发生。常见阻断条件包括：链接位于被 robots.txt 限制的路径下、链接指向的 URL 参数组合不稳定、链接所在页面本身抓取频率极低、链接是 JavaScript 渲染后才出现且渲染资源未被处理。这里要注意，robots.txt 的抓取限制不等于可靠的索引移除，它只影响抓取，不决定已收录内容是否消失；反过来，站点地图也不保证收录，它只是提交候选，不构成发现保证。
能区分两种解释的证据
要区分上述两种解释，需要收集三类证据，而不是只看“有没有被发现”这个结果。
- 入度证据：统计每个未发现页面被多少个已发现页面链接。如果入度为零，支持解释一。如果入度大于零，进入解释二的排查范围。
- 链接可抓取证据：检查这些入链所在页面的抓取状态。如果链接所在页面本身长期未被抓取，那么“有入链”只是形式上的，实际路径并未生效。
- 链接呈现方式证据：确认链接是服务端输出的 <a href>，还是依赖脚本插入。如果是后者，需要单独核查渲染环节，而不是继续加内链数量。
一个假设例子：某批 200 个页面中 60 个被发现，140 个未发现。把 140 个未发现页面按入度分成两组，A 组 90 个入度为零，B 组 50 个入度大于零。对 A 组补一条来自已发现页面的服务端链接，对 B 组保持不动只做观察。如果后续 A 组开始出现被发现比例上升，而 B 组不变，说明主要矛盾在入链缺失；如果 A 组补链后仍无变化，而 B 组中部分页面本身所在目录抓取频率极低，则矛盾更可能在抓取预算或路径质量上。这个例子的数字仅用于说明分组方法，不代表任何实际结果。
划分对照组时的实际操作顺序
第一步，先冻结改动。在分组完成前，不要对全部未发现页面统一加内链，否则实验组和对照组会被同时污染。
第二步，按入度分层。把未发现页面分为入度为零组、入度低但非零组、入度正常组。已发现页面作为基线组，用于比较模板和路径差异。
第三步，每组只改一个变量。入度为零组只补服务端链接；入度低组只调整链接来源页面的层级；入度正常组先不动内链，转而核查抓取限制、参数和渲染条件。
第四步，观察抓取日志或抓取统计的变化。如果某组在改动后抓取次数上升，但发现比例没有同步变化，说明抓取不是唯一瓶颈，需要把下一层变量纳入对照。如果某组抓取次数本身没有变化，优先检查链接所在页面是否被抓取，而不是继续增加链接数量。
什么条件下这种划分不成立
如果整批页面的入链都来自同一个尚未被抓取的目录页，那么按入度分组会失去区分力，因为所有组都受同一个上游节点限制。此时应先处理上游目录页的抓取问题，再重新分组。
另外，如果页面之间存在规范化标签指向同一 URL，或存在多组参数指向同一内容，那么“被发现”的统计本身就不稳定，分组前需要先统一 URL 口径。否则对照组之间比较的不是内链差异，而是 URL 归并差异。
最后，如果站点地图中的页面数量远大于实际内链可达页面数量，不要用站点地图提交量作为分组依据，因为它不反映站内真实路径。分组应基于站内可抓取链接，而不是提交清单。
