额度有限时,挑选样本的目标不是覆盖最多页面,而是让每个样本都能排除一种解释。优先选那些结果相互矛盾、能形成对照的页面:同一模板下表现差异明显的、刚改过标题或正文的、以及有稳定外部入口的。若一次查询只能覆盖少量对象,先查“最可能推翻你当前判断”的那几条,再决定保留、改写还是退出这套查询方案。
额度受限时,真正要做的决策不是“查什么”,而是这套查询方案值不值得继续投入。可以按三种前提判断。
这三种判断的共同依据是:样本能否让两种解释产生可观察的差别。做不到这一点的样本,即使数量多也没有信息量。
覆盖式抽样适合额度充足时做全局体检,额度有限时应当改用对照式抽样。具体做法是:把候选页面按一个你怀疑有影响的变量分成两组,每组只取少量样本,看两组结果是否分化。
假设你怀疑“正文首段是否包含核心词”影响表现。与其随机查二十个页面,不如选四组对照:含核心词且排名稳定的、含核心词但排名波动的、不含核心词但排名稳定的、不含核心词且排名波动的。每组一两个样本,就足以看出这个变量是否真的产生分化。
这样做的实际动作是:先列出你当前最想排除的那个解释,再倒推需要哪几类样本才能排除它。查询结束后,如果两组结果没有差别,这个解释就可以暂时搁置,下一步把额度转向另一个变量;如果有差别,则把这个变量列为优先处理对象。
信息量高的样本往往不是“典型页面”,而是能挑战现有结论的页面。可以优先考虑以下几类:
反过来说,信息量低的样本包括:结构、内容、入口全都不同的页面,以及刚刚整体改版、无法区分单一变量的页面。这类样本即使查出异常,也很难说明是哪一步造成的。
额度有限时最容易犯的错,是把一次异常结果当成定论。查询量、抓取量或某项指标归零,可能来自多种合理解释:查询条件写错、数据源本身延迟、样本恰好落在未被覆盖的范围、或者工具当期返回不完整。这些解释之间需要靠额外样本区分,而不是靠猜测。
可核对的证据包括:换一个同类样本再查一次,看异常是否复现;把查询条件放宽或收窄,看结果是否随之变化;用另一个独立来源交叉验证同一条页面。如果异常只在单一条件下出现,它更可能是查询设置问题;如果多个条件、多个样本都复现,才值得当作真实变化处理。
这里的动作是:发现异常后,先不扩大查询范围,而是用一到两个额外样本做复现测试。复现成功,再投入额度深入;复现失败,回到查询条件本身检查。
假设你只剩十次查询额度,想判断某栏目表现下滑是内容问题还是入口问题。可以这样分配:两次查该栏目中仍有稳定外部入口的页面,两次查没有外部入口的页面,两次查同模板下其他栏目的页面作对照,两次查该栏目近期改动过的页面,留两次用于复现异常。查询后如果“有入口”和“无入口”两组都下滑,入口解释就被削弱,下一步应转向内容或模板;如果只有无入口组下滑,入口因素就值得优先排查。这个例子中的数字只是说明分配思路,实际次数应按可用额度调整。
无论结果指向哪边,下一步动作都应由“哪组对照出现了分化”决定,而不是由单条页面的好坏决定。额度越少,越要把每一次查询当成一次排除假设的机会,而不是一次收集数据的机会。