先查分母是否换了人。分组结论与总体相反,最常见的原因不是数据错了,而是分组后每个单元格的分母口径、样本构成或权重已经和总体不同。你要做的第一件事,是把每个分组的“分母是谁、怎么算出来、被排除了什么”逐项写出来,再和总体的分母对齐比较。
假设你在阿里搜索词分析里按类目拆了三组词,发现A、B、C三组的转化率或点击率都比上期高,但合起来的总指标反而下降。这类现象常被误判为“数据源出错”或“算法变了”,其实多数情况下是辛普森悖论在起作用:分组之间的结构占比发生了变化,把总体拉向了另一个方向。
举个假设例子。A组转化率从2%升到3%,B组从5%升到6%,两组都在改善;但上期B组占总曝光的70%,这期只占30%,A组从30%升到70%。加权后总体反而可能下降。这里的“总体”不是A和B的简单平均,而是按曝光量加权的混合体。分组结论和总体结论都没算错,错的是把两者当成同一个分母在比较。
第一种解释是分母口径不一致。分组时你可能只统计了有成交的词,总体却包含了零成交词;或者分组去掉了品牌词,总体没去。分母不同,比率自然不可比。
第二种解释是分组权重变了。分母口径一致,但各组在总体中的占比发生位移,高基数组萎缩、低基数组扩张,加权结果就会和分组方向相反。这不是错误,是结构效应。
区分这两种解释,不需要更多数据,只需要把每个分组的分子和分母绝对值都列出来,而不是只看比率。比率是果,分子分母是因。只看比率,你无法判断到底是哪一层出了问题。
按下面顺序核对,每一步的结果决定下一步查什么:
做完第二步,如果发现分组排除了品牌词而总体没有,那你要决定:是把品牌词加回分组,还是把总体也去掉品牌词。这个动作直接影响下一步结论是否可用。加回后方向一致,说明原先的矛盾只是口径问题;加回后仍相反,才需要继续查权重。
分组结论成立,不代表把它放大到全量后仍成立。个别样本里成立的比率,在规模化后可能因为结构占比变化而反转。所以当你要把某个分组的优化动作推广到全量时,先确认该组在总体中的占比是否稳定。占比在变,推广后的总体结果就可能和分组测试相反。
另一个边界是时间窗口。分组和总体如果用了不同的统计周期,分母覆盖的天数不同,比较就不成立。第三方估算流量、搜索引擎报告和站内统计的口径本来就不同,不能混用。某项指标归零,可能是口径调整、过滤条件变化或采集范围缩小,不能单独用来证明处理正确。
实际动作上,建议在阿里搜索词分析里保留一份“分母台账”:每个分组记录分子、分母、过滤条件和时间窗口。下次再遇到分组与总体相反,先翻台账对齐口径,再决定是修分母还是调权重。这一步做完,你才能判断该相信分组结论还是总体结论。