落地页 A/B 试验的显著性检验方案

新版落地页上线两周，注册转化从 8.1% 涨到 9.4%，团队明天开会要定是否全量。手上有 A/B 两组各 5000 人的截面数据，A 组转化 405 人、B 组 470 人，今天下班前要交一份能当场用的判断依据。

【整体计划】
1. 先做分流校验，核对两组人数、来源渠道与曝光时段是否可比，不可比先标出来。
2. 再按两比例 z 检验判断 9.4% 与 8.1% 的差异是否显著，置信水平取 95%。
3. 接着算效应量，给出提升幅度的绝对值与相对值，不要只看 p 值。
4. 然后估算最小样本量，说明每组 5000 人够不够支撑这个差异。
5. 最后把结论落到「能不能全量」，写成可以执行或不可以执行。

【分步执行】
1. 第一步校验分流：报告两组人数、渠道占比与曝光时段，指出任何一处不均衡。
2. 第二步做检验：写出 z 值与 p 值，明确说差异是否显著，不写「接近显著」。
3. 第三步算效应量：给出绝对提升 1.3 个百分点与相对提升 16%，附 95% 置信区间。
4. 第四步估样本量：按当前基线转化率反算每组最少需要多少人，与 5000 人对照。
5. 第五步给结论：一句话回答能否全量，附上仍需观察的指标与观察周期。

【结果复核】
1. 逐条对照计划打勾，缺哪一步就点明缺在第几步、缺什么。
2. 点名三个陷阱：反复偷看数据提前下结论、多重比较未校正、分流与埋点存在泄漏。
3. 检查每个数字都能追到来源，材料里没有的样本量估算写成「标为待确认」。
4. 确认结论句里没有「可能」「或许」这类模棱两可的措辞。