中风险
相互矛盾的样本量和时长指引可能使实验过早结束
原文依据：6 处发现了什么
主文档与详细参考对相同基线和提升幅度给出明显不同的每组样本量。例如，1% 基线、10% 提升分别是 15 万和 38 万。参考文件随后给出包含变体数量的时长公式，但快速决策框架又把“每组样本”直接除以页面总流量，通常会漏掉两组分流因素。
为什么需要注意
采用较小数值或简化时长公式时，实验可能严重欠功效或提前结束，导致把随机波动当成输赢，并据此上线影响转化率或收入的版本。
该风险有原文支持。主文档称在 1% 基线、检测 10% 相对提升时每个变体需 15 万样本，而详细参考称需 38 万，可能令用户按不足样本作决策。参考中的完整时长公式会乘以变体数，但快速框架却把“每变体样本”直接除以页面日流量；若该流量是分给所有变体的总流量，标准双变体测试的预计时长会少算约一半。实际要求取决于统计检验及流量定义，用户应要求作者统一假设、计算方法和单位，并用经过验证的计算器复核。
| Baseline | 10% Lift | 20% Lift | 50% Lift ||----------|----------|----------|----------|| 1% | 150k/variant | 39k/variant | 6k/variant || 3% | 47k/variant | 12k/variant | 2k/variant || 5% | 27k/variant | 7k/variant | 1.2k/variant || 10% | 12k/variant | 3k/variant | 550/variant |查看另外 5 个位置
| Lift to Detect | Sample per Variant | Total Sample ||----------------|-------------------|--------------|| 5% (1% → 1.05%) | 1,500,000 | 3,000,000 || 10% (1% → 1.1%) | 380,000 | 760,000 || 20% (1% → 1.2%) | 97,000 | 194,000 || 50% (1% → 1.5%) | 16,000 | 32,000 || 100% (1% → 2%) | 4,200 | 8,400 |```Duration (days) = (Sample per variant × Number of variants) / (Daily traffic × % exposed)``````Daily traffic to page: _____Baseline conversion rate: _____MDE I care about: _____Sample needed per variant: _____ (from tables above)Days to run: Sample / Daily traffic = _____If days > 60: Consider alternativesIf days > 30: Acceptable for high-impact testsIf days < 14: Likely feasible```Duration (days) = (Sample per variant × Number of variants) / (Daily traffic × % exposed)```Sample needed per variant: _____ (from tables above)Days to run: Sample / Daily traffic = _____