A/B 测试设计、样本量与结果分析包：从问题定位到结果验收
实验先看结果再决定何时停止，多指标反复试，转化率波动被误判为有效提升。本文给出一条不依赖付费工具的排查和执行路径，并说明什么时候才需要进一步使用模板。
这个问题为什么经常做错
实验先看结果再决定何时停止，多指标反复试，转化率波动被误判为有效提升。
很多项目失败并非缺少更复杂的算法，而是输入口径、验证方式、版本环境和验收标准没有在开始前写清楚。下面先用一条最小闭环完成验证，再决定是否扩大投入。
一条可复现的解决路径
- 第 1 步：写清实验单位和随机化方式。完成后立即保存输入、配置和输出摘要，不要等到最后再补记录。
- 第 2 步：确定主指标与 MDE。完成后立即保存输入、配置和输出摘要，不要等到最后再补记录。
- 第 3 步：预先计算样本量和周期。完成后立即保存输入、配置和输出摘要，不要等到最后再补记录。
- 第 4 步：检查分流比例与数据质量。完成后立即保存输入、配置和输出摘要，不要等到最后再补记录。
- 第 5 步：同时报告绝对/相对提升和区间。完成后立即保存输入、配置和输出摘要，不要等到最后再补记录。
开始前先准备这四样东西
- 一份只读的原始输入或最小测试样例
- 当前运行环境、依赖版本和系统信息
- 你真正关心的结果指标与容许误差
- 失败时停止、回滚和人工复核的条件
高频错误与修正
每天偷看并随时停止会放大假阳性
遇到这一情况时，先缩小到能人工核验的样例，打印中间结果，再逐步恢复完整数据。不要只通过调整参数掩盖输入或定义错误。
用户级实验不能按事件数当样本
遇到这一情况时，先缩小到能人工核验的样例，打印中间结果，再逐步恢复完整数据。不要只通过调整参数掩盖输入或定义错误。
显著不等于业务上重要
遇到这一情况时，先缩小到能人工核验的样例，打印中间结果，再逐步恢复完整数据。不要只通过调整参数掩盖输入或定义错误。
如何判断已经完成
至少满足以下条件再宣称任务完成：
- 假设和停止规则实验前冻结
- 样本单位一致
- 分流比例无明显异常
- 结论含区间与局限
此外，还应让另一台机器或一个全新目录按照 README 从零运行一次。只有“结果可重现、错误可定位、输出可解释”，才算形成可交付成果。
需要完整模板时怎么办
实验前锁定假设、主指标、最小可检测提升和停止规则，实验后输出效应与区间。对应的完整资料包提供可修改模板、专项检查表、验收标准与官方来源说明。只需要理解思路时，本文已经足够；需要节省搭建时间、直接在样例上验证时，再考虑购买。
官方资料入口
本文根据公开官方资料独立整理，不包含第三方付费教程、论文全文或受限数据集。工具版本会变化，实际使用时请再次核对官方当前文档。