# A/B 实验设计、样本量与统计功效

规划 A/B 实验、估算证据规模、选择合适检验，并在采取行动前复核效果量与不确定性。

> 标准页面: https://elysiatools.com/zh/hubs/ab-testing-experiment-design-and-statistical-power

- **关键词:** A/B 实验设计, A/B 测试样本量, 统计功效, 最小可检测效果, 置信区间, 效果量, 实验验收

## 常见问题

### 这些工具能替我运行实验吗？

不能。它们根据输入计算统计结果。用户随机化、曝光记录、事件定义、监控和业务评审仍需在实验系统中完成。

### 统计功效说明什么？

在给定设计中，如果指定效果真实存在，功效表示检出它的机会。它取决于样本量、波动、显著性水平和效果量，不是业务价值，也不是获胜结果为真的概率。

### 什么时候 p 值很小也不能上线？

当提升低于有用门槛、区间包含过小或有害效果、护栏恶化、样本有偏，或反复查看后改动了分析时，p 值小也不足以上线。

## 相关内容

- [统计分析、检验与分布计算工具](https://elysiatools.com/zh/hubs/statistical-analysis-tools): 汇总数值数据、衡量离散程度、比较组间差异、计算概率和置信区间，并用相关与回归分析变量关系。
- [数据质量与异常调查工作流](https://elysiatools.com/zh/hubs/data-quality-anomaly-workflows): 对表格数据做质量剖析，识别重复、缺失、参照断裂、离群和值班时序异常，并把发现整理成可辩护的质量证据。