Elysia Tools
导航
Data Analysis
输入对照组/实验组数据，输出转化率差异、95%/99% 置信区间、Z-test（比率）或 Welch t 检验（连续变量）的 p-value 与显著性判定、提升百分比、达到 80%/90% 功效所需样本量、推荐实验天数、Sequential testing 警告与 Bonferroni 多重比较修正。
详情
判断你的 A/B 测试结果是真实信号还是噪声——而且统计方法做对。
两种检验类型。
不止看 p 值。 单凭一个 p 值不足以行动。本工具还提供：
序贯检验警告。 在实验中途偷看 p 值并提前停止会抬高假阳性。工具会就此警告。如果必须反复查看，请使用 always-valid 序贯方法（如 mSPRT），或预注册样本量并坚持执行。
如何读结论。 "显著"意味着数据在 α=0.05 下与"没有差异"不相容——它并不意味着提升很大或很重要。上线前务必把显著性与效应量（提升和置信区间）结合起来看。
执行
填写表单、运行工具，并在同一页面查看结果。
等待运行
案例
相关内容
工具使用指南
本 A/B 测试显著性计算器旨在帮助您科学评估实验结果，支持转化率（比率）的 Z 检验以及连续变量（如均值与标准差）的 Welch t 检验。通过输入对照组与实验组数据，工具可快速计算置信区间、p 值、提升度、所需样本量及推荐实验天数，并提供 Bonferroni 多重比较修正与序贯检验警告，确保您的决策基于严谨的统计学依据而非随机噪声。
背景
团队设计了新的注册落地页，希望通过 A/B 测试确认新页面是否能有效提升注册转化率。
问题
收集到对照组和实验组的注册数据后，需要判断 10% 的相对提升是真实效果还是随机波动。
如何使用
选择“比率（转化率）”测试类型。在对照组输入成功数 1200、访客数 20000；在实验组输入成功数 1320、访客数 20000。设置 α 为 0.05，每日访客数为 4000。
{
"testType": "proportion",
"cSuccess": 1200,
"cVisitors": 20000,
"tSuccess": 1320,
"tVisitors": 20000,
"alpha": "0.05",
"dailyVisitors": 4000
}结果
工具输出 p 值为 0.0135（小于 0.05），判定结果显著，相对提升度为 10.00%，并给出了 95% 置信区间及推荐的实验天数。
背景
UX 团队优化了结账步骤，收集了用户完成结账的秒数，希望确认新页面是否显著缩短了操作时间。
问题
结账耗时是连续变量，且两组样本的方差可能不相等，需要进行均值差异的显著性检验。
如何使用
选择“连续变量（均值与标准差）”测试类型。输入对照组均值 42.5、标准差 12.0、样本量 500；输入实验组均值 45.8、标准差 12.5、样本量 500。设置 α 为 0.05。
{
"testType": "continuous",
"cMean": 42.5,
"cSd": 12.0,
"cN": 500,
"tMean": 45.8,
"tSd": 12.5,
"tN": 500,
"alpha": "0.05"
}结果
p 值是在假设两组无差异时，观察到当前或更极端差异的概率。当 p 值小于设定的显著性水平 α（通常为 0.05）时，判定结果具有统计学显著性。
频繁查看（即序贯检验）会显著抬高假阳性率。若必须提前结束，需使用特定的序贯检验设计，否则应坚持达到预设样本量。
当同时测试多个实验组（A/B/n 测试）时，发生假阳性的概率会累积。Bonferroni 修正通过将 α 除以比较组数来严格控制多重比较的错误率。
置信区间宽通常意味着样本量较小，虽然检测到了显著差异，但对真实效应量的估计精度较低。增加样本量可以缩窄置信区间。
Welch t 检验不假设两组数据的方差相等，在实际 A/B 测试中，对照组和实验组的方差往往不同，Welch t 检验比传统 t 检验更稳健。
工具运行 Welch t 检验，输出均值差异、相对变化百分比、t 统计量、自由度以及在 α=0.05 下的显著性判定结论。