Калькулятор значимости A/B-теста

Решите, реальный ли сигнал у вашего A/B-теста или шум — со статистикой, выполненной корректно.

Два типа теста.

• Доля / конверсия. Успехи + посетители контроля и лечения. Считает конверсии, относительный lift, объединённый Z-тест и 95%/99% ДИ разницы.
• Непрерывная метрика (среднее и СО). Среднее, СО и n каждой группы. Запускает t-критерий Уэлча (без равенства дисперсий) со степенями свободы Уэлча–Саттертуэйта.

Больше, чем p-значение: lift, доверительный интервал, размер выборки для мощности 80%/90%, рекомендуемые дни, поправка Бонферрони и предупреждение о sequential testing (не подглядывайте за p-значением посреди эксперимента).

"Значимо" — данные несовместимы с нулевой разницей при α=0.05, но это не значит, что эффект велик или важен. Перед запуском сочетайте значимость с размером эффекта.