Elysia Tools
Навигация
Workflow Playbook
Спланируйте A/B-эксперимент, оцените объём данных, выберите подходящий тест и проверьте эффект с учётом неопределённости.
Темы
Этот процесс предназначен для продуктовых, маркетинговых, исследовательских и операционных команд, которым нужен обоснованный A/B-разбор. Он помогает определить метрику, объём доказательств, тест и способ проверки результата. Он не распределяет трафик, не проверяет события, не следит за защитными метриками и не решает, что запускать.
До итогового анализа запишите базовый уровень, минимально полезный эффект, alpha или доверие, мощность, трафик и правило остановки. Две независимые доли требуют Z-теста двух долей; парные данные — парного теста; независимые непрерывные группы с разными дисперсиями — теста Уэлча.
Рассматривайте вместе абсолютный эффект, относительный lift, интервал, p-значение, выборку и предупреждения. Сопоставьте интервал с практическим порогом и проверьте качество и защитные метрики. Статистическая значимость описывает совместимость с нулевой моделью, но не доказывает размер, безопасность, прибыльность или бизнес-успех.
Руководство по рабочему процессу
Используйте effect-size-calculator для ожидаемой разницы, sample-size-calculator или margin-of-error-calculator для точности и statistical-power-calculator как проверку чувствительности для одной выборки. Для двух групп применяйте ab-test-significance-calculator с базовым уровнем, lift, alpha, мощностью, трафиком и распределением, чтобы оценить пользователей и дни.
Для независимых конверсий используйте two-proportion-z-test-calculator, для одной доли против эталона — one-proportion-z-test-calculator. z-test-calculator подходит при известном генеральном стандартном отклонении или для одной доли, one-sample-t-test-calculator — для одной группы, paired-t-test-calculator — для пар, two-sample-t-test-calculator — только при обоснованном равенстве дисперсий, welch-t-test-calculator — при возможном различии дисперсий.
Введите зафиксированные количества или сводные показатели. Используйте ab-test-significance-calculator для разниц, lift, интервалов, p-значений, оценок выборки и предупреждений; confidence-interval-calculator и p-value-calculator — для проверки. После расчёта не меняйте метрику и правило остановки.
Сопоставьте эффект и интервал с практическим порогом. Проверьте качество выборки, экспозиции, множественные сравнения, последовательный просмотр и внешние защитные метрики, затем запишите решение и причину. Значимый результат может не достичь бизнес-порога, а неокончательный не доказывает нулевой эффект.
Для двух независимых бинарных исходов используйте two-proportion-z-test-calculator. Для независимых непрерывных измерений с возможными разными дисперсиями используйте welch-t-test-calculator; paired-t-test-calculator оставьте для действительно связанных измерений до и после.
Передавайте результат на запуск только если интервал и размер эффекта поддерживают заранее заданный практический порог и защитные метрики пройдены. Маленькое p-значение не доказывает ценность или безопасность изменения.