# Калькулятор значимости A/B-теста

Введите данные контроля/лечения — получите разницу конверсий, доверительные интервалы 95%/99%, p-value Z-теста (доли) или t-критерия Уэлча (непрерывные), значимость, lift, размер выборки для мощности 80%/90%, рекомендуемые дни, предупреждение о sequential testing и поправку Бонферрони.

> Каноническая страница: https://elysiatools.com/ru/tools/ab-test-significance-calculator

- **Категория:** Data Analysis

- **Ключевые слова:** A/B-тест, значимость, p-значение, доверительный интервал, Z-тест, t Уэлча, конверсия, размер выборки, мощность, Бонферрони, sequential, lift

## Обзор

Решите, реальный ли сигнал у вашего A/B-теста или шум — со статистикой, выполненной корректно.

**Два типа теста.**
- **Доля / конверсия.** Успехи + посетители контроля и лечения. Считает конверсии, относительный lift, объединённый Z-тест и 95%/99% ДИ разницы.
- **Непрерывная метрика (среднее и СО).** Среднее, СО и n каждой группы. Запускает t-критерий Уэлча (без равенства дисперсий) со степенями свободы Уэлча–Саттертуэйта.

**Больше, чем p-значение:** lift, доверительный интервал, размер выборки для мощности 80%/90%, рекомендуемые дни, поправка Бонферрони и предупреждение о sequential testing (не подглядывайте за p-значением посреди эксперимента).

"Значимо" — данные несовместимы с нулевой разницей при α=0.05, но это не значит, что эффект велик или важен. Перед запуском сочетайте значимость с размером эффекта.

## Входные данные

- **Тип теста** (select)
- **Контроль: успехи** (number): e.g. 1200
- **Контроль: посетители** (number): e.g. 20000
- **Лечение: успехи** (number): e.g. 1320
- **Лечение: посетители** (number): e.g. 20000
- **Контроль: среднее** (number): e.g. 42.5
- **Контроль: СО** (number): e.g. 12.0
- **Контроль: размер выборки** (number): e.g. 500
- **Лечение: среднее** (number): e.g. 45.8
- **Лечение: СО** (number): e.g. 12.5
- **Лечение: размер выборки** (number): e.g. 500
- **Уровень значимости α** (select)
- **Статистическая мощность** (select)
- **Базовая конверсия (%)** (number): e.g. 6 (for sample-size planning)
- **MDE прирост (%)** (number): e.g. 5 (minimum detectable lift)
- **Дневные посетители** (number): e.g. 4000 (for days estimate)
- **Разделение трафика (%)** (select)
- **Число сравнений** (number): 1 unless running multiple variants
- **Знаков после запятой** (number)

## Когда использовать

- При оценке результатов сплит-тестов посадочных страниц или интерфейсов для проверки изменения конверсии.
- При сравнении непрерывных метрик, таких как средний чек или время сессии, между контрольной и тестовой группами.
- При планировании будущих экспериментов для расчета необходимого размера выборки и длительности теста на основе MDE.

## Как это работает

- Выберите тип теста: сравнение долей (конверсий) или непрерывных величин (среднее значение и стандартное отклонение).
- Введите количественные показатели для контрольной и тестовой групп (успехи/посетители или среднее/СО/выборка).
- Задайте параметры значимости (alpha), мощности, ожидаемого MDE, ежедневного трафика и количества сравнений.
- Калькулятор мгновенно рассчитает p-value, доверительные интервалы, относительный прирост (lift) и выдаст статистический вердикт.

## Сценарии использования

- Проверка гипотезы об увеличении конверсии в регистрацию после изменения дизайна главной страницы.
- Анализ изменения среднего чека покупки (непрерывная метрика) после внедрения нового алгоритма рекомендаций.
- Определение минимальной длительности и размера выборки перед запуском маркетинговой кампании.

## Частые вопросы

### Что означает p-value в результатах теста?

P-value показывает вероятность получить такие или еще более выраженные различия при условии, что на самом деле разницы между группами нет. Если p-value меньше выбранного уровня альфа (например, 0.05), результат считается статистически значимым.

### Зачем нужен t-критерий Уэлча?

Он используется для сравнения средних значений непрерывных метрик (например, выручки) без предположения о равенстве дисперсий в контрольной и тестовой группах.

### Что такое поправка Бонферрони и когда она применяется?

Это корректировка уровня значимости при множественных сравнениях (когда тестируется несколько вариантов). Она снижает риск ложноположительного результата, деля исходный уровень альфа на количество сравнений.

### Почему опасно останавливать тест сразу после достижения значимости?

Это называется ошибкой «подглядывания» (sequential testing issue). Преждевременная остановка теста при первом пробитии порога значимости резко увеличивает вероятность ложноположительного исхода.

### Как рассчитывается рекомендуемое количество дней для теста?

Оно вычисляется путем деления необходимого размера выборки (для достижения заданной мощности при указанном MDE) на ваш ежедневный объем трафика с учетом пропорции разделения.

## Связанные инструменты

- [Конструктор Симуляций Монте-Карло](https://elysiatools.com/ru/tools/monte-carlo-simulation-builder): Задайте входные распределения (нормальное/равномерное/логнормальное/треугольное), напишите формулу, выполните тысячи испытаний и получите гистограмму с доверительными интервалами.
- [RSS / Atom — сводка фида в Markdown](https://elysiatools.com/ru/tools/rss-feed-markdown-summarizer): Получает RSS/Atom фид по URL (или сырой XML), сортирует по дате, убирает дубли, фильтрует по временному окну и выдаёт аккуратный Markdown-дайджест
- [AI-переводчик Markdown-статей](https://elysiatools.com/ru/tools/ai-markdown-article-translator): Переводит Markdown-статьи с помощью ИИ, сохраняя заголовки, таблицы, ссылки, изображения и блоки кода
- [Очиститель Имен Файлов](https://elysiatools.com/ru/tools/filename-sanitizer): Очищает и обеззараживает имена файлов, удаляя незаконные символы для Windows, Linux и Mac
- [Анализатор среднего объёма тромбоцитов (MPV)](https://elysiatools.com/ru/tools/mean-platelet-volume-analyzer): Анализирует средний объём тромбоцитов MPV (фл). Референс ~7.5–11.5 фл. Низкий MPV (< 7.5 фл, мелкие старые тромбоциты) указывает на угнетение продукции: апластическая анемия, химио/лучевая терапия, недавняя трансфузия тромбоцитов, ранняя регенерация железодефицита, синдром Вискотта-Олдрича. Высокий MPV (> 11.5 фл, крупные молодые тромбоциты) предполагает периферическую деструкцию с компенсаторным кроветворением или макротромбоцитопению: ИТП, после спленэктомии, миелопролиферативные новообразования (ЭТ/ХМЛ/МФ), тяжёлый сепсис в восстановлении, Bernard-Soulier/MYH9, мегалобластная анемия, острый инфаркт миокарда (маркер активации и неблагоприятного сердечно-сосудистого прогноза). MPV с количеством тромбоцитов уточняет диагноз: низкие тромбоциты + высокий MPV → периферическая деструкция (ИТП, ТТП, восстановление ДВС); низкие + низкий → гипопродукция; высокие + низкий → реактивный тромбоцитоз; высокие + высокий → миелопролиферативное новообразование. Ограничение: в ЭДТА-крови тромбоциты набухают (~2 ч), повышая MPV; зависит от метода (импеданс > оптический > иммуно) — сравнивайте в одной лаборатории и на одном анализаторе. Источники: Bath 1996, Leader 2012, Vagdatli 2010, MDCalc. Не медицинская консультация.
- [Построитель нормального распределения](https://elysiatools.com/ru/tools/normal-distribution-plotter): Рисует кривую нормального распределения в SVG с отметками z, затенением интервала/хвоста и σ-полосами 68/95/99.7.
- [Группировщик Массива](https://elysiatools.com/ru/tools/array-grouper): Группирует элементы массива на основе различных критериев: длина, алфавитный порядок, числовые диапазоны, пользовательские условия и т.д.
- [Калькулятор шкалы APACHE II](https://elysiatools.com/ru/tools/apache-ii-score): Расчёт шкалы APACHE II: острый физиологический балл APS (12 переменных, 0-4 балла каждая, берётся худшее значение за первые 24 ч в ОРИТ) + баллы за возраст (0-6) + хроническое здоровье (0/2/5); всего 0-71; выше балл — хуже прогноз. Оксигенация: при FiO₂≥0.5 используется A-a градиент, иначе PaO₂; креатинин ×2 при острой почечной недостаточности; GCS = 15−GCS. Включает прогноз смертности базовой модели (logit=−3.517+0.146×балл, без веса диагноза). Источники: Knaus 1985 Crit Care Med, таблица SFAR. Не заменяет клиническое суждение. Не медицинская консультация.

## Примеры

- [Примеры Обработки Изображений Android Java](https://elysiatools.com/ru/samples/android-image-processing-java): Примеры обработки изображений Android Java включая чтение/сохранение, масштабирование и преобразование формата
- [Примеры Обработки Изображений Android Kotlin](https://elysiatools.com/ru/samples/android-image-processing-kotlin): Примеры обработки изображений Android Kotlin включая чтение/сохранение, масштабирование и преобразование формата
- [Примеры Обработки Изображений Web Python](https://elysiatools.com/ru/samples/web-image-processing-python): Примеры обработки изображений Web Python используя PIL/Pillow включая чтение, сохранение, изменение размера и преобразование формата
- [Примеры Обработки Изображений Web Rust](https://elysiatools.com/ru/samples/web-image-processing-rust): Примеры обработки изображений Web Rust включая чтение/запись, масштабирование и преобразование форматов

## Связанные материалы

- [Дизайн A/B-эксперимента, размер выборки и статистическая мощность](https://elysiatools.com/ru/hubs/ab-testing-experiment-design-and-statistical-power): Спланируйте A/B-эксперимент, оцените объём данных, выберите подходящий тест и проверьте эффект с учётом неопределённости.