Построитель критической разности Nemenyi и рангов Фридмана

Построитель критической разности Nemenyi и рангов Фридмана | Бесплатный онлайн-инструмент | Elysia Tools

Руководство по использованию инструмента

Узнайте, когда использовать этот инструмент, что он поддерживает и как его применяют пользователи.

Ключевые факты

Категория: Data Analysis
Типы ввода: textarea, select, text
Тип вывода: html
Покрытие примерами: 4
API доступен: Да

Обзор

Инструмент выполняет непараметрический статистический анализ результатов бенчмарков с помощью тестов Фридмана и Имана-Дэвенпорта, рассчитывает средние ранги моделей и строит классическую диаграмму критической разности (CD-диаграмму Demšar) с выделением групп незначимых различий (клик).

Когда использовать

Сравнение эффективности нескольких алгоритмов машинного обучения на множестве различных датасетов.
Проверка статистической значимости различий между новой моделью и базовыми решениями (baseline).
Подготовка научных публикаций и отчетов с визуализацией CD-диаграммы и точными p-значениями.

Как это работает

1Вставьте матрицу метрик в формате CSV/текста, указав датасеты в строках и сравниваемые алгоритмы в столбцах.
2Выберите направление метрики («больше — лучше» для Accuracy/AUC или «меньше — лучше» для RMSE/ошибок) и уровень значимости α.
3Укажите post-hoc процедуру: Nemenyi для попарного сравнения всех моделей или Bonferroni-Dunn для сравнения с контрольной моделью.
4Получите итоговую таблицу рангов, статистику тестов Фридмана и Имана-Дэвенпорта, а также визуализированную CD-диаграмму.

Сценарии использования

Оценка результатов соревнований и кросс-валидации нескольких алгоритмов классификации на десятках наборов данных.
Статистическое обоснование превосходства новой архитектуры нейросети над существующими бейзлайнами в научной статье.
Сравнение гиперпараметров или вариантов оптимизации одной и той же модели на корпоративном пуле задач регрессии.

Примеры

1. Сравнение четырех классификаторов по метрике Accuracy

ML-исследователь

Контекст

Исследователь тестирует четыре алгоритма классификации (AdaBoost, SVM, kNN, C4.5) на 12 наборах данных и хочет опубликовать статистически выверенное сравнение.

Проблема

Необходимо определить, превосходит ли AdaBoost остальные модели со статистической значимостью при α = 0.05.

Как использовать

Вставить матрицу результатов точности по 12 датасетам, выбрать направление «Больше — лучше (accuracy, AUC)», уровень α = 0.05 и процедуру Nemenyi.

direction: higher, alpha: 0.05, posthoc: nemenyi

Результат

Получены средние ранги моделей, подтверждена значимость по Фридману и Иману-Дэвенпорту, построена CD-диаграмма с кликой между SVM и kNN.

2. Оценка регрессионных моделей против базового алгоритма

Data Scientist

Контекст

Команда разработала две новые модели (ChallengerA, ChallengerB) и хочет проверить, уменьшают ли они RMSE по сравнению с Baseline на 8 тестовых выборках.

Проблема

Требуется провести статистический тест против контроля без накопления ошибки множественного тестирования.

FAQ

В каком формате нужно передавать матрицу оценок?

В виде текстовой таблицы с разделителями-запятыми, где первая строка содержит имена моделей, а последующие строки — имя датасета и числовые значения метрик.

Чем отличается тест Имана-Дэвенпорта от классического теста Фридмана?

Статистика Имана-Дэвенпорта F_F менее консервативна, чем критерий хи-квадрат Фридмана, и обеспечивает более точную оценку на небольших выборках.

Когда следует выбирать процедуру Bonferroni-Dunn вместо Nemenyi?

Используйте Bonferroni-Dunn, если цель исследования — доказать превосходство конкретной новой модели над базовым решением (контролем), а не сравнивать все алгоритмы между собой.

Что означают соединительные линии (клики) на CD-диаграмме?

Горизонтальные линии объединяют группы моделей, разность средних рангов которых меньше критической разности (CD), то есть различия между ними статистически незначимы.

Корректно ли ранжируются метрики, где меньшее значение является лучшим?

direction: lower, alpha: 0.05, posthoc: bonferroni-dunn, control: Baseline

Запустить этот инструмент

Примеры для этого инструмента

Продолжить с похожими инструментами и темами

Узнайте, когда использовать этот инструмент, что он поддерживает и как его применяют пользователи.

Ключевые факты

Обзор

Когда использовать

Как это работает

Сценарии использования

Примеры

1. Сравнение четырех классификаторов по метрике Accuracy

2. Оценка регрессионных моделей против базового алгоритма

FAQ

Примеры Обработки Изображений Web Python

Примеры Обработки Изображений Android Java

Примеры Обработки Изображений Android Kotlin

Примеры Обработки Изображений Web Rust

Анализатор Эксцесса

Анализатор Корреляции

Генератор Сводных Таблиц

Анализатор Регрессии