Trazador de diferencia crítica Nemenyi y rangos Friedman

Trazador de diferencia crítica Nemenyi y rangos Friedman | Herramienta online gratis | Elysia Tools

Guía de uso de la herramienta

Conoce cuándo usar esta herramienta, qué admite y cómo la aplican los usuarios.

Datos clave

Categoría: Data Analysis
Tipos de entrada: textarea, select, text
Tipo de salida: html
Cobertura de ejemplos: 4
API disponible: Sí

Resumen

Esta herramienta calcula las pruebas estadísticas no paramétricas de Friedman e Iman-Davenport para evaluar múltiples algoritmos a través de diversos conjuntos de datos. Genera automáticamente la tabla de rangos promedio, el cálculo de la diferencia crítica (CD) y el diagrama visual clásico de Demšar con cliques, incluyendo análisis post-hoc por pares mediante Nemenyi o comparaciones dirigidas contra un modelo de control mediante Bonferroni-Dunn.

Cuándo usarlo

Al comparar el rendimiento de múltiples modelos de Machine Learning en varios conjuntos de datos de referencia (benchmarks).
Al redactar artículos científicos que requieren validar diferencias estadísticamente significativas con diagramas de diferencia crítica (CD).
Al evaluar si nuevos algoritmos retadores superan significativamente a un modelo base o de control preexistente.

Cómo funciona

1Pega la matriz CSV con los conjuntos de datos en las filas y los modelos en las columnas.
2Selecciona la dirección de la métrica (si un valor mayor o menor indica mejor rendimiento) y el nivel de significancia alfa (0.05 o 0.10).
3Elige el procedimiento post-hoc (Nemenyi para comparaciones todos contra todos, o Bonferroni-Dunn indicando el modelo de control).
4Obtén los estadísticos de prueba Friedman e Iman-Davenport, los p-valores, la lista de diferencias por pares y el diagrama CD interactivo.

Casos de uso

Comparación rigurosa de clasificadores en investigaciones académicas según la metodología estandarizada de Demšar.
Validación de pipelines de ingeniería de datos para determinar si una nueva técnica supera a los baselines establecidos.
Selección de algoritmos óptimos en competencias de ciencia de datos sobre múltiples subconjuntos de prueba.

Ejemplos

1. Evaluación de clasificadores multiclase con prueba Nemenyi

Investigador en Machine Learning

Contexto

Ha ejecutado cuatro modelos de clasificación en 12 conjuntos de datos diferentes y necesita verificar si las diferencias de precisión son significativas para su publicación.

Problema

Determinar si el modelo líder supera con significancia estadística al resto de clasificadores en todas las pruebas.

Cómo usarlo

Ingresa la matriz con los valores de exactitud, selecciona la dirección 'Mayor es mejor', nivel de significancia 0.05 y el post-hoc Nemenyi.

direction: higher, alpha: 0.05, posthoc: nemenyi

Resultado

Genera el diagrama CD mostrando que AdaBoost se aísla como líder significativo, mientras que SVM y kNN forman un clique sin diferencias entre sí.

2. Benchmark de regresores frente a un baseline con Bonferroni-Dunn

Científico de datos

Contexto

Ha desarrollado dos arquitecturas retadoras y necesita comprobar si reducen el error cuadrático medio (RMSE) respecto al modelo en producción.

Problema

Comparar directamente los retadores contra el modelo de control sin penalizar la potencia estadística con comparaciones innecesarias entre retadores.

Preguntas frecuentes

¿Cuál es la diferencia entre la prueba de Nemenyi y Bonferroni-Dunn?

Nemenyi compara todos los modelos entre sí en pares, mientras que Bonferroni-Dunn compara únicamente cada algoritmo contra un modelo de control designado, ofreciendo mayor potencia estadística.

¿Cómo se interpretan las barras o cliques en el diagrama CD?

Los modelos conectados por una misma línea horizontal o clique no presentan una diferencia estadísticamente significativa entre sus rangos promedio al nivel de significancia elegido.

¿Qué formato debe tener la matriz de entrada?

Debe ser un texto delimitado por comas con una fila de cabecera con los nombres de los modelos, donde la primera columna identifique cada dataset o evaluación.

¿Por qué se incluye la prueba de Iman-Davenport junto a Friedman?

La prueba de Iman-Davenport es una corrección menos conservadora que el chi-cuadrado estándar de Friedman, proporcionando una estadística F con mayor precisión cuando el número de datasets o modelos es moderado.

¿Cómo afecta la dirección de la métrica al análisis?

direction: lower, alpha: 0.05, posthoc: bonferroni-dunn, control: Baseline

Ejecutar esta herramienta

Ejemplos que encajan con esta herramienta

Continuar con herramientas y temas relacionados

Conoce cuándo usar esta herramienta, qué admite y cómo la aplican los usuarios.

Datos clave

Resumen

Cuándo usarlo

Cómo funciona

Casos de uso

Ejemplos

1. Evaluación de clasificadores multiclase con prueba Nemenyi

2. Benchmark de regresores frente a un baseline con Bonferroni-Dunn

Preguntas frecuentes

Ejemplos de Procesamiento de Imágenes Web Python

Ejemplos de Procesamiento de Imágenes Android Java

Ejemplos de Procesamiento de Imágenes Android Kotlin

Ejemplos de Procesamiento de Imágenes Web Rust

Analizador de Curtosis

Analizador de Correlación

Generador de Tablas Dinámicas

Analizador de Regresión