Traçador de diferença crítica Nemenyi e ranks de Friedman

Traçador de diferença crítica Nemenyi e ranks de Friedman | Ferramenta online grátis | Elysia Tools

Guia de uso da ferramenta

Veja quando usar esta ferramenta, o que ela suporta e como os usuários a aplicam.

Fatos principais

Categoria: Data Analysis
Tipos de entrada: textarea, select, text
Tipo de saída: html
Cobertura de exemplos: 4
API pronta: Sim

Visão geral

O Traçador de Diferença Crítica Nemenyi e Ranks de Friedman realiza comparações estatísticas rigorosas entre múltiplos algoritmos em diversos conjuntos de dados. A ferramenta calcula testes de Friedman e Iman-Davenport, determina ranks médios e gera o diagrama de Diferença Crítica (CD) clássico com cliques para procedimentos post-hoc Nemenyi ou Bonferroni-Dunn.

Quando usar

Ao comparar o desempenho de múltiplos algoritmos de aprendizado de máquina em vários conjuntos de dados de benchmark.
Para verificar se as diferenças entre classificadores ou regressores são estatisticamente significativas após experimentos empíricos.
Ao elaborar publicações acadêmicas ou relatórios técnicos que exigem o diagrama CD de Demšar e testes não paramétricos pareados.

Como funciona

1Insira a matriz de pontuações no formato CSV, contendo na primeira linha os nomes dos modelos e nas demais os resultados por dataset.
2Selecione a direção da métrica (maior é melhor para acurácia/AUC ou menor é melhor para erros/RMSE) e o nível de significância alfa (0.05 ou 0.10).
3Escolha o teste post-hoc entre Nemenyi (todos contra todos) ou Bonferroni-Dunn (comparação direta contra um modelo de controle declarado).
4Visualize os resultados estatísticos consolidados, incluindo p-valores dos testes de Friedman e Iman-Davenport, tabela de ranks e o diagrama CD visual.

Casos de uso

Avaliação de benchmarks de múltiplos modelos de classificação supervisionada em conjuntos de dados do UCI/OpenML.
Comparação de novos algoritmos de regressão propostos contra linhas de base consolidadas da literatura.
Geração de relatórios de validação estatística para seleção final de modelos em esteiras de engenharia de dados.

Exemplos

1. Comparação de quatro classificadores em doze datasets

Pesquisador em Aprendizado de Máquina

Contexto

Um pesquisador precisa comprovar em um artigo acadêmico que um novo método baseado em boosting supera classificadores clássicos em termos de acurácia.

Problema

Identificar se a superioridade de acurácia observada entre quatro modelos é estatisticamente significante em múltiplos experimentos.

Como usar

Cole a matriz com as pontuações de acurácia de 12 datasets, marque a direção como 'higher', selecione alpha '0.05' e o pós-teste 'nemenyi'.

direction: higher, alpha: 0.05, posthoc: nemenyi

Resultado

Geração do teste de Friedman com p-valor significativo e diagrama CD com AdaBoost isolado na liderança e SVM-kNN agrupados em um clique.

2. Validação de modelos de regressão contra baseline

Cientista de Dados

Contexto

Uma equipe desenvolveu dois novos modelos preditivos (ChallengerA e ChallengerB) e precisa provar que reduzem o erro quadrático médio em relação ao modelo em produção.

Problema

Comparar ambos os desafiantes contra o modelo de controle 'Baseline' minimizando o erro (RMSE).

Perguntas frequentes

Qual é a diferença entre os testes de Friedman e Iman-Davenport?

O teste de Friedman utiliza uma distribuição qui-quadrado que pode ser conservadora em amostras menores; o teste de Iman-Davenport ajusta essa estatística para uma distribuição F mais precisa.

Quando devo usar Bonferroni-Dunn em vez do teste Nemenyi?

Utilize Bonferroni-Dunn quando o objetivo principal for comparar múltiplos algoritmos desafiantes exclusivamente contra uma linha de base (controle), aumentando o poder estatístico.

O que representam os cliques (linhas horizontais) no diagrama CD?

Grupos de algoritmos conectados por uma mesma linha horizontal não apresentam diferença estatisticamente significativa entre si de acordo com o valor crítico CD calculado.

Como a ferramenta lida com métricas de erro como RMSE?

Ao configurar a direção como 'Menor é melhor', a ferramenta atribui os melhores ranks (menores valores numéricos de posição) aos menores valores da matriz.

Qual formato de entrada deve ser utilizado na matriz de pontuações?

direction: lower, alpha: 0.05, posthoc: bonferroni-dunn, control: Baseline

Executar esta ferramenta

Exemplos compatíveis com esta ferramenta

Continue com ferramentas e temas relacionados

Veja quando usar esta ferramenta, o que ela suporta e como os usuários a aplicam.

Fatos principais

Visão geral

Quando usar

Como funciona

Casos de uso

Exemplos

1. Comparação de quatro classificadores em doze datasets

2. Validação de modelos de regressão contra baseline

Perguntas frequentes

Exemplos de Processamento de Imagem Web Python

Exemplos de Processamento de Imagem Android Java

Exemplos de Processamento de Imagem Android Kotlin

Exemplos de Processamento de Imagem Web Rust

Analisador de Curtose

Analisador de Correlação

Gerador de Tabela Dinâmica

Analisador de Regressão