Quels formats de métriques sont acceptés dans la matrice de scores ?

Vous pouvez saisir des métriques à maximiser comme l'accuracy ou l'AUC, ou des métriques d'erreur à minimiser comme la RMSE ou la MAE en adaptant l'option de direction.

Traceur de différence critique Nemenyi et rangs de Friedman | Outil en ligne gratuit

Traceur de différence critique Nemenyi et rangs de Friedman | Outil en ligne gratuit | Elysia Tools

Guide d'utilisation de l'outil

Découvrez quand utiliser cet outil, ce qu'il prend en charge et comment les utilisateurs l'appliquent.

Points clés

Catégorie: Data Analysis
Types d’entrée: textarea, select, text
Type de sortie: html
Exemples associés: 4
API disponible: Oui

Aperçu

Cet outil calcule les tests statistiques de Friedman et d'Iman-Davenport à partir d'une matrice de scores, calcule les rangs moyens des algorithmes et génère le diagramme de différence critique de Demšar avec affichage des cliques non significatives pour les procédures Nemenyi et Bonferroni-Dunn.

Quand l’utiliser

Comparer statistiquement les performances de plusieurs modèles d'apprentissage automatique évalués sur de multiples jeux de données.
Mesurer si un ou plusieurs modèles challengers surpassent de manière significative un modèle de référence (baseline).
Générer un diagramme de différence critique (CD diagram) conforme aux standards de publication scientifique.

Fonctionnement

1Collez votre matrice de scores au format CSV (première colonne pour les datasets, colonnes suivantes pour les modèles).
2Définissez le sens d'optimisation de la métrique (plus haut ou plus bas), le seuil de signification α et la procédure post-hoc souhaitée.
3Si vous sélectionnez Bonferroni-Dunn, indiquez le nom exact de la colonne correspondant au modèle de contrôle.
4Consultez les p-values des tests de Friedman et Iman-Davenport, la table des rangs moyens, la valeur CD et le diagramme visuel des cliques.

Cas d’usage

Validation rigoureuse des benchmarks d'algorithmes de machine learning pour articles de recherche.
Sélection objective du meilleur modèle d'IA au sein d'une équipe data après évaluation sur plusieurs segments métiers.
Comparaison d'optimiseurs numériques ou de stratégies d'échantillonnage sur un ensemble de fonctions de test.

Exemples

1. Comparaison de quatre classifieurs multi-datasets avec Nemenyi

Chercheur en Machine Learning

Contexte

Un chercheur évalue quatre classifieurs sur douze jeux de données publics et souhaite vérifier si le modèle en tête se détache statistiquement des autres.

Problème

Déterminer si les différences de précision entre les algorithmes sont significatives sur l'ensemble des benchmarks.

Utilisation

Coller la matrice des scores d'accuracy, choisir 'Plus haut est mieux', sélectionner le test post-hoc 'Nemenyi' à α = 0.05.

matrix=dataset, AdaBoost, SVM, kNN, C4.5\nd1, 0.95, 0.83, 0.76, 0.69\n... | direction=higher | alpha=0.05 | posthoc=nemenyi

Résultat

Le test de Friedman rejette l'hypothèse nulle (p < 0.001), et le diagramme CD isole AdaBoost en tête tout en regroupant SVM et kNN dans une clique non significative.

2. Évaluation d'erreurs RMSE contre un modèle de référence

Data Scientist

Contexte

Une équipe souhaite remplacer son modèle historique en production par deux nouvelles architectures testées sur 8 jeux de données de test.

Problème

Vérifier si les challengers réduisent l'erreur RMSE de manière statistiquement significative par rapport à la baseline.

FAQ

Quelle est la différence entre les tests post-hoc de Nemenyi et de Bonferroni-Dunn ?

Nemenyi compare toutes les paires possibles de modèles entre elles, tandis que Bonferroni-Dunn compare uniquement chaque modèle challenger contre un unique modèle de contrôle.

Que signifie la valeur de différence critique (CD) ?

La différence critique représente l'écart minimal nécessaire entre les rangs moyens de deux modèles pour considérer leur écart de performance comme statistiquement significatif au seuil α.

Pourquoi la correction d'Iman-Davenport est-elle affichée aux côtés du test de Friedman ?

La statistique chi-deux classique de Friedman est souvent trop conservatrice ; l'approximation F d'Iman-Davenport offre une meilleure puissance statistique sur les petits échantillons de datasets.

Comment lire les barres horizontales (cliques) sur le diagramme CD ?

Les modèles reliés par une même ligne horizontale ont une différence de rang moyen inférieure au seuil CD : leurs performances ne sont pas statistiquement discernables.

matrix=dataset, Baseline, ChallengerA, ChallengerB\nd1, 0.152, 0.141, 0.149\n... | direction=lower | alpha=0.05 | posthoc=bonferroni-dunn | control=Baseline

Traceur de différence critique Nemenyi et rangs de Friedman

Exécuter cet outil

Exemples adaptés à cet outil

Continuer avec des outils et dossiers associés

Découvrez quand utiliser cet outil, ce qu'il prend en charge et comment les utilisateurs l'appliquent.

Points clés

Aperçu

Quand l’utiliser

Fonctionnement

Cas d’usage

Exemples

1. Comparaison de quatre classifieurs multi-datasets avec Nemenyi

2. Évaluation d'erreurs RMSE contre un modèle de référence

FAQ

Exemples de Traitement d'Images Web Python

Exemples de Traitement d'Images Android Java

Exemples de Traitement d'Images Android Kotlin

Exemples de Traitement d'Images Web Rust

Analyseur de Kurtosis

Analyseur de Corrélation

Générateur de Tableau Croisé Dynamique

Analyseur de Régression