1. 多分类算法在基准数据集上的两两显著性评估
机器学习研究员背景
在 12 个公开数据集上测试了 AdaBoost、SVM、kNN 与 C4.5 四种分类算法的准确率,需证明算法间是否存在显著性能差异并绘制图表。
问题
需要计算各模型平均排名、执行 Friedman 检验并生成标明无显著差异连线(cliques)的 Demšar CD 图。
如何使用
在得分矩阵中填入 12 个数据集与 4 种算法的准确率,指标方向选择“越大越好”,事后检验选择“Nemenyi”,显著性水平设为 0.05。
matrix: dataset, AdaBoost, SVM, kNN, C4.5\nd1, 0.95, 0.83, 0.76, 0.69\n...\nd12, 0.94, 0.75, 0.82, 0.68\ndirection: higher\nalpha: 0.05\nposthoc: nemenyi结果
成功输出 Friedman 与 Iman-Davenport 统计量(p < 0.001),得到 CD = 0.957,并生成 AdaBoost 显著领先、SVM 与 kNN 形成连线 clique 的 CD 排名图。