Visualisation interactive de l'Analyse en Composantes Principales, ellipses de covariance et vecteurs propres pour comprendre la réduction de dimension
Mesure comment les variables varient ensemble. Pour données centrées: Σ = (1/n)XᵀX. Les éléments diagonaux sont les variances, hors diagonale sont les covariances.
Directions principales de variance maximale. Vecteurs orthogonaux définissant les axes de l'ellipse de covariance. Le premier vecteur propre pointe dans la direction de variance maximale.
Quantité de variance expliquée par chaque vecteur propre. Valeur propre plus grande signifie plus de variance dans cette direction. Les carrés des longueurs des demi-axes de l'ellipse de covariance.
Représentation visuelle de la matrice de covariance. Montre la forme et l'orientation de la distribution des données. Demi-axes alignés avec vecteurs propres, longueurs proportionnelles à √valeurs propres.
Soustraire la moyenne de chaque dimension: x_centered = x - μ. Essentiel pour que l'ACP trouve les directions de variance maximale autour de la moyenne.
Garder seulement les k premières composantes principales réduit les dimensions en préservant la variance maximale. Erreur de reconstruction = somme des valeurs propres rejetées.
Pour matrice de données centrées X, Σ = (1/n)XᵀX
Σ peut être décomposée comme Σ = QΛQᵀ où Q contient les vecteurs propres et Λ est matrice diagonale des valeurs propres
Projette les données sur les composantes principales (rotation et éventuellement projection)
Reconstruit les données en utilisant seulement k composantes principales
Fraction de variance totale expliquée par la première composante principale
Équation paramétrique pour ellipse de covariance à 1σ (multiplier par k pour ellipse kσ)
Soustraire la moyenne de chaque dimension: x_centered = x - μ. Cela déplace les données pour être centrées à l'origine.
Calculer Σ = (1/n)XᵀX où X est la matrice de données centrées. Cela capture comment les variables varient ensemble.
Résoudre Σv = λv. Trier les vecteurs propres par valeurs propres en ordre décroissant. Valeurs propres plus grandes indiquent directions de plus grande variance.
Transformer les données: z = Qᵀ(x - μ). Cela fait tourner le système de coordonnées pour s'aligner avec directions principales.
Garder seulement les k premières composantes: z_k = Q_kᵀ(x - μ). Cela réduit les dimensions en préservant la variance maximale.
Reconstruire depuis k composantes: x̂ = Q_k z_k + μ. Erreur de reconstruction = somme des valeurs propres rejetées.
Projeter des données de haute dimension en 2D ou 3D pour visualisation en préservant autant de variance que possible. Essentiel pour l'analyse exploratoire de données.
Extraire des représentations compactes de caractéristiques pour l'apprentissage automatique. Utilisé dans la reconnaissance faciale (Eigenfaces), reconnaissance d'écriture, etc.
Supprimer le bruit en reconstruisant avec moins de composantes. Le bruit est typiquement capturé par les plus petites valeurs propres (CPs ultérieures).
Comprimer les images en gardant les k premières composantes principales. Atteindre une compression significative en préservant les caractéristiques principales.
Détecter les valeurs aberrantes en mesurant l'erreur de reconstruction. Les anomalies ont une erreur de reconstruction élevée avec peu de CPs.
Gérer les caractéristiques corrélées dans l'analyse de régression. L'ACP transforme en composantes orthogonales (non corrélées).
L'ellipse de covariance devient un cercle (ou alignée avec les axes). Pas de direction préférée. Variance égale dans toutes les directions. Les valeurs propres sont égales.
Les données tendent vers le haut. L'ellipse de covariance s'incline à 45°. Le premier vecteur propre pointe dans la direction de la tendance.
Les données tendent vers le bas. L'ellipse de covariance s'incline à -45°. Relation inverse entre variables.
L'ellipse dégénérée devient une ligne. Une valeur propre approche zéro. Les données sont essentiellement 1D. Reconstruction parfaite avec 1 CP.
Bruit élevé augmente les deux valeurs propres également. Rend l'ellipse plus circulaire. Réduit l'avantage de la réduction de dimensionnalité.
Les vecteurs propres sont des directions qui ne changent pas de direction sous la transformation linéaire. Ce sont les 'axes naturels' de la distribution des données.