Visualización interactiva del Análisis de Componentes Principales, elipses de covarianza y vectores propios para entender la reducción de dimensionalidad
Mide cómo varían las variables juntas. Para datos centrados: Σ = (1/n)XᵀX. Los elementos diagonales son varianzas, los fuera de diagonal son covarianzas.
Direcciones principales de máxima varianza. Vectores ortogonales que definen los ejes de la elipse de covarianza. El primer vector propio apunta en la dirección de máxima varianza.
Cantidad de varianza explicada por cada vector propio. Un valor propio mayor significa más varianza en esa dirección. Los cuadrados de las longitudes de los semiejes de la elipse de covarianza.
Representación visual de la matriz de covarianza. Muestra la forma y orientación de la distribución de datos. Los semiejes alineados con vectores propios, longitudes proporcionales a √valores propios.
Restar la media de cada dimensión: x_centered = x - μ. Esencial para que PCA encuentre direcciones de máxima varianza alrededor de la media.
Mantener solo los k componentes principales principales reduce dimensiones preservando la máxima varianza. Error de reconstrucción = suma de valores propios descartados.
Para matriz de datos centrados X, Σ = (1/n)XᵀX
Σ puede descomponerse como Σ = QΛQᵀ donde Q contiene vectores propios y Λ es matriz diagonal de valores propios
Proyecta datos sobre componentes principales (rotación y posiblemente proyección)
Reconstruye datos usando solo k componentes principales
Fracción de varianza total explicada por el primer componente principal
Ecuación paramétrica para elipse de covarianza a 1σ (multiplicar por k para elipse kσ)
Restar la media de cada dimensión: x_centered = x - μ. Esto desplaza los datos para que estén centrados en el origen.
Calcular Σ = (1/n)XᵀX donde X es la matriz de datos centrados. Esto captura cómo varían las variables juntas.
Resolver Σv = λv. Ordenar vectores propios por valores propios en orden descendente. Valores propios más grandes indican direcciones de más varianza.
Transformar datos: z = Qᵀ(x - μ). Esto rota el sistema de coordenadas para alinearlo con direcciones principales.
Mantener solo los k componentes principales: z_k = Q_kᵀ(x - μ). Esto reduce dimensiones preservando la máxima varianza.
Reconstruir desde k componentes: x̂ = Q_k z_k + μ. Error de reconstrucción = suma de valores propios descartados.
Proyectar datos de alta dimensión a 2D o 3D para visualización preservando la mayor varianza posible. Esencial para análisis exploratorio de datos.
Extraer representaciones compactas de características para aprendizaje automático. Usado en reconocimiento facial (Eigenfaces), reconocimiento de escritura, etc.
Eliminar ruido reconstruyendo con menos componentes. El ruido típicamente es capturado por valores propios más pequeños (PCs posteriores).
Comprimir imágenes manteniendo los k componentes principales principales. Lograr compresión significativa preservando características principales.
Detectar valores atípicos midiendo el error de reconstrucción. Las anomalías tienen alto error de reconstrucción al usar pocos PCs.
Manejar características correlacionadas en análisis de regresión. PCA transforma a componentes ortogonales (no correlacionados).
La elipse de covarianza se vuelve un círculo (o alineado con ejes). Sin dirección preferida. Varianza igual en todas direcciones. Los valores propios son iguales.
Los datos tienden hacia arriba. La elipse de covarianza se inclina 45°. El primer vector propio apunta en la dirección de la tendencia.
Los datos tienden hacia abajo. La elipse de covarianza se inclina -45°. Relación inversa entre variables.
La elipse degenerada se convierte en una línea. Un valor propio se acerca a cero. Los datos son esencialmente 1D. Reconstrucción perfecta con 1 PC.
Alto ruido aumenta ambos valores propios por igual. Hace la elipse más circular. Reduce la ventaja de la reducción de dimensionalidad.
Los vectores propios son direcciones que no cambian de dirección bajo la transformación lineal. Son los 'ejes naturales' de la distribución de datos.