Elysia Tools
Navegación
Workflow Playbook
Planifica un experimento A/B, dimensiona la evidencia, elige la prueba adecuada y revisa efecto e incertidumbre antes de actuar.
Temas
Este flujo sirve a equipos de producto, crecimiento, marketing, investigación y operaciones que necesitan una lectura A/B defendible. Ayuda a fijar la métrica, dimensionar la evidencia, elegir una prueba y revisar el resultado. No asigna tráfico, valida eventos, vigila protecciones ni decide qué debe lanzar el negocio.
Antes de la lectura final registra línea base, efecto mínimo útil, alfa o confianza, potencia, tráfico y regla de parada. Dos tasas independientes usan una Z de dos proporciones; datos emparejados usan una prueba pareada; grupos continuos independientes con varianzas distintas usan Welch.
Lee juntos efecto absoluto, lift relativo, intervalo, valor p, muestra y avisos. Compara el intervalo con el umbral práctico y comprueba calidad y protecciones. La significación estadística describe compatibilidad con un modelo nulo; no prueba tamaño, seguridad, rentabilidad ni éxito comercial.
Guía de flujo de trabajo
Usa effect-size-calculator para la diferencia esperada, sample-size-calculator o margin-of-error-calculator para la precisión y statistical-power-calculator como sensibilidad de una muestra. Para dos brazos, usa ab-test-significance-calculator con línea base, lift, alfa, potencia, tráfico y reparto para estimar usuarios y días.
Usa two-proportion-z-test-calculator para tasas independientes y one-proportion-z-test-calculator para una tasa frente a una referencia. Usa z-test-calculator cuando proceda para desviación poblacional conocida o una proporción, one-sample-t-test-calculator para un grupo, paired-t-test-calculator para datos emparejados, two-sample-t-test-calculator solo con varianza común justificada y welch-t-test-calculator con varianzas diferentes.
Introduce los conteos o resúmenes congelados. Usa ab-test-significance-calculator para diferencias, lift, intervalos, valores p, estimaciones de muestra y avisos; usa confidence-interval-calculator y p-value-calculator para comprobaciones. No cambies la métrica ni la regla de parada tras ver el resultado.
Compara efecto absoluto y relativo e intervalo con el umbral práctico. Revisa calidad de muestra, exposición, comparaciones múltiples, observación secuencial y métricas de protección externas; registra la decisión y su motivo. Significativo no siempre es útil, e inconcluso no significa efecto cero.
Para dos resultados binarios independientes usa two-proportion-z-test-calculator. Para medidas continuas independientes con varianzas no iguales usa welch-t-test-calculator; reserva paired-t-test-calculator para observaciones realmente emparejadas antes y después.
Solo pasa a revisión de lanzamiento si el intervalo y el tamaño del efecto respaldan el umbral práctico predefinido y las métricas de protección pasan. Un valor p pequeño no demuestra valor ni seguridad del cambio.