Elysia Tools
Navegação
Workflow Playbook
Planeje um experimento A/B, dimensione a evidência, escolha o teste adequado e avalie o efeito antes de decidir.
Temas
Este fluxo atende equipes de produto, crescimento, marketing, pesquisa e operações que precisam de uma leitura A/B defensável. Ajuda a definir a métrica, dimensionar evidência, escolher um teste e revisar o resultado. Não distribui tráfego, valida eventos, monitora proteções nem decide o lançamento.
Antes da leitura final registre linha de base, efeito mínimo útil, alfa ou confiança, poder, tráfego e regra de parada. Duas taxas independentes pedem Z de duas proporções; dados pareados pedem teste pareado; grupos contínuos independentes com variâncias diferentes pedem Welch.
Leia juntos efeito absoluto, lift relativo, intervalo, valor p, amostra e alertas. Compare o intervalo com o limite prático e confira qualidade e proteções. Significância estatística descreve compatibilidade com um modelo nulo; não prova tamanho, segurança, lucro ou sucesso do negócio.
Guia de fluxo de trabalho
Use effect-size-calculator para a diferença esperada, sample-size-calculator ou margin-of-error-calculator para a precisão e statistical-power-calculator como sensibilidade para uma amostra. Em dois braços, use ab-test-significance-calculator com linha de base, lift, alfa, poder, tráfego e divisão para estimar usuários e dias.
Use two-proportion-z-test-calculator para taxas independentes e one-proportion-z-test-calculator para uma taxa contra referência. Use z-test-calculator quando couber a desvio-padrão populacional conhecido ou proporção única, one-sample-t-test-calculator para um grupo, paired-t-test-calculator para pares, two-sample-t-test-calculator apenas com variância combinada justificável e welch-t-test-calculator quando as variâncias diferirem.
Insira contagens ou estatísticas resumidas congeladas. Use ab-test-significance-calculator para diferenças, lift, intervalos, valores p, estimativas de amostra e alertas; use confidence-interval-calculator e p-value-calculator para conferir. Não mude a métrica nem a regra de parada depois do resultado.
Compare efeito e intervalo com o limite prático. Revise qualidade da amostra, exposição, comparações múltiplas, consultas sequenciais e métricas de proteção externas, e registre a decisão. Significativo pode não atingir a meta de negócio; inconclusivo não prova efeito zero.
Para dois resultados binários independentes, use two-proportion-z-test-calculator. Para medidas contínuas independentes com variâncias possivelmente diferentes, use welch-t-test-calculator; reserve paired-t-test-calculator para observações realmente pareadas antes e depois.
Só encaminhe para lançamento quando intervalo e tamanho do efeito sustentarem o limite prático definido antes e as métricas de proteção passarem. Um valor p pequeno não prova valor nem segurança da mudança.