O que significa um resultado ser estatisticamente significativo?

Significa que a diferença observada entre o controle e o tratamento é improvável de ter ocorrido por mero acaso, considerando o nível de significância (alfa) escolhido.

Quando devo usar o teste t de Welch em vez do Z-test?

Use o t de Welch para métricas contínuas (como receita média ou tempo de uso) onde você possui médias e desvios padrão. Use o Z-test para proporções binárias (como cliques ou conversões).

Por que a calculadora exibe um aviso sobre testes sequenciais (sequential testing)?

Espreitar os resultados e parar o teste assim que o p-valor parecer significativo infla a taxa de falsos positivos. O teste deve rodar até atingir o tamanho amostral planejado.

O que é a correção de Bonferroni e quando ela é aplicada?

É um ajuste no nível de significância usado quando você compara múltiplos tratamentos contra o controle, reduzindo a chance de encontrar falsos positivos devido a múltiplas comparações.

Como é calculado o número de dias recomendados para o teste?

O cálculo divide o tamanho amostral total necessário (baseado na potência e MDE) pelo volume de visitantes diários, ajustando pela divisão de tráfego configurada.

Calculadora de Significância A/B | Ferramenta online grátis

Execução

Executar esta ferramenta

Preencha o formulário, execute a ferramenta e veja o resultado no mesmo lugar.

Execuções de exemplo preparadas

Clique em um exemplo para preencher o formulário automaticamente. Arquivos ainda precisam ser enviados.

2 exemplos

Teste de conversão: 6% vs 6,6%

Controle 1200/20000 (6,0%) vs Tratamento 1320/20000 (6,6%) — um lift relativo +10% real e significativo.

<div class="ab-root">Significant · Winning variant: Treatment · Control 6.00% · Treatment 6.60% · Relative lift ▲ 10.00% · Z ≈ 2.47 · p-value ≈ 0.0135 · 95% CI and sample size/recommended days computed.</div>

Métrica contínua: tempo de checkout (Welch t)

Controle média 42,5s (DP 12, n=500) vs Tratamento 45,8s (DP 12,5, n=500) — testa se a diferença de médias é significativa sem assumir variâncias iguais.

<div class="ab-root">Welch t-test · Mean difference 3.30 · Relative ▲ 7.76% · t statistic · Welch–Satterthwaite dof · 95% CI for the difference · verdict at α = 0.05 · sample size for 80% power.</div>

Entradas

As opções estão agrupadas para deixar formulários longos mais fáceis de revisar.

19 opções

ConfiguraçõesAjuste formatos, intervalos, números e modos.19

Tipo de testeselectOpcionalControle: sucessosnumberOpcionalControle: visitantesnumberOpcionalTratamento: sucessosnumberOpcionalTratamento: visitantesnumberOpcionalControle: médianumberOpcionalControle: desvio padrãonumberOpcionalControle: tamanho amostranumberOpcionalTratamento: médianumberOpcionalTratamento: desvio padrãonumberOpcionalTratamento: tamanho amostranumberOpcionalNível de significância αselectOpcionalPotência estatísticaselectOpcionalConversão base (%)numberOpcionalAumento MDE (%)numberOpcionalVisitantes diáriosnumberOpcionalDivisão de tráfego (%)selectOpcionalNúmero de comparaçõesnumberOpcionalCasas decimaisnumberOpcional

Resultado

Pronto para executar

Depois de executar, arquivos, texto, dados estruturados ou saída em streaming aparecerão aqui.

Execuções de exemplo preparadas

Clique em um exemplo para preencher o formulário automaticamente. Arquivos ainda precisam ser enviados.

2 exemplos

Teste de conversão: 6% vs 6,6%

Controle 1200/20000 (6,0%) vs Tratamento 1320/20000 (6,6%) — um lift relativo +10% real e significativo.

Métrica contínua: tempo de checkout (Welch t)

Controle média 42,5s (DP 12, n=500) vs Tratamento 45,8s (DP 12,5, n=500) — testa se a diferença de médias é significativa sem assumir variâncias iguais.

Entradas

As opções estão agrupadas para deixar formulários longos mais fáceis de revisar.

19 opções

ConfiguraçõesAjuste formatos, intervalos, números e modos.19

Resultado

Pronto para executar

Depois de executar, arquivos, texto, dados estruturados ou saída em streaming aparecerão aqui.

Exemplos

1. Validação de Taxa de Conversão em Landing Page

Analista de Growth Marketing

Contexto

Um analista alterou a cor do botão de chamada para ação (CTA) em uma landing page e coletou dados de conversão de 20.000 visitantes por grupo.

Problema

Determinar se o aumento de conversões de 1200 para 1320 é estatisticamente significativo ou apenas ruído amostral.

Como usar

Selecione o tipo de teste como 'Proporção', insira 1200 sucessos e 20000 visitantes para o Controle, e 1320 sucessos e 20000 visitantes para o Tratamento. Defina o nível de significância em 0.05.

testType: proportion, cSuccess: 1200, cVisitors: 20000, tSuccess: 1320, tVisitors: 20000, alpha: 0.05

Resultado

A calculadora aponta que o resultado é significativo com um lift relativo de 10,00% e p-valor de aproximadamente 0,0135, confirmando a vitória do tratamento.

2. Otimização do Tempo de Checkout

Gerente de Produto

Contexto

A equipe de engenharia reduziu etapas no fluxo de checkout e mediu o tempo de conclusão de 500 usuários em cada versão.

Problema

Verificar se a redução no tempo médio de checkout é estatisticamente significativa, considerando a alta variabilidade dos tempos individuais.

testType: continuous, cMean: 42.5, cSd: 12, cN: 500, tMean: 45.8, tSd: 12.5, tN: 500, alpha: 0.05

Calculadora de Significância A/B | Ferramenta online grátis | Elysia Tools

Calculadora de Significância A/B

O que esta ferramenta ajuda você a fazer

Executar esta ferramenta

Execuções de exemplo preparadas

Entradas

Resultado

Execuções de exemplo preparadas

Entradas

Resultado

Exemplos compatíveis com esta ferramenta

Continue com ferramentas e temas relacionados

Veja quando usar esta ferramenta, o que ela suporta e como os usuários a aplicam.

Fatos principais

Visão geral

Quando usar

Como funciona

Casos de uso

Exemplos

1. Validação de Taxa de Conversão em Landing Page

2. Otimização do Tempo de Checkout

Perguntas frequentes

Exemplos de Processamento de Imagem Android Java

Exemplos de Processamento de Imagem Android Kotlin

Exemplos de Processamento de Imagem Web Python

Exemplos de Processamento de Imagem Web Rust

Construtor de Simulação Monte Carlo

Resumidor de Feed RSS / Atom em Markdown

Tradutor IA de artigos Markdown

Desinfetante de Nome de Arquivo

Ferramentas de exportação, OCR e conversão de Markdown

Ferramentas de escrita e publicacao em Markdown

Ferramentas de codigo de barras, QR e etiquetas

Ferramentas de Redacao, Extracao e Publicacao de Documentacao