Elysia Tools
Mobile Navigation
Workflow Playbook
Planen Sie ein A/B-Experiment, bestimmen Sie den Evidenzumfang, wählen Sie den passenden Test und prüfen Sie den Effekt vor einer Entscheidung.
Themen
Dieser Ablauf richtet sich an Produkt-, Growth-, Marketing-, Forschungs- und Betriebsteams, die eine belastbare A/B-Auswertung brauchen. Er unterstützt Metrik, Evidenzumfang, Testauswahl und Ergebnisprüfung. Er verteilt keinen Traffic, validiert keine Events, überwacht keine Schutzmetriken und entscheidet nicht über den Rollout.
Notieren Sie vor der finalen Auswertung Basis, kleinsten nützlichen Effekt, Alpha oder Konfidenz, Power, Traffic und Abbruchregel. Zwei unabhängige Raten verlangen einen Zwei-Anteile-Z-Test; gepaarte Daten einen gepaarten Test; unabhängige stetige Gruppen mit ungleichen Varianzen Welch.
Lesen Sie absoluten Effekt, relativen Lift, Intervall, p-Wert, Stichprobe und Warnungen gemeinsam. Vergleichen Sie das Intervall mit der praktischen Schwelle und prüfen Sie Qualität und Schutzmetriken. Statistische Signifikanz zeigt Kompatibilität mit einem Nullmodell, nicht Größe, Sicherheit, Profitabilität oder Geschäftserfolg.
Workflow-Leitfaden
Nutzen Sie effect-size-calculator für die erwartete Differenz, sample-size-calculator oder margin-of-error-calculator für Präzision und statistical-power-calculator als Sensitivitätscheck für eine Stichprobe. Für zwei Arme nutzen Sie ab-test-significance-calculator mit Basis, Lift, Alpha, Power, Traffic und Aufteilung für Nutzerzahl und Dauer.
Für unabhängige Conversion-Raten nutzen Sie two-proportion-z-test-calculator, für eine Rate gegen einen Referenzwert one-proportion-z-test-calculator. z-test-calculator gilt bei bekannter Populationsstreuung oder einem einzelnen Anteil, one-sample-t-test-calculator für eine Gruppe, paired-t-test-calculator für Paare, two-sample-t-test-calculator nur bei begründeter gemeinsamer Varianz und welch-t-test-calculator bei ungleichen Varianzen.
Geben Sie eingefrorene Zählungen oder Kennzahlen ein. Nutzen Sie ab-test-significance-calculator für Differenzen, Lift, Intervalle, p-Werte, Stichprobenschätzungen und Warnungen; verwenden Sie confidence-interval-calculator und p-value-calculator zur Gegenprüfung. Ändern Sie danach weder Metrik noch Abbruchregel.
Vergleichen Sie Effekt und Intervall mit der praktischen Schwelle. Prüfen Sie Stichprobe, Exposition, Mehrfachvergleiche, sequenzielles Nachsehen und externe Schutzmetriken, und dokumentieren Sie die Entscheidung. Signifikanz kann die Geschäftsschwelle verfehlen; nicht eindeutig bedeutet nicht Wirkung null.
Für zwei unabhängige binäre Ergebnisse verwenden Sie two-proportion-z-test-calculator. Für unabhängige stetige Messwerte bei nicht vertretbarer Varianzgleichheit verwenden Sie welch-t-test-calculator; paired-t-test-calculator bleibt echten Vorher-Nachher-Paaren vorbehalten.
Geben Sie das Ergebnis nur frei, wenn Intervall und Effektstärke die vorher festgelegte praktische Schwelle stützen und Schutzmetriken bestehen. Ein kleiner p-Wert beweist weder Wert noch Sicherheit der Änderung.