Was bedeutet ein signifikantes Ergebnis bei einem A/B-Test?

Es bedeutet, dass der beobachtete Unterschied zwischen den Gruppen bei dem gewählten Signifikanzniveau (z. B. 5 %) sehr unwahrscheinlich durch reinen Zufall entstanden ist.

Wann sollte ich den Welch-t-Test statt des Z-Tests verwenden?

Nutzen Sie den Welch-t-Test für stetige Metriken wie Umsatz pro Nutzer oder Sitzungsdauer. Der Z-Test eignet sich für Anteile wie Klick- oder Konversionsraten.

Warum warnt das Tool vor 'Sequential Testing' (vorzeitigem Reinschauen)?

Regelmäßiges Prüfen des p-Werts während des laufenden Tests erhöht die Wahrscheinlichkeit für falsch-positive Ergebnisse (Fehler 1. Art) drastisch.

Was bewirkt die Bonferroni-Korrektur im Rechner?

Sie passt das Signifikanzniveau an, wenn Sie mehrere Varianten gleichzeitig gegen die Kontrolle testen, um die Anhäufung von Fehlern zu verhindern.

Wie wird die empfohlene Testdauer berechnet?

Sie basiert auf der berechneten erforderlichen Stichprobengröße pro Variante, der Traffic-Aufteilung und Ihren täglichen Besuchern.

Elysia Tools

Mobile Navigation

Data Analysis

A/B-Test Signifikanzrechner

Geben Sie Kontrolle-/Behandlungs-Daten ein: Differenz der Raten, 95%/99%-Konfidenzintervalle, p-Wert des Z-Tests (Anteile) oder Welch-t (stetig), Signifikanz, Lift, Stichprobengröße für 80%/90% Power, empfohlene Tage, Sequential-Testing-Warnung und Bonferroni-Korrektur.

Einzelheiten

Wobei dieses Tool hilft

Entscheide, ob dein A/B-Test-Ergebnis echtes Signal oder Rauschen ist — mit korrekter Statistik.

Zwei Testtypen.

Anteil / Konversionsrate. Erfolge + Besucher von Kontrolle und Behandlung. Berechnet Raten, relativen Lift, gepoolten Z-Test und das 95%/99%-KI der Differenz.
Stetige Metrik (Mittelwert & SD). Mittelwert, SD und n beider Gruppen. Führt einen Welch-t-Test (ohne gleiche Varianzen) mit Welch–Satterthwaite-Freiheitsgraden aus.

Mehr als der p-Wert: Lift, Konfidenzintervall, Stichprobengröße für 80%/90% Power, empfohlene Tage, Bonferroni-Korrektur bei Mehrfachvergleichen und Sequential-Testing-Warnung (den p-Wert mittendrin nicht anschauen).

"Signifikant" bedeutet, die Daten sind bei α=0,05 unverträglich mit Null-Differenz — nicht, dass der Lift groß oder wichtig ist. Kombiniere Signifikanz mit Effektgröße vor dem Rollout.

Ausführung

Dieses Tool ausführen

Fülle das Formular aus, starte das Tool und prüfe das Ergebnis an einem Ort.

Vorbereitete Beispielausführungen

Klicken Sie auf ein Beispiel, um das Formular automatisch auszufüllen. Dateien müssen weiterhin hochgeladen werden.

2 Beispiele

Konversionstest: 6% vs. 6,6%

Kontrolle 1200/20000 (6,0%) vs. Behandlung 1320/20000 (6,6%) — ein realer, signifikanter relativer Lift von +10%.

<div class="ab-root">Significant · Winning variant: Treatment · Control 6.00% · Treatment 6.60% · Relative lift ▲ 10.00% · Z ≈ 2.47 · p-value ≈ 0.0135 · 95% CI and sample size/recommended days computed.</div>

Stetige Metrik: Checkout-Zeit (Welch-t)

Kontrolle Mittelwert 42,5s (SD 12, n=500) vs. Behandlung 45,8s (SD 12,5, n=500) — testet die Signifikanz der Mittewertdifferenz ohne gleiche Varianzen anzunehmen.

<div class="ab-root">Welch t-test · Mean difference 3.30 · Relative ▲ 7.76% · t statistic · Welch–Satterthwaite dof · 95% CI for the difference · verdict at α = 0.05 · sample size for 80% power.</div>

Eingaben

Optionen sind gruppiert, damit lange Formulare übersichtlich bleiben.

19 Optionen

EinstellungenFormate, Bereiche, Zahlen und Modi anpassen.19

TesttypselectOptionales FeldKontrolle: ErfolgenumberOptionales FeldKontrolle: BesuchernumberOptionales FeldBehandlung: ErfolgenumberOptionales FeldBehandlung: BesuchernumberOptionales FeldKontrolle: MittelwertnumberOptionales FeldKontrolle: Standardabw.numberOptionales FeldKontrolle: StichprobenumberOptionales FeldBehandlung: MittelwertnumberOptionales FeldBehandlung: Standardabw.numberOptionales FeldBehandlung: StichprobenumberOptionales FeldSignifikanzniveau αselectOptionales FeldStatistische PowerselectOptionales FeldBasis-Konversionsrate (%)numberOptionales FeldMDE-Steigerung (%)numberOptionales FeldTägliche BesuchernumberOptionales FeldTraffic-Aufteilung (%)selectOptionales FeldAnzahl VergleichenumberOptionales FeldDezimalstellennumberOptionales Feld

Ergebnis

Bereit zum Start

Nach dem Ausführen erscheinen hier Dateien, Text, strukturierte Daten oder Stream-Ausgaben.

Beispiele

Beispiele zu diesem Tool

Verwandt

A/B-Test Signifikanzrechner

Wobei dieses Tool hilft

Dieses Tool ausführen

Vorbereitete Beispielausführungen

Eingaben

Ergebnis

Beispiele zu diesem Tool

Mit verwandten Tools und Themen fortfahren

Vorbereitete Beispielausführungen

Eingaben

Ergebnis

Erfahren Sie, wann dieses Tool passt, was es unterstützt und wie Nutzer es anwenden.

Wichtige Fakten

Überblick

Wann verwenden

So funktioniert es

Anwendungsfälle

Beispiele

1. Optimierung der Checkout-Konversionsrate

2. Vergleich des durchschnittlichen Bestellwerts

FAQ

Android Java Bildverarbeitungsbeispiele

Android Kotlin Bildverarbeitungsbeispiele

Web Python Bildverarbeitung Beispiele

Web Rust Bildverarbeitungsbeispiele

Monte-Carlo-Simulations-Builder

RSS / Atom Feed Markdown-Zusammenfasser

KI-Markdown-Artikel-Uebersetzer

Dateinamen-Desinfektionsmittel

Markdown-Export-, OCR- und Dokumentkonvertierungs-Tools

Werkzeuge fur Markdown-Erstellung und Publikation

Werkzeuge fur Barcodes, QR-Codes und Etiketten

Werkzeuge fur Dokumentations-Authoring, Extraktion und Publishing