A/B Testing

Definition

A/B Testing ist eine experimentelle Methode, bei der du zwei Varianten eines Elements – Variante A (Kontrollversion) und Variante B (Testversion) – gleichzeitig unter realen Bedingungen gegeneinander antreten lässt. Der Traffic wird zufällig und möglichst gleichmässig aufgeteilt, damit Unterschiede in der Performance auf die Änderung zurückgeführt werden können. So findest du evidenzbasiert heraus, welche Version besser funktioniert und übernimmst nur Massnahmen, die sich messbar bewährt haben.

Zum Einsatz kommt A/B Testing überall dort, wo Nutzerverhalten messbar ist: auf Landingpages, in Checkout-Flows, bei Formularen, in E-Mails, App-Screens oder Anzeigen. Ausgewertet wird anhand klar definierter Kennzahlen wie Conversion Rate, Klickrate (CTR) oder Umsatz pro Besucher. Damit ist A/B Testing ein Kerninstrument der Conversion-Optimierung und hilft dir, Entscheidungen nicht nach Bauchgefühl, sondern datenbasiert zu treffen.

Zielsetzung

Die Hauptziele von A/B Testing sind Risikominimierung und Effizienzsteigerung. Anstatt eine Änderung vollflächig auszurollen, prüfst du sie erst im kleinen Rahmen und validierst, ob sie einen statistisch signifikanten Uplift bringt. Das reduziert Streuverlust, schützt Budgets und beschleunigt Lernzyklen. Besonders im Performance Marketing sorgt A/B Testing für planbare Schritte nach vorn, weil du systematisch Hypothesen prüfst und erfolgversprechende Varianten skalierst.

Typische KPIs sind Conversion Rate (z. B. Anmeldungen, Käufe), CTR in Ads oder E-Mails, Cost per Conversion (CPCONV), durchschnittlicher Warenkorb (AOV) und Revenue per Visitor (RPV). Abhängig vom Ziel können auch Mikrokonversionen wie Scrolltiefe, Formularfortschritt oder Verweildauer betrachtet werden. Entscheidend ist, dass du für jeden Test genau eine primäre Zielmetrik definierst und vorab festlegst, ab welchem Effekt (z. B. +8 % CVR) bei welcher Signifikanz (z. B. p < 0,05) die Variante gewinnt.

Beispiele aus der Praxis

Die folgenden Szenarien zeigen typische, wirkungsvolle Testideen entlang des Funnels.

Vorteile

Grenzen

Methodik: Von Hypothese bis Rollout

Ein sauberer A/B-Test folgt einem klaren Ablauf. Du startest mit einer Hypothese, die auf Daten oder Nutzerfeedback basiert („Wenn wir den CTA über den Fold bringen, steigt die Klickrate“). Danach definierst du Zielmetrik, Mindestuplift, Testdauer und benötigte Stichprobengrösse. Tools verteilen dann den Traffic zufällig auf A und B. Während des Tests bleibt alles andere konstant, um Störeinflüsse zu minimieren.

Für die Auswertung prüfst du zuerst Datenqualität (Tracking, Zuordnung), dann Signifikanz und Konfidenzintervalle. Achte auf Power (Teststärke), um falsch-negative Ergebnisse zu vermeiden. Gewinne die Variante B mit ausreichender Evidenz, rollst du sie schrittweise aus (z. B. 20 % → 50 % → 100 %) und beobachtest die Metriken weiter. So stellst du sicher, dass der Effekt robust bleibt und nicht nur ein kurzfristiger Zufall war.

KPIs und Statistik in der Praxis

Die wichtigste Kennzahl ist meist die Conversion Rate (CVR), weil sie direkt auf Leads oder Umsatz einzahlt. Je nach Kontext können aber auch CTR (Anzeigen, Betreffzeilen), CPCONV (Effizienz) oder RPV (Monetarisierung) deine Primärmetrik sein. Sekundär beobachtest du unterstützende Werte wie Absprungrate, Zeit bis zur Conversion oder Formularabbrüche, um Mechanismen zu verstehen.

Statistisch solltest du ein Signifikanzniveau festlegen (häufig 95 %) und vorab berechnen, wie viel Traffic nötig ist, um den gewünschten Effekt zu erkennen. Unterbrich den Test nicht vorzeitig bei „Zwischenspitzen“ – Stop/Go-Entscheide zu früh führen zu verzerrten Ergebnissen. Vermeide Multiple-Testing-Fallen, indem du pro Test nur eine Hauptvariable änderst und bei mehrdimensionalen Fragestellungen auf multivariate Tests umsteigst.

Umsetzungstipps

Starte mit den Hebeln, die nah an der Conversion liegen (z. B. Formular, Checkout, CTA-Bereiche). Sorge für klare, widerspruchsfreie Hypothesen und dokumentiere Erkenntnisse in einem Backlog – inkl. Testidee, Erwartung, Ergebnis und „Next Step“. Nutze Kohortensegmente (z. B. Neu- vs. Bestandskunden), aber vermeide exzessives Nachsegmentieren, solange die Stichprobe klein ist. Denk an technische Details: konsistente Zuweisung pro User (Cookie-basierte Sticky-Zuteilung), sauberes Event-Tracking und Ausschluss internen Traffics.

Für Landingpages lohnt es sich, Struktur und Nutzenversprechen zu testen, bevor du an Mikrodetails feilst. Eine klare Hierarchie aus Headline, Social Proof, Nutzenpunkten und einem prominenten CTA schafft die Basis für weitere Feintuning-Tests. Für ein systematisches Vorgehen hilft dir der Überblick im Beitrag Landingpages optimieren für Ads, insbesondere zu Aufbau und Priorisierung von Elementen.

Qualitätssicherung & Rollout

Bevor ein Test live geht, prüfst du technische Integrität (Tracking, Pixel, Konsolenfehler) und stellst sicher, dass Performance (Ladezeiten) nicht leidet. Während des Tests überwachst du Stichprobe, Gerätemix und Trafficquellen – starke Verschiebungen können Ergebnisse verfälschen. Nach dem Abschluss folgt der Rollout mit Monitoring über mehrere Tage oder Wochen. Bleibt der Uplift stabil, dokumentierst du das Learning und identifizierst den nächsten Test, um einen kontinuierlichen Optimierungszyklus aufzubauen.

Verwandte Begriffe

Split-Testing, Multivariate Tests, Landingpage-Optimierung, Konversionsrate (Conversion Rate), Usability-Optimierung

Weiterführender Artikel

Mehr Kennzahlen und Formeln für deine Tests findest du im Beitrag KPIs im Performance Marketing messen.