A/B-Testing verstehen und anwenden
Entscheidungen im digitalen Business werden täglich unter Unsicherheit getroffen – über Designvarianten, Features oder Marketing-Massnahmen.
Oft leiten Intuition, Geschmack oder Stakeholder-Meinungen den Weg. Doch was, wenn du mit Daten belegen könntest, welche Variante wirklich besser funktioniert?
In diesem Workshop lernst du, wie du mit A/B-Tests systematisch überprüfst, was wirkt – und was nicht.
Du erfährst, wie du Hypothesen sauber formulierst, Tests korrekt aufsetzt und Ergebnisse so interpretierst, dass sie eine echte Entscheidungsgrundlage bilden.
Dabei lernst du auch, klassische Signifikanztests und Bayes-Methoden sinnvoll zu kombinieren, um Unsicherheit transparent zu machen statt sie zu verstecken.
Was du lernst
Von der Idee zur Testhypothese
Wie du Annahmen in klare, überprüfbare Hypothesen übersetzt
Wie du relevante Metriken wählst (z. B. Klickrate, Success Rate, Zeit, subjektive Zufriedenheit)
Wie du Business-Ziele und Experiment-Design sinnvoll verknüpfst
Von der Hypothese zum Experiment
Aufbau eines A/B-Tests: Kontrollgruppe, Zufallszuweisung, Testdauer
Voraussetzungen für valide Tests (Stichprobengrösse, Power, Unabhängigkeit)
Typische Verzerrungen und wie du sie vermeidest
Von den Daten zur Entscheidung
Grundprinzipien der Auswertung: Effektgrösse, Konfidenzintervall, Signifikanz
Einführung in den Bayes-Faktor (BF₁₀) als intuitive Alternative zum p-Wert
Wie du lernst, in Wahrscheinlichkeiten zu denken – und Unsicherheit als Information zu nutzen
Best Practices & Fallstricke
Warum viele Tests zu früh gestoppt werden
Wie du mit kleinen Stichproben und schwachen Effekten umgehst
Wie du Ergebnisse kommunizierst, ohne sie zu überinterpretieren
Hands-on Praxis
Gemeinsames Durchspielen eines echten A/B-Tests (z. B. Landingpage oder Pricing-Variante)
Berechnung und Interpretation mit JASP (Open Source Software) – keine Programmierkenntnisse notwendig
Aufbau eines kleinen Test-Plans für deine eigene Anwendung
Vergleich klassischer und Bayes’scher Auswertung (besonders wertvoll bei kleinen Stichproben) – verständlich und praxisnah
Ergebnis
Nach dem Workshop kannst du A/B-Tests sicher planen, durchführen und auswerten. Du erkennst, wann Unterschiede wirklich zählen – und wann Zufall am Werk ist.
Du kannst Testergebnisse interpretieren und deine Argumente datenbasiert untermauern.
Du lernst, Statistik als Entscheidungshilfe zu nutzen – nicht als Hürde, sondern als Werkzeug, um Unsicherheit gezielt zu verringern.