Variante A erhält zwei Anfragen aus 40 Besuchen, Variante B drei aus 40. Die beobachteten Anfrageraten betragen fünf und siebeneinhalb Prozent. B liegt in dieser kleinen Stichprobe vorne. Daraus folgt noch nicht, dass B bei künftigen Besuchen zuverlässig besser abschneiden wird. Eine einzige weitere Anfrage würde das Bild bereits deutlich verändern.
Für kleine Unternehmenswebsites ist diese Situation normal. Ein Testwerkzeug schafft keine zusätzlichen Beobachtungen. Bevor Sie einen Test starten, prüfen Sie deshalb, ob die vorhandene Besucherzahl die gewünschte Frage überhaupt in einem sinnvollen Zeitraum beantworten kann.
Eine relevante Veränderung festlegen
Formulieren Sie eine konkrete Vermutung: etwa dass eine verständlichere Leistungsbeschreibung mehr passende Kontaktaufnahmen ermöglicht. Wählen Sie eine dazu passende Zielgröße. Ein anderer Button kann mehr Klicks auslösen, ohne dass mehr echte Anfragen entstehen. Wenn Anfragen das Geschäftsziel sind, sollten reine Klicks nicht nachträglich zum Erfolgskriterium werden.
Bestimmen Sie auch, welche Verbesserung für den Betrieb bedeutsam wäre. Ein winziger rechnerischer Unterschied kann wirtschaftlich unwichtig und bei wenig Daten kaum unterscheidbar sein. Für eine formale Stichprobenplanung werden unter anderem Ausgangsrate, relevante Effektgröße und gewählte statistische Anforderungen benötigt. Es gibt keine allgemeine Mindestzahl, die für jeden Website-Test passt.
Den Vergleich schützen
Verändern Sie möglichst eine wesentliche Sache und halten Sie die übrigen Bedingungen vergleichbar. Eine neue Überschrift zusammen mit anderem Preis, neuer Zielgruppe und zusätzlichem Rabatt beantwortet nicht mehr die Frage nach der Überschrift. Google empfiehlt bei Experimenten eine klare Hypothese und erläutert, warum gleichzeitige Veränderungen die Interpretation erschweren.
Berücksichtigen Sie typische Wochenabläufe und zeitversetzte Ergebnisse. Ein Test, der nur am Wochenende läuft, kann sich anders verhalten als eine volle Arbeitswoche. Legen Sie vorab fest, wie lange beobachtet und wann ausgewertet wird. Wiederholtes Stoppen genau in dem Moment, in dem ein gewünschtes Ergebnis erscheint, kann die Aussage eines gewöhnlichen Tests verzerren.
Ein unklares Ergebnis akzeptieren
Ein Ergebnis ohne klaren Unterschied beweist nicht, dass zwei Varianten gleich gut sind. Es kann auch bedeuten, dass die Daten für eine Unterscheidung nicht ausreichen. Wenn ein Werkzeug Unsicherheitsbereiche ausweist, betrachten Sie diese zusammen mit den beobachteten Werten und prüfen Sie, welche Auswertungsmethode verwendet wird.
Bei wenig Verkehr sind manchmal andere Prüfungen hilfreicher: fünf konkrete Kontaktwege durchspielen, echte Rückfragen sammeln oder eine Seite von unbeteiligten Personen benutzen lassen. Solche Beobachtungen ersetzen keine statistische Wirkungsmessung, können aber offensichtliche Hindernisse zeigen. Ein defektes Formular muss nicht erst gegen eine funktionierende Variante gewinnen.
Dokumentieren Sie abschließend auch einen nicht entschiedenen Test. Notieren Sie Hypothese, Zeitraum, Fallzahlen, Änderungen und offene Fragen. Damit verhindert der Betrieb, dass derselbe kleine Zufallsunterschied einige Monate später als gesicherte Erkenntnis wieder auftaucht.
