Ein Anzeigentest wird verständlicher, wenn er eine konkrete Frage prüft. Werden gleichzeitig Bild, Angebot, Zielgruppe und Zielseite geändert, lässt sich eine Ergebnisänderung kaum einer einzelnen Ursache zuordnen.
Ein fiktiver Anbieter von Sprachkursen möchte wissen, ob eine Anzeige den festen Unterrichtsplan oder die kleine Gruppengröße hervorheben sollte. Beide Aussagen treffen auf denselben Kurs zu. Das ist eine begrenzte Frage, die zu einer späteren Entscheidung über die Kommunikation führen kann. Ein Vergleich zwischen zwei völlig unterschiedlichen Kursen würde dagegen viele weitere Unterschiede enthalten.
Die Hypothese vor dem Entwurf aufschreiben
Eine brauchbare Hypothese nennt die Änderung, den erwarteten Mechanismus und die betrachtete Handlung. Zum Beispiel: „Der Hinweis auf feste Abendtermine könnte berufstätigen Interessenten die Planung erleichtern und zu mehr passenden Kursanfragen führen.“ Das ist eine überprüfbare Annahme, keine Behauptung über das spätere Ergebnis.
Legen Sie fest, welche Elemente gleich bleiben sollen. Im Beispiel wären das Kurs, Zielseite, geografischer Rahmen und der Zeitraum des Vergleichs. Die zentrale Aussage in der Anzeige wird verändert. Prüfen Sie trotzdem, ob beide Formulierungen sachlich richtig sind und zur gleichen Zielseite passen. Ein irreführender Text wird nicht dadurch vertretbar, dass er nur als Test läuft.
„Eine Variable“ ist eine Arbeitsregel, kein Beweis wissenschaftlicher Kontrolle. In einer realen Werbeplattform können Auslieferung, Auktionen und Zusammensetzung der erreichten Personen variieren. Verfügbare Experimentfunktionen können die Anlage eines Vergleichs unterstützen; prüfen Sie ihre konkrete Funktionsweise, bevor Sie daraus einen randomisierten Test ableiten.
Den Vergleich und seine Grenzen planen
Definieren Sie die Hauptkennzahl vor dem Start. Wenn passende Kursanfragen das Ziel sind, ist die Klickrate nur eine ergänzende Beobachtung. Ein Text kann mehr Neugier erzeugen und gleichzeitig weniger geeignete Anfragen bringen. Legen Sie auch fest, wie „passend“ beurteilt wird, beispielsweise anhand des gewünschten Kursniveaus und der Verfügbarkeit für die angekündigten Termine.
Ein Vorher-nachher-Vergleich über zwei verschiedene Monate ist besonders anfällig für andere Einflüsse. Ferien, freie Kursplätze oder Änderungen bei Wettbewerbern können die Nachfrage verändern. Wenn Sie nur diese einfache Form des Vergleichs durchführen können, dokumentieren Sie die Einschränkung. Nennen Sie das Ergebnis eine Beobachtung unter unterschiedlichen Bedingungen, statt einen eindeutigen Ursache-Wirkungs-Nachweis zu behaupten.
Verteilen Sie ein kleines Budget nicht auf viele weitere Varianten. Wenn jede Version nur wenige Besuche erhält, können einzelne Ereignisse die Prozentwerte stark bewegen. Ein zusätzliches Formular kann dann einen scheinbar großen Vorsprung erzeugen, ohne dass sich daraus eine belastbare Entscheidung ableiten lässt.
Während des Tests einen Änderungsstopp einhalten
Notieren Sie Startdatum, Varianten, Zieladressen und geplanten Prüfzeitpunkt. Korrigieren Sie technische Fehler sofort, halten Sie solche Eingriffe aber fest. Eine kaputte Zielseite darf nicht weiterlaufen, nur um einen Testplan einzuhalten. Der Vergleich muss danach möglicherweise neu begonnen oder mit einer Einschränkung bewertet werden.
Ändern Sie keine Version heimlich nach den ersten schwachen Zahlen. Dann würden unter demselben Namen mehrere unterschiedliche Anzeigen zusammengezählt. Wenn eine neue Idee entsteht, notieren Sie sie für einen weiteren Versuch. Das schützt die Nachvollziehbarkeit und verhindert, dass am Ende nur eine Geschichte über zufällige Zwischenstände erzählt wird.
Prüfen Sie außerdem, ob die gewünschte Aufteilung tatsächlich ungefähr zustande kommt. Zwei gleichzeitig aktive Anzeigen sind nicht automatisch ein gleichmäßig verteilter Versuch. Eine deutlich unterschiedliche Auslieferung kann die Aussage einschränken; die bloße Gleichzeitigkeit reicht nicht als Erklärung.
Ein unentschiedenes Ergebnis zulassen
Angenommen, Variante A hat drei passende Anfragen und Variante B vier. Ohne weitere Informationen über Besuchsmengen, Verteilung und Schwankungen wäre „B gewinnt“ eine sehr starke Aussage. Halten Sie stattdessen fest, dass beide Varianten wenige Ereignisse erzeugt haben und der Unterschied für eine sichere Entscheidung nicht genügt.
Sie können trotzdem eine vorläufige betriebliche Wahl treffen, etwa den sachlich klareren Text weiterverwenden. Kennzeichnen Sie diese Wahl als solche. Sie muss nicht als statistisch bewiesener Vorteil dargestellt werden.
Ein abgeschlossener Test sollte einen kurzen Datensatz hinterlassen: Fragestellung, Versionen, Bedingungen, Ergebnisse, bekannte Störungen und Entscheidung. Dieser Datensatz ist wertvoller als ein isolierter Screenshot mit einer grünen Prozentzahl. Beim nächsten Kurs lässt sich dadurch prüfen, ob die damalige Frage noch passt oder ob ein neuer Versuch nötig ist.
