Werbekanäle
Teil von Werbewirkung mit der passenden Methode messen und richtig einordnen
Kontrollgruppe planen und den Unterschied richtig auswerten
Wann brauchen Sie eine Kontrollgruppe, wie teilen Sie zufällig auf und wie rechnen Sie den Unterschied der Veränderungen statt absoluter Werte?
Das Wichtigste auf einen Blick
- Eine Kontrollgruppe brauchen Sie, wenn Sie eine Veränderung nicht Ihnen selbst bekannten Einflüssen zuschreiben wollen.
- Entscheidend ist die Zufallsaufteilung, nicht die Größe der Gesamtstichprobe.
- Ausgewertet wird die Differenz der Veränderungen, nicht der absolute Vorher-Nachher-Wert.
- Ohne Daten zu den Nichtteilnehmern bleibt jede Kontrollgruppen-Aussage begrenzt.
- Kleine Fallzahlen verlangen eine offene Angabe der Unsicherheit.
Wann eine Kontrollgruppe nötig ist
Eine Kontrollgruppe ist immer dann nötig, wenn Sie eine Ursache behaupten wollen: Der Gutschein hat den Umsatz gehoben, die Mailing-Aktion hat Bestellungen ausgelöst. Ohne Vergleichsgruppe bleibt Ihre Aussage eine Vermutung, weil Saison, Wetter oder Wettbewerbsaktionen dieselbe Veränderung erzeugen können.
Sollten Sie nur beschreiben, was in einem Zeitraum passiert ist, reicht eine Verlaufsmessung. Sobald Sie aber "wegen" oder "durch" schreiben, brauchen Sie eine Gruppe, die dieselbe Zeit ohne Ihre Maßnahme durchläuft.
Prüfen Sie zuerst, ob die Teilnahmewahrscheinlichkeit mit dem interessierenden Merkmal zusammenhängt. Genau dann entsteht Verzerrung, wie Koch und Blohm in den GESIS Survey Guidelines zu Nonresponse Bias herleiten: Der Bias ist das Produkt aus Ausfallquote und dem Unterschied zwischen Teilnehmern und Nichtteilnehmern.
Testgruppe und Kontrollgruppe vergleichbar auswählen
Vergleichbarkeit entsteht nicht durch ähnlich aussehende Stadtteile, sondern durch den Auswahlweg. Zufallsaufteilung ist das zentrale Mittel: Bandilla nennt in den GESIS Survey Guidelines zu Online-Befragungen die Randomisierung als Kern experimenteller Designs, während die Auswahl der Befragten dort nachrangig ist.
In der Praxis heißt das: Sie ziehen aus Ihrer Bestandskundschaft eine Liste und weisen jeden Fall per Zufallsverfahren einer der beiden Gruppen zu. Strukturmerkmale wie Region, Kaufhistorie oder Bestellwert können Sie anschließend prüfen und bei Bedarf als Schichtung vor der Ziehung verwenden.
Willkürliche Auswahl zerstört den Vergleich. Wer nach Bauchgefühl ähnliche Filialen zusammenstellt, kann nicht mehr sagen, ob der Unterschied von der Maßnahme oder von der Auswahl stammt.
Zufall sichern und Auswahl dokumentieren
- Auswahlweg notieren: Zufallsziehung per Los oder Zufallsgenerator. Abwechselnde Zuteilung ersetzt keine Zufallszuweisung.
- Größe beider Gruppen festhalten, nicht nur die Zahl der auswertbaren Fälle.
- Behandlung sauber trennen: gleiche Kreation, gleicher Kanal, nur die Maßnahme unterscheidet sich.
- Primäre Zielvariable vorab festlegen, nicht nach Sichtung der Daten.
- Messzeitpunkte vor und nach der Aktion gleich setzen.
Die Dokumentation gehört in ein Protokoll, das Sie vor dem Start ausfüllen. Später erinnert sich niemand zuverlässig an die Ausschlüsse.
Den Unterschied der Veränderungen rechnen
Das folgende Rechenbeispiel ist eine vereinfachte Illustration mit erfundenen Zahlen, keine Marktgröße. Angenommen, in der Testgruppe liegt der Warenkorb vor der Aktion bei 100 Euro und danach bei 120 Euro, in der Kontrollgruppe bei 100 Euro und danach bei 106 Euro.
| Feld | Testgruppe | Kontrollgruppe |
|---|---|---|
| Vorher | 100 € | 100 € |
| Nachher | 120 € | 106 € |
| Veränderung | +20 € | +6 € |
| Differenz der Veränderungen | +14 € | nicht berechnet |
Die Wirkung liegt bei 14 Euro, nicht bei 20 Euro. Der isolierte Vorher-Nachher-Wert der Testgruppe enthält alles, was in beiden Gruppen passiert ist: Saison, Preisentwicklung und Wettbewerbsaktionen. Erst die Differenz trennt Ihre Maßnahme von diesen allgemeinen Einflüssen. Rechnen Sie immer zuerst die Veränderung je Gruppe und subtrahieren Sie dann die Kontrollveränderung von der Testveränderung.
Diese Logik gilt auch für Segmentvergleiche. Die CMC Print-Mailing-Studie 2026 teilt die Bestandskundschaft von 35 Online-Shops nach Kundenwert in Top-, Standard- und Gelegenheits-Kunden ein: Bei den Top-Kunden lag die Conversion Rate bei 8,3 Prozent, bei Gelegenheits-Kunden bei 2,1 Prozent. Der durchschnittliche Bestellwert stieg nach Erhalt eines Print-Mailings von 95,21 Euro auf 118,79 Euro, ein Plus von 24,8 Prozent. Die Angaben beziehen sich auf die Kampagnenlaufzeit September 2025 bis Februar 2026 und sind Segmentwerte, keine Marktdurchschnitte.
Grenzen bei kleiner Fallzahl offen einordnen
Bei kleinen Gruppen wird jede Differenz unsicher. Koch und Blohm beschreiben die Analyse von Variationen innerhalb der Teilnehmer, etwa die Trennung nach früh und spät realisierter Teilnahme über Kontaktprotokolle, die während der Feldarbeit zu sammeln sind. Der Nachteil: Über die tatsächlichen Nichtteilnehmer liegen keine Informationen vor, und die Annahme, sie ähnelten schwer erreichbaren Fällen, ist nicht zwingend. Wer eine solche Kontrollgruppen-Aussage dennoch braucht, sollte die Unsicherheit beziffern statt eine Punktwirkung zu behaupten.
Auch Follow-up-Befragungen lösen das nicht vollständig. Reduzierter Fragebogenumfang, ein anderer Erhebungsmodus und abweichende Feldzeiten erschweren die Vergleichbarkeit. Nennen Sie deshalb Fallzahlen beider Gruppen, die beobachtete Differenz und die Unsicherheit offen, statt eine Punktwirkung zu behaupten. Bei kleinen Gruppen ist ein Konfidenzintervall hilfreicher als eine einzelne Zahl, weil es die Streuung sichtbar macht.
Häufige Fragen
Wann ist eine Kontrollgruppe unbedingt nötig? Immer wenn Sie eine Ursache behaupten wollen. Für reine Verlaufsbeschreibungen genügt die Messung ohne Vergleichsgruppe.
Wie weise ich Fälle den Gruppen zu? Per Zufallsverfahren aus einer vorab definierten Liste. Strukturmerkmale prüfen Sie anschließend, um die Vergleichbarkeit zu belegen.
Was rechne ich am Ende aus? Die Differenz der Veränderungen zwischen Test- und Kontrollgruppe, mit beiden Fallzahlen und den Unsicherheiten im Bericht.