Werbekanäle
Teil von Werbewirkung per Befragung messen: Entscheidungsleitfaden für Modus, Frage und Stichprobe
Werbewirkung berichten: Basiswerte, Vergleiche und Nonresponse Bias offenlegen
Werbewirkungsbefragungen richtig berichten: Basiswerte, Designeffekt, Nonresponse-Prüfungen und Grenzen der Aussage klar und nachvollziehbar ausweisen.
Das Wichtigste auf einen Blick
- Basiswerte zuerst: Grundgesamtheit, Auswahlrahmen, Brutto- und Nettofallzahl, Modus, Feldzeit.
- Erinnerungswerte getrennt ausweisen: ungestützt und gestützt nie in einer Zahl mischen.
- Unsicherheit sichtbar machen: Konfidenzintervall und Designeffekt zur zentralen Kennzahl nennen.
- Nonresponse prüfen statt nur den Rücklauf melden, etwa mit Datenvergleich oder Paradata.
- Ausdrücklich benennen, für welche Merkmale keine belastbare Aussage möglich ist.
Basiswerte zuerst: Was vor jede Kennzahl gehört
Ohne Kopfzeile ist jede Zahl interpretationslos. Nennen Sie zuerst die Grundgesamtheit, den Auswahlrahmen, die Brutto- und die Nettofallzahl sowie Modus und Feldzeitraum. Wer eine Telefonstichprobe auswertet, muss außerdem die Designgewichtung offenlegen, weil dort nicht alle Zielpersonen dieselbe Auswahlwahrscheinlichkeit haben. Häder hält fest, dass diese Gewichtung bei Festnetz-, Mobil- und Dual-Frame-Stichproben gleichermaßen nötig ist (Häder 2016 zu Designgewichtung).
Ebenso gehört die Berechnungsregel der Response rate in den Kopf. Häder verweist auf die AAPOR-Standards samt Response Rate Calculator (Dokumentation der Response rate). Damit ist nachvollziehbar, was als Interview zählt und was als Ausfall. Ohne diese Regel bleiben Quoten unvergleichbar.
Ein Beispiel: Ein Bericht nennt 412 Interviews bei 1.450 ausgewählten Adressen. Eine solche Quotengrundlage kann berichtet werden, sofern die Berechnungsregel offengelegt wird. Die Zahlen sind hier illustrativ gewählt, nicht aus einer Quelle übernommen.
Vergleiche dokumentieren: getrennte Kennzahlen
Bei Werbewirkung geht es fast immer um Erinnerung und Bewertung. Trennen Sie ungestützte und gestützte Erinnerung strikt. Wer beide Werte in einer Kennzahl zusammenfasst, erzeugt eine Zahl, die weder die spontane noch die wiedererkannte Wirkung zeigt. Dasselbe gilt für Bekanntheit und Bewertung: Verhalten und Einstellung gehören in getrennte Blöcke.
Verschieben Sie Interpretationen in einen eigenen Abschnitt. Im Ergebnisteil stehen Zahlen, Basiswerte und Unsicherheit. Erst danach folgt, was diese Zahlen für die Kampagne bedeuten könnten. Diese Trennung ist eine Empfehlung, keine Vorschrift.
Ein Steckbrief auf einer Seite hält das zusammen:
| Feld | Eintrag |
|---|---|
| Grundgesamtheit und Auswahlrahmen | Zielgruppe, Liste oder Design |
| Brutto- und Nettofallzahl | geplant und realisiert |
| Modus und Feldzeit | Erhebungsweg, Start und Ende |
| Designeffekt und Gewichtung | Schätzung plus Unsicherheit |
| Response rate | Berechnungsregel |
| Nonresponse-Prüfungen | mindestens zwei, mit Ergebnis |
| Nicht belastbar | Merkmale ohne Aussage |
Unsicherheit und Nonresponse Bias sichtbar machen
Jede zentrale Kennzahl braucht ein Konfidenzintervall. Felderer, Sand und Bruch zeigen, wie stark die Breite des Intervalls von der Fragestellung abhängt. Bei einer Partei mit erwarteten 20 Prozent lässt sich eine größere Unsicherheit tolerieren als bei der Frage, ob eine kleine Partei die Fünf-Prozent-Hürde überspringt (Felderer, Sand und Bruch 2022 zum Konfidenzintervall). Übertragen auf Werbewirkung heißt das: Die tolerierbare Breite folgt aus der Entscheidung, die der Auftraggeber treffen will.
Bei komplexen Auswahlverfahren kommt der Designeffekt hinzu. Die tatsächlichen Werte variieren je Merkmal und Auswahlverfahren und sind vorab meist unbekannt. Deshalb raten Felderer, Sand und Bruch, die konservative Approximation zu wählen und die Unsicherheit über den Designeffekt offenzulegen (Felderer, Sand und Bruch 2022 zum Designeffekt). Diese Empfehlung betrifft die Planung der Stichprobe; im Bericht genügt, welcher Wert verwendet wurde und wie er zustande kam.
Koch und Blohm betonen, dass eine Response rate nur das Potenzial eines Bias anzeigt, nicht seine Höhe (Koch und Blohm 2015 zum Nonresponse Bias). Eine schlecht ausgeschöpfte Umfrage kann bei einem Merkmal verzerrt und bei einem anderen brauchbar sein. Die Autoren empfehlen, sich dem Problem mit mehreren Ansätzen zu nähern, weil keine Methode überall einsetzbar ist (Koch und Blohm 2015 zu Prüfmethoden).
Vier Prüfungen sind im Bericht darstellbar:
- Vergleich mit bekannten Populationseckwerten, etwa amtlichen Daten.
- Vergleich von Teilnehmern und Nichtteilnehmern, soweit Merkmale für beide vorliegen.
- Analyse von Variationen innerhalb der Teilnehmergruppe, gestützt auf Paradata.
- Vergleich ungewichteter und nonresponse-gewichteter Ergebnisse.
Paradata sind während der Feldarbeit zu sammeln, etwa Interviewzeitpunkt, Zahl der Kontaktversuche oder zunächst ablehnende und später gewonnene Befragte (Koch und Blohm 2015 zu Paradata). Zur Einordnung ihrer Aussagekraft berichten Koch und Blohm vom ALLBUS 2008. Trotz einer weitaus höheren Ausschöpfung der begleitenden Zusatzstudie von 63 Prozent unterschieden sich deren Resultate nur bei wenigen Merkmalen von denen des regulären ALLBUS mit 40 Prozent Ausschöpfung (Koch und Blohm 2015 zum ALLBUS-Vergleich).
Ein durchgerechnetes Beispiel: Sie berichten eine gestützte Erinnerung von 38 Prozent. Nennen Sie zusätzlich das Konfidenzintervall, die Nettofallzahl, die Zahl der realisierten Kontaktversuche und das Ergebnis der Prüfung gegen bekannte Eckwerte. Die 38 Prozent sind hier illustrativ gewählt.
Die Fußzeile des Steckbriefs benennt Grenzen und die nächste Untersuchung. Formulieren Sie konkret, welche Merkmale von Ausfällen besonders betroffen sein könnten und welche Frage die Folgestudie klären soll.
Häufige Fragen
Welche Angaben gehören in jede Werbewirkungs-Auswertung? Grundgesamtheit, Auswahlrahmen, Brutto- und Nettofallzahl, Modus, Feldzeit, Gewichtung und Response-rate-Regel gehören in den Kopf. Hinzu kommen Konfidenzintervalle und mindestens zwei Nonresponse-Prüfungen.
Warum reicht die Ausschöpfungsquote als Qualitätsmaß nicht? Weil sie nur das Potenzial einer Verzerrung anzeigt. Der Bias hängt zusätzlich vom Unterschied zwischen Teilnehmern und Nichtteilnehmern ab und ist merkmalsabhängig.
Muss ich den Designeffekt im Bericht nennen? Ja, wenn ein komplexes Auswahlverfahren vorliegt. Sie sollten den verwendeten Wert, seine Herkunft und die Unsicherheit dieser Annahme offenlegen.