Werbekanäle
Teil von Werbewirkung per Befragung messen: Entscheidungsleitfaden für Modus, Frage und Stichprobe
Werbewirkungs-Auswertung nachvollziehbar berichten
So berichten Sie eine Werbewirkungs-Auswertung nachvollziehbar: mit Basiswerten, getrennten Kennzahlen, Konfidenzintervallen und Nonresponse-Prüfungen.
Das Wichtigste auf einen Blick
- Basiswerte zuerstGrundgesamtheit, Auswahlrahmen, Brutto- und Nettofallzahl, Modus, Feldzeit.
- Erinnerungswerte getrennt ausweisenungestützt und gestützt nie in einer Zahl mischen.
- Unsicherheit sichtbar machenKonfidenzintervall und Designeffekt zur zentralen Kennzahl nennen.
- Nonresponse prüfen statt nur den Rücklauf melden, etwa mit Datenvergleich oder Paradata.
- Ausdrücklich benennen, für welche Merkmale keine belastbare Aussage möglich ist.
Basiswerte zuerst: Was vor jede Kennzahl gehört
Für eine nachvollziehbare Auswertung nennen Sie zuerst Grundgesamtheit, Auswahlrahmen, Brutto- und Nettofallzahl sowie Modus und Feldzeitraum. Wer eine Telefonstichprobe auswertet, muss außerdem die Designgewichtung offenlegen, weil dort nicht alle Zielpersonen dieselbe Auswahlwahrscheinlichkeit haben. Häder hält fest, dass diese Gewichtung bei Festnetz-, Mobil- und Dual-Frame-Stichproben gleichermaßen nötig ist (Häder 2016 zu Designgewichtung).
Basiswerte im Berichtskopf
- Grundgesamtheit nennen
- Auswahlrahmen dokumentieren
- Brutto- und Nettofallzahl angeben
- Modus und Feldzeitraum festhalten
- Designgewichtung offenlegen
- Response-rate-Regel definieren
Ebenso gehört die Berechnungsregel der Response rate in den Kopf. Häder verweist auf die AAPOR-Standards samt Response Rate Calculator (Dokumentation der Response rate). Damit ist nachvollziehbar, was als Interview zählt und was als Ausfall. Ohne diese Regel bleiben Quoten unvergleichbar.
Ein Beispiel: Ein Bericht nennt 412 Interviews bei 1.450 ausgewählten Adressen. Eine solche Quotengrundlage kann berichtet werden, sofern die Berechnungsregel offengelegt wird. Die Zahlen sind hier illustrativ gewählt, nicht aus einer Quelle übernommen.
Kennzahlen getrennt berichten
Bei Werbewirkung geht es fast immer um Erinnerung und Bewertung. Trennen Sie ungestützte und gestützte Erinnerung strikt. Wer beide Werte in einer Kennzahl zusammenfasst, erzeugt eine Zahl, die weder die spontane noch die wiedererkannte Wirkung zeigt. Dasselbe gilt für Bekanntheit und Bewertung: Verhalten und Einstellung gehören in getrennte Blöcke.
Verschieben Sie Interpretationen in einen eigenen Abschnitt. Im Ergebnisteil stehen Zahlen, Basiswerte und Unsicherheit. Erst danach folgt, was diese Zahlen für die Kampagne bedeuten könnten. Diese Trennung ist eine Empfehlung, keine Vorschrift.
Halten Sie die Angaben kompakt zusammen: Grundgesamtheit, Auswahlrahmen, Fallzahlen, Modus und Feldzeit, Kennzahlen, Konfidenzintervall, Designeffekt und Nonresponse-Prüfungen.
| Feld | Eintrag |
|---|
Steckbrief je Auswertung
- Grundgesamtheit und Auswahlrahmen
- Brutto- und Nettofallzahl
- Modus und Feldzeit
- Designeffekt und Gewichtung
- Response rate mit Berechnungsregel
- Nonresponse-Prüfungen mit Ergebnis
- Nicht belastbare Merkmale
Unsicherheit und Nonresponse Bias sichtbar machen
Jede zentrale Kennzahl braucht ein Konfidenzintervall. Felderer, Sand und Bruch zeigen, wie stark die Breite des Intervalls von der Fragestellung abhängt. Bei einer Partei mit erwarteten 20 Prozent lässt sich eine größere Unsicherheit tolerieren als bei der Frage, ob eine kleine Partei die Fünf-Prozent-Hürde überspringt (Felderer, Sand und Bruch 2022 zum Konfidenzintervall). Übertragen auf Werbewirkung heißt das: Die tolerierbare Breite folgt aus der Entscheidung, die der Auftraggeber treffen will.
Bei komplexen Auswahlverfahren kommt der Designeffekt hinzu. Die tatsächlichen Werte variieren je Merkmal und Auswahlverfahren und sind vorab meist unbekannt. Deshalb raten Felderer, Sand und Bruch, die konservative Approximation zu wählen und die Unsicherheit über den Designeffekt offenzulegen (Felderer, Sand und Bruch 2022 zum Designeffekt). Diese Empfehlung betrifft die Planung der Stichprobe; im Bericht genügt, welcher Wert verwendet wurde und wie er zustande kam.
Koch und Blohm betonen, dass eine Response rate nur das Potenzial eines Bias anzeigt, nicht seine Höhe (Koch und Blohm 2015 zum Nonresponse Bias). Eine schlecht ausgeschöpfte Umfrage kann bei einem Merkmal verzerrt und bei einem anderen brauchbar sein. Die Autoren empfehlen, sich dem Problem mit mehreren Ansätzen zu nähern, weil keine Methode überall einsetzbar ist (Koch und Blohm 2015 zu Prüfmethoden).
Vier Prüfungen sind im Bericht darstellbar:
Unsicherheit und Nonresponse Bias
- Vergleich mit bekannten Populationseckwerten, etwa amtlichen Daten.
- Vergleich von Teilnehmern und Nichtteilnehmern, soweit Merkmale für beide vorliegen.
- Analyse von Variationen innerhalb der Teilnehmergruppe, gestützt auf Paradata.
- Vergleich ungewichteter und nonresponse-gewichteter Ergebnisse.
Paradata sind während der Feldarbeit zu sammeln, etwa Interviewzeitpunkt, Zahl der Kontaktversuche oder zunächst ablehnende und später gewonnene Befragte (Koch und Blohm 2015 zu Paradata). Zur Einordnung ihrer Aussagekraft berichten Koch und Blohm vom ALLBUS 2008. Trotz einer weitaus höheren Ausschöpfung der begleitenden Zusatzstudie von 63 Prozent unterschieden sich deren Resultate nur bei wenigen Merkmalen von denen des regulären ALLBUS mit 40 Prozent Ausschöpfung (Koch und Blohm 2015 zum ALLBUS-Vergleich).
Ein durchgerechnetes Beispiel: Sie berichten eine gestützte Erinnerung von 38 Prozent. Nennen Sie zusätzlich das Konfidenzintervall, die Nettofallzahl, die Zahl der realisierten Kontaktversuche und das Ergebnis der Prüfung gegen bekannte Eckwerte. Die 38 Prozent sind hier illustrativ gewählt.
Schließen Sie den Bericht mit Grenzen und der nächsten Untersuchung ab. Formulieren Sie konkret, welche Merkmale von Ausfällen besonders betroffen sein könnten und welche Frage die Folgestudie klären soll.
