Werbewirkung per Befragung messen: Entscheidungsleitfaden für Modus, Frage und Stichprobe

Das Wichtigste auf einen Blick

• Eine Werbewirkungsbefragung liefert belastbare Aussagen über Bekanntheit, Erinnerung, Bewertung und Handlungsabsicht nur, wenn Modus, Frage, Stichprobe und Ausschöpfung zusammenpassen.
• Kein Modus ist universell richtig. Die Entscheidung folgt aus Zielgruppe, Zielgröße und verfügbarem Auswahlrahmen.
• Eine hohe Ausschöpfungsquote allein belegt keine unverzerrten Ergebnisse. Der Nonresponse bias ist merkmalsspezifisch.
• Die Stichprobengröße lässt sich herleiten. Sie hängt vom Analysetyp, der gewünschten Präzision und der Streuung des Merkmals ab.

Wofür eine Werbewirkungsbefragung taugt und wofür nicht

Eine Befragung misst, was Menschen sagen. Sie misst nicht, was Menschen kaufen. Zwischen Aussage und Verhalten liegt eine Lücke, die keine Frageform schließt. Werbekontakte werden zudem oft beiläufig aufgenommen und sind später schwer abrufbar. Erinnern sich Befragte an eine Kampagne, ist das ein Hinweis, kein Kaufbeleg.

Praktisch tragfähig sind vier Zielgrößen: gestützte und ungestützte Bekanntheit, Erinnerung an Motive, Bewertung der Werbung und Handlungsabsicht. Alle vier sind subjektiv und fehlerbehaftet, aber vergleichbar, wenn Erhebung und Auswertung gleich bleiben. Genau darin liegt ihr Nutzen. Sie liefern Verläufe, keine Umsatzprognosen.

Grenzen zeigen sich dort, wo die Grundgesamtheit unklar ist. Wer eine Plakatkampagne in drei Städten prüft, muss definieren, wer zur Zielgruppe zählt: alle Erwachsenen, alle Passanten oder nur Personen mit Kontaktchance zum Motiv? Ohne diese Definition fehlt die Basis für jede Auswahl. Eine belastbare Werbewirkungsbefragung beginnt daher mit der Frage, welche Population überhaupt befragt werden kann.

Der Modus folgt aus dieser Definition, nicht umgekehrt. Nach den GESIS Survey Guidelines bestimmen Zeit- und Kostenrestriktionen sowie studietypische Merkmale die Moduswahl, etwa der Anteil sensibler Fragen oder die Komplexität des Instruments. Die GESIS Survey Guidelines zur Sampling-Praxis nennen zusätzlich den Auswahlrahmen als erste praktische Frage: Existiert eine Liste, die die Zielpopulation ausreichend abdeckt?

Was Sie mit den Daten nicht behaupten dürfen

Eine Werbewirkungsbefragung trägt keine Kausalaussage. Ohne Kontrollgruppe lässt sich nicht trennen, ob die Kampagne die Bekanntheit erhöht hat oder ob andere Ereignisse parallel wirkten. Das ist kein Mangel der Erhebung, sondern eine Grenze des Designs. Wer Wirkung im engeren Sinn prüfen will, braucht ein Experiment, nicht nur eine Befragung. Dieser Beitrag behandelt die Befragung als Messinstrument und benennt durchgängig, wo ihre Aussage endet.

Der kognitive Antwortprozess als Prüfraster

Bevor ein Befragter antwortet, bewältigt er vier Aufgaben: die Frage verstehen, relevante Informationen abrufen, ein Urteil bilden und dieses Urteil in das Antwortformat einpassen. Die GESIS Survey Guidelines zur Frageformulierung beschreiben diesen Prozess und zeigen, wie jede Stufe scheitern kann. Unpräzise Begriffe oder komplexe Satzstrukturen erschweren das Verstehen. Bei Fragen zu lange zurückliegenden Ereignissen fällt der Abruf schwer.

Für Werbewirkung hat das eine direkte Folge. Fragen zur Erinnerung an eine Kampagne verlangen Abruf und Urteilsbildung unter Unsicherheit. Ein Motiv, das vor Wochen flüchtig gesehen wurde, ist selten präsent. Der Befragte baut dann eine plausible Antwort, statt sich zu erinnern. Diese Konstruktion ist nicht willkürlich, aber sie folgt der Fragetextvorlage und dem Antwortformat, nicht der tatsächlichen Wahrnehmung.

Prüfen Sie deshalb jede Wirkungsfrage gegen die vier Aufgaben:

1. Verstehen: Die Frage muss eindeutig sagen, welche Kampagne und welcher Zeitraum gemeint sind. Vermeiden Sie relative Angaben wie kürzlich, oft oder erheblich.
2. Abrufen: Liegt der Werbekontakt zeitlich nah genug? Wählen Sie Zeiträume passend zur Bedeutung und Häufigkeit des Kontakts.
3. Urteilen: Bewertet der Befragte das Motiv oder eine abstrakte Marke? Trennen Sie beide Gegenstände in getrennten Fragen.
4. Antworten: Passt das Antwortformat zum Sachverhalt? Eine Skala von stimme voll zu bis stimme überhaupt nicht zu passt nicht zu einer Häufigkeitsfrage.

Verstöße gegen diese Regeln verzerren Antworten so, dass die intendierten Inhalte nicht mehr abgebildet werden. Um mögliche Reihenfolgeeffekte zu vermeiden, kann es sinnvoll sein, Erinnerungs- und Bewertungsfragen nicht in einer Batterie zu mischen. Fragen Sie die Erinnerung vor der Bewertung, ungestützt vor gestützt, und bewerten Sie das Motiv anschließend getrennt.

Ein zweiter Hebel ist die Zahl der Stimuli pro Frage. Wer Motivelement, Slogan und Marke in einer Aussage bewerten lässt, erhält keine zuordenbare Antwort. Befragte, die den Slogan ablehnen, aber die Marke mögen, können das vorgegebene Format nicht ausdrücken. Prüfen Sie jede Werbewirkungsfrage darauf, ob sie genau einen Gegenstand bewertet.

Der Pretest ist der letzte Prüfschritt. Auch bei formal korrekter Formulierung bleibt Unsicherheit, ob eine Frage wie beabsichtigt funktioniert. Ein kognitiver Pretest zeigt, wie Befragte den Fragetext verstehen und welchen Aufwand sie beim Abruf leisten. Für Werbewirkung ist das besonders relevant, weil die Erinnerung an Kampagnen stark zwischen Personen schwankt.

Modus wählen: online, telefonisch, postalisch oder persönlich

Die Moduswahl entscheidet über die erreichbare Population. Online-Befragungen erreichen nicht alle. Die GESIS Survey Guidelines zu Online-Befragungen nennen als Kernprobleme das Coverage-Problem, also die unzureichende Übereinstimmung von angestrebter Grundgesamtheit und Survey-Population, sowie die Stichprobenziehung. Ob der Online-Modus passt, hängt entscheidend vom Ziel der Studie ab.

Für die Erinnerungsmessung an eine Kampagne spricht viel für Online: kurze Feldzeiten, direkte Speicherung der Antworten und die Möglichkeit, Motive als Bilder oder Filme einzublenden. Diese Stärke ist zugleich eine Einschränkung. Eine Online-Stichprobe ist nur dann für Werbewirkung brauchbar, wenn die Zielgruppe mehrheitlich internetfähig ist. Bei sehr jungen Zielgruppen ist diese Bedingung eher erfüllt als bei älteren.

Telefonisch eignet sich für kurze, einfache Wirkungsfragen ohne visuelles Material. Bilder lassen sich nicht einblenden, Erinnerungsleistung sinkt bei abstrakten Motiven. Postalisch erreicht Personen, die online fehlen, erkauft das aber mit längeren Feldzeiten und ohne Filterführung. Persönlich ist teuer, aber bei komplexen Motiven und Erinnerungsaufgaben am flexibelsten.

Eine Prüffrage vor der Modusentscheidung lautet: Kann jedes Mitglied der Zielpopulation mit brauchbarer Wahrscheinlichkeit teilnehmen? Wenn nein, ist der Modus für eine Bevölkerungsaussage ungeeignet. Für Hypothesentests, etwa den Vergleich zweier Motivvarianten, ist die Auswahl weniger kritisch als die Zufallsverteilung der Befragten auf die Varianten. Diese Unterscheidung sollten Sie vor der Modusentscheidung treffen.

Eine zweite Prüffrage betrifft den Auswahlrahmen. Existiert eine Liste der Zielpersonen? Bei Kundenbefragungen kann eine Kundendatei als Rahmen dienen, wenn sie die Zielpopulation ausreichend abbildet. Bei offenen Zielgruppen fehlt diese Liste meist. Dann ist zu klären, ob ein Auswahlverfahren mit bekannten Chancen möglich ist oder ob nur eine selbstselektierte Stichprobe erreichbar bleibt. Letztere erlaubt keine Schätzung von Populationsanteilen.

Modusvergleich für Werbewirkungsbefragungen

Modus	Stärke	Hauptrisiko	Geeignet für
Online	Bilder und Filme, kurze Feldzeit	Coverage bei älteren Zielgruppen	junge Zielgruppen, Motiverinnerung
Telefonisch	Rückfragen möglich	kein visuelles Material	kurze Bekanntheitsfragen
Postalisch	erreicht Online-Ferne	lange Feldzeit, keine Filter	breite Bevölkerung, einfache Skalen
Persönlich	flexibel bei komplexen Motiven	hohe Kosten	kleine, definierte Regionen

Stichprobengröße herleiten statt pauschal nennen

Es gibt keine allgemein richtige Fallzahl. Die GESIS Survey Guidelines zur Stichprobengröße bei komplexen Designs halten fest, dass die Mindestgröße vom Analysetyp, vom gewünschten Konfidenzniveau und von der Verteilung des Merkmals abhängt. Bei mehreren Untersuchungsvariablen ist für jede einzeln zu rechnen und die größte Mindestgröße zu wählen.

Für eine Anteilsschätzung, etwa den Bekanntheitsanteil, gilt bei einfacher Zufallsauswahl die Beziehung: Die Mindestgröße wächst mit dem Quadrat des Verhältnisses von z-Wert zu halber Konfidenzintervallbreite, multipliziert mit der Varianz des Merkmals. Für Anteile dient p gleich 0,5 und damit eine Varianz von 0,25 als Worst-Case-Annahme. Die Varianz vor der Erhebung ist unbekannt; vergleichbare Studien oder ein Pretest liefern Anhaltspunkte.

Die tolerable Intervallbreite ist keine statistische, sondern eine fachliche Entscheidung. Wer eine Fünf-Prozent-Schwelle prüfen will, braucht mehr Präzision als bei einem erwarteten Wert von 20 Prozent. Für Werbewirkung heißt das: Wollen Sie nur feststellen, ob Bekanntheit eher hoch oder niedrig ist, reicht eine breite Schätzung. Wollen Sie zwei Kampagnen vergleichen, brauchen Sie mehr Fälle pro Gruppe.

Beispielrechnung für eine Anteilsschätzung

Diese Rechnung ist eine Illustration mit gesetzten Annahmen, keine Vorgabe. Angenommen, der Bekanntheitsanteil soll mit einer halben Intervallbreite von fünf Prozentpunkten geschätzt werden, bei einem Konfidenzniveau von 95 Prozent. Dann gilt z nahe 1,96, e gleich 0,05 und die Varianz 0,25. Eingesetzt ergibt sich (1,96 geteilt durch 0,05) zum Quadrat mal 0,25, also rund 384 Fälle.

Setzen Sie nun eine erwartete Ausschöpfung von 20 Prozent an, benötigen Sie etwa 1.920 ausgewählte Adressen. Bei 10 Prozent erwarteter Ausschöpfung sind es rund 3.840. Beide Zuschläge sind Annahmen und müssen nach dem Pretest angepasst werden. Die tatsächliche Ausschöpfung ist nicht vorhersagbar; planen Sie deshalb mit einer konservativen Annahme.

Ein Designeffekt erhöht den Bedarf. Bei geklumpten Auswahlverfahren oder ungleichen Auswahlchancen liegt der Designeffekt über eins, weil die Varianz des Schätzers steigt. Er ist vor der Erhebung unbekannt und lässt sich nur über ähnliche Studien annähern. Bei mehrstufigen Verfahren mit regionaler Klumpung ist ein Zuschlag sachgerecht. Für die genaue Bestimmung verweisen die Guidelines auf spezialisierte Rechner.

Planen Sie außerdem Analysen mit Untergruppen ein. Wenn Sie Bekanntheit getrennt für zwei Altersgruppen ausweisen wollen, muss jede Gruppe ausreichend besetzt sein. Die Mindestgröße bezieht sich dann auf die Untergruppe, nicht auf die Gesamtstichprobe. Für Regressionsmodelle nennen die Guidelines zusätzliche Faustregeln, etwa eine Mindestzahl an Fällen pro Prädiktor. Diese Regeln ersetzen keine inhaltliche Rechnung.

Ausschöpfung, Nonresponse Bias und die Grenze der Aussage

Eine hohe Ausschöpfung ist beruhigend, aber kein Beweis. Die GESIS Survey Guidelines zum Nonresponse Bias zeigen, dass bei Mittelwerten und Anteilswerten der Bias das Produkt aus Nonresponse Rate und dem Unterschied zwischen Teilnehmern und Nichtteilnehmern bei der jeweiligen Variable ist. Fehlt einer der beiden Faktoren, ist der Bias gering.

Daraus folgen drei Regeln für Werbewirkungsbefragungen. Erstens: Berichten Sie die Ausschöpfung, aber verkaufen Sie sie nicht als Qualitätssiegel. Eine niedrige Quote erzeugt Bias-Potenzial, nicht zwingend Bias. Zweitens: Prüfen Sie den Bias merkmalsspezifisch. Eine Stichprobe kann bei Bekanntheit verzerrt und bei der Bewertung der Werbung brauchbar sein. Drittens: Definieren Sie kein Schwellenwert, ab dem Ergebnisse als gesichert gelten.

Die Quelle ist an dieser Stelle eindeutig: Ein bestimmtes Ausschöpfungsniveau als ausreichend zu definieren, entbehrt der wissenschaftlichen Rechtfertigung. Auch ein unteres Niveau, ab dem Ergebnisse generell als problematisch gelten, existiert nicht. Einzelstudien zeigen, dass Telefonumfragen mit 25 Prozentpunkten Unterschied in der Ausschöpfung nur geringe Ergebnisunterschiede aufwiesen. Die Richtung der Abweichung bleibt jedoch merkmalsspezifisch.

Praktisch heißt das: Sammeln Sie Hilfsmerkmale, die mit der Teilnahme und mit der Werbewirkung zusammenhängen. Alter, Geschlecht und Region allein genügen selten. Wenn Sie Werbekontakt im Vorfeld messen können, etwa über Reichweitendaten, haben Sie eine Variable, die beide Bedingungen erfüllt. Fehlt eine solche Variable, bleibt die Bias-Prüfung begrenzt. Sagen Sie das im Bericht offen.

Planungsmatrix für Werbewirkungsbefragungen

Baustein	Entscheidung	Prüffrage
Zielgröße	Bekanntheit, Erinnerung, Bewertung oder Absicht	Ist die Größe mit einer Frage eindeutig messbar?
Modus	online, telefonisch, postalisch oder persönlich	Erreicht der Modus die Zielpopulation ausreichend?
Frage	ein Gegenstand, konkreter Zeitraum, passendes Format	Bewältigt der Befragte Verstehen, Abruf, Urteil und Antwort?
Stichprobe	Anteil oder Mittelwert, gewünschte Intervallbreite	Welche Analyse braucht die größte Fallzahl?
Nonresponse	Ausschöpfung plus Hilfsmerkmale berichten	Gibt es Anhaltspunkte für Unterschiede zwischen Teilnehmern und Nichtteilnehmern?

Berichten mit Basiswerten, Unsicherheit und offengelegten Grenzen

Ein Ergebnisbericht beginnt mit den Basiswerten: Fallzahl, Feldzeit, Modus, Ausschöpfung und Zielpopulation. Wer diese Angaben weglässt, macht jede Kennzahl unprüfbar. Danach folgen die Wirkungsmaße getrennt nach ungestützter und gestützter Erinnerung, jeweils mit dem Anteilswert und dem Konfidenzintervall. Vermischen Sie die beiden Erinnerungsformen nicht in einer Kennzahl.

Das Konfidenzintervall gehört zur zentralen Kennzahl, nicht in den Anhang. Bei einem Bekanntheitswert von 40 Prozent und 400 Fällen liegt die halbe Intervallbreite bei rund fünf Prozentpunkten. Wer 40 Prozent berichtet, ohne die Unsicherheit zu nennen, überzeichnet die Präzision. Die zweite Unsicherheitsquelle ist der Nonresponse bias. Beide sollten Sie getrennt ausweisen, weil sie unterschiedliche Ursachen haben.

Schließen Sie den Bericht mit einer Grenzen-Abschnitt, der konkret wird. Nennen Sie, welche Merkmale Sie auf Bias geprüft haben und mit welchem Ergebnis. Benennen Sie, welche Analysen die Fallzahl nicht trägt. Wenn Sie eine Untergruppe mit 60 Fällen ausweisen, sagen Sie das. Wenn Sie keine Nichtteilnehmerbefragung durchgeführt haben, sagen Sie auch das. Diese Offenheit stärkt die Aussage, statt sie zu schwächen.

Eine Ergebniszeile als Vorlage kann so aussehen:

• Kennzahl: ungestützte Bekanntheit der Kampagne, 24 Prozent.
• Basis: 412 auswertbare Interviews, Feldzeit vier Wochen, Modus online.
• Unsicherheit: halbe Konfidenzintervallbreite rund vier Prozentpunkte.
• Nonresponse: Ausschöpfung 18 Prozent; kein Vergleich mit Nichtteilnehmern möglich.
• Grenze: keine Aussage über Absatzwirkung, keine Kausalaussage über die Kampagne.

Häufige Fragen

Wie viele Fälle brauche ich für eine Werbewirkungsbefragung?

Das lässt sich nicht pauschal beantworten. Die Mindestgröße hängt vom Analysetyp, der gewünschten Konfidenzintervallbreite und der Streuung des Merkmals ab. Legen Sie zuerst die zentrale Zielgröße fest, rechnen Sie für jede Untersuchungsvariable und wählen Sie die größte Mindestgröße.

Kann ich Werbewirkung mit einer Online-Stichprobe messen?

Ja, wenn die Zielgruppe überwiegend online erreichbar ist. Bei jungen Zielgruppen ist diese Bedingung eher erfüllt als bei älteren. Prüfen Sie das Coverage-Problem vor der Feldentscheidung und wählen Sie bei unzureichender Abdeckung einen anderen Modus.

Reicht eine hohe Ausschöpfung als Qualitätsnachweis?

Nein. Der Nonresponse bias ist das Produkt aus Nonresponse Rate und dem Unterschied zwischen Teilnehmern und Nichtteilnehmern bei der interessierenden Variable. Eine hohe Quote senkt nur einen Faktor. Ohne Informationen über die Nichtteilnehmer bleibt die Verzerrung unbekannt.

Darf ich aus der Bekanntheit auf den Absatz schließen?

Nein. Eine Befragung misst Aussagen, keine Käufe. Für Absatzwirkung brauchen Sie Verkaufsdaten oder ein Experiment. Bekanntheit ist ein Zwischenindikator, der eine Kampagne beschreiben, aber keinen Umsatzeffekt belegen kann.