Qualitätskriterien eines Fragebogens: Worauf Sie achten müssen

Einleitung

Marktforschungsstudien dienen Unternehmen als Grundlage für Entscheidungen. Seien es Werbeslogans für eine Dienstleistung, Produktdesigns oder Logos, über die entschieden werden muss - die Ergebnisse einer Marktforschungsstudie unterstützen die Strategieplanung eines Unternehmens.

Deswegen sollten die erhobenen Ergebnisse auch so genau wie möglich der Realität entsprechen. Wenn Kunden in einer Studie zu Werbeslogans Slogan A am besten finden, dann sollte das auch ihrer realen Meinung entsprechen.

Damit die Ergebnisse einer MaFo so gut wie möglich auf reales Verbraucherverhalten übertragen werden können, müssen die Methoden, mit denen die Insights erhoben werden, bestimmten Qualitätskriterien entsprechen.

Welche genau das sind und warum sie für Fragebögen wichtig sind, wird im Folgenden erläutert.

1. Welche Gütekriterien gibt es in der Marktforschung?

Anhand von Gütekriterien, synonym wird auch das Wort Qualitätskriterien verwendet, wird die Qualität eines Messinstruments, etwa eines Fragebogens bewertet. Wer eine Marktforschungsstudie in Auftrag gibt, möchte Einsichten in das Verhalten von Verbrauchern bekommen. Die Einsichten sollten so genau wie möglich sein, damit daraus sinnvolle Schlüsse gezogen werden können.

Das klappt jedoch nur mit Erhebungsmethoden, die zuverlässig sind und genau geeignet für das jeweilige Vorhaben, zum Beispiel für einen Design-Test oder eine Analyse der Zahlungsbereitschaft von Konsumenten. Grundlage einer Marktforschungsbefragung ist in den meisten Fällen ein Fragebogen. Ein Fragebogen, der genau das misst, was ein Unternehmen wissen möchte.

Damit die durch die Befragung gewonnenen Daten eine hohe Qualität haben, müssen bestimmte Gütekriterien erfüllt sein. Wichtig sind:  

1. Objektivität: Die Ergebnisse einer Umfrage sollten unabhängig sein von den Marktforschern, die sie durchführen, auswerten und interpretieren.
2. Reliabilität: Eine Umfrage sollte zuverlässig messen. Bei wiederholter Befragung mit dem gleichen Fragebogen sollten immer wieder die gleichen Ergebnisse resultieren.
3. Validität:Ein Fragebogen sollte genau das messen, was man mit Hilfe einer Befragung auch wirklich messen möchte.

1. Objektivität

Objektivität bei der Durchführung

Was Verbraucher im Rahmen einer Marktforschungsbefragung sagen, darf nicht davon abhängig sein, von wem sie befragt werden, oder wer die Umfrage durchführt. Die Bedingungen, unter der die Befragung stattfinden, sollten so standardisiert wie möglich sein. Derjenige, der eine Befragung durchführt, darf keinen Einfluss darauf haben, wie die Ergebnisse aussehen.

Objektivität bei der Auswertung

Ein Fragebogen  muss so konzipiert sein, dass verschiedene Marktforscher zu gleichen Ergebnissen kommen, wenn sie die Daten auswerten. Sie dürfen also keinen Spielraum bei der Auswertung haben, sondern sollten sich an vorher festgelegte Regeln halten, sodass die Ergebnisse am Ende miteinander verglichen werden können. Vor allem bei offenen Fragen ist es wichtig, vorher genau festzulegen, wie diese ausgewertet werden. Bei Fragen hingegen, bei denen Umfrageteilnehmer lediglich Antwortmöglichkeiten ankreuzen (Multiple Choice, Single Choice) ist eine objektive Auswertung in der Regel problemlos zu erreichen.

Um zu überprüfen, ob eine Umfrage objektiv ausgewertet wurde, können einfach die Ergebnisse, die unterschiedliche Marktforscher ermitteln, miteinander verglichen werden. Wenn die Ergebnisse übereinstimmen, ist die Auswertungsobjektivität gegeben.

Objektivität bei der Interpretation

Wenn die Ergebnisse einer Befragung vorliegen, müssen sie interpretiert werden. Was bedeutet es, wenn eine Person auf die Frage, «Wie gefällt Dir dieses Produkt?» mit «ein wenig» antwortet? Alle Personen, die an der Auswertung einer Studie beteiligt sind, sollten hier zum selben Schluss kommen. Deswegen muss darauf geachtet werden, dass alle sich an die gleichen Regeln halten und die Antworten nicht frei interpretieren.

Ein Vorteil eines Fragebogens, der mit Hilfe digitaler Marktforschung durchgeführt wird, ist es,
dass ein Marktforscher keinen Einfluss auf die Umfrageteilnehmer hat, während diese den Fragebogen bearbeiten.

Wenn die Auswertung ebenfalls automatisch digital erfolgt, ist die Auswertungsobjektivität auch gegeben. Für die Interpretation der Ergebnisse muss jedoch eine klare Vorgehensweise erarbeitet werden.

2. Reliabilität

Ein Fragebogen muss so gestaltet werden, dass die durch ihn gewonnenen Ergebnisse immer wieder reproduziert werden können. Wie ein Maßband immer wieder ganz genau die Größe eines Menschen messen kann und eine Waage exakt misst, wie schwer ein Sack Kartoffeln ist - ebenso exakt muss ein Fragebogen messen. Die Reliabilität sagt also aus, wie hoch die Zuverlässigkeit eines Tests ist. Heißt also, wenn ein Verbraucher den Fragebogen einmal durchgeführt hat und ihn später unter den gleichen Bedingungen nochmals bearbeitet, dann sollten die gleichen Ergebnisse wie beim ersten Mal herauskommen. So wird wie sogenannte „Retest-Reliabilität“ überprüft - das Ausmaß, in dem die Ergebnisse zweier Umfragen zusammenhängen, die einer Person zu zwei verschiedenen Zeitpunkten vorgelegt wurden.

Die Grundvoraussetzung dafür, dass eine Umfrage zuverlässig das misst, das ein Unternehmen wissen möchte, ist die Objektivität. Denn nur wenn die Ergebnisse einer Umfrage unabhängig davon sind, wer einen Test durchführt, auswertet oder interpretiert, kann mit der Befragung auch zuverlässig gemessen werden.

Objektivität ist eine Voraussetzung für die Reliabilität. Reliabilität ist eine Voraussetzung der Validität.

3. Validität

Valide ist ein Fragebogen dann, wenn er genau das misst, was ein Unternehmen auch wirklich wissen will. Objektivität und Reliabilität sind die Voraussetzungen für einen validen Fragebogen. Möchte ein Unternehmen mithilfe einer Befragung beispielsweise herausfinden, ob Verbraucher bereit wären, ein bestimmtes Produkt zu einem gewissen Preis zu kaufen, dann soll ein Fragebogen auch genau das messen - und nicht etwa, ob Verbraucher überhaupt Interesse an dem Produkt haben oder es generell gut finden.

Zwei wichtige Arten der Validität sind die interne und die externe Validität:

Mit einem Marktforschungsfragebogen misst man den Einfluss, den eine unabhängige Variable (bspw. das Design eines Produkts) auf eine abhängige Variable (bspw. die Kaufintention) hat. Wenn eine Veränderung der abhängigen Variable sich allein darauf zurückzuführen lässt, dass sich etwas an der unabhängigen Variable verändert hat, dann ist die interne Validität einer Frage hoch. Es sollten so wenig Störfaktoren wie möglich vorhanden sein, damit die interne Validität gegeben ist. Möchte zum Beispiel ein Unternehmen Verpackungen für ein Produkt testen und zeigt Verbrauchern einige Designs, dann sollte sich die Einstellung der Befragten gegenüber dem Design nur deswegen ändern, weil die Designs unterschiedlich sind - und nicht, weil ein Umfrageteilnehmer plötzlich keine Lust mehr hat oder abgelenkt wird.

Die externe Validität hingegen gibt an, wie sehr die Ergebnisse einer Messung generalisiert werden können und wie repräsentativ sie sind. Wie sehr lassen sich die Aussagen von Verbrauchern, die sie in Umfragen treffen auch auf ihr eigentliches Verhalten übertragen? Und wie sehr gilt das auch für andere Personen außerhalb der Stichprobe, die befragt wurde? Möchte ein Unternehmen zum Beispiel wissen, ob Konsumenten bei ihrem nächsten Einkauf Milch kaufen wollen (unabhängige Variable), dann sollte die Antwort, die die Teilnehmer geben (abhängige Variable), auch die Realität abbilden. Was Verbraucher in Umfragen angeben, sollte ihr reales Verhalten widerspiegeln.

Fazit zu Qualitätskriterien

Für eine aussagekräftige Marktforschung mit einem Fragebogen müssen die drei oben genannten Gütekriterien Objektivität, Reliabilität und Validität erfüllt sein, ansonsten kann es passieren, dass die Ergebnisse nicht brauchbar sind, da sie nicht auf den realen Fall angewendet werden können. Vor allem Objektivität und Reliabilität sind wichtig, wenn ein Unternehmen mit einem Fragebogen seine Marktforschung durchführt. Nur wenn diese beiden Kriterien vollkommen erfüllt sind, ist auch eine Validität gegeben. Denn nur wenn die Ergebnisse reproduzierbar sind, kann auch genau das ausgewertet werden, was ausgewertet und in Erfahrung gebracht werden soll.

Kostenlose Demo buchen

Jetzt mit unseren Experten sprechen!