Fehlerquellen in Fragebogen
Die Forschungsfrage ist formuliert, die Thesen sind aufgestellt und die zu messenden Variablen sind klar definiert. Jetzt nur noch schnell den Fragebogen runterschreiben, bevor es endlich mit der Auswertung losgehen kann! Oder? In der Praxis steckt mehr dahinter.
Fehlerquellen in Fragebogen
Ganz so trivial wie man oft glaubt ist das Aufsetzen des Fragebogens leider nicht. Wer noch keine Erfahrung damit hat, sollte sich an dieser Stelle lieber etwas Zeit nehmen, um sich bewusst zu werden, welche Fehlerquellen dabei lauern und wie diese nach Möglichkeit umgangen werden können. Du wirst merken, diese Zeit ist gut investiert, denn Fehler in der Datenerhebung lassen sich später in der statistischen Analyse nur noch schwer oder schlimmstenfalls nicht mehr bereinigen.
Grundsätzlich können drei Typen von Fehlerquellen unterschieden werden:
- Merkmale der Frage als Fehlerquelle
- Merkmale des Befragten als Fehlerquelle
- Merkmale der Antwort als Fehlerquelle
Hier geht es vor allem um zwei Dinge: die Formulierung und die Reihenfolge der Fragen. Sogenannte Reihenfolgeeffekte können einen starken Einfluss auf die erhobenen Daten haben, wie das folgende Beispiel verdeutlichen soll. In einer US-amerikanischen Studie aus dem Jahre 1950 von Hyman und Sheatsley wurden die Teilnehmer nach ihrer Zustimmung zu folgenden Aussagen befragt:
Frage (A): Freie Berichterstattung für US-Reporter in kommunistischen Ländern
Frage (B): Freie Berichterstattung für kommunistische Reporter in den USA
Zustimmung bei Reihenfolge A, B: (A): 89,8%, (B): 73,1%
Zustimmung bei Reihenfolge B, A: (A): 65,6%, (B): 36,5%
Das Urteil der Befragten kann also durch die Position im Fragebogen deutlich verzerrt werden. Der einfachste Weg dem entgegenzuwirken ist bei der Erstellung des Fragebogens eine Rotation der Fragen festzulegen. Damit ist die Position zufällig und unterscheidet sich von Teilnehmer zu Teilnehmer. Alternativ können Füllfragen verwendet werden und den direkten Bezug der Fragen entzerren.
Fragen als Fehlerquelle
Bei der Formulierung deiner Fragen gilt: Vermeide relativierende Füllwörter, wie „eigentlich“ oder „ganz gut“. Denn durch ihre abmildernde Wirkung auf die gemachte Aussage wird die Zustimmung zu selbiger künstlich gesteigert und damit verfälscht. Treffe stattdessen klare Formulierungen.
Sei außerdem vorsichtig bei der Verwendung von Antonymen. Willst Du zum Beispiel herausfinden, wie groß die Zustimmung in der Bevölkerung für Paketdrohnen ist, könntest du sowohl fragen, ob diese erlaubt oder aber ob sie verboten werden sollen. Weil die Menschen generell zur Beibehaltung des Status Quo tendieren, würdest du vermutlich feststellen, dass mehr Leute ein Verbot ablehnen, als eine Erlaubnis zu befürworten. Versuche deshalb auch solche Formulierungen zu vermeiden. Außerdem: Stelle deine Fragen kurz, präzise und neutral. Vermeide Negationen. Verwende eine klare Sprache und vermeide unnötige Fachbegriffe.
Befragte als Fehlerquelle
Messfehler entstehen regelmäßig auch dadurch, dass es dem Befragten schlicht an Wissen oder Erfahrungen fehlt, er trotzdem aber eine Antwort abgeben muss. Überlege deshalb genau wann du auf eine Antwort nicht verzichten und wann du eine Outside-Option einfügen kannst (z.B. „Ich weiß nicht“). Wenn du persönliche Angaben abfragst, wie das Alter oder den aktuellen Erwerbsstatus, lasse den Befragten immer die Möglichkeit nicht zu antworten.
Zu einem weiteren Problem kann die häufig zu beobachtende Tendenz der Befragten führen, ihre Antworten der sozialen Erwünschtheit anzupassen. Besonders stark tritt dies in persönlichen Interview-Situationen auf, sollte aber auch in anonymen Fragebögen nicht vernachlässigt werden. Ein Hinweis zu Beginn der Studie, der Anonymität garantiert und um ehrliche Antworten bittet, sollte deshalb nicht fehlen. Zusätzlich können auch „Lügen-Skalen“ verwendet werden, welche unehrliche Teilnehmer aufdecken sollen (Beispiel: „Manchmal bin ich neidisch, wenn andere Glück haben.“).
Antworten als Fehlerquelle
Welches Antwortformat gebe ich den Befragten vor? Ja/nein? Eine abstufende Skala von 1 bis 10? Von -3 bis 3? Es gibt unzählige Möglichkeiten und welche die richtige ist hängt ganz von deinen Fragen ab. Gemeinhin ist man der Auffassung, dass eine 7er-Skala bei Abstufungen oftmals die beste Lösung sei. Manchmal ist es jedoch sinnvoll die neutrale Mitte auszuschließen, um eine Tendenz zu erzwingen – dann wäre also eine 6er-Skala besser geeignet. Unter statistischen Gesichtspunkten kann man 5er, 6er oder 7er-Skalen als quasimetrisch ansehen und viele verschiedene Analysen damit durchführen. Bei 3er oder 2er-Skalen liegt ein nominales oder ordinales Skalenniveau vor, was die Auswertung manchmal erschweren kann.
Natürlich solltest du deine Skalenendpunkte benennen. Sei dabei aber nicht zu extrem, um die Tendenz zur Mitte nicht zu verstärken. Eine Skala von „Absolut schrecklich!“ bis „Besser geht es nicht!“ wird aufgrund ihrer Breite ein wesentlich undifferenzierteres Ergebnis generieren als eine enger gesteckte Skala, die von den Befragten vollständig ausgeschöpft wird. Wenn du alle Skalenpunkte beziffern willst, überlege dir, ob die vorliegende Skala ein- oder zweidimensional ist und spiegele dies in den Skalenwerten wider. Für eine zweidimensionale 7er-Skala beispielsweise erweist es sich als sinnvoll, diese nicht von eins bis sieben durchzuzählen, sondern die neutrale Mitte mit einer Null zu versehen und in beide Richtungen hoch zu zählen.
Zusammenfassung
In diesem Beitrag haben wir dir einen kurzen Überblick über mögliche Fehlerquellen in Fragebogen gegeben. Wie du sicher gemerkt hast, ist die Konstruktion von Fragebögen eine komplexe Aufgabe. Je besser dein Fragebogen konstruiert und erhoben ist, desto aussagekräftiger wird die statistische Auswertung. Falls du Hilfe bei der Konstruktion deines Fragebogens haben solltest, steht dir unser Statistik Team gerne zur Verfügung.
Literaturhinweise
Strack, F. (1994): Zur Psychologie der standardisierten Befragung, Berlin/Heidelberg/New York
