Herr Kohler, in letzter Zeit wurde in vielen Medien über Umfragen diskutiert, die online durch Unternehmen erhoben werden. In Ihrem Paper „Welcher Zweck heiligt die Mittel? Bemerkungen zur Repräsentativitätsdebatten in der Meinungsforschung“ äußern Sie sich kritisch über solche Meinungsumfragen. Was ist problematisch an dieser Umfragemethode?

Bei einem Großteil der Studien, die online erhoben werden, muss man von einer starken Verzerrung ausgehen. Beziehungsweise in dem Verfahren, das da angewandt wird, ist nichts enthalten, das eine Verzerrung vermeiden würde. Trotzdem dürfen Unternehmen ihre Umfragen mit dem Wort ,repräsentativ’ verkaufen, dazu gibt es sogar ein Gerichtsurteil. Für die Öffentlichkeit ist das sehr missverständlich, weil der Begriff ,repräsentativ’ völlig undefiniert ist. Die Menschen verbinden damit aber ein Qualitätsmerkmal und halten diese Umfrageergebnisse erst einmal für seriös.

Welche Probleme entstehen, wenn Menschen fehlerhafte Umfragen für seriös halten?

Es gibt Sozialwissenschaftler*innen, die der Meinung sind, dass diese Online-Meinungsumfragen eigentlich nur „Infotainment“¹ sind. Ich sehe das anders. Online-Meinungsumfragen tragen zum Meinungsbildungsprozess von Bürger*innen bei und sie beeinflussen das Handeln von politischen Akteuren. Wenn Umfragen politische Überzeugungen beeinflussen, ist das eine ernstzunehmende Sache. Wir verstehen die Mechanismen noch nicht, wie genau Meinungen beeinflusst werden. Aber die Umfragen stoßen ja auf Interesse. Wenn der Tagesspiegel, um mal einen Fall zu nennen, auf der Titelseite Umfrageergebnisse veröffentlicht, nach denen die Mehrheit der Berliner*innen für die Bebauung des Flughafens Tempelhof ist, dann werden damit Menschen und auch politische Prozesse beeinflusst. Der CDU-Politiker Kai Wegener berief sich auf diese Ergebnisse und forderte die Wiederholung des Volksentscheids, der damals zur Nicht-Bebauung geführt hat. Wenn Politiker*innen die Ergebnisse einer ,repräsentativ’ Umfrage aufgreifen und gegebenenfalls Gesetzesinitiativen einleiten, dann ist das kein Infotainment, sondern reale Politik.

Meinungsumfragen sind generell ethisch umstritten. Dass sich beispielsweise Politiker*innen von Umfragen beeinflussen lassen, kann kritisch bewertet werden. Aber wenn wir sagen, dass Umfragen ihre Berechtigung haben, dann sollten zumindest die Zahlen stimmen. Bei vielen Online-Umfragen ist dies aber nicht der Fall.

Sie sagen in Ihrem Paper, dass das Interesse von Medienhäusern an solchen Umfragen nicht zu unterschätzen ist. Warum ist das Interesse Ihrer Meinung nach so groß?

Es ist so eine Art unheilige Allianz. Online-Umfragen produzieren häufiger außergewöhnliche Ergebnisse als qualitative Methoden. Es gibt also eine Methode, die außergewöhnliche Ergebnisse produziert und eine Medienlandschaft, die sich wegen ihres hohen Nachrichtenwerts besonders für außergewöhnliche Ereignisse interessiert. Wenn ich ein Redakteur wäre und es kommen 20 Umfrageergebnisse am Tag rein, dann nehme ich doch das, was irgendwie außergewöhnlich ist. Aber das sind häufig genau die Umfragen, die besonders fehlerbehaftet sind. Und da liegt ein großer Teil des Problems.

Sie fordern, dass sich Sozialwissenschaftler*innen mehr in diesen Diskurs einbringen sollten. Wie könnte dies gelingen?

Da gibt es viele Möglichkeiten. Der Sozialwissenschaftler Rainer Schnell hat ein Schulungsprogramm entwickelt, mit dem er in Redaktionen geht, um Journalist*innen im Umgang mit Umfragen zu schulen. Das Programm widmet sich Fragen wie: „Wie erkennt man Qualität?“ oder „Welche Fehler können passieren?“ Das halte ich für eine sehr wichtige Initiative, aber auch, dass wir als Wissenschaftler*innen keine Scheu haben, mit Medien zu sprechen. Wir sollten uns das Wort ,repräsentativ’ zurückerkämpfen. Es hat jegliche Bedeutung verloren, ist aber weiterhin mit einem positiven Image behaftet. Das führt zu einem generellen Vertrauensverlust in Umfragen und langfristig auch in die Ergebnisse seriöser sozialwissenschaftlicher Studien.

Warum entsteht dadurch ein Vertrauensverlust in sozialwissenschaftliche Forschung?

Ein Problem bei den meisten Umfragen, die veröffentlicht werden, ist, dass wir den wahren Wert nicht kennen. Nehmen wir dieses Tagesspiegel-Beispiel zu dem Anteil der Berliner*innen, die für die Bebauung des Flughafens Tempelhof sind: Es ist völlig unbekannt, wie hoch der Anteil der Menschen wirklich ist, die für die Bebauung sind. Aber es gibt eine Ausnahme, und das sind politische Wahlen. Bei Wahlen haben wir zunächst Prognosen, gefolgt vom tatsächlichen Wahlergebnis. Und wenn die nicht übereinstimmen, dann merkt man, dass mit den Prognosen etwas falsch gelaufen ist. In der Vergangenheit gab es große Fälle solcher Fehleinschätzungen, wo die Umfragen zum Teil weit daneben lagen, wie bei der Brexit-Wahl oder bei den Anteilen der AfD in der Bundesrepublik. Unter solchen Fehleinschätzungen leidet auch das Image von seriösen sozialwissenschaftlichen Umfragen, die mit einem großen Aufwand durchgeführt werden, und darunter wiederum die Teilnahmequote. Das ist ein Problem für uns Forschende, denn Umfragen sind unser wichtigstes Datenerhebungsinstrument.

Wie könnte so ein „Zurückerkämpfen“ gelingen?

Der Prozess eines solchen Zurückkämpfens wäre ein Gütesiegel für qualitative, repräsentative Umfragen. Dazu müsste sich eine Organisation gründen, die dieses Siegel überwacht und an qualitativ hochwertige Studien vergibt.

Sie appellieren auch an einen verantwortungsbewussten Umgang mit Forschungsergebnissen. Wie sollten Wissenschaftler*innen ihre Ergebnisse kommunizieren?

Im Idealfall sollten wir der Öffentlichkeit nur gut abgesicherte Ergebnisse präsentieren. Die Wahrheit entsteht nicht durch eine einzelne Studie. Erst aus der Gesamtheit von Studien ergibt sich ein Ergebnis, von dem wir sagen können: „Das kommt der Wahrheit nahe.“ Das ist erst nach einem gewissen Forschungsprozess möglich. Bei Corona war das anders, weil man diese Ergebnisse schnell brauchte und dafür Kompromisse bei der Qualität in Kauf nehmen musste. Aber im normalen Tagesgeschäft kommt es für uns Wissenschaftler*innen nicht darauf an, ob unser Befund direkt an die Öffentlichkeit kommuniziert wird oder erst nachdem er in einer qualitätskontrollierten Zeitschrift angenommen wurde.