Wissenschaftskommunikation in Japan, Suchmaschinen als Faktor in der Wissenschaftskommunikation und trügerische Statistiken. Dies sind die Themen einiger Studien, die im März und April erschienen sind und deren Ergebnisse wir hier präsentieren.
Foto: Philip Strong, CC0 1.0
Kurz vorgestellt: Neues aus der Forschung im März & April 2017
In dieser Rubrik besprechen wir regelmäßig neue Forschungsergebnisse aus der „Science of Science Communication“. Wenn Sie etwas vermissen, dann schreiben Sie uns gerne eine Email oder hinterlassen Sie einen Kommentar.
Das lange Leben des Defizitmodells in Japan
Seiko Ishihara-Shineha (Universität Tokio) fragt in ihrem Beitrag “Persistence of the Deficit Model in Japan’s Science Communication”, was die japanische Regierung für gute Wissenschaftskommunikation hält.
Methode: Die Forscherin untersuchte dazu, inwiefern sich Beschreibung und Zielsetzung von Wissenschaftskommunikation in offiziellen Regierungsdokumenten im Laufe der Zeit geändert haben. Dazu analysierte sie die Weißbücher zu Wissenschaft und Technologie von 1958 bis 2015. In einem ersten Schritt erfasste sie statistisch, welche Schlagwörter aus dem Bereich Wissenschaftskommunikation wann und in welchem Umfang vorkamen. In weiteren Schritten wurde zudem die Länge der Texte, die sich mit Wissenschaftskommunikation beschäftigen, und die darin behandelten Themen analysiert. Von besonderem Interesse war für die Forscherin, inwiefern die Dokumente dem Defizitmodell der Wissenschaftskommunikation entsprachen. Darunter versteht sie die einseitige – von der Wissenschaft in die Öffentlichkeit – Kommunikation von Wissenschaft mit dem Ziel die Bevölkerung aufzuklären.
Ergebnisse: Aufgrund der gewonnenen Daten unterscheidet Ishihara-Shineha verschiedene Phasen:
1958 bis 1969
Vor 1970 lag der Fokus der japanischen Regierung darauf, die Abhängigkeit von ausländischer Technologie zu verringern. Entsprechend sollte Wissenschaftskommunikation vor allem dazu dienen, das Interesse an “Science & Technology” zu wecken und die vermeintlich unwissende Bevölkerung aufzuklären.
1970 bis 1995
Angesichts wachsender Kritik an den negativen Folgen der japanischen Industriepolitik, wie z. B. Umweltverschmutzungen, und des schwindenden Interesses junger Leute an Naturwissenschaften, wurde weiterhin auf die aufklärende Wirkung einer Wissenschaftskommunikation von oben gesetzt (Public Understanding). Es war die Rede davon, dass die Einstellungen und Ansichten der Bevölkerung berücksichtigt werden müssten. Die Beschreibung der umgesetzten Maßnahmen zeigt aber, dass es sich dabei um bloße Lippenbekenntnisse handelte.
1996 bis 2011
Mit der Verabschiedung des ersten und zweiten “S&T Basic Plan”, änderten sich auch die Inhalte der Weißbücher. Mit den “Basic Plans” wurde ein zentraler Plan für die japanische Wissenschaftspolitik geschaffen, der auch die Wissenschaftskommunikation mit einschließt. Die Wichtigkeit eines echten Dialogs mit der Bevölkerung (Public Engagement) wurde stark betont. Dies schlug sich wiederum in neuen Kommunikationsformaten, wie Science Cafés und Science Shops, nieder. Dabei seien allerdings, so Ishihara-Shineha unter Verweis auf weitere Untersuchungen, letztlich “klassische Vorlesungen, nur mit Kaffee” (S. 17) entstanden.
2012 bis 2015
Zwischen 2012 und 2015, setzt sich dieser Trend fort: Im Zusammenhang mit der Havarie des AKW Fukushima wurde in den Weißbüchern konstatiert, dass “die klassische Wissenschaftskommunikation darin versagt hat, Public Understanding, Vertrauen und Unterstützung für Wissenschaft und Technologie zu gewinnen” (S. 18). Im gleichen Atemzug sprach man aber davon, dass Defizite in der öffentlichen Bildung ein korrektes Verständnis der “richtigen Sicherheit” (S.18) verhindert und so zum Chaos nach dem Erdbeben beigetragen hätten. In Zukunft sollte Wissenschaftskommunikation, ganz im Sinne des Defizitmodells, Laien stärker dazu befähigen rational und wissenschaftlich zu denken, damit sie logische Entscheidungen treffen können.
Auch bei den aufgeführten umgesetzten Maßnahmen im Bereich Wissenschaftskommunikation dominierten weiterhin Aktivitäten im Sinne des Public Understanding. Für die Forscherin ein klarer Hinweis, dass das Defizitmodell weiterhin dominant ist. Immerhin sei seit 2012 eine stärkere Betonung der “social literacy” (S. 19) der Forscher zu beobachten, die auf eine Überwindung des “Paternalismus in der Wissenschaftskommunikation” (S. 19) hindeute.
Für die Forscherin ist damit klar: Zwar sei seit den 1970ern in den Weißbüchern immer mehr Raum der Einbeziehung der Gesellschaft und dem Public Engagement gewidmet worden, in den Abschnitten zur Implementierung konkreter Maßnahmen dominiere aber weiterhin ein Verständnis von Wissenschaftskommunikation im Sinne des Public Understanding of Science & Technology.
Schlussfolgerungen: Wieso ist das Defizitmodell, “trotz mehr als zwanzig Jahren Polemiken und Kritik an ihm” (S. 19), weiterhin in den Weißbüchern zu finden? Ishihara-Shineha führt dafür zwei Hauptgründe an: Zum einen sei die Wissenschaftskommunikation selbst älter als ihre Erforschung und damit auch als die kritische Reflexion des Defizitmodells. Zum anderen seien Aktivitäten, bei denen es ‘bloß’ um die Vermittlung von Wissenschaft an die Bevölkerung geht, sowohl am bekanntesten unter Praktikern als auch am einfachsten zu evaluieren. Die Situation gleiche einem “strukturellen Desaster” (S. 21), bei dem es unklar sei, ob der nach Fukushima geforderte Wandel vom Defizitmodell zu Dialog und Partizipation wirklich nachhaltige Folgen für die Wissenschaftskommunikation hat.
Japan bilde damit allerdings keine Ausnahme. Auch in anderen Ländern erfreue sich das Defizitmodell in der Wissenschaftskommunikation weiterhin hoher Popularität 1.
Einschränkungen: Die Beschränkung auf offizielle Regierungsdokumente wirft die Frage auf, inwiefern diese die Zustände und Trends in der japanischen Wissenschaftskommunikation vollständig widerspiegeln. Es ist durchaus denkbar, dass Bürgerinitiativen, Medien, private Stiftungen oder andere Akteure Wissenschaft kommunizieren, ohne sich dabei am Defizitmodell zu orientieren. Darüber hinaus geht bei der statistischen Analyse der Texte der Kontext in dem die erfassten Schlagwörter stehen größtenteils verloren. Dies wird allerdings durch den im zweiten Schritt stärker qualitativen Blick in die Texte ausgeglichen.
Suchmaschinen als Einflussfaktor in der Wissenschaftskommunikation
“Making Sense of Conflicting Science Information: Exploring Bias in the Search Engine Result Page” – hinter diesem langen Titel verbirgt sich eine Studie von Alamir Novin und Eric Meyers (University of British Columbia, Kanada). Die beiden Forscher fragen, welchen Einfluss Platzierung und Präsentation von Suchergebnissen auf die Aneignung wissenschaftlicher Informationen hat.
Methode: Novin und Meyers führten hierzu ein Experiment mit 60 studentischen Probanden durch. Jedem Probanden wurde eine im Google-Design gehaltene Seite mit sechs Suchtreffern zum Thema Biokraftstoff vorgelegt. Die Seiten unterschieden sich dabei in der Zusammensetzung der Suchergebnisse (Positionierung und Art). In vier Schritten musste die Teilnehmer sodann (1) die Nützlichkeit der Suchergebnisse bewerten, (2) eine Zusammenfassung zum Thema schreiben, (3) ihre Bewertung der Suchergebnisse auf Grundlage längerer Textausschnitte überarbeiten und (4) ihre Zusammenfassungen ebenfalls noch einmal überarbeiten.
Ergebnisse: Novin und Meyers identifizierten so vier kognitive Verzerrungseffekte, die bei der Informationsbeschaffung zu einem wissenschaftlichen Thema mithilfe einer Suchmaschine auftreten können:
- Priming
Nutzer orientierten sich bevorzugt an ihnen vertrauten Funktionen einer Suchergebnisseite. Dies werde dann problematisch, wenn so bestimmte, einseitige Antworten bevorzugt werden. Im Experiment bewerteten die Probanden etwa den – im konkreten Fall parteiischen – Wikipediaeintrag stets als am nützlichsten, während wissenschaftliche Artikel, selbst als erstes Suchergebnis, meist als wenig hilfreich empfunden wurden. Erst wenn die Probanden gebeten wurden, sich längere Textausschnitte aus den Treffern anzuschauen, bewerteten sie auch die Nützlichkeit der wissenschaftlichen Quellen höher. Nutzer sollten, so die Autoren, deshalb gezielt nach Informationen suchen, die den Inhalten der Suchergebnissen widersprechen. - Anchoring
Generell bevorzugten die Probanden das erste angezeigte Suchergebnis und gingen davon aus, dass sich dort eine allgemeine Beschreibung zu Biokraftstoffen findet. Widersprach der Inhalt späterer Suchergebnisse dem ersten, so wurde dieser Widerspruch in der Zusammenfassung oft nicht erwähnt. Die Forscher begründen dieses Ergebnis damit, dass Suchmaschinen dem Nutzer nicht zeigten, in welcher Beziehung die Ergebnisse zueinander stehen. Als Gegenmaßnahme empfehlen die beiden, dass Nutzer sich vorher überlegen sollten, in welcher Reihenfolge sie die Suchtreffer aufrufen (z. B. erst der Wikipediaeintrag, dann wissenschaftliche Artikel und zum Schluss Nachrichtenmeldungen). - Framing (Rahmung)
Im Experiment zeigte sich, dass sich die Zusammenfassungen je nach Art der Suchtreffer (Wikipediaartikel, Nachrichtenartikel, wissenschaftlicher Artikel oder nicht-wissenschaftlicher Artikel) und deren Positionierung zueinander auf der Ergebnisseite veränderten. Auch hier empfehlen die Forscher, den Nutzern transparenter zu machen, wie die Reihenfolge der Quellen zustande kommt. Zum anderen sollten die Nutzer selbst bewusst versuchen, sich möglichst viele Perspektiven eines Themas anzuschauen. - Verfügbarkeitsheuristik
Um ihre kognitive Anstrengung möglichst gering zu halten, würden die Probanden Ergebnisse am Ende der Trefferliste und solche die ihnen schwerer zugänglich erscheinen, eher ignorieren. Konkret würden also etwa kurze Nachrichtentexte eher gelesen als wissenschaftliche Fachaufsätze. Nutzer könnten dem entgegenwirken, in dem sie zuerst alle Treffer kurz querlesen, um nichts zu übersehen. Zudem sollten sie bei ihrer Recherche auch die Offline-Welt bemühen – und bei der Recherche gezielt Kollegen und Bekannte mit einbeziehen.
Schlussfolgerungen: Ihre Studie habe gezeigt, so Novin und Meyers, dass die Nutzung von Suchmaschinen auch zur Erschließung wissenschaftlicher Themen nicht ohne Tücken ist. Aufgrund ihrer intransparenten Funktionsweise, so die Autoren, könnte die Arbeitsweise des Algorithmus die Nutzer anfälliger für die aufgezeigten kognitiven Verzerrungen machen, was wiederum den Einfluss parteiischer Quellen verstärke. Nun gelte es herauszufinden, wie die verschiedenen Formen der Verzerrung zusammenwirken, um hierauf politisch und pädagogisch reagieren zu können.
Einschränkungen: Bevor man die Ergebnisse der Studie verallgemeinert, sollte man sich darüber im Klaren sein, dass sie einige Defizite aufweist. So kamen als Probanden nur Studierende zum Einsatz, deren Zahl zudem relativ gering war. Die Beschränkung auf ein einzelnes Thema und auf rein schriftlichen Inhalt könnten die Ergebnisse beeinflusst haben. Zudem waren die vorgeschlagenen Gegenmaßnahmen nicht Gegenstand der Untersuchung.
Trügerische Statistik
Der letzte hier vorgestellte Artikel fällt etwas aus der Art. Es handelt sich hierbei nicht um eine klassische Studie, sondern eher um ein Essay: Norbert Hirschauer, Sven Grüner (Martin-Luther-Universität Halle-Wittenberg) und Oliver Mußhoff (Georg-August-Universität Göttingen) gehen darin “False Discoveries und Fehlinterpretationen wissenschaftlicher Ergebnisse” nach und wollen gleichzeitig “Implikationen für die Wissenschaftskommunikation” aufzeigen.
Für die drei Forscher findet ein Grund des aktuell häufig konstatierten Vertrauensverlusts der Öffentlichkeit in die Wissenschaft kaum Beachtung: Die “hohe Zahl von False Discoveries und […] eine Vielzahl von Ergebnissen, die […] in Folgestudien nicht reproduziert werden können” (S. 202), die aber formal als statistisch signifikant gelten und deswegen zwar publiziert, aber nicht hinterfragt würden.
Wo es bereits aufseiten der wissenschaftlichen Produktion solche Probleme gäbe, sei die Wissenschaftskommunikation gefordert, “sich mit Fragen der Interferenz und Induktion auseinandersetzen und statistische Signifikanzaussagen kritisch einzuordnen” (S. 203). Dies werde aber dadurch besonders erschwert, dass viele Fachbegriffe aus der Statistik eine ganz andere Bedeutung als in der Umgangssprache haben. Die drei am häufigsten daraus entstehenden Missverständnisse sind für Hirschauer und seine Kollegen folgende:
- “Signifikant” werde mit “groß / wichtig” gleichgesetzt:
In Wirklichkeit bedeute die Aussage, eine Variable X habe einen “statistisch signifikanten” Effekt auf eine Variable Y, nur, dass es unwahrscheinlich ist, dass “der beobachtete (oder ein stärkerer) Effekt als Zufallsbefund bei einer häufig wiederholten Stichprobenziehung […] auftauchen würde, wenn er in der Grundgesamtheit nicht da wäre” (S. 204). Hinzu komme, dass jeder, egal wie bedeutungslose Effekte bei steigender Fallzahl irgendwann das etablierte Signifikanzniveau von p = 0,05 unterschreitet. Die statistische Signifikanz sage also erst einmal nichts über Rolle und Wichtigkeit eines gemessenen Effekts aus. - Sobald das etablierte Signifikanzniveau überschritten wird, führe dies zu Fehlschlüssen:
Wenn das Signifikanzniveau größer als p = 0,05 ist, ein Befund also als “nicht statistisch signifikant” gilt, würden daraus ebenfalls oft falsche Schlüsse gezogen. Ein solches Ergebnis heiße nämlich nicht, dass es keinen relevanten Effekt von X auf Y gibt – er lässt sich nur weder be- noch widerlegen. In der öffentlichen Kommunikation von Forschungsergebnissen gehe diese Differenzierung aber im Kampf um Aufmerksamkeit oftmals verloren. - Analog zu Punkt 2, komme es auch bei Unterschreiten des Signifikanzniveaus zu Fehlschlüssen:
Bei einem p-Wert <0,05 wird im allgemeinen davon ausgegangen, dass ein Effekt “statistisch signifikant” und somit allgemeingültig ist. Tatsächlich seien aber selbst bei einem sehr niedrigen p-Wert False Discoveries, also die “Entdeckung” vermeintlicher Effekte, wo gar keine sind, nicht ausgeschlossen. Die alleinige Fixierung auf die “statistische Signifikanz” führe dazu, dass Studien isoliert beurteilt werden, statt bereits vorhandenes Vorwissen mit einzubeziehen.
Schlussfolgerungen: Angesichts dieser, laut den Autoren, verbreiteten Irrtümer in der Wissenschaftskommunikation sprechen sie sich für einen “ethischen Imperativ” aus. Demzufolge müsse stärker dargelegt werden, “zu welchem Wissensgewinn – ausgehend vom vorhandenen Vorwissen – eine bestimmte Studie geführt hat und welche Korrekturen gegebenenfalls am bisher unterstellten Wissensbestand vorzunehmen sind” (S. 205). Dafür müsse man stärker auf Meta-Analysen, Bayessche Statistik und Informationen zur (Nicht-) Reproduzierbarkeit zurückgreifen, wenn es um die Einschätzung wissenschaftlicher Studien geht. Wissenschaftskommunikation könne nämlich nur dann gelingen, “wenn der Öffentlichkeit statt Aufsehen erregender (und dann häufig falscher) Einzelmeldungen ein zutreffendes Bild des Wissensstandes in einem bestimmten Gebiet vermittelt wird” (S. 206). Einzig und allein auf zwar statistisch signifikante, aber nicht reproduzierbare Neuigkeiten zu setzen, untergrabe hingegen das Vertrauen der Öffentlichkeit in die Wissenschaft. Zusätzlich empfehlen die Autoren noch Literatur zum Umgang mit Zahlen, zur Einführung in Meta-Analysen und in die Bayessche Statistik.
Den Problemen mit Statistiken und ihrer medialen wie politischen Interpretation widmete jüngst auch DIE ZEIT ihren Aufmacher und unter unstatistik.de finden sich Monat für Monat neue, lehrreiche Beispiele.
Weiterlesen
