„Schmerzpunkte finden“ und diese „wegmassieren“ – ganz so schmerzhaft, wie Benedikt Fecher* die Ziele des Lunchtalks zum Thema „Möglichkeiten und Grenzen der Evaluation von Wissenschaftskommunikation“ zu Beginn definiert, wird die Diskussion zwar nicht. Aber einige „Schmerzpunkte“, wie „Messbarkeit“ und „Overpromising“ werden durchaus identifiziert.

Rund 70 Teilnehmer*innen diskutierten am 15. Mai digital darüber, was Evaluation von Wissenschaftskommunikation leisten kann und vor allem was nicht. Eingeladen waren drei Expertinnen aus Theorie und Praxis: die Kommunikationswissenschaftlerin Sophia Volk, Evaluationsmanager Frieder Bürkle und der Evaluator Tobias Dudenbostel.

Gemeinsam mit Fecher moderierte Ricarda Ziegler* den Lunchtalk. Beide sind Teil der Task Force „Qualität und Impact“ der Factory #Wisskomm und haben den Lunchtalk als Auftakt und Impulsgeber organisiert. Zur Erinnerung: Die #FactoryWisskomm ist eine vom Bundesministerium für Bildung und Forschung (BMBF) im Herbst 2020 initiierte Denkfabrik.

Zu Beginn wurden die Expert*innen von Fecher und Ziegler gebeten, sich zu der Frage zu positionieren, wie der gesellschaftliche Impact von Forschung gemessen werden kann. Zunächst stellt Volk fest, dass „Impact“ ein sehr „schwammiger“ Begriff sei, der manchmal mit dem Begriff „Wirkung“ von Wissenschaftskommunikation gleichgesetzt werde.¹ Als Senior Research and Teaching Associate am Institut für Kommunikationswissenschaft und Medienforschung an der Universität Zürich forscht sie zu Wissenschaftskommunikation sowie Organisations- und Unternehmenskommunikation.

Ist gesellschaftlicher Impact nicht messbar?

Volk erklärt in ihrem Impuls, dass Studien zeigen, dass sowohl Kommunikator*innen als auch Forschende unterschiedliche Vorstellungen davon haben, was der Begriff „Impact“ bedeutet. Für Universitäten kann der Impact von Kommunikation etwa in einer Steigerung der Immatrikulationszahlen oder der Reputation liegen², während Forschende oft zuerst an Publikations- oder Zitationsmetriken denken. Auch das Verständnis von gesellschaftlichem Impact ist je nach Disziplin unterschiedlich.³

Ohne eine klare Definition sei es schwierig, Impact zu messen. Zudem müsse man Impact „nicht als kurzfristige Wirkung auf Einstellungen, Meinungen und so weiter verstehen, sondern als langfristigen Wertbeitrag für die Gesellschaft oder die Institution. Denn Impact tritt oft erst zeitversetzt ein“.

Volk warf auch die Frage auf, wie die gesellschaftliche Relevanz von Forschung durch Evaluation gestärkt werden könne. Evaluation ermöglicht es, der „Rechenschaftspflicht“ gegenüber der Öffentlichkeit und den Förderinstitutionen nachzukommen, indem die Wirkungen der Wissenschaftskommunikation aufgezeigt werden. Zudem könnten durch Evaluation Lernprozesse angestoßen und so Formate optimiert werden. Evaluation könne auch als eine Art „Frühwarnsystem“ dienen, um „Fehlinvestitionen“ oder „problematische Entwicklungen von Kommunikationsformaten“ aufzuzeigen, etwa dass bestimmte Zielgruppen gar nicht erreicht werden.⁴

Tobias Dudenbostels Antwort auf die Ausgangsfrage fällt „provokant“ aus: „Der gesellschaftliche Impact ist nicht wirklich messbar“. Zwar könne man sich einer Einschätzung konkret über Fallstudien annähern und die Wirkungsweise eines bestimmten Formats genauer untersuchen. Dann sei die „Generalisierbarkeit“ aber schwierig und insbesondere „Wirkungszusammenhänge werden diffus“. Dennoch hält der Berater des Forschungs- und Beratungsunternehmens Technopolis „Evaluation für ein nützliches Instrument, insbesondere auf der Ebene des begleitenden Lernens über die eigenen Aktivitäten“. Die Zunahme gesellschaftlicher Krisen wie Kriege und Klimawandel würde auch die Anforderungen an die „Geschwindigkeit der Lernschleifen“ im Kommunikationsbereich erhöhen.

Als Evaluationsmanager der Carl-Zeiss-Stiftung beschäftigt sich auch Frieder Bürkle mit der Ausgangsfrage, „wie man die gesellschaftliche Wirkung von Wissenschaft und Forschung erfassen oder messen kann“. Wie seine Vorredner*innen Volk und Dudenbostel findet Bürkle es schwierig, die langfristige gesellschaftliche Wirkung einzelner Kommunikationsmaßnahmen oder -projekte verlässlich zu belegen und ihren Beitrag klar abzugrenzen. Dennoch ist auch er der Meinung, dass besonders begleitende Evaluationen sowie die von Volk und Dudenbostel erwähnten „Lernschleifen“ einen wichtigen Beitrag leisten können. Evaluation hilft die Frage beantworten, was Wissenschaftskommunikation realistischerweise erreichen kann, welche Zielgruppen angesprochen werden sollten und welche Maßnahmen dafür geeignet sind. Zudem ließen sich mit einer Wirkungsplanung schon vor dem Durchführen einer Kommunikationsmaßnahme und der Evaluation die eigenen Annahmen auf ihre Plausibilität hin prüfen.

„Overpromising“ beim Impact – eine Kernherausforderung?

Ziegler möchte die Diskussion nun vertiefen und fragt konkret, welche Ziele der Wissenschaftskommunikation sich gut eignen, um durch Evaluation erfasst zu werden.

Volk hat zu diesem Thema eine Studie durchgeführt, an der Kommunikator*innen von Schweizer Hochschulen teilgenommen haben.⁵ Es zeigte sich, dass die formulierten Ziele und Messgrößen häufig auf der „Output- und Outcome-Ebene“ angesiedelt waren und selten auf der Impact-Ebene. Laut Volk ging es den Kommunikator*innen also eher um die Steigerung der Reichweite auf den sozialen Medien oder um mehr Sichtbarkeit in den Medien. Die tatsächlichen Einstellungs- oder Verhaltensänderungen, die die Kommunikation bei den Zielgruppen hervorrufen könnte, werden jedoch selten gemessen, da dies teuer und aufwendig wäre. Volk vermutet, dass die Hochschulen Kommunikation als einen Faktor unter vielen sehen, der einen Beitrag zur Steigerung der Immatrikulationszahlen oder Reputation leisten kann, der aber nicht kausal nachgewiesen werden muss. Auf solche „Wirkungsannahmen“ würden sich Hochschulleitungen und Kommunikationsabteilungen oft einigen.

Hier setzt Fecher an und richtet gleich mehrere Fragen an Volk: „Verlieren wir manchmal die Ziele, den Impact aus den Augen, weil wir uns zu sehr auf Outputs und Outcomes konzentrieren? Verwechseln wir Aufmerksamkeit mit Relevanz? Konzentrieren wir uns zu sehr auf die leicht messbaren Ziele und priorisieren diese gegenüber dem, was vielleicht übergeordnet wichtig, aber schwer zu fassen ist?“

„Ja, auf jeden Fall“, stimmt Volk zu. Problematisch sei es, wenn nur einfach quantifizierbare Messgrößen wie Likes und Teilnehmendenzahlen erhoben werden, die wenig darüber aussagen, ob die Kommunikation etwas an Einstellungen, Wissen oder Interesse an Wissenschaft verändert. Dies fänden auch die Hochschulkommunikator*innen selbst problematisch, gibt Volk zu Bedenken. Es fehle an Ressourcen, Zeit und zum Teil auch an methodischer Kompetenz, um Evaluationsdaten zu erheben. Manchmal fehle auch schlicht die Unterstützung und das Interesse der Hochschulleitungen, solche Daten zu erfassen. Ein weiteres Problem sieht Volk darin, dass Impact „overpromised“ werde. Das heisst, es werde zu viel Impact versprochen, etwa für Projekte, die ohnehin nur zwei Jahre laufen.⁶ Dadurch, dass die Förderorganisationen mehr Impact einfordern, würden die Forschenden dazu verleitet, den Impact „aufzubauschen“, um ihre Erfolgschancen bei der Einwerbung von Fördergeldern zu erhöhen.⁷

Schwerpunkt Evaluation Alle Beiträge zum Thema

Zum Thema „Overpromising“ fragt ein Teilnehmer, wie diesen unrealistischen Erwartungen der Förderorganisationen entgegengewirkt werden könne.

Dudenbostel verweist auf „fteval“, die österreichische Plattform für Forschungs- und Technologieevaluierung. Diese diene als nützliche Austauschmöglichkeit zwischen Auftraggebenden und Auftragnehmenden von Evaluationen, um Erwartungen und Möglichkeiten regelmäßig abzustimmen. Zudem sei es wichtig, Evaluationsdaten transparent und öffentlich zugänglich zu machen, so Volk. „Nur wenn wir als Forschende Zugang zu Evaluationsdaten haben, können wir feststellen, ob die gesetzten Ziele realistisch sind. So könnte unrealistischen Erwartungen, auch seitens der Förderorganisationen, entgegengewirkt werden“.

Wichtig sei auch die Diskussion über die Organisation der Evaluation, so Volk. Eine Stabsstelle, die zentral verantwortlich ist und vergleichbare Vorlagen für die Evaluation bereitstellt, könne beispielsweise in großen Kommunikationsabteilungen von Universitäten oder Museen sinnvoll sein.

*Benedikt Fecher ist Geschäftsführer von Wissenschaft im Dialog, einem der drei Träger des Portals Wissenschaftskommunikation.de

* Ricarda Ziegler arbeitet am Nationalen Institut für Wissenschaftskommunikation, einem der drei Trägerdes Portals Wissenschaftskommunikation.de