Wer regelmäßig Gespräche zum Thema Evaluation führt, wird schnell merken, dass der Begriff sehr unterschiedliche Reaktionen hervorruft. Manche sehen Evaluationen als willkommenen Anlass, ihre Arbeit zu reflektieren. Bei anderen löst allein die Erwähnung Druck aus, Evaluationen werden als Mehraufwand, vielleicht sogar als Prüfung empfunden. Wieso Evaluationen gerade für die Wissenschaftskommunikation wichtig sind, haben wir von der Impact Unit bereits im Beitrag „Evaluationen als projektbegleitende Lernprozesse“ thematisiert, der Einblicke in die Evaluationspraxis auf Basis einer Analyse von Evaluationsberichten gewährt. Doch damit Evaluationen das Feld wirklich bereichern können, muss auch die Meinung der Praktiker*innen in der Wissenschaftskommunikation einbezogen werden, die häufig mit der Evaluation ihrer eigenen Projekte betraut sind. Ob für sie der empfundene Mehrwert von Evaluationen den Aufwand aufwiegt, den eine gute Evaluation zweifellos erfordert, ist für die Qualität der Ergebnisse fundamental. Werden Evaluationen als „der Mühe nicht wert“ betrachtet, wird das entsprechend auch die Aussagekraft ihrer Ergebnisse beeinträchtigen.

Um ein besseres Bild zu bekommen, haben wir Ende 2019 eine Online-Befragung unter deutschen Wissenschaftskommunikator*innen und -kommunikatoren durchgeführt. Teilgenommen haben 109 Personen. Die Antworten geben Einblicke, wie die Befragten über Evaluationen denken, wie sie ihre Projekte evaluieren und welche Bedarfe sie für eine bessere Evaluationspraxis erkennen. Die Ergebnisse sprechen für einen hoffnungsvollen Blick auf die Potenziale von Evaluationen, liefern aber auch ein nüchternes Urteil hinsichtlich des Status quo.

Bevor wir einige Erkenntnisse vorstellen, noch ein kurzer Hinweis zu den Befragten: Die Befragung wurde über Social-Media-Kanäle und Newsletter in der Community der Wissenschaftskommunikation verbreitet. Die Teilnahme erfolgte auf freiwilliger Basis. Aus diesem Grund und aufgrund der Teilnehmendenzahl wird kein Anspruch auf Repräsentativität erhoben. Zudem lassen die Ergebnisse am ehesten Aussagen über die Wissenschaftskommunikationspraxis in großen wissenschaftlichen Einrichtungen zu. 40 Prozent der Befragten arbeiten in großen Institutionen mit mehr als 500 Mitarbeitenden, was durch den hohen Anteil von Befragten aus Hochschulen (29 Prozent) und außeruniversitären Forschungsinstituten (39 Prozent) zu erklären ist¹. Weniger stark vertreten sind hingegen Selbstständige (9 Prozent), Mitarbeitende aus Museen und Science Centern (4 Prozent) oder aus Stiftungen und ähnlichen Institutionen (6 Prozent). Ein Großteil gab zudem an, bei einer öffentlichen oder gemeinnützigen Organisation beschäftigt zu sein (89 Prozent)². Weitere Eckdaten zur Befragung, den Teilnehmenden sowie alle deskriptive Ergebnisse liefert diese Zusammenfassung.

Einigkeit über die Bedeutung von Evaluationen – Zweifel an eigenen Kompetenzen

Mit Blick auf die Ergebnisse scheinen Evaluationen im Allgemeinen einen guten Ruf in der Community zu genießen. Eine deutliche Mehrheit (87 Prozent) stimmt zu, dass Evaluationen wichtig für die Wissenschaftskommunikation sind. Mehr als die Hälfte finden ihre Ergebnisse meistens erkenntnisreich (58 Prozent; siehe Abb. 1). Trotz des empfundenen Mehrwerts zeigt sich aber auch, dass Evaluationen noch keine Selbstverständlichkeit sind. Tatsächlich gibt lediglich circa ein Drittel an, Projekte oft (19 Prozent) oder immer (17 Prozent) zu evaluieren, während ein weiteres Drittel manchmal evaluiert (32 Prozent) und der Rest selten (26 Prozent) bis nie (6 Prozent; siehe Abb. 2).

Evaluationen werden offenbar als theoretisch bedeutungsvoll angesehen. In der Umsetzung scheint es jedoch noch Nachholbedarf zu geben. Diejenigen, die angeben, nie zu evaluieren, führen dies unter anderem auf ungünstige Rahmenbedingungen zurück: fehlende Zeit, Ressourcen und Tools. Andererseits werden auch die eigenen Kenntnisse kritisch hinterfragt (siehe Abb. 2).

Betrachtet man die persönliche Einschätzung der Befragten, ob sie sich in der Lage fühlen, gute Evaluationen für Wissenschaftskommunikationsprojekte zu gestalten, zeigt sich ein breites Spektrum an ablehnenden (33 Prozent), unschlüssigen (24 Prozent) und zustimmenden (37 Prozent) Antworten (siehe Abb. 3). Diese Unsicherheit zeigt sich auch, wenn es um die Qualität von Evaluationen in der Wissenschaftskommunikation allgemein geht. Besonders auffällig ist hier der Anteil von 39 Prozent, welcher die Mittelkategorie wählt – und 23 Prozent, die keine Angabe machen (siehe Abb. 3).

Insgesamt deutet sich also ein Spannungsverhältnis in der Wahrnehmung von Evaluationen an, das von einem Wunschdenken, was Evaluation sein kann, und dem Eindruck, was die Praktiker*innen tatsächlich leisten können, geprägt scheint.

Große Erwartungen an Evaluationen – Fragezeichen bei der Umsetzung

Ein weiterer Anhaltspunkt für die Rolle von Evaluationen in der Praxis ist die Frage, mit welcher Motivation diese durchgeführt werden und was mit den Ergebnissen passiert. Die Antworten der Umfrage erwecken den Eindruck, als seien sowohl Eigeninteresse als auch von außen kommende Impulse häufig Anlass für Evaluationen: Ein großer Anteil der Befragten gibt an, Evaluationsergebnisse zur Reflexion im Team zu nutzen (79 Prozent) und auch die konzeptionelle Verbesserung künftiger Projekte als Verwertungszweck von Evaluationsergebnissen findet Zustimmung (64 Prozent). Nicht zu unterschätzen ist allerdings auch die Relevanz von Evaluationsergebnissen, um gegenüber Förderer*innen und Vorgesetzten Rechenschaft abzulegen (65 Prozent; siehe Abb. 4). 

Hier zeigen sich also unterschiedliche, oftmals gleichzeitig verfolgte³ Motivationen, die aber verschiedene Ansprüche an die Gestaltung einer Evaluation stellen können. Die Reflexion und Erarbeitung von Verbesserungsvorschlägen erfordert eine Auseinandersetzung mit den Entscheidungen und Abläufen während eines Projekts. Dagegen zielt eine Dokumentation des Projekts eher auf eine Endbilanz dessen ab, was das Projekt schlussendlich geleistet und erreicht hat. Entsprechend lohnt sich hier ein Blick auf die „Evaluationsroutinen“ der Praxis, die in der Befragung deutlich werden. Beispielsweise zeigt sich, dass die Praktiker*innen vor allem zum Ende des Projekts (76 Prozent) Daten erheben und seltener vor (20 Prozent) und/oder während des Projekts (58 Prozent; siehe Abb. 5). Dies würde eher der Evaluation zur Leistungsdokumentation⁴ beziehungsweise als Endbilanz entsprechen, als der häufig angegebenen Evaluation zur Reflexion im Team oder konzeptionellen Verbesserung. Schließlich werden entscheidende Zeitpunkte in frühen Projektphasen, in denen das Konzept geprüft oder die Planung hinterfragt werden könnten, insgesamt seltener fokussiert. Die Erwartungen daran, was die Evaluation erreichen soll, ist das Eine. Eine entsprechende Umsetzung, um diesen Erwartungen gerecht zu werden, das Andere.

Das Potenzial, das Evaluationen für die Praxis-Community bieten, wird offenbar auch aus Sicht der Befragten noch lange nicht ausgeschöpft. Ihre Einschätzungen hinterlassen den Eindruck, dass viel Unsicherheit besteht, wie gesetzte Erwartungen überhaupt erfüllt werden können. So stimmt die Hälfte der Befragten der Aussage eher oder voll und ganz zu, dass Evaluationen manchmal genutzt werden, um Erfolge zu belegen, zu denen gar nicht die richtigen Daten vorliegen (siehe Abb. 6). Diese Befürchtung könnte auch erklären, wieso 16 Prozent der Befragten der Ansicht sind, dass Ressourcen für aufwendige Evaluationen besser in die Projektumsetzung investiert werden sollten (siehe Abb. 6).

Was nehmen wir mit und wie geht es weiter?

Die Umfrage-Ergebnisse zeichnen ein durchaus positives Bild von Evaluationen in der deutschen Community der Wissenschaftskommunikation ab – zumindest in der Theorie. Spricht man allerdings von eigenen Erfahrungen oder Eindrücken der Evaluationspraxis in der Wissenschaftskommunikation allgemein, werden an verschiedenen Stellen Zweifel und Schwächen deutlich. Insgesamt sprechen die Ergebnisse dennoch für eine gute Ausgangslage zur Verbesserung der Evaluationspraxis, da die Wichtigkeit von Evaluationen große Zustimmung erfährt. Was die Bedarfe für diese verbesserte Praxis angeht, finden die Befragten in den abschließenden offenen Antwortfeldern klare Worte: Was es braucht, sind unter anderem mehr Informationen zum Thema und Zugang zu Expertise im Bereich Evaluation, Tools und die Unterstützung weiterer Stakeholder in der Wissenschaftskommunikation, auch in Form von finanzieller Unterstützung (siehe Abb. 7). Einige Forderungen wird die Impact Unit ab diesem Jahr adressieren: Erste Tools und Informationen sind auf dem Weg. Wünschenswert wäre, dass eine Verbesserung der Umstände für die Evaluationspraxis auch zur Folge hat, dass sich ein gemeinsamer Lernprozess etabliert und Praktiker*innen ihre Erkenntnisse miteinander teilen, anstatt diese lediglich intern und mit Vorgesetzten zu besprechen. Auf diese Weise kann das gesamte Feld von konstruktiven Evaluationen profitieren – und das Bild der Evaluation als schlichte Leistungsdokumentation rückt in den Hintergrund.

*Wissenschaft in Dialog ist eine der drei Trägerorganisationen des Portals Wissenschaftskommunikation.de.

Gastbeiträge spiegeln nicht zwangsläufig die Meinung unserer Redaktion wider.