Frau van den Bogaert, Herr Wirth, Sie engagieren sich in Begleitforschungsprojekten. Was sind Gemeinsamkeiten und Unterschiede zu Evaluationen?  

Joachim Wirth: Die Gemeinsamkeiten sind aus meiner Perspektive, dass man versucht, auf Grundlage wissenschaftlicher Standards und mit empirischen Methoden bestimmte Fragestellungen zu klären. Der Unterschied liegt in der Fragestellung. Bei der Evaluation geht es darum zu überprüfen, ob man, beispielsweise mit einem Citizen-Science-Projekt, das erreicht, was man vorhatte – etwa eine bestimmte Teilnehmermenge, wissenschaftlich verwertbare Daten oder eine stärkere Kooperation zwischen Wissenschaftler*innen und Bürger*innen. Begleitforschung stellt andere Fragen. Sie ist eine stärker grundlagenwissenschaftliche Forschung. Aus meiner Perspektive der Lehr-Lernforschung würde ich beispielsweise fragen, ob ich mit meinen didaktischen Methoden etwas Bestimmtes bei den Bürgerinnen und Bürgern erreiche – etwa, dass sie mehr Vertrauen in die Wissenschaft aufbauen. Das sind immer Fragen nach Zusammenhängen. Dazu muss ich ein anderes Untersuchungsdesign wählen, als wenn ich nur deskriptiv herausfinden möchte: Wie viele Leute nehmen an irgendetwas teil?

Wozu braucht es eine solche Begleitforschung?

Joachim Wirth: Um die Wissenschaftskommunikation besser zu machen – und zwar auf der Basis von wissenschaftlich soliden Erkenntnissen.

Vanessa van den Bogaert: Es geht darum, die Erkenntnisse für die Praxis nutzbar zu machen. Es ist natürlich schön, wenn überall neue Formate entstehen. Aber wenn wir gar nicht wissen, wie und ob sie funktionieren und was man noch besser machen könnte, wäre das schade.

Können Sie an einem Beispiel erklären, wie Begleitforschung funktioniert? 

Joachim Wirth: In unserem Fall geht es um das Citizen-Science-Projekt „Plastic Pirates – Go Europe!“ bei dem Schulklassen und Jugendgruppen das Plastikmüllvorkommen an Flüssen erforschen. Wir schauen, ob die Teilnahme der Schülerinnen und Schüler einen Einfluss auf die Entwicklung von Interesse am Naturschutz oder an wissenschaftlichem Vorgehen hat. Und wir fragen: Welcher Aspekt dieser Citizen-Science-Jugendaktion ist es eigentlich, der zu dem Interesse führt? Die Hypothese, die geprüft wurde, lautet: Allein das Wissen darüber, dass man an einer echten wissenschaftlichen Untersuchung teilnimmt und zu ihr beiträgt, indem man Plastikmüll an den Flussufern sammelt und darauf bezogene Daten erzeugt und an ein wissenschaftliches Institut weiterleitet, führt zu einer Interessensveränderung. Wenn ich einen solchen Wirkungszusammenhang untersuchen will, dann muss ich ein experimentelles Design mit verschiedenen Projektvarianten wählen. In einer Variante wissen die Teilnehmenden, dass sie bei einem Citizen-Science-Projekt dabei sind. In einer anderen Variante machen andere genau dasselbe, aber wissen es nicht. Unterscheiden sich die beiden Gruppen am Ende in ihrem durchschnittlichen Interesse, lässt sich dieser Unterschied auf das Wissen über die Partizipation an echter Wissenschaft zurückführen.

Wie geht man an solche Forschungsprojekte heran? 

Joachim Wirth: Die Herangehensweise hängt von der Art der Frage ab. Geht es darum, eine Hypothese zu prüfen? Wenn ja: Welche Art der Hypothese ist das? Wenn ich keine Kausalität annehme, dann brauche ich kein experimentelles Design. Dann kann ich auch ein einfaches, korrelatives Design wählen. So kann ich bereits bestehende Zusammenhänge zwischen zwei oder mehreren Personenmerkmalen untersuchen. Zum Beispiel könnte man sich fragen: Gibt es einen Zusammenhang zwischen dem Alter und der durchschnittlichen Nutzungszeit pro Woche von Onlineanwendungen in einem Citizen-Science-Projekt. 

Wie man zu der Fragestellung kommt, ist ein anderes Thema. Erfahrungsgemäß ist das das Schwierigste am ganzen Forschungsprozess. Bei der Evaluation ist es häufig so, dass ich – vor allem bei drittmittelgeförderten Projekten – schon für den Antrag überlegen muss: Wie werde ich dem Geldgeber zeigen können, dass ich erfolgreich war? Schon dabei wird man bestimmte Kriterien definieren. Das können je nach Kriterium auch leicht zu erhebende Daten wie Teilnehmerzahlen sein. Bei einer Begleitforschung oder einer grundlagenwissenschaftlichen Fragestellung muss ich meine Hypothesen viel stärker aus der Literatur ableiten und theoretisch fundieren, damit die später erhoben Daten sinnvoll interpretiert werden können. Diese Theoriearbeit ist erfahrungsgemäß zeitintensiver als bei einer Evaluation.

Wie sieht das am Beispiel der Plastikpiraten aus? 

Joachim Wirth: Beim deutschen Projekt der Plastikpiraten lautet unsere grundlagenwissenschaftliche Fragestellungen: Wenn die Kinder wissen, dass sie Teil einer echten Untersuchung sind, oder dazu beitragen – welchen Effekt hat das auf bestimmte abhängige Variablen? Dazu nutzen wir ein experimentelles Design. Beim neuen, europäischen Pendant „Plastic Pirates – Go Europe!“ ist das ein bisschen anders gelagert. Wir sind dabei, eine Blaupause für Forschungsdesigns zu entwickeln, die überregional, auf EU-Ebene oder international angelegt werden können. Wir verstehen darunter eine Verbindung von forschungsmethodischen Zugängen: von experimentellem Design mit regionalem Bezug und Large-Scale-Analysen mit EU-weiter Perspektive. Selbst wenn man eine grundlagenwissenschaftliche Forschungsfrage hat, ist es bei solchen Projekten nicht möglich, an allen Standorten ein experimentelles Design zu verwirklichen. Dazu gibt es zu viele Beteiligte. Ich kann nicht zu jedem*r einzelnen Lehrer*in gehen und sagen: „Unterteile deine Klasse in zwei halbe Klassen und mit der einen Hälfte machst du dies und mit der anderen das.“ Deswegen versuchen wir ein Konzept zu entwickeln, wie man Large-Scale-Methoden, die man für das Gesamtprojekt verwenden muss, mit einzelnen regional durchgeführten Experimenten kombiniert. Es geht darum, dass man einen bestimmten Wirkungszusammenhang, der sich in einzelnen Experimenten herauskristallisiert, auf der überregionalen Ebene mit einem großen Datensatz in einem korrelativen Design noch mal nachzeichnet.

Werden allgemein bereits ausreichend Evaluations- und Begleitforschungsvorhaben durchgeführt?

Vanessa van den Bogaert: Ich glaube, man muss differenzieren. Wenn man zum Beispiel in die Bildungsforschung schaut, dann ist Begleitforschung dort in spezifischen Bereichen schon etabliert – vielleicht mit einem Überhang im naturwissenschaftlichen Bereich. Wir kennen natürlich die großen Studien wie Iglu, Pisa und Co. Wenn wir uns die Wissenschaftskommunikation angucken, würde ich sagen: Da sind zumindest Begleitforschungsvorhaben noch nicht so etabliert. Ein Evaluationsauftrag ist in jedem wissenschaftlichen, durch Drittmittel geförderten Projekt mitgedacht. Dabei gibt tolle Entwicklungen. In der Community überlegt man intensiv, wie man Leute dazu befähigen kann, eigenen evaluativen Fragestellungen nachzugehen. Aber Begleitforschung wird in Förderungen eigentlich nicht mitgedacht, weil das eine erkenntnistheoretische Extra-Frage ist. Es gibt allerdings Sonderforschungsbereiche wie bei Rainer Bromme in Münster, die aus verschiedenen Richtungen zu Wissenschaftskommunikationsmaßnahmen geforscht haben. Das ist aber nicht so alltäglich.

Joachim Wirth: Man sieht das auch an den Drittmittelgebern. Der Sonderforschungsbereich um Herrn Bromme war ein DFG-Projekt. Wer von der Deutschen Forschungsgemeinschaft gefördert werden will, muss grundlagenwissenschaftliche Fragestellungen verfolgen. Eine reine Evaluation würde sie nicht fördern. Wenn man schaut, wo die Drittmittel im Bereich Wissenschaftskommunikation herkommen, kann man überlegen: Wie viel Grundlagenforschung ist dabei und wie viel ist „nur“ anwendungsorientierte Evaluation? Das ist nicht despektierlich gemeint, denn beides sind berechtigte Forschungszugänge. Ich glaube aber, dass Evaluation in der Wissenschaftskommunikation häufiger gemacht wird, als grundlagenwissenschaftliche Forschung.

Sie haben angesprochen, es werde überlegt, wie Menschen in der Wissenschaftskommunikation für eigene Evaluationsprojekte befähigt werden können. Was braucht es dafür? 

Vanessa van den Bogaert: Im Rahmen der #FactoryWisskomm“ diskutieren wir das in der Arbeitsgruppe „Qualität, Evaluation und Wirkungsmessung“. Es gibt die Impact Unit bei WiD*, die Handwerkszeug bereitstellt, damit sich Interessierte informieren können, um ihren Evaluationsaufträgen selbst nachgehen zu können. Aber die Wissenschaftskommunikation hat ja Evaluation nicht neu erfunden. Es gibt zum Beispiel die DeGEval – Gesellschaft für Evaluation, die bereits Standards auf den Weg gebracht hat. Ich würde mir wünschen, dass man, wenn man eine Evaluationspraxis entwickelt und sich professionalisiert, solche bereitgestellten Ressourcen nicht aus dem Blick verliert. Die vorgegebenen Standards lassen sich auch weiterentwickeln und speziell für den Bereich Wissenschaftskommunikation anpassen.

Welche Fallstricke gibt es, wenn man selbst Evaluationen durchführen möchte?

Vanessa van den Bogaert: Ich glaube, das ist ganz unterschiedlich. Oftmals kommt für Projektdurchführende mit der Evaluation eine Extraaufgabe auf sie zu. Das ist ein Bereich, in dem sie eventuell nicht ausgebildet sind, sich also das Handwerkszeug erst noch aneignen müssen. Das sehe ich als ganz große Herausforderung – hinsichtlich zeitlicher Ressourcen und der individuellen Möglichkeiten, sich in einem laufenden Arbeitsprozess einzuarbeiten. Wenn ich zum Beispiel sage: Ich nutze Fragebögen, um herauszufinden, wie erfolgreich meine Maßnahme war, ist Fragebogen nicht gleich Fragebogen.

Joachim Wirth: Man sieht häufig ein bisschen hemdsärmelig gemachte Fragebögen, bei denen die Forscher*innen und Kommunikator*innen nach bestem Wissen und Gewissen selbst ein paar Items konstruiert haben. Das ist zwar alles kein Hexenwerk, aber man muss von Anfang an sehr genau definieren: Was sind die Kriterien, die ich erfassen möchte? Im Zweifelsfall sollte man sich interdisziplinäre Hilfe suchen. Wir arbeiten zum Beispiel an einem Projekt, bei dem es um die Analyse von Trinkwasserqualität geht. Wenn ich damit beauftragt würde, die Qualität der Daten, die Bürger*innen bei den Wasserproben erheben, zu evaluieren, wäre ich vollkommen aufgeschmissen. Da brauche ich eine*n Chemiker*in. Genauso würde der Chemiker niemals von sich aus ein Instrument einsetzen, um einen Interessenwandel zu erfassen. Ich glaube, interdisziplinäre Zusammenarbeit, die jede beteiligte Disziplin wertschätzt, macht gute Evaluation aus.

Was würden Sie sich noch für eine gute und erfolgreiche Evaluationspraxis in der Wissenschaftskommunikation wünschen? 

Joachim Wirth: Ein Toolkit ist wunderbar. Dann hat man ein paar Instrumente zusammengestellt. Aber das birgt natürlich die Gefahr, dass man ein Instrument aus diesem Toolkit einsetzt, ohne sich Gedanken zu machen, ob es wirklich das richtige ist. Viel wichtiger wäre, dass man eine Infrastruktur für interdisziplinäre Zusammenarbeit hat. Ich würde mir wünschen, dass man nicht Tools, sondern Kooperationen zu Verfügung stellt.

Vanessa van den Bogaert: Ich würde noch eins draufsetzen und mir neben diesen Match-Making-Kooperationen wünschen, dass man sich austauscht, um Methoden und Standards gemeinsam weiterzuentwickeln. Nicht nur konkret am einzelnen Projekt, sondern Begleitforschungsvorhaben auch auf einer Art Metaebene zu professionalisieren und weiterzuentwickeln. Ich glaube, in Deutschland gibt es an unterschiedlichen Stellen ganz viel Kompetenz. Ich fände es gut, wenn man die bündeln und zusammenbringen könnte.

*Wissenschaft in Dialog ist eine der drei Trägerorganisationen des Portals Wissenschaftskommunikation.de.