Frau Parchmann, werden Evaluationen bei Projekten im wissenschaftspädagogischen Bereich häufig genug mitgedacht?

Ich würde sagen: noch viel zu wenig. Was häufig mitgedacht wird, sind Zufriedenheitsbefragungen. Man fragt hinterher, ob es den Teilnehmer*innen gefallen hat. Es wird jedoch wenig modell- und theoriebasiert Evaluation betrieben. Es wird auch wenig mit Vergleichen gearbeitet. Das ist das, was Evaluationsforscher*innen als Goldstandard betrachten: Man hat nicht nur eine Intervention und guckt vorher und hinterher hin, sondern vergleicht mit einem zweiten Ansatz. Das wird nach wie vor wenig gemacht. Da ist noch Luft nach oben. 

Warum ist das so?

Zum Teil, weil die Finanzierung darauf ausgerichtet ist, Projekte anzubieten, aber nicht unbedingt auch auf die Begleitforschung dazu. Wirklich fundierte Forschung kann ich nicht durch drei Fragen am Ende umsetzen. Da brauche ich ein Instrument, das getestet und valide ist. Manche machen sich den Mehrwert von Evaluationen vielleicht nicht bewusst, weil sie die leuchtenden Augen der Teilnehmenden sehen und denken: Ich weiß doch, dass denen das Spaß macht! Warum soll ich da noch theoretisch fundiert hingucken? Ein weiterer Aspekt ist, dass viele Anbietende von Kommunikationsformaten – seien es die Wissenschaftler*innen selbst oder Unternehmen oder NGOs – das Know-how für Evaluationen gar nicht haben. Deswegen arbeiten wir in Co-Design-Formaten eng zusammen. Fachwissenschaftler*innen tragen das Inhaltliche bei, wir bieten dazu die Begleitforschung an, und daraus entstehen gemeinsam optimierte Ansätze.

Wo würde es sich aus Ihrer Erfahrung heraus lohnen, genauer hinzuschauen? 

Schon bei der Erfassung der Ziele – besonders der nachhaltigen Ziele – aber auch der Wirkmechanismen. Direkt nach einer Teilnahme bekommt man viel Feedback: Es hat den Schüler*innen sehr gut gefallen, sie haben genossen, selbst experimentieren zu dürfen. Aber was ist mit Fragen wie: Haben sie dabei fachlich etwas gelernt? Kann man damit das Interesse für Wissenschaft nachhaltig steigern, sodass es auch Wochen später noch vorhanden ist? Kann man an dem eigenen Zutrauen, der Selbstwirksamkeitserwartung, etwas ändern, sodass  Schüler*innen später sagen: Vielleicht ist Wissenschaft doch etwas für mich? Es gibt dazu ein paar Studien, in denen man leider oft findet, dass diese nachhaltige Wirkung – mit Ausnahme des Wissensbereichs – nicht unbedingt nachweisbar ist. Deshalb sollten wir die Frage stellen: Kann man solche Wissenschaftskommunikationsformate für Schüler*innen noch besser machen, sodass sie langfristige Wirkungen entfalten? Das zielt unmittelbar auf die Weiterentwicklung von Angeboten ab – und gleichzeitig auf die Theoriebildung zu Wirkmechanismen. 

Wie entwickeln Sie Fragestellungen zur Evaluierung von Projekten?

In Co-Design-Projekten arbeiten wir in Sonderforschungsbereichen – beispielsweise zur Entwicklung neuer medizinischer Sensoren, zu Metaorganismen, und zukünftig auch in einem Sonderforschungsbereich zu neuronalen Netzen und deren technischer Realisierung – so, dass wir mir den Fachkolleg*innen zunächst herausarbeiten: Was soll ein solches Programm erreichen? Was sollen Schüler*innen über das interdisziplinäre Arbeiten von Wissenschaftler*innen lernen? An welchen Beispielen und Fragestellungen kann man das zeigen? Auf Basis dieser Zielklärung entwickeln wir Instrumente, die gleichzeitig auf Bildungs- und Kommunikationsforschung aufbauen, zum Beispiel zu Interesse, Vertrauen oder Selbstwirksamkeitserfahrungen. Wir knüpfen somit auf der einen Seite an Grundlagenforschung an und auf der anderen Seite an inhaltsbezogene Zielsetzungen der Kolleg*innen, die ihre Wissenschaft mit uns zusammen kommunizieren wollen.

Können Sie das an einem Beispiel erklären? 

Wir haben das beispielsweise in einem früheren Sonderforschungsbereich für den Aufbau eines Schülerlabor-Programms gemacht, in dem es um Nanowissenschaften und molekulare Schalter ging. Hier haben wir zunächst Experimentierstationen entwickelt und erprobt. In einem zweiten Schritt haben wir diese mit Videos ergänzt. Diese Videos haben wir modellbasiert entwickelt. Das heißt: Wir haben ein Modell der Interessenforschung adaptiert und die verschiedenen Facetten der Tätigkeitsbereiche heutiger Wissenschaftler*innen darin abgebildet: Man arbeitet im Labor, entwickelt neue Theorien, tauscht sich mit Kolleg*innen aus, wirbt Projekte ein, arbeitet mit wissenschaftlichem Nachwuchs zusammen usw. Diese Vielfalt haben wir in den Videos abgebildet und die teilnehmenden Schüler*innen mittels einer Fragebogenerhebung jeweils vorher und nachher zu ihren Vorstellungen von Wissenschaftler*innen befragt. Eine Gruppe hatte diese zusätzlichen Videos, die andere nicht. Wir konnten feststellen, dass die Schüler*innen, die mit den Videos gearbeitet haben, ein breiteres und differenzierteres Verständnis von wissenschaftlichen Tätigkeiten bekamen. Im Vorfeld haben wir auch die Wissenschaftler*innen selbst interviewt, um sicherzustellen, dass die Videos zeigen, was sie wirklich tun. Außerdem haben wir sogenannte Think-Aloud-Studien gemacht, also Schüler*innen erzählen lassen, was sie in den Videos sehen. Wir wollten sichergehen, dass die entscheidenden Faktoren auch tatsächlich wahrgenommen werden. Mit diesem Vorgehen haben wir nicht nur ein evidenzbasiertes Programm etabliert, sondern auch einer Nachwuchswissenschaftlerin einen Weg in eine zukünftige Tätigkeit als Wissenschaftskommunikatorin im Bildungskontext ermöglicht.

Für solche Projekte braucht es Expertise aus verschiedenen Feldern. Eine Herausforderung bei Evaluationen ist also, Praxis und Wissenschaft zusammenzubringen?

Genau. Es wäre eine dringende Empfehlung, dass nicht jeder sagt: Das mache ich jetzt nebenbei auch noch mal ein bisschen. Das wäre ungefähr so, als wenn ich sage: Ich werde nebenbei Meeresforscherin. Man kann das nur über Kooperationen lösen – am besten aus drei Partner*innen: der Fachwissenschaft, die ihr Thema kommunizieren möchte, der Fachdidaktik oder Kommunikationswissenschaft, die die „Übersetzung“ des Themas auf Basis ihrer Forschung macht, und den Anbietenden, zum Beispiel den Schülerlaboren. So hat man alle drei Perspektiven berücksichtigt.

Was sind typische Herausforderungen bei der Evaluation und Begleitforschung? 

Die Zielfrage ist, wie aufgezeigt, schon selbst extrem wichtig. Einmal aus Sicht der Fachwissenschaft, aber auch aus Sicht der Begleitforschung. Eine wirklich große Herausforderung ist außerdem die Gewinnung der Beteiligten. Evaluationsbögen auszufüllen macht nicht unbedingt Spaß. Man muss Schüler*innen davon überzeugen, dass das wichtig ist, weil man Angebote nur besser machen kann, wenn man weiß, was bei ihnen ankommt. Außerdem muss man sicherstellen, dass sich Stichproben vergleichen lassen. Schüler*innen dürfen sich nicht schon in ihren Zugangsvoraussetzungen so sehr unterscheiden, dass kein valider Vergleich verschiedener Ansätze mehr möglich ist. In einem solchen Fall kann man aber über Fallstudien oder über qualitative Beobachtungsstudien erste Befunde generieren. Eine weitere Herausforderung ist: Wenn Anbietende von Wissenschaftskommunikationsformaten in Bildungskontexten sagen, sie machen mit, dann möchten sie auch Ergebnisse haben. Aber wenn man mehrere Klassen miteinander vergleicht, geht Zeit ins Land, bis alles ausgewertet ist. Ich glaube aber, dass hier in Zukunft digitale Verfahren zu schnelleren Ergebnissen führen können und damit vielleicht auch mehr Anbietende wie Teilnehmende dafür interessiert werden können, Angebote forschungsbasiert zu verbessern. 

An welche Grenzen kann man bei Evaluationsprojekten stoßen? 

Das ist eine wichtige Frage, weil die Effekte, die wir finden, oft sehr klein sind. Das kann man auch gut erklären: Schüler*innen gehen neun, zehn oder dreizehn Jahre zur Schule und nehmen dabei einmal an einem Schülerlabor teil. Es wäre unrealistisch zu erwarten, dass sich damit das ganze Bild von Wissenschaft, das eigene Können oder die Interessen drastisch verändern. Deswegen finden wir, wenn wir standardisiert messen, oft nur sehr kleine Wirkungen, die dann, wenn die Schüler*innen zurück im Schulalltag sind, sogar verschwinden können. Daraus kann man zwei Schlussfolgerungen ziehen. Die eine wäre, dass wir unsere Messmethoden weiterentwickeln müssen, um auch an kleinere Effekte heranzukommen. Das andere ist: Wir müssen von Einmalangeboten wegkommen und stattdessen Programme anbieten, die miteinander und mit schulischem Lernen vernetzt sind, so dass vertieft und wiederholt gearbeitet werden kann.

Wenn nur kleine Effekte gemessen werden, kann das den Erfolg von Programmen in Frage stellen. Ist das eine Gefahr für Veranstalter*innen? 

Ich würde es nicht Gefahr nennen, aber es ist eine Sorge, die viele haben. In der Tat denken einige: Mensch, ich habe hier einen Geldgeber und der möchte am Ende sehen, dass etwas dabei rauskommt. Wenn ich dem eine Zufriedenheitsbefragung und ein paar Fotos von begeisterten Kindern zeige, dann ist der ganz glücklich. Aber wenn ich ihm am Ende zeige: Wir haben bezogen auf die nachhaltige Interessensentwicklung nur kleine Effekte gefunden, die auch wieder verschwinden können, dann wirft das womöglich erstmal Zweifel auf. Daraus darf aber nicht der Schluss gezogen werden, nicht hinzuschauen und nicht auf Weiterentwicklungsbedarfe aufmerksam zu machen. Der Weg sollte doch eigentlich sein, dass ich den Geldgeber überzeuge, dass so ein Einmalangebot nicht ausreichend ist. Auch bei Wissenschaftskommunikationsangeboten in Bildungskontexten muss kontinuierlich mitgedacht werden, wie sie verbessert werden können, analog zu anderen Forschungsbereichen wie der Medizin oder Technik.

Haben Sie ein Beispiel für ein Projekt, das nach einer Evaluation verbessert wurde? 

Es gibt Schülerlaborangebote, die in ihrer Methodenvielfalt breiter geworden sind. Man hat gesehen: Nur durch das Experimentieren erreicht man bestimmte Ziele, was das Wissenschaftsverständnis angeht, nicht. In einem  weiteren KiSOC-Projekt haben wir zusammen mit Meeresforscher*innen eine Simulation zur Veränderung der Ostsee erarbeitet, weil Wissenschaftler*innen heute nicht nur im Labor stehen, sondern auch modellbasierte Prognosen machen, also mit Data-Science-Methoden und Simulationen arbeiten. Auch da haben wir jeweils vergleichend geguckt: Was lernen Schüler*innen, wenn sie experimentieren? Was lernen sie, wenn sie mit dieser Simulation arbeiten und was lernen sie, wenn wir beides kombinieren? Die Ergebnisse zeigen, in welcher Weise sich solche Methoden ergänzen. Andere Programme können darauf aufbauen und ihre eigenen Lernumgebungen ebenso weiterentwickeln. Ein solches gemeinsames Lernen findet bislang aber auch noch wenig statt. 

Was sollte man bei einer Evaluation von Anfang an mitdenken? 

Man muss sich über die Ziele des eigenen Angebotes klarwerden. Was will ich erreichen – und was kann ich mit der Dauer und Ausrichtung tatsächlich erreichen? Dass Schüler*innen rausgehen und alle sagen, sie wollen Wissenschaftler*in werden, ist natürlich unrealistisch und auch nicht gewünscht. Aber eine realistische Auseinandersetzung mit verschiedenen Aufgabenfeldern von Wissenschaft in der Gesellschaft kann dazu führen, dass junge Menschen ihre eigenen Interessen erproben und weiter verfolgen können und die Bedeutung und Arbeitsweisen von Wissenschaft besser verstehen können.  

Das heißt, teilweise werden zu hohe Ziele gesteckt? 

Ich finde es gut, große Ziel zu haben. Man möchte ja auch etwas erreichen. Aber man muss sich bewusst sein, dass die großen Ziele viele kleine Schritte brauchen. Es ist etwas naiv, anzunehmen, dass man mit einem Angebot gleich alles erreichen kann. Deshalb ist es in einem ersten Schritt wichtig, Angebote schulisch und außerschulisch besser zu verknüpfen. Man muss im Sinne der Optimierung auch Grenzen zulassen und sagen: Das Ziel der Berufsorientierung bspw. habe ich mit dem Programm nicht erreicht, aber eine Auseinandersetzung mit den eigenen Interessen vielleicht schon. Das muss man offen kommunizieren, damit auch andere davon lernen können. Die Grenzen der Möglichkeiten werden ja auch sonst in der Forschung benannt. Und die Schüler*innen nehmen trotzdem viel mit, dies zeigen Befragungen, die später mit Erwachsenen gemacht wurden. Dies gilt es ebenso aufzuzeigen und deutlich zu machen.