Maxwell et al. greifen für ihre Untersuchung auf systemische Ansätze zurück, die z. B. im Bereich der Evaluation sozialpolitischer Maßnahmen verwendet werden. Einfache Ursache-Wirkungs-Modelle haben nach ihrer Ansicht eine Mitschuld daran, dass Maßnahmen, die auf Veränderungen einer vorhandenen Praxis oder Systemveränderungen abzielen, nicht die gewünschten Erfolge haben. Um die Komplexität von Veränderungsprozessen analysieren zu können, greifen die Forschenden auf Ansätze der Systemtheorie und des systemischen Denkens zurück (vgl. Lai & Huili Lin, 2017).

Die Forschenden definieren als heuristischen Rahmen vier Systemdimensionen mit mehreren Unterkategorien und Leitfragen, die es ermöglichen sollen, sich komplexen Systemen analytisch zu nähern.

1. Systemdefinition und -perspektive

• Systemdefinition
  Was sind die zentralen (Sub)Systeme und wie werden sie definiert?
  Kategorien: Thema, Fokus, beteiligte Gruppen und Organisationen, Betrachtungsebene (z. B. lokal, regional, national) etc.
• Systemperspektive
  Aus welcher Perspektive wird das System betrachtet?
  Kategorien: Forschende, Nutzende, politische Akteure etc.

2. Systemakteure und -aktivitäten

• Systemakteure
  Wer sind die Akteure, was sind ihre Rollen und wie sind ihre Beziehungen untereinander?
  Kategorien: Führungspersonen, Forschende, Akteure der Informationsaufbereitung und Informationsvermittlung, Nutzende etc.
• Systemaktivitäten
  Welche Aktivitäten werden von wem und wie unternommen? Mit welchen Beziehungen, Synergien und Spannungen gehen die Aktivitäten auf den verschiedenen Systemebenen einher?
  Kategorien: Führung, Forschung, Fortbildung, Nutzung etc.

3. Systemcharakteristika

• Komplexität
  Ist das System einfach, kompliziert oder komplex?
• Ebenen und Vernetzung
  Welche Ebenen gibt es und welche Beziehungen bestehen zwischen ihnen (Verschachtelung, Hierarchie)?
• Attribute
  Welche Attribute komplexer Systeme sind relevant und wie werden sie operationalisiert?
  Kategorien: Verknüpfungen, Informationsflüsse, Lernkultur, Innovationsbereitschaft, Perspektivenvielfalt, Systemdynamiken, Vorhersagbarkeit, etablierte Interaktionsbeziehungen etc.

4. Systemveränderung

• Treiber der Veränderung
  Welche Treiber verändern das System und wie wirken sie zusammen?
  Kategorien: Potenzialbildung, Gruppenqualität, Pädagogik, Wohlbefinden, soziale Intelligenz, Gleichheit, Systemdenken
• Inhärente Entwicklungsdynamik
  Gibt es eine Dynamik im System, so dass es sich im Laufe der Zeit von alleine entwickelt?
• Kausale Einflüsse
  Welche kausalen Mechanismen beeinflussen die Veränderungsprozesse auf und zwischen den Ebenen?

Vor diesem Hintergrund betrachten die Forschenden vier gebräuchliche Modelle, die genutzt werden, um die Nutzung von Forschungsergebnissen im Bildungsbereich zu konzeptualisieren (Cabinet Office, 2018; Campbell & Levin, 2012; Gough et al., 2021; Rickinson et al., 2020). Sie kommen zu dem Schluss, dass alle Modelle multiple Einflüsse auf die Nutzung von Forschungsergebnissen beachten, aber keines umfassend ist und damit die Gefahr besteht, Aspekte zu übersehen. Insbesondere kausale Prozesse und Mechanismen bleiben weitgehend ausgeblendet.

Die präsentierten Ergebnisse basieren auf einer Reanalyse von Daten, die in den Jahren 2016 bis 2018 in zwei englischen Schulbezirken (South und West Yorkshire und Lincolnshire) erhoben wurden. Evaluiert wurde seinerzeit die Verbreitung von evidenzgestützten Erkenntnissen zum effektiven Einsatz von pädagogischem Unterstützungspersonal (Teaching Assistants, TA).

Dazu war von der britischen Education Endowment Foundation (EEF) – einem von mehreren „What Works“- Zentren, die die britische Regierung 2011 ins Leben rief, um die Wirksamkeit von politischen Maßnahmen unabhängig evaluieren zu können – forschungsbasiert eine Richtlinie erarbeitet worden, wie diese TAs möglichst effektiv an den Schulen eingesetzt werden sollen. In zwei englischen Schulbezirken wurde der Versuch unternommen, damit den Einsatz der TAs zu verändern und im Ergebnis bessere Lernergebnisse zu generieren. Insgesamt waren 715 Grund- und weiterführende Schulen beteiligt.

Die Daten waren in einem Mixed-Method-Design erhoben worden (zu finden in Maxwell, Coldwell et al., 2019; Maxwell, Willis, Culliney, Coldwell, Demack et al., 2019; Maxwell, Willis, Culliney, Coldwell & Reaney, 2019; Sibieta & Sianesi, 2019). Erfasst wurden zum einen quantitative Daten zu den Schülerleistungen und zum anderen qualitative Daten aus Interviews. Letztere setzten sich folgendermaßen zusammen: längsschnittliche, halbstrukturierte Interviews mit Beteiligten (South und West Yorkshire mit 15 Teilnehmenden, Lincolnshire mit 17 Teilnehmenden sowie eine Fokusgruppe mit 13 Teilnehmenden); Fallstudien an Schulen, bestehend aus halbstrukturierten Interviews oder Fokusgruppen mit Schulleitungen, Lehrkräften und TAs sowie der Überprüfung von Schuldokumenten (South und West Yorkshire – 14 Fälle, einschließlich der Datenerhebung von 20 Schulleitungen, 43 Lehrkräften und 52 TAs; Lincolnshire – 2 Fälle mit insgesamt 14 Teilnehmenden); sowie 15 halbstrukturierte Telefoninterviews in Lincolnshire mit den Personen in den Schulen, die für die Leitung der Projektimplementierung verantwortlich waren.

Die vorangegangene Evaluation hatte erbracht, dass sich die Leistungen der Lernenden an den untersuchten Schulen kaum verbesserten. Lediglich in einem standardisierten Englisch-Test war eine Verbesserung um 0,03 Standardabweichungen festgestellt worden. Bezüglich einer Veränderung des Einsatzes der TAs hatte sich eine moderate Veränderung hin zu den von der Education Endowment Foundation (EEF) empfohlenen Richtlinien gezeigt. Diese Veränderungen waren in Lincolnshire stärker. Dort war die Implementation mehr an systemischen Gesichtspunkten orientiert erfolgt und zielte beispielsweise auf die Bildung von Netzwerken zwischen Akteuren des EEF, der regionalen Strukturen der Bildungsadministration und der Schulen.

In ihrer Reanalyse untersuchten die Forschenden die qualitativen Daten erneut, indem sie die von ihnen entwickelten vier Dimensionen (s. Hintergrund) anlegten. Dabei fokussierten sie die Akteure und deren Interaktionen. Die Auswertung erfolgte in Anlehnung an die „Adaptive Theory“ nach Layder (1998), einer Kombination aus deduktivem und induktiven Vorgehen, bei dem die Daten unter Bezug auf theoretische Überlegungen analysiert werden und die Auswertungen wiederum dazu dienen, das herangezogene Modell weiterzuentwickeln.

Die Analyse identifiziert die EEF als Vermittlungsinstanz auf der Systemebene, die zwischen der nationalen Bildungsadministration und den regionalen Institutionen steht. Sie wird als eine vertrauenswürdige Instanz gesehen, was von den beteiligten Akteuren auf die Materialien und Informationen übertragen wird.

Die EEF-Richtlinien zum Einsatz der TAs wurden über verschiedene Kanäle, z. B. schriftliche Veröffentlichungen oder Präsentationen, direkt an die regionalen Administrationen und die Schule gebracht. Dabei wurden auch Lehrergewerkschaften und die Schulaufsicht mit ins Boot geholt, was einen positiven Einfluss auf die Verbreitung der Informationen hatte. Von den beteiligten Schulleitungen wurde trotzdem berichtet, dass es Widersprüche zwischen den EEF-Richtlinien und vorhandenen Richtlinien der Schulaufsicht gab.

Des Weiteren stellt sich heraus, dass ein sogenanntes „integriertes Modell“ erfolgsversprechender war, bei dem die EEF zunächst genaue Kenntnisse der regionalen Schulentwicklungsinstitutionen und der in diesen tätigen Personen erwarb, um diese dann gezielt in das Projekt einzubeziehen und eine regionale Steuergruppe zu bilden. Diese Maßnahme sehen Maxwell et al. als zentral für eine erfolgreiche Unterstützung des Projekts durch regionale Akteure an.

Regionale Vermittlungsinstanzen spielen nach Meinung der Forschenden eine Schlüsselrolle. Sie müssen über ein vertieftes Wissen in Bezug auf die beteiligten Schulen und den zu vermittelnden Gegenstand verfügen, glaubwürdig und vertrauenswürdig sein und bei der Umsetzung der Inhalte Anpassungen an die lokalen Gegebenheiten vornehmen. Zudem müssen sie einen kollaborativen Ansatz in der Zusammenarbeit mit den Schulen an den Tag legen und engagiert an der Umsetzung des Projektes arbeiten.

In den Schulen braucht es an den entscheidenden Stellen (Schulleitung und mit der Implementation betraute Personen) motivierte und kompetente Menschen, die in Kontakt mit der EEF und den regionalen Akteuren die Implementation in den Schulen vorantreiben. Die Ergebnisse verdeutlichen, wie wichtig es ist, dass diese Personen in den Schulen eine starke und anerkannte Position haben. Darüber hinaus stellen sich die Verhältnisse an der Schule als zentral dafür heraus, wie die Richtlinien dort umgesetzt wurden. Demnach kommt es auf Faktoren wie die Einstellung von Personen in Führungspositionen, das Schulklima, die Fehlerkultur, die Stabilität im Führungspersonal oder die Fehlquote der Lehrkräfte an.

Hintergrund
Die erfolgreiche Implementation von Programmen und Maßnahmen, die auf Grundlage von Forschungsergebnissen entwickelt wurden, ist trotz ihrer Fundierung ein voraussetzungsreicher Prozess. Maxwell et al. beleuchten anlässlich der vorangegangenen Evaluation eines wenig wirkungsvollen Programms das Zusammenwirken verschiedener Ebenen und Akteure im Bildungsbereich. Hierfür bestimmen sie unter Rückgriff auf systemische Ansätze vier Systemdimensionen (u. a. „Systemakteure und -aktivitäten“) sowie zugehörige Kategorien (z. B. Führungspersonen, Forschende, Akteure der Informationsaufbereitung und -vermittlung) und analysieren damit die ursprünglichen Evaluationsdaten erneut, um relevante Akteure und Bedingungen für die erfolgreiche Implementierung von evidenzgestützten Veränderungsprogrammen zu identifizieren.

Die Forschenden stellen ausführlich dar, auf welche Ansätze sie rekurrieren und schaffen Transparenz darüber, auf welche Grundlagen sie sich bei der Erstellung der Dimensionen für ihre systemische Analyse stützen.

Zur Plausibilisierung der hergeleiteten Dimensionen untersuchen sie vier Modelle der Nutzung von Forschungsergebnissen im Bildungsbereich und stellen fest, dass keines alle Dimensionen umfänglich berücksichtigt und insbesondere kausale Prozesse und Mechanismen zwischen den Systemelementen nicht thematisiert werden, so dass die adaptive, unvorhersagbare und emergierende Natur komplexer Systeme in diesen Modellen nicht expliziert wird.

Dies lässt nicht nur erkennen, dass die zielführende Gestaltung der Zusammenarbeit der Systemakteure sowie des Zusammenwirkens der Systemaktivitäten in Modellen zur Nutzung von Forschungsergebnissen in der Praxis oftmals unterbelichtet ist, sondern verweist auch auf ein grundlegendes Problem, das sich in regelmäßigen Forderungen nach Kohärenz und Alignment von Maßnahmen zur Schulentwicklung widerspiegelt (vgl. Rolff, 2014; Netzwerk Bildungsmonitoring, 2025).

Design
Die Auswertung der bereits vorhandenen Daten mit Hilfe der neugebildeten Kategorien wirkt schlüssig. Vieles an dem Erkenntnisprozess der Forschenden bleibt allerdings im Dunkeln, da die Ergebnisse sehr global präsentiert werden. So gibt es keine Beispiele, wie die qualitativen Daten (Interviews) codiert wurden und wie genau die Zuordnung von Befunden zu den verschiedenen Dimensionen des zugrunde gelegten Modells passierte.

Ergebnisse
Die Analyse der Forschenden verdeutlicht die Bedeutung der Akteure auf den verschiedenen Ebenen und die ihrer Interaktionen, wenn es darum geht, Forschungsergebnisse in Schulen zu bringen. Sie hebt die Rolle der Education Endowment Foundation (EEF) als vertrauenswürdige Instanz hervor und betont die Bedeutung einer Kooperation mit Organisationen wie Lehrergewerkschaften und weiteren Instanzen wie der Schulaufsicht. Dabei erweist sich ein „integriertes Modell“, das auf detaillierten Kenntnissen der regionalen Institutionen und einer gezielten Einbindung relevanter Akteure in einer gemeinsamen Steuergruppe basiert, als besonders erfolgsversprechend.

Regionale Vermittlungsinstanzen werden als entscheidend für die Projektumsetzung eingestuft. Sie müssen fundierte Kenntnisse über die beteiligten Schulen und Themen haben, glaubwürdig sein und die Inhalte an lokale Gegebenheiten anpassen. Ein kollaborativer Ansatz sowie ein hohes Engagement in der Zusammenarbeit mit den Schulen sind ebenfalls erforderlich.

Auf Schulebene sind motivierte und kompetente Personen in Führungspositionen entscheidend für die erfolgreiche Implementation. Diese Personen müssen eine anerkannte Stellung in der Schule haben und eng mit der EEF sowie regionalen Akteuren zusammenarbeiten. Faktoren wie das Schulklima, die Fehlerkultur, Stabilität im Führungspersonal und Fehlquoten der Lehrkräfte beeinflussen wesentlich die Umsetzung der Richtlinien.

Mit diesen Aspekten geben Maxwell et al. Impulse, worauf bei Implementierungsprozessen zu achten ist. Diese verlieren jedoch dadurch Überzeugungskraft, dass die Verbreitung der Leitlinien zum Einsatz von TAs nur sehr eingeschränkt Erfolg hatte, die hier herausgearbeiteten Faktoren sich demnach in der Praxis noch bewähren müssen.