Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.

Die Forschenden selbst beenden ihren Artikel mit einem umfangreichen Katalog an Reflexionsfragen. Hier eine Auswahl daraus:

Reflexionsfragen für Lehrkräfte

• Was ist unsere Vision und was sind unsere Ziele in Bezug auf die Nutzung von Daten und wie wird dies in der Schule kommuniziert?
• Wie lauten unsere Normen und Strukturen für sichere Diskussionen über Daten?
• Wie können wir sicherstellen, dass die Schulleitung und die Lehrkräfte die Arbeit von „datateams“ priorisieren?
• Welche Unterstützung würde ich mir für die Datennutzung und die Arbeit in einem „datateam“ von der Schulleitung wünschen?
• Welche Aufgabe könnte ich bei der Datennutzung und der Arbeit in einem „datateam“ übernehmen?
• Wie teilen und entwickeln wir Wissen innerhalb der Teams?
• Wie stelle ich mir eine Vorbildfunktion der Schulleitung in Bezug auf die Datennutzung vor?
• Inwieweit bin ich bereit, Gewissheiten und Überzeugungen auf den Prüfstand zu stellen?

Reflexionsfragen für Schulleitungen

• Was ist unsere Vision und was sind unsere Ziele in Bezug auf die Nutzung von Daten und wie wird dies in der Schule kommuniziert?
• Wie lauten unsere Normen und Strukturen für sichere Diskussionen über Daten?
• Wie werden wir die Datennutzung und (die Arbeit von) „datateams“ in unserer Schule unterstützen?
• Wie können wir sicherstellen, dass die Schulleitung und die Lehrkräfte die Arbeit von „datateams“ priorisieren?
• Wie können wir die Nutzung von Daten und die Arbeit von „datateams“ erleichtern?
• Wie können wir in unserer Schule Strukturen für die Zusammenarbeit schaffen bzw. fördern?
• Wie können wir Lehrkräfte, die sich mit der Datennutzung beschäftigen, emotional und z. B. durch Arbeitserleichterungen unterstützen?
• Welche anspruchsvollen Aufgaben im Zusammenhang mit der Datennutzung können wir an Lehrkräfte delegieren?
• Wie teilen und entwickeln wir Wissen innerhalb der Teams?
• Wie sieht eine Vorbildfunktion in Bezug auf die Datennutzung aus?
• Wie können wir Lehrkräfte dazu ermutigen, ihre Überzeugungen und Annahmen über die Datennutzung zu hinterfragen?
• Wie können wir Lehrkräfte in Diskussionen über die Datennutzung einbeziehen und Diskussionen über die Datennutzung mit den Lehrkräften führen?
• Wie können wir sicherstellen, dass die Daten in dieser Schule für kontinuierliche Verbesserung und nicht nur für die Rechenschaftspflicht verwendet werden, und wie können wir Schuldzuweisungen und Beschämung vermeiden?
• Wie können wir ein Klima des Vertrauens, der Offenheit und des Respekts schaffen? 
• Wie können wir das in „datateams“ gewonnene Wissen zwischen dem Team und dem Rest der Schulgemeinde vermitteln?

Die Forschenden sahen im Jahr 2019 die Schulentwicklung vor der Notwendigkeit, sich im Bereich der Datennutzung bzw. des evidenzbasierten Handelns von einer datengetriebenen zu einer datengestützten Entscheidungsfindung weiterzuentwickeln. Den Unterschied sehen sie zum einen in der stärkeren Rolle der Expertise der Beteiligten vor Ort (Schulleitungen, Lehrkräfte) und zum anderen in einer breiteren Definition der Ziele, die mit Hilfe der Datenanalyse verfolgt werden sollen: nicht nur Leistung, sondern auch beispielsweise kritisches Denken und „well-being“ (Schildkamp et al. 2019, 283) könnten so in den Mittelpunkt einer datengestützten Schulentwicklung rücken. Allerdings erfordert diese Form evidenzbasierten Handelns ein hohes Maß an Kompetenzen bei Schulleitungen und Lehrkräften, das oftmals nicht vorhanden sei (vgl. die Metaanalyse von Marsh 2012). Daraus ergebe sich die Notwendigkeit, Schulen hier durch entsprechende Trainings zu unterstützen.

Ein zweiter Faktor, der von Einfluss auf evidenzbasiertes Handeln in Schulen sei, sei das Handeln der Schulleitungen. Die Studie rekurriert hier insbesondere auf den Begriff des „transformational leadership“ (Schildkamp et al., 2019, 285), eines transformationalen Führungsstils. Für diesen werden von den Forschenden im schulischen Kontext drei Bausteine als konstituierend angesehen:

1. Anbahnen und Festlegen einer gemeinsamen Vision, gemeinsamer Normen und Ziele und die Kommunikation derselben
2. Bereitstellung individueller Unterstützung, z. B. durch ein offenes Ohr für Bedenken, Förderung von kollaborativen Strukturen und das Angebot von Fortbildungen
3. Geben geistiger Anregung, z. B. durch die Ermutigung, eigene Überzeugungen zu hinterfragen oder Erkenntnisprozesse durch kritische Fragen voranzutreiben

Die präsentierten Ergebnisse sind Teil von Daten eines größeren Forschungsprojekts mit dem Ziel, Führungsverhalten an Schulen über einen längeren Zeitraum zu untersuchen. An diesem Forschungsprojekt nahmen 14 niederländische Schulen freiwillig teil. Aus diesem Projekt lagen die Ergebnisse einer Fragebogenstudie vor, bei der Lehrkräfte und Mitglieder der Schulleitungen zu ihrem evidenzbasierten Handeln befragt wurden. Daraus wurden Cluster gebildet (geringer, durchschnittlicher und hoher Datengebrauch), je nachdem, in welchem Ausmaß nach Auskunft der Befragten Daten zur Entscheidungsfindung in der Schule herangezogen wurden. Für die Interviews dieser Studien wurde je eine Schule aus den Kategorien hoch und niedrig und zwei aus der Kategorie durchschnittlich ausgewählt, die zudem die Kriterien erfüllen mussten, dass die „data-teams“ durch einen internen Experten/eine interne Expertin unterstützt wurden und dass mindestens ein Mitglied der Schulleitung sowie drei weitere Lehrkräfte Mitglieder des „data-teams“ waren. Als Mitglied der Schulleitung galten dabei nicht nur der Schulleiter oder die Schulleiterin sowie Stellvertreter oder Stellvertreterin, sondern auch die Leitungen einzelner Bildungsgänge der Schulen, die durchweg sowohl die Sekundarstufe I als auch II umfassten.

Die „data-teams“ wurden 1,5 bis 2 Jahre von einer externen Person aus dem universitären Kontext begleitet, die sie mit Expertise und Informationsmaterial versorgte. Sie trafen sich ca. alle drei bis vier Wochen zu einem etwa 90-minütigen Treffen und widmeten sich schulischen Problemstellungen, die sie selbst aussuchten. Der Prozess umfasste acht Phasen von der Problemidentifizierung über die Hypothesenformulierung, Datensammlung, -auswertung und -interpretation bis hin zum Ergreifen von Maßnahmen und der Evaluation derselben (vgl. die ausführliche Darstellung des Modells in Schildkamp et al., 2018).

Alle „data-team“-Mitglieder und die externen Expertinnen und Experten wurden dreimal im Verlauf der Intervention mit einem halb-strukturierten Leitfaden interviewt. Zusätzlich wurden fünf Sitzungen jedes „data-teams“ als Audio-Dateien aufgenommen, um die Aussagen der Teammitglieder triangulieren zu können. Alle Audio-Daten wurden transkribiert und von Ratern ausgewertet.

Dabei kam ein a priori erstelltes Kodierschema zum Einsatz, das auf den skizzierten Bausteinen transformationaler Führung fußte. Dieses wurde nach einem ersten Auswertungsdurchgang durch die zwei weiteren Bausteine „Herstellung eines förderlichen Klimas zur Datennutzung“ (z. B. durch die Fokussierung auf die Nutzung von Daten zur Schulentwicklung und nicht, um individuelle Verantwortlichkeiten zuzuweisen) und „Netzwerken“ ergänzt, da sich herausgestellt hatte, dass ansonsten Antworten nicht zuordenbar blieben. Mit diesen Kategorien wurden zunächst die vier Schulen fallintern kodiert, bevor im zweiten Schritt fallübergreifend analysiert wurde.

Schildkamp et al. untersuchen in ihrer Studie, welche Bausteine des Führungsverhaltens von Mitgliedern der Schulleitung sich in einer Arbeitsgruppe identifizieren lassen, die zu dem Zweck zusammenkommt, datenbasierte Entscheidungsfindung in der Schule zu befördern. Sie stellen dazu zunächst ausführlich die vier in der Studie betrachteten Schulen als Fallstudien vor.

Dabei werden große Unterschiede deutlich. Zum einen nehmen sich die Teams Problemen sehr unterschiedlicher Art und Reichweite an, wie z. B. dem unbefriedigenden Abschneiden von Schülerinnen und Schülern in den Abschlussklausuren in Geographie oder der Sitzenbleiberquote in der 9. Klasse. Sie kommen in den Prozessen einer datengestützten Entscheidungsfindung unterschiedlich weit, wobei sich bei den an der Studie beteiligten Schulen herausstellte, dass es die Ausnahme ist, wenn ein Team in dem zweijährigen Prozess auch wirklich Maßnahmen anstößt und diese evaluiert.

Große Differenzen finden die Forschenden auch im Führungsverhalten der Mitglieder der Schulleitungen in den vier Teams hinsichtlich der fünf identifizierten Bausteine:

1. Etablierung einer Vision, von Normen und Zielen, die mit dem datengestützten Handeln verbunden sein sollten: Während die meisten Schulleitungen mit klaren Visionen und Zielen in die Arbeit der Teams starteten und diese auch kommunizierten, waren in Bezug auf die Nachhaltigkeit dieser Entwicklung eines evidenzbasierten Handelns große Unterschiede festzustellen. Nur in einer Schule wurde die Arbeitsgruppe auch nach Ende der Intervention fortgeführt, in zwei anderen gab es von an Anfang an keine Ansätze zu solch einer Verstetigung.
2. Bereitstellung individueller Unterstützung für teilnehmende Lehrkräfte: Nur in zwei der beteiligten Schulen bekamen die Lehrkräfte emotionale Unterstützung durch individuelle Gesprächsangebote mit den Schulleitungen. Ansonsten wurde in allen Schulen versucht, günstige Rahmenbedingungen für die Mitarbeit in den „data-teams“ zu schaffen, z. B. durch monetäre Anreize oder eine geringere Unterrichtsverpflichtung. Dies erfüllte aber nicht in allen Fällen die Wünsche der Lehrkräfte.
3. Geistige Anregung: Alle Mitglieder der Schulleitungen wirkten als Role Models in die Arbeit der Teams hinein, indem sie z. B. vorbereitende Aufgaben übernahmen. Die Mehrheit ermunterte zudem Lehrkräfte, Führungsrollen in der Arbeitsgruppe zu übernehmen, oder sorgte für Gleichberechtigung aller Teilnehmenden. Als besonders bedeutsam stellte sich in den Interviews heraus, wenn die Schulleitungen Fachwissen z. B. über Statistik, einzelne Unterrichtsfächer und schulpolitische Zusammenhänge einbringen konnten.
4. Entwicklung eines förderlichen Arbeitsklimas: Nicht in allen Teams war eine vertrauensvolle und offene Arbeitsatmosphäre gegeben. Unterschiede bestanden zudem darin, ob die Teilnehmenden das Gefühl hatten, dass das Thema Datennutzung hohe Priorität bei der Schulleitung genießt, und ob es einen Zwang zur Teilnahme an dem „data-team“ gab.
5. Netzwerken innerhalb der Schule: Netzwerkaktivitäten der Schulleitung stellten in zwei der Schulen sicher, dass Ergebnisse des „data-teams“ an alle Mitglieder der Schulleitung weitergegeben wurden und es einen produktiven Austausch, auch mit dem Rest der Schulgemeinde, gab.

Auch wenn die Studie explorativ angelegt ist und sich rein auf qualitative Daten stützt, so betonen die Forschenden dennoch am Ende ihres Textes, dass sie in ihren Daten Anzeichen dafür sehen, dass es einen Zusammenhang zwischen dem Erfolg beim Arbeiten in den „data-teams“ und dem analysierten Führungsverhalten gibt: Die erfolgreichste Schule war gleichzeitig die, bei deren Führungskräften die meisten förderlichen Verhaltensweisen gefunden wurden, d. h. die fünf Bausteine in Gänze genutzt wurden.

Hintergrund
Die Studie kann sich auf Forschungsergebnisse stützen, die die deduktiv erstellten Kategorien für die Auswertung plausibel machen.

Design
Eingeschränkt wird die Aussagekraft der Studie durch die geringe Fallzahl der Befragten. Dies ist aber nicht wirklich ein Manko, weil die Studie von vorneherein nicht mit dem Ziel angetreten ist, etwas über Kausalbeziehungen zwischen dem Erfolg der „data-teams“ und dem Führungsverhalten der Schulleitungen in diesen Teams auszusagen. Es sollten lediglich die Bausteine dieses Führungsverhaltens identifiziert und möglichst genau beschrieben werden.

Ergebnisse
Schildkamp et al. untersuchen, welches Führungsverhalten Schulleitungsmitglieder in „data-teams“ zeigen, in denen es darum geht, datenbasierte Entscheidungsfindung in Schulen zu fördern. Die Studie stellt große Unterschiede zwischen den vier Schulen fest, sowohl in Bezug auf die Art der Probleme, die angegangen werden (wie z. B. enttäuschende Abschlussprüfungsergebnisse in Physik, Chemie und Geographie; hohe Wiederholerquoten in einer Jahrgangsstufe der Oberstufe bzw. sinkende Zahl der Schülerinnen und Schüler, die den Zugang in für die Fachhochschulreife qualifizierende Klassen erlangen), als auch auf den Fortschritt der datengestützten Entscheidungsprozesse. Unterschiede zeigen sich auch im Führungsverhalten der Schulleitungen und zwar in allen fünf als Bausteine eines förderlichen Verhaltens identifizierten Bereichen: Vision und Ziele, individuelle Unterstützung, intellektuelle Stimulation, Arbeitsklima und Netzwerken. Die erfolgreichste Schule wies die meisten positiven Führungsverhaltensweisen auf, was die Forschenden als Hinweis auf einen Zusammenhang zwischen Führungsverhalten und Erfolg der „data-teams“ interpretieren. Die Studie bietet einen interessanten, weil detaillierten Einblick in die Arbeitsweise der Arbeitsgruppen. Sie gibt daher zum einen für Schulen erste Hinweise auf ein Arbeitsverhalten, das für Arbeitsprozesse in data-teams förderlich wäre; zum anderen bietet sie einen Ausgangspunkt für weitere Forschung in diesem Bereich.