Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.

Reflexionsfragen für Lehrkräfte

• Wie gut bin ich über aktuelle Forschungsergebnisse im Bereich Didaktik und den aktuellen Leistungsstand meiner Schülerinnen und Schüler informiert?
• Wie nutze ich diese Informationen zur Verbesserung meines Unterrichts?
• Inwiefern tausche ich mich im Kollegenkreis über vorliegende Daten (s. o.) aus und arbeite mit meinen Kolleginnen und Kollegen zusammen an Verbesserungen in der Unterrichtspraxis?
• Welche Qualität haben die Zusammenarbeit und die vertrauensvollen Beziehungen in meinem Kollegium und was wird zu ihrer Verbesserung getan?
• Welche Rolle spielen Teamleitungen beispielsweise in Fachkonferenzen oder Jahrgangsstufenteams? Welche Impulse gehen von ihnen für evidenzbasiertes Handeln aus?

Reflexionsfragen für Schulleitungen

• Wie gut ist mein Kollegium über aktuelle Forschungsergebnisse und den aktuellen Leistungsstand unserer Schülerinnen und Schüler informiert?
• Wie nutzen sie diese Informationen zur Verbesserung ihres Unterrichts?
• Inwiefern unterstütze ich den Austausch über vorliegende Daten (s. o.) in Arbeitsgruppen und daraus resultierende Änderungen in der Unterrichtspraxis?
• Welche Qualität haben die Zusammenarbeit und die vertrauensvollen Beziehungen in meinem Kollegium und was tue ich zu ihrer Verbesserung?
• Welche Rolle spielen Teamleitungen beispielsweise in Fachkonferenzen oder Jahrgangsstufenteams? Welche Impulse gehen von ihnen für evidenzbasiertes Handeln aus? Wie unterstütze ich solche Strukturen?
• Welche Elemente eines „distributed leadership“ (verteilte/kooperative Führung) existieren an meiner Schule und was tue ich, um die Teamleitungen zu stärken?

Die Studie muss vor dem Hintergrund der spezifischen Verhältnisse im US-amerikanischen Schulsystem gesehen werden. Die Forschenden weisen darauf hin, dass eine Vielzahl standardisierter Tests, deren Ergebnisse detailliert in die Schule zurückgemeldet werden, die Lehrkräfte förmlich mit Daten überfluten. Nicht immer gelingt es diesen jedoch, die Daten für eine Verbesserung ihres Unterrichts zu nutzen. Als wichtige Faktoren, die die Datennutzung beeinflussen, werden in der Forschung bislang die Schulleitungen, eine positive Datennutzungskultur und eine effektive Zusammenarbeit innerhalb des Lehrerkollegiums identifiziert (Abrams et al. 2021, S. 2).

Um das Verständnis für diese Faktoren weiter auszubauen, entwarfen die Forschenden einen konzeptionellen Rahmen (Abrams et al. 2021, S. 2), der die Datennutzungspraxis durch Lehrkräfte einerseits im Hinblick auf ihren Prozess und andererseits in Bezug auf die strukturellen Rahmenbedingungen modelliert. Der Prozess wird gesehen als ein Kreislauf aus den Elementen „Sammeln und Verfügbar-Machen von Daten“, „Organisation der Daten“, „Analyse und Interpretation der Daten“, „Umsetzung in Unterrichtspraxis“, „Lernergebnisse“ und „Evaluation der Effektivität“. Er ist eingebettet in strukturelle Rahmenbedingungen bestehend aus „Soziales und Humankapital“ (zum Beispiel Fachwissen der Lehrkräfte, Zusammenarbeit, vertrauensvolle Beziehungen), „Ressourcen“ (zum Beispiel Zeit oder finanzielle Mittel) sowie „strukturelle Kapazitäten“ (Schulleitung, Schulkultur etc.).

Zu den einzelnen Elementen dieses Rahmens liegen bereits Studien vor, die ihren Einfluss auf evidenzbasiertes Handeln von Lehrkräften belegen. Die Forschenden rücken nun die Verbindungen zwischen dem Prozess und den strukturellen Rahmenbedingungen in den Fokus.

Für die Studie wurde ein Mixed-Methods-Design genutzt, für das sehr verschiedene Daten erhoben und ausgewertet wurden, wie standardisierte Fragebögen, qualitative Interviews, Beobachtungen von Teammeetings und Dokumentenanalysen, beispielsweise Reflexionen der Lehrkräfte.

Den Ergebnissen, die in diesem Artikel publiziert wurden, liegt die Auswertung von standardisierten, quantitativ ausgewerteten Fragebögen von 28 Lehrkräften aus 9 Grund- (46 %) und Mittelschulen (54 %) eines amerikanischen Schulbezirks zugrunde. Diese Lehrkräfte hatten im Durchschnitt 14 Jahre Lehrerfahrung, vertraten verschiedene Fächer und waren überwiegend weiß (96 %) und weiblich (89 %). Sie nahmen in Jahrgangsteams oder Fachgruppen an einer Fortbildungsmaßnahme teil, die aus einem dreitägigen Sommerworkshop und einer sich daran anschließenden Unterstützungsmaßnahme zum Umgang mit Daten zur Verbesserung der Unterrichtspraxis bestand. Dabei lernten die Teilnehmenden zum Beispiel technische Tools kennen und setzten sich unter Anleitung mit den vorliegenden Daten zu den Ergebnissen ihrer Lerngruppen auseinander. Vor, unmittelbar im Anschluss an die Fortbildungsmaßnahme in den Sommerferien und am Ende des Schuljahres wurden die Lehrkräfte mit Hilfe des standardisierten Fragebogens befragt, der 67 Items verteilt auf 9 Konstrukte wie Zusammenarbeit zwischen Lehrkräften oder Datenkompetenz enthielt und auf einer vierstufigen Likert-Skala von „1 = ich stimme überhaupt nicht zu“ bis „4 = ich stimme vollständig zu“ bzw. „nie“ zu „immer“ beantwortet werden sollte. Die Items wurden teilweise in Anlehnung an Fragen aus anderen, schon durchgeführten Studien zu dieser Thematik formuliert (vgl. Huberman et al. 2015; Mandinach & Gummer 2016; Dunn et al. 2013).

Zusätzlich wurden für den Artikel 15 halbstrukturierte Interviews mit Schulleitungen aus dem gleichen Distrikt ausgewertet. Diese dauerten im Durchschnitt 45 Minuten und hatten zum Beispiel die Datennutzungskultur, die zur Verfügung stehenden Ressourcen in diesem Bereich oder den Bedarf an Weiterbildungen zum Thema.

Bei der Datenauswertung kamen bei den Fragebögen trotz der geringen Teilnehmerzahl varianzanalytische Verfahren zum Einsatz, um gefundene Unterschiede zwischen den Messzeitpunkten in Bezug auf ihre Signifikanz einschätzen zu können, da die Daten trotzdem die Voraussetzungen dafür erfüllten. Für die Auswertung der Interviews wurde die Software ATLAS.ti 8 genutzt. Die so gewonnenen Daten wurden von einem dreiköpfigen Team mit Hilfe eines Kodierleitfadens weiterverarbeitet. Regelmäßige Teamtreffen und eine gemeinsame Codierung einzelner Interviews sollten die Reliabilität und die Konsistenz der Analyse sicherstellen.

Zu ihrer ersten Forschungsfrage, ob die Fortbildungsmaßnahme einen Einfluss auf die von den Lehrkräften selbstberichtete Datenkompetenz („data literacy“), Effektivität der Datennutzung und die Fähigkeiten zur Zusammenarbeit mit anderen Lehrkräften hat, finden die Forschenden eine signifikante Erhöhung der Werte bei den Items zu diesen Konstrukten. Liegt diese bei der ersten Befragung beispielsweise zu der Datenkompetenz bei einem arithmetischen Mittel von M = 2.96, so steigt dieser Wert bei der Befragung im Anschluss an die Maßnahme auf M = 3.41 und liegt im Follow-up-Test bei M = 3.31. Bei den von den Forschenden ebenfalls als bedeutsam eingeschätzten Konstrukten „vertrauensvolle Beziehung“ und „Zusammenarbeit“ finden sich von Messzeitpunkt 1 zu Messzeitpunkt 2 keine Unterschiede; erst bei der dritten Befragung am Schuljahresende ist der Wert für beide gestiegen von M = 3.01 auf M = 3.10 bzw. von M = 2.81 auf M = 2.99. Signifikant ist dabei jedoch nur der letztgenannte Anstieg.

Die zweite Forschungsfrage fokussiert den Zusammenhang zwischen dem Prozess der Datennutzung und den strukturellen Rahmenbedingungen auf der einen und der von Lehrkräften berichteten Datenkompetenz nach der oben beschriebenen Fortbildung zur Datennutzung auf der anderen Seite. Hier ist das Ergebnis der durchgeführten Analyse der bivariaten Korrelationen zweigeteilt: Während sich starke bis mittlere Zusammenhänge zwischen einzelnen Elementen des Prozesses der Datennutzung und der selbstberichteten Datenkompetenz zeigen, ist ein solcher Zusammenhang zu den strukturellen Rahmenbedingungen wie der unterrichtsbezogenen Führung der Schulleitung („instructional leadership“) und einer unterrichtsbezogenen Verbesserungskultur („instructional improvement culture“) nicht zu messen. Im Einzelnen zeigt sich eine Korrelation zwischen der Verbesserung der Datenkompetenz und der Effektivität bei der Identifizierung und dem Zugriff auf Daten (r = .527), der Nutzung von Technologie bei Datengebrauch (r = .720) und der Effektivität, Daten zu interpretieren, zu evaluieren und nach ihnen zu handeln (r = .729). In einer negativen Korrelation steht die Ängstlichkeit (r = -.479). Bei den Rahmenbedingungen sind es lediglich die Konstrukte „vertrauensvolle Beziehungen“ (r = .423) und „Zusammenarbeit“ (r = .389), die eine Korrelation über dem Signifikanzniveau aufweisen. Diese beiden Komponenten können demnach als die Punkte identifiziert werden, an denen sich die Struktur- und die Prozesselemente treffen, an denen also Schulorganisation Einfluss auf die Datennutzung durch die Lehrkräfte nehmen kann.

Die dritte Forschungsfrage gilt den Zusammenhängen zwischen den Prozess- und Strukturelementen aus der Perspektive der Schulleitung. Zur Beantwortung der Frage wurden die Interviews mit den 15 Schulleitungen qualitativ ausgewertet. Die Auswertung zeigt zum einen die Bedeutung der politischen Vorgaben zum Umgang mit den Daten, indem zum Beispiel die Bezirksverwaltungen Konsequenzen aus schlechten Testergebnissen anmahnen. Die Schulleitungen legen dar, wie sie versuchen, die Einstellung ihrer Lehrkräfte zu dieser Art von Unterrichtsentwicklung positiv zu beeinflussen und dabei besonderen Wert auf Transparenz legen. Zum zweiten zeigt sich ein Bewusstsein der Schulleitungen, dass die Lehrkräfte beim Umgang mit den Daten Unterstützung brauchen, um die Datenanalyse unmittelbar mit Entscheidungen zur Veränderung der Unterrichtspraxis zu verknüpfen. Diese versuchen die Schulleitungen beispielsweise durch das Setzen von förderlichen Rahmenbedingungen wie das Einberufen regelmäßiger Jahrgangsstufenteams, aber auch der eigenen Teilnahme an solchen Treffen bereitzustellen.

Hintergrund
Die Studie kann auf einem breit gefächerten Forschungsstand aufbauen. Viele Elemente desselben fügen die Forschenden in einem Modell zusammen, das die verschiedenen Komponenten, die Einfluss auf die Datenkompetenz von Lehrkräften nehmen, auf einer prozess- und einer strukturellen Ebene anordnen. Diese Systematik bietet den Lesenden einen roten Faden und bietet auch unabhängig von der Studie einen Mehrwert.

Design
Die Aussagekraft der Studie weist einige Einschränkungen auf: Für die Studie wurden lediglich 28 Lehrkräfte und 15 Schulleitungen befragt, die noch dazu alle aus dem gleichen US-amerikanischen Schulbezirk stammten. Damit ist die Stichprobe weit von einer Repräsentativität entfernt und eine Verallgemeinerung der Ergebnisse nicht möglich. Dazu kommt, dass die Datenkompetenz ausschließlich durch Selbstauskünfte erhoben wurde. Es ist also schwierig, von diesen Antworten der Lehrkräfte auf ihre tatsächlichen Kompetenzen zu schließen.

Die Ergebnisse der Interviewstudie mit den Schulleitungen stehen in keinem direkten Zusammenhang zu denen der Befragung der Lehrkräfte. Insofern bleiben die Inhalte in gewisser Weise nebeneinander stehen und werden von den Forschenden allein über die Ergebnisse anderer Studien in Verbindung gebracht. Dies ist nur bedingt nachvollziehbar.

Ergebnisse
Die Fragebogenstudie zeigt, dass Lehrkräfte durch Fortbildungsmaßnahmen ihre Datenkompetenz, die Effizienz bei der Datennutzung und die Zusammenarbeit verbessern. Besonders die Zusammenarbeit zwischen Lehrkräften und das Vertrauen untereinander sind wichtige Faktoren, die die Datenkompetenz beeinflussen. Überraschenderweise besteht kein direkter Zusammenhang zwischen dem Handeln der Schulleitung und der Datenkompetenz. Die Interviews mit den Schulleitungen machen deutlich, dass sie die Notwendigkeit erkennen, Lehrkräfte bei der Datenanalyse und der Nutzung der Daten für die Unterrichtsplanung zu unterstützen. Transparenter Umgang mit Anforderungen der Bildungsverwaltung, Förderung einer positiven Einstellung der Lehrkräfte zu evidenzbasiertem Handeln und regelmäßige Treffen in Teams sind dabei wichtige Maßnahmen. Die Ergebnisse legen nahe, dass Schulen mit gut organisierten Teams und starken, gut ausgebildeten Teamleitungen von einer verbesserten Datennutzung profitieren könnten. Die Autor*innen plädieren in diesem Zusammenhang dafür, dem Konzept eines „distributed leadership“ (Abrams et al. 2021, S. 10), also einer verteilten oder kooperativen Führung in Schulen, welche beispielsweise den Leitungen von Jahrgangsstufenteams mehr Kompetenzen gibt, mehr Aufmerksamkeit in Praxis und Forschung zu schenken. Denn ihrer Meinung nach könnte eine solche Aufwertung dieser „teacher leaders“ (Abrams et al. 2021, S. 10) die Effektivität der Datennutzung in den Schulen steigern.