Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.

Reflexionsfragen für Lehrkräfte

• Welche Kompetenzen benötige ich noch, um vorhandene Daten effektiv nutzen zu können?
• Welche Kompetenzen benötige ich, um für meine Schule / meinen Unterricht erforderliche Daten erheben und auswerten zu können?
• Welche Unterstützungsleistungen benötige ich in meiner Schule, um Daten effektiv nutzen zu können?
• Welche technische Ausstattung kann ich nutzen, welche muss geschaffen werden?

Reflexionsfragen für Schulleitungen

• An welcher Stelle wird an meiner Schule systematisch mit Daten gearbeitet, gibt es eventuell bereits etablierte Datenteams?
• Welche spezifischen Vorgaben beeinflussen unsere Arbeit mit Daten? Gibt es Standards, Referenzsysteme oder Erlasse, die wir bei der Datenerhebung und Datenauswertung berücksichtigen müssen?
• Welche Schritte könnten unternommen werden, um die Daten-Praxis zu verbessern?
• Welche Unterstützungsangebote stehen dem Kollegium bei der Arbeit mit Daten zur Verfügung? Verfügt unser Kollegium über die notwendigen Kompetenzen, um datengestützte Entscheidungsprozesse effektiv zu gestalten?

Die Nutzung datengestützter Entscheidungen bei der Unterrichts- und Schulentwicklung ist weltweit etabliert. Hierfür werden vielerorts Datenteams genutzt, also Teams an Schulen, die sich gemeinsam mit Daten im weiteren Sinne (z. B. standardisierte Beurteilungsdaten, aber auch Unterrichtsbeobachtungen, Fokusgruppen mit Schülerinnen und Schülern, Umfragen etc.) beschäftigen. Diese können eine zentrale Rolle darin spielen, Lehr- und Lernprozesse effektiv zu verbessern.

Bisherige Forschung betonte vor allem die Wichtigkeit unterstützender Strukturen für die Effektivität dieser Teams. Doch diese Studie verfolgt den Ansatz, aus weniger erfolgreichen Bemühungen zu lernen, um die zugrundeliegenden Hindernisse zu verstehen. In der Studie werden Schwierigkeiten von Datenteams in den Niederlanden und den USA untersucht, um so zu identifizieren, was Gründe für eine nicht reibungslos verlaufende Datennutzung durch Datenteams in Schulen sein können. Diese Erkenntnisse könnten wichtige Implikationen für die Praxis haben, da sie helfen, die Bedingungen zu verstehen, die das organisationale Lernen fördern oder behindern können.

Für die Analyse der beiden Fallstudien wurde auf frühere Forschung zurückgegriffen und fünf Faktoren effektiver Datenteams  identifiziert: eine tiefe Untersuchung (Erschließen neuen Wissens auf Basis der Daten), interne Zuschreibung von Ursachen, konzeptionelle (das Denken von Lehrkräften und Schulleitung ändernde) und/oder instrumentelle (das Klassenzimmer oder die Schule tatsächlich ändernde) Datennutzung, Fokussierung auf kontinuierliche Schulentwicklung und die Berücksichtigung der Schülerstärken und -bedürfnisse. Die Forschungsfragen zielen darauf ab, diese Faktoren im Hinblick auf die Behinderung der Arbeit von Datenteams in zwei verschiedenen nationalen Kontexten zu erkunden.

Die international vergleichende qualitative Fallstudie nutzt Sekundäranalysen qualitativer Daten aus zwei Studien über Datenteams in Sekundarschulen in den Niederlanden und den USA (Datnow et al., 2020; Lockton et al., 2019; Schildkamp & Poortman, 2015; Schildkamp et al., 2016).

Aus einer Sammlung früherer Studien wurden zwei Fälle bestimmt, die aus einer großen Anzahl von Fällen überraschende Werte zeigen. Hierfür wurde ein Datenteam aus den USA und eines aus den Niederlanden ausgewählt, bei denen jeweils die erwarteten Gelingensbedingungen für erfolgreiche Datenteams fehlten.

Die Datenbasis umfasste in den Niederlanden Beobachtungen eines Datenteams, das freiwillig an einem Programm zur Entwicklung von Datenteaminterventionen teilnahm. In die Analyse flossen Transkripte von sechs Teamtreffen, Beobachtungsnotizen und Interviews mit drei Lehrkräften und einer Datenexpertin aus dem Zeitraum von einem Jahr ein. In den USA wurden Daten von 10–12 Mathematiklehrkräften und ihrer Schulverwaltung über den Zeitraum von 3 Jahren gesammelt, einschließlich Beobachtungsnotizen von 18 Treffen und Transkripten von insgesamt 35 jährlichen Interviews über die Datennutzung und die Verbesserung des Mathematikunterrichts.

Die Daten wurden mit Hilfe von ATLAS.ti beziehungsweise MAXQDA kodiert. Die Kodierung, das heißt die Markierung und Sortierung der Erhebungsdaten, erfolgte theoriegeleitet und wurde anschließend während des Analyseprozesses und basierend auf ersten Befunden um neue Codes ergänzt. Um die Reliabilität zu gewährleisten, wurde die Kodierung der US-Daten mehrfach von verschiedenen Personen durchgeführt.

Die Ergebnisse der beiden Studien wurden systematisch verglichen. Hierbei wurden die leicht unterschiedlichen Codes der Studien jeweils auch auf den anderen Fall angewendet. Dieser Ansatz ermöglichte es, weitere kontextspezifische und allgemeine Hindernisse bei der Datennutzung zu identifizieren und ein tieferes Verständnis für die Gründe des Scheiterns von Datenteams zu entwickeln.

In der Studie wurden umfassend die Herausforderungen von Datenteams in den Niederlanden und den USA analysiert, um herauszufinden, warum, wie und wann Datennutzungsbemühungen scheitern. Die Ergebnisse deuten darauf hin, dass ähnliche Faktoren in beiden Fällen die Arbeit der Datenteams behinderten, wobei der Schwerpunkt der Datennutzung oft auf Rechenschaftspflicht statt auf Verbesserung lag. Einige behindernde Faktoren waren jedoch kontextspezifischer.

Das Datenteam in den Niederlanden kämpfte mit verschiedenen Hindernissen, die hauptsächlich auf das Fehlen eines gemeinsamen Verständnisses von Problemen und Zielen zurückzuführen waren. Die Diskussionen wurden durch eine geringe Untersuchungstiefe dominiert, wobei externe Faktoren wie das niedrige Einstiegsniveau der Schülerinnen und Schüler, der IQ und die Motivation der Schülerinnen und Schüler als Ursachen für schlechte Leistungen identifiziert wurden. Die Lehrkräfte und die Schulleitung hatten unterschiedliche Auffassungen über die Kriterien für akzeptable Fehlerraten und somit darüber, ob überhaupt ein Problem vorlag, was eine effektive Datennutzung behinderte. Weitere Hinderungsgründe für eine effiziente Arbeit in den Datenteams waren mangelndes Vertrauen zwischen Lehrkräften und Schulleitung, unzureichender Datenzugang und technische Probleme sowie eine negative Einstellung der Lehrkräfte gegenüber der Datennutzung.

In den USA lag der Schwerpunkt der Datenteams auf der Verbesserung der Mathematikleistungen, wobei die Diskussionen um Daten oberflächlich blieben und sich hauptsächlich auf die Ergebnisse von leistungsschwachen Gruppen und auf Leistungen von Schülerinnen und Schüler unterschiedlicher ethnischer Herkunft konzentrierten. Die Datenverwendung blieb symbolisch, das heißt, sie wurde hauptsächlich aus formalen Gründen zur Erfüllung der Rechenschaftspflicht durchgeführt und führte nicht zu konkreten Veränderungen oder Verbesserungen im Unterricht. Zeitmangel, logistische Probleme, mangelndes Vertrauen zwischen Lehrkräften und Schulleitung sowie ein von der Schulleitung vorgeschriebener Prozess der Datenauswertung waren beobachtbare Hindernisse für die erfolgreiche Arbeit der Datenteams.

Beide Fälle zeigen, dass die Qualität und Relevanz der Daten, Führungsstrategien, die Schulkultur, das Vertrauen innerhalb der Schulgemeinschaft und die Art der Datennutzung entscheidend sind, um die Effektivität von Datenteams zu fördern oder zu behindern. Führungskräfte spielten eine entscheidende Rolle; sie boten oft nicht das nötige Verständnis und die Unterstützung, die für effektive Datennutzung erforderlich sind. In den Niederlanden wie in den USA fehlte es an einer Kultur des Vertrauens und einer kooperativen Einstellung zur Datennutzung. Dies unterstreicht die Notwendigkeit einer starken, unterstützenden und gut kommunizierten Führung, die nicht nur die Datenerhebung priorisiert, sondern auch ein Umfeld schafft, in dem Daten zum Motor für echte Veränderung und Verbesserung werden können.

Um von einem ineffektiven zu einem effektiven Datenteam zu kommen, gilt es das Zusammenspiel der Faktoren Führung, Einstellungen der Lehrkräfte und Teamdynamik zu betrachten. Das Führungsverhalten, darunter die Initiierung von Visionen und Zielen sowie die Schaffung eines förderlichen Klimas für die Datennutzung, kann sowohl positiv als auch negativ auf die Haltung der Lehrkräfte zur Datennutzung wirken. Darüber hinaus können die Strukturierung der Zusammenarbeit und die Bereitstellung von Zeit für die Teamarbeit die Entwicklung gemeinsamer Probleme und Ziele innerhalb des Datenteams unterstützen. Diese Faktoren wirken immer innerhalb eines bestimmten politischen Kontextes und werden durch diesen beeinflusst. Der politische Kontext umfasst hierbei die Vorgaben durch die Bildungspolitik, die Vorschriften der Verwaltung und den finanziellen Rahmen, die die Arbeit der Schulen und Datenteams beeinflussen.

Die Studie bietet wertvolle Einblicke in die Herausforderungen, mit denen Datenteams in Schulen konfrontiert sind, und erweitert das Verständnis von Gelingensbedingungen durch die Analyse von Fehlschlägen. Sie greift dabei ein relevantes Forschungsdesiderat auf, indem sie sich auf Hindernisse konzentriert, die die effektive Arbeit von Datenteams behindern.

Es wird betont, dass Datenteams ein ganzheitliches Verständnis von Daten benötigen, das über standardisierte Leistungsdaten hinausgeht und auch qualitative Informationen umfasst, um fundierte Entscheidungen zur Schulentwicklung treffen zu können.

Die Studie hebt die Bedeutung von Schul- und Systemstrukturen hervor, die die Nutzung von Daten unterstützen, sowie von professioneller Entwicklung und Zeitressourcen für die effektive Arbeit von Datenteams. Es wird betont, dass eine positive Einstellung der Lehrkräfte gegenüber der Datenverwendung und eine klare Zielsetzung für die Arbeit des Datenteams entscheidend sind. Die Diskussion verdeutlicht, dass die Identifizierung und Überwindung von Hindernissen, wie beispielsweise Zeitmangel, fehlende Datenverfügbarkeit oder negative Einstellungen gegenüber der Datenverwendung, entscheidend sind, um den Erfolg von Datenteams zu fördern.

Die Anwendung der Methode der abweichenden Fälle ermöglicht eine tiefgreifende Untersuchung von Ausnahmefällen. Die Kodierung und Auswahl der Fälle basierten auf bereits bekannten Faktoren für die Arbeit erfolgreicher Datenteams, was zu einem Induktionsproblem führen kann, da die Ergebnisse möglicherweise stärker bestätigend statt explorativ interpretiert werden. Dies könnte insbesondere dann problematisch sein, wenn unerkannte Variablen die Datenteams beeinflussen und unentdeckt bleiben.

Die Studie ist gut in den vorhandenen Forschungskontext eingebettet. Es werden zahlreiche Studien herangezogen, um die eigenen Analysen zu untermauern. Offen bleibt, inwieweit die Ergebnisse durch alternative Ansätze wie eine Grounded-Theory-Methodik – hierbei werden Theorien und Hypothesen direkt aus den gesammelten Daten entwickelt, anstatt die Daten anhand vorab festgelegter Theorien oder Kategorien zu analysieren – zu tieferen Einsichten führen könnten. Die narrative Herangehensweise an kausale Interpretationen, basierend auf den zwei untersuchten Fällen, ist plausibel.

Unbeschadet der offenen Frage ihrer Verbreitung in Datenteams sind die aufgedeckten Probleme und Hindernisse bei der Arbeit von Datenteams, insbesondere die Fehler bei der Leitung von Datenteams, wie die mangelnde Unterstützung, von großer praktischer Relevanz.

Die Ergebnisse zum Zusammenwirken von verschiedenen Faktoren, die die Effektivität von Datenteams beeinflussen, bieten Schulverwaltungen, Bildungspolitikern, Schulleitungen und Lehrkräften konkrete Anhaltspunkte, wie Datenteams besser gestaltet und unterstützt werden können. Insbesondere die Betonung, dass das Schaffen von Vertrauen und die Verbesserung der Kommunikation innerhalb der Teams virulent sind, bietet wertvolle Hinweise für die Praxis. Diese sollten Eingang in Lehrkräftefortbildungen finden.

Insgesamt fordert die Studie dazu auf, die Bedingungen, unter denen Datenteams operieren, kritisch zu reflektieren, und bietet eine Basis für weitere Forschung in diesem Bereich, die weitere Datenteams in den Blick nehmen müsste. Es wird deutlich, dass eine erfolgreiche datengestützte Schulentwicklung eine komplexe Herausforderung darstellt, die eine sensible und wohlüberlegte Führungspraxis erfordert.