Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.

Reflexionsfragen für Lehrkräfte

• Inwiefern nutze ich bereits die Ergebnisse von VERA-Tests in meinem Unterricht? Welche spezifischen Maßnahmen habe ich unternommen, um diese Daten zur Verbesserung meines Unterrichts zu nutzen?
• In welchen Kontexten wäre ein regelmäßiger Austausch mit Kolleginnen und Kollegen über die Nutzung von Testergebnissen sinnvoll? Welche Plattformen oder Meetings könnte ich dafür nutzen?
• Gibt es in meiner Schule klare und transparente Regeln für die Datennutzung und haben wir eine gemeinsame Zielorientierung?

Reflexionsfragen für Schulleitungen

• Wie werden an meiner Schule aktuell VERA-Daten genutzt? Wie (durch welche Strukturen, Routinen etc.) könnte die Nutzung gefördert werden?
• Welche spezifischen Vorgaben und Empfehlungen gibt es von der Schuladministration oder anderen relevanten Institutionen in Bezug auf die Nutzung von Testergebnissen? Wie werden diese Empfehlungen an meiner Schule umgesetzt?
• Welche Unterstützungsangebote stehen mir und meinem Kollegium zur Verfügung, um die Nutzung von Testergebnissen zu erleichtern? Welche externen Ressourcen könnten hinzugezogen werden?

In vielen Ländern wird zunehmend erwartet, dass Lehrkräfte Ergebnisse aus landesweiten Leistungstests für datenbasierte Entscheidungsfindung nutzen. Diese Praxis, bekannt als Data-Based Decision-Making (DBDM), also die systematische Sammlung und Analyse verschiedener Datentypen zur Unterstützung von Bildungsentscheidungen, soll die Qualität des Unterrichts verbessern. Frühere Forschungen haben gezeigt, dass sowohl individuelle als auch schulorganisatorische Faktoren die Datennutzung von Lehrkräften fördern oder behindern können.

Die Studie zielt darauf ab, den Zusammenhang zwischen der Datennutzung durch Lehrkräfte einerseits und Schulleitungen andererseits zu untersuchen und die Rolle der Einstellungen der Lehrkräfte zu den Testungen sowie der Datennutzungskultur in Schulen als mögliche vermittelnde Variablen zu analysieren.

Die theoretische Grundlage der Studie basiert auf Modellen zur datenbasierten Entscheidungsfindung im Bildungsbereich, insbesondere auf den Arbeiten von Schildkamp und Kolleginnen und Kollegen (u.a. Schildkamp, 2019; Schildkamp et al., 2019; Schildkamp & Lai, 2013), sowie auf der Theorie des geplanten Verhaltens von Ajzen (1991). Die vorhandene Literatur zeigt, dass die Einstellungen der Lehrkräfte und die Datennutzungskultur bedeutende Einflussfaktoren für die Nutzung von Testergebnissen sind. Hierbei bezieht sich die Einstellung der Lehrkräfte auf die Wahrnehmung des Wertes und Nutzens standardisierter Tests für ihre Unterrichtspraxis. Die Datennutzungskultur bezieht sich auf die gemeinsamen Überzeugungen und Praktiken innerhalb einer Schule bezüglich der Nutzung von Daten zur Entscheidungsfindung. Eine positive Datennutzungskultur zeichnet sich durch klare Regeln, gemeinschaftliche Ziele und eine vertrauensvolle Atmosphäre aus.

Frühere Studien haben jedoch hauptsächlich qualitative Designs verwendet oder sich auf die Perspektive einer Gruppe (entweder Lehrkräfte oder Schulleitungen) beschränkt, was zu heterogenen und teilweise widersprüchlichen Ergebnissen geführt hat. Auf Basis der theoretischen Fundierung und des bestehenden Forschungsstands werden zwei zentrale Forschungsfragen formuliert:

1. In welchem Ausmaß hängen die Nutzung der Ergebnisse aus landesweiten Leistungsüberprüfungen durch Lehrkräfte und Schulleitungen zusammen?
2. Vermitteln die Einstellungen der Lehrkräfte gegenüber den Testungen und die wahrgenommene Datennutzungskultur in Schulen die Beziehung zwischen der Datennutzung durch Lehrkräfte und Schulleitungen?

Stichprobe
Die Studie analysierte Daten von zwei Stichproben aus dem IQB-Bildungstrend (Stanat et al. 2016; Stanat et al., 2019). Es wurden die Daten von Lehrkräften und Schulleitungen herangezogen, die angaben, zuvor an VERA 8 teilgenommen zu haben. Die erste Stichprobe umfasste 796 Mathematiklehrkräfte und ihre Schulleitungen (erhoben 2015), die zweite Stichprobe 693 Deutschlehrkräfte und ihre Schulleitungen (erhoben 2018). Wenn mehrere Lehrkräfte pro Schule an der Umfrage teilnahmen und angaben, an VERA teilgenommen zu haben, wurde eine Lehrkraft zufällig ausgewählt, um eine Lehrkraft-Schulleitungs-Dyade zu bilden.

Instrumente und Erhebung
Die Datenerhebung erfolgte mittels standardisierter Fragebögen für Lehrkräfte und Schulleitungen (Bach et al., 2014; Bos et al., 2010). Die Likert-Skalen reichten von 1 (stimme überhaupt nicht zu) bis 4 (stimme voll und ganz zu) und deckten folgende Konstrukte ab: 1) die Nutzung der Testergebnisse durch Lehrkräfte, was spezifische Aspekte der Nutzung von VERA-8-Ergebnissen durch Lehrkräfte abfragt, 2) die Einstellungen der Lehrkräfte gegenüber VERA, was die allgemeine Bewertung der VERA-Tests durch die Lehrkräfte misst, 3) die von Lehrkräften wahrgenommene Datennutzungskultur, was Regelklarheit und gemeinsame Zielorientierungen bezüglich der Nutzung von VERA-Ergebnissen abfragt, und 4) die Nutzung der Testergebnisse durch Schulleitungen, was das Engagement der Schulleitungen in Bezug auf die VERA-Ergebnisse misst. Die Skalen zeigten gute bis sehr gute Reliabilitätswerte (McDonald’s Omega, ω, variierend von 0.73 bis 0.88).

Die Studie verwendete ein querschnittliches Erhebungsdesign, wobei die Daten in zwei Datensätzen zu den oben beschriebenen Zeitpunkten erhoben wurden.

Datenaufbereitung und Datenauswertung
Bei der Analyse wurden mehrere Hintergrundvariablen kontrolliert, darunter das Geschlecht der Lehrkräfte und Schulleitungen sowie deren Berufserfahrung (Jahre des Unterrichtens bzw. Jahre in der Position als Schulleitung). Diese Variablen wurden einbezogen, um mögliche Verzerrungen durch demografische Unterschiede in den beiden Datensätzen zu minimieren.

Um zu untersuchen, wie sich die Datennutzung von Lehrkräften auf die Datennutzung der Schulleitungen bezieht, wurden separate latente Strukturgleichungsmodelle (SEM) für die Stichproben der Mathematik- und Deutschlehrkräfte verwendet. SEM sind statistische Verfahren, die verwendet werden, um komplexe Beziehungen zwischen Variablen zu untersuchen, und ermöglichen es, sowohl direkte als auch indirekte Effekte zwischen Variablen zu modellieren. Als Variablen wurden die Datennutzung der Lehrkräfte, die Einstellung der Lehrkräfte, die wahrgenommene Datennutzungskultur sowie die Datennutzung der Schulleitungen in das Modell mit einbezogen. Geprüft wurde so, ob es einerseits einen Zusammenhang zwischen der Datennutzung der Lehrkraft und der Datennutzung der Schulleitung gab und ob andererseits die Einstellung der Lehrkraft und die wahrgenommene Datennutzungskultur einen Einfluss auf diesen Zusammenhang hat.

Die deskriptiven Ergebnisse zeigen, dass Lehrkräfte und Schulleitungen eine moderate Nutzung der VERA 8-Daten berichten. Dabei gibt es einen positiven Zusammenhang zwischen der Einstellung (Mathematiklehrkräfte: r = .51; Deutschlehrkräfte: r = .51) und der wahrgenommenen Datennutzungskultur der Lehrkräfte (Mathematiklehrkräfte: r = .41; Deutschlehrkräfte: r = .44) mit ihrer angegebenen Datennutzung.

Forschungsfrage 1: Die Korrelationen zwischen der angegebenen Datennutzung der Lehrkräfte und der Schulleitung sind relativ schwach (Mathematiklehrkräfte: r = .17; Deutschlehrkräfte: r = .15), zeigen aber einen signifikanten Zusammenhang (3–4 % Varianzaufklärung)

Forschungsfrage 2: Die erweiterte Analyse unter Berücksichtigung der Datennutzungskultur und der Einstellung der Lehrkräfte zeigt, dass Einstellungen der Lehrkräfte und die von den Lehrkräften wahrgenommene Datennutzungskultur positiv mit der Datennutzung der Lehrkräfte verbunden sind (12–30 % Varianzaufklärung). Darüber hinaus zeigen die Ergebnisse, dass die wahrgenommene Datennutzungskultur den Zusammenhang zwischen der Datennutzung der Lehrkräfte und der Datennutzung der Schulleitung vollständig vermittelt (60–78 % Varianzaufklärung des Gesamteffekts). Interessanterweise haben die Einstellungen der Lehrkräfte gegenüber den VERA-Tests keine signifikante vermittelnde Rolle zwischen der Datennutzung der Schulleitung und der Datennutzung durch Lehrkräfte.

Hintergrund
Die Untersuchung greift eine relevante Forschungslücke auf, indem sie den Zusammenhang zwischen der Datennutzung durch einerseits Lehrkräfte und andererseits Schulleitungen sowie die vermittelnde Rolle von Einstellungen und Datennutzungskultur untersucht. Die tatsächliche Nutzung und der Einfluss dieser Daten im Bildungsbereich sind oft unklar und widersprüchlich belegt.

Die Untersuchung basiert auf etablierten theoretischen Modellen wie der Theorie des geplanten Verhaltens (Ajzen, 1991) und Modellen zur datenbasierten Entscheidungsfindung (z.B. Schildkamp, 2019; Schildkamp et al., 2019; Schildkamp & Lai, 2013). Diese theoretische Einbettung ist angemessen, da sie einen Rahmen für das Verständnis der Faktoren bietet, die Einfluss auf die Datennutzung haben. Durch die theoretischen Bezüge erreichen die Befunde eine höhere Erklärungskraft und die Anschlussfähigkeit der Untersuchung an den bestehenden Forschungsstand wird deutlich.

Design
Das Studiendesign und die Methoden sind klar formuliert und geeignet, die Forschungsfragen zu beantworten. Das Design, einschließlich der Instrumente und der Stichprobe, ist ausführlich beschrieben. Die verwendete Syntax des Statistikprogramms R wird angegeben, und die Verfügbarkeit der Daten wird betont, um die Replizierbarkeit der Ergebnisse zu gewährleisten. Die zentralen Gütekriterien quantitativer Forschung, wie interne und externe Validität, sind erfüllt. Kontrollvariablen wie Geschlecht und Berufserfahrung wurden berücksichtigt. Die Operationalisierung der Konstrukte und die Stichprobengröße sind angemessen für valide und verallgemeinerbare Aussagen, obwohl die Aussagekraft aufgrund des Designs und der Art der Stichprobe, die die Zusammenhänge anhand einer konkreten Leistungsüberprüfung in zwei Datensätzen untersucht, begrenzt ist.

Ergebnisse
Die Untersuchung erreicht ihre Zielstellung weitgehend und beantwortet die Forschungsfragen unter Berücksichtigung der Bewertungen zur Datennutzung von Lehrkräften und Schulleitungen. Die Hypothesen werden zum größeren Teil durch die Daten gestützt, wobei die Rolle der Datennutzungskultur als vermittelnde Variable besonders hervorgehoben wird. Darüber hinaus lässt sich schlussfolgern, dass Lehrkräfte dazu tendieren, sich stärker mit den Ergebnissen von Leistungstests zu befassen, wenn sie diese Tests positiver sehen und eine stärkere soziale Norm (d. h. klare Regeln und gemeinsame Ziele für den Unterricht) wahrnehmen.

Die Schlussfolgerungen der Autorinnen und Autoren sind plausibel, jedoch nicht immer logisch zwingend, wenn die Ergebnisse in den Kontext anderer Studienergebnisse gesetzt werden und zum Beispiel Annahmen zur Erklärung der fehlenden mittelnden Funktion der Einstellung der Lehrkräfte zur Datennutzung aufgestellt werden.

Die Autorinnen und Autoren liefern folgende Implikationen dazu, was Schulleitung vor dem Hintergrund der Studienergebnisse tun könnten:

• Bereitstellung von Zeit für den Informationsaustausch und die gemeinsame Planung (während ihrer regulären Arbeitszeit)
• Verantwortlichkeitsmaßnahmen klären und die Freiwilligkeit von DBDM betonen
• Datennutzungskultur gestalten, z. B. das Setzen erreichbarer schulweiter Ziele, die Diskussion von Ergebnissen mit Lehrkräften und die Implementierung klarer Regeln für Datennutzungspraktiken
• zusätzliche Ressourcen investieren, einschließlich spezialisierten Personals oder für die gemeinsame Planung explizit vorgesehene Zeit
• eigene datenbasierte Schulverbesserungen den Lehrkräften explizit sichtbar machen, z. B. in Lehrerkonferenzen
• Unterstützung durch berufliche Weiterentwicklung

In der Studie ist auf verschiedene Limitationen hingewiesen worden. Erstens handelt es sich um eine empirische Querschnittsstudie, so dass keine belastbaren kausalen Schlussfolgerungen gezogen werden können. Zweitens wurde die Datennutzung aus VERA 8 im deutschsprachigen Raum erhoben, was die Generalisierbarkeit der Ergebnisse auf andere Datenquellen und andere Länder einschränken könnte. Drittens wurden die Analysen auf der Basis von Selbstauskünften durchgeführt, wobei jeweils nur eine Lehrkraft und die Schulleitung befragt wurden, was die Frage der Repräsentativität der jeweiligen Lehrkraft für das Kollegium aufwirft.