Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.

Reflexionsfragen für Lehrkräfte

• Zu welche Themen halte ich Fortbildungsmaßnahmen für besonders dringlich?
• Inwiefern können sich meine Wünsche nach Fortbildungsmaßnahmen durch konkrete Ergebnisse der Vergleichsarbeiten verändern?
• In welchem Umfang befasse ich mich mit den Ergebnissen von Vergleichsarbeiten und tausche mich hierzu mit Kolleginnen und Kollegen aus?
• Inwiefern wird diese Arbeit durch die Schulleitung und die etablierte Datennutzungskultur an unserer Schule unterstützt?
• Berücksichtigen Fachkonferenzen, denen ich angehöre, bei der Planung von Fortbildungsmaßnahmen die VERA-Befunde?

Reflexionsfragen für Schulleitungen

• Wie fördere ich die Auseinandersetzung des Kollegiums mit den Ergebnissen der Vergleichsarbeiten?
• Bei welchen Personalentwicklungsmaßnahmen (z. B. Fortbildungsplanung, Hospitationen, Mitarbeitergespräche) greife ich auf VERA-Befunde zurück?
• Inwiefern lassen sich Personalentwicklungsbedarfe aus den Ergebnissen von Vergleichsarbeiten ableiten?

Einleitend weisen Bach et al. darauf hin, dass sich mit der bundesweiten (und für öffentliche Schulen auch verpflichtenden) Einführung von Vergleichsarbeiten (VERA) auf der Basis der nationalen Bildungsstandards im Schuljahr 2007/08 die Erwartung verband, dass deren Ergebnisse wichtige Impulse für die Unterrichts- und Schulentwicklung geben könnten. Vor allem Schulleitungen und Fachkonferenzen sollten auf dem Weg der Rückmeldung der Ergebnisse eine Grundlage für datenbasierte Entscheidungen gegeben werden.

Derartige Entscheidungen beträfen jedoch nicht nur z. B. die Ausgestaltung von Curricula oder die Entwicklung von Aufgabenformaten, sondern auch die Personalentwicklung, etwa durch eine Fortbildung der Lehrkräfte im Hinblick auf eine Anpassung des Fachunterrichts an die Erfordernisse der Bildungsstandards. Bach et al. gehen dabei davon aus, dass die konkrete Auswahl und Planung fachbezogener Fortbildung in den Händen der Fachkonferenzen liegt, wohingegen die Schulleitung eher die Aufgabe einer systematischen Fortbildungsplanung für das Gesamtsystem Schule übernimmt.

Zur Personalentwicklung an Schulen konstatieren Bach et al. ein Forschungsdesiderat: Es gebe hierzu aus dem deutschsprachigen Raum nur wenige Studien und zum Thema einer testdatenbasierten Personalentwicklung lägen gar keine Arbeiten vor. Demgegenüber zeigten internationale Studien, dass Evaluationsdaten von erheblichem Einfluss auf die schulische Personalentwicklung seien. So gelte datenbasierte Personalentwicklung im anglo-amerikanischen Raum längst als Kerninstrument schulischer Qualitätsentwicklung und habe zur Entwicklung differenzierter Standards und Handreichungen für Schulleitungen und Fachkonferenzen geführt.

Auf dieser Basis formulieren die Autorinnen und Autoren zwei Forschungsfragen, von denen eine auf die Schulleitungsebene, die andere auf die Ebene der Fachkonferenzen abzielt:

1. Welche schulleitungsspezifischen Faktoren haben Einfluss auf die Nutzung von VERA-Daten für die Personalentwicklung?  
   Bach et al. formulieren die Hypothese, dass der Qualifikation der Schulleitung, ihrer Organisationsstruktur (etwa in Form einer erweiterten Schulleitung) und ihrer Einstellung hinsichtlich der Nützlichkeit von VERA-Daten hierbei Bedeutung zukommt. Zudem wird angenommen, dass jüngere Schulleitungen aufgrund ihrer Ausbildung eine größere Vertrautheit mit Vergleichsarbeiten und schulischer Personalentwicklung haben.
2. Welche Faktoren beeinflussen eine datenbasierte Fortbildungsplanung in den Fachkonferenzen derjenigen Fächer, für die VERA-Daten erhoben werden?        
   Vor dem Hintergrund des internationalen Forschungsstands formulieren Bach et al. hierzu drei Erwartungen:
   a) Agiert die Schulleitung in einem Führungsstil, durch den sie zu effektiver Datennutzung anleitet und Lehrkräfte bei der Dateninterpretation unterstützt („data-wise leadership“), beeinflusst das die Fortbildungsplanung der Fachkonferenzen positiv.
   b) Wenn Lehrkräfte in erhöhtem Ausmaß über die Daten kommunizieren und in die Auswertung von Daten einbezogen sind („kollaborative Auswertung“), verstärkt dies die Datennutzung der Fachkonferenzen für die Fortbildungsplanung.
   c) Einen positiven Einfluss auf die Datennutzung soll es auch haben, wenn die Lehrkräfte 1. die VERA-Daten als nützlich wahrnehmen, 2. hohe unterrichtsbezogene Selbstwirksamkeitserwartungen haben und wenn 3. ein Kollegium gemeinsame pädagogische Werte teilt.

Die Daten entnehmen Bach et al. zwei Studien des BMBF-geförderten Projekts „Schulen als Steuerungsakteure im Bildungssystem“. Eine Online-Befragung von Schulleitungen in Brandenburg aus den Jahren 2011 und 2012 bildet den ersten Datensatz, wohingegen eine 2013 durchgeführte Befragung von Brandenburger Lehrkräften die zweite Datenquelle ist. Die Wahl von Brandenburg als Untersuchungsort begründen die Autorinnen und Autoren damit, dass in diesem Bundesland die Gestaltungsspielräume für die Personalentwicklung vergleichsweise groß seien.

Stichprobe
216 Schulleitungen (ca. 1/3 der Gesamtpopulation) beteiligten sich an der Online-Umfrage. Da nicht immer alle notwendigen Daten ermittelt werden konnten, reduzierte sich die Zahl auf 163 Personen aus Schulleitungen (ca. 1/4 der Gesamtpopulation). Die Verteilung auf die Schultypen lautet: 64 % aus Grundschulen, 14 % aus Gymnasien und 22 % aus anderen weiterführenden Schultypen, was weitestgehend den Anteilen in der Gesamtpopulation entsprach. Auch im Hinblick auf Merkmale wie Geschlecht, Schulgröße und Anteil von Schülerinnen und Schülern mit Migrationshintergrund kann der Datenpool als repräsentativ für die Gesamtpopulation gelten. Die Mehrheit der Befragten (59 %) war zwischen 51 und 60 Jahren alt, 82 % hatten eine qualifizierende Ausbildung für ihre Schulleitungsposition absolviert, eine erweiterte Schulleitung bestand nur in knapp der Hälfte der Fälle.

Erhebungsinstrumente und Auswertung
Die Online-Befragung der Schulleitungen umfasste acht Items, dreimal mit einer Ja/Nein-Kodierung. Bei den drei Items zur Nützlichkeitseinschätzung von VERA hinsichtlich der pädagogischen Arbeit kam eine sechsstufige Zustimmungsskala zum Einsatz und das Alter wurde mit einer vierstufigen Skala erfasst. Bei der Frage nach konkreten Personalentwicklungsmaßnahmen aufgrund von VERA-Ergebnissen war das Antwortformat offen. Übergeordnet war die Frage, ob durch die Schulleitung aufgrund von VERA-Ergebnissen Personalentwicklungsmaßnamen angeregt wurden (= abhängige Variable). Als Prädiktoren dienten 1. die eingeschätzte Nützlichkeit der Ergebnisse für die pädagogische Arbeit, 2. die Qualifikation für die Schulleitungstätigkeit durch Aus- / Fortbildung, 3. das Vorhandensein einer erweiterten Schulleitung und 4. das Alter.

Die Daten der Schulleitungsebene wurden neben einer rein deskriptiven Betrachtung auch einer (logistischen) Regressionsanalyse unterzogen.

Die standardisierte Paper-Pencil-Befragung, mit welcher der Zusammenhang von Schulentwicklung und Fachkonferenzen erfasst werden sollte, beschränkte sich auf Lehrkräfte derjenigen weiterführenden Schulen, welche an der Online-Befragung teilgenommen hatten. Die Zahl der Teilnehmenden (N = 403, entspr. 14 % der Gesamtpopulation) musste nach Fächern gefiltert werden, da einerseits VERA nur in den Fächern Deutsch, Mathematik und der ersten Fremdsprache durchgeführt wird und zweitens nicht alle Lehrkräfte mit ihren Klassen bereits an VERA teilgenommen hatten. So verblieben die Datensätze von 175 Lehrkräften aus 29 Schulen (1 – 13 Lehrkräfte je Schule). Die Verteilung auf die weiterführenden Schulen (40 % Gymnasien, 60 % sonstige) wich geringfügig von der Gesamtpopulation ab.

Im Rahmen der Lehrkräftebefragung wurden 30 Items jeweils durch eine sechsstufige Zustimmungsskala erfasst. Abhängige Variable war hierbei die Antwort auf die Frage, ob im Rahmen der Fachkonferenz VERA-Ergebnisse zur Planung fachlicher Fortbildungen genutzt werden. Prädiktoren umfassten das Ausmaß 1. in dem an der Schule „data-wise leadership“ besteht, 2. in dem die Ergebnisse der Vergleichsarbeiten für pädagogisch nützlich gehalten werden, 3. in dem die Ergebnisse gemeinsam ausgewertet werden, 4. in dem Lehrkräfte sich als selbstwirksam wahrnehmen und 5. in dem im Kollegium Klarheit und Konsens über pädagogische Ziele vorhanden ist.

Die Daten der Lehrkräftebefragung wurden ebenso wie die Daten der Schulleitungen sowohl deskriptiv als auch regressionsanalytisch ausgewertet und zudem auf Schulebene aggregiert, da zum einen keine Differenzierung nach Fächern vorgenommen werden konnte und zum anderen, da aufgrund der geringen Stichprobengröße auf Schulebene keine Berechnung von Mehrebenen-Strukturgleichungsmodellen möglich war.

Ebene der Schulleitung
Knapp die Hälfte (48 %) der befragten Schulleitungen gibt an, VERA-Ergebnisse als Anregungen für die Personalentwicklung genutzt zu haben (gegenüber 42 % für die Fortentwicklung des Schulprogramms und 82 % für die Entwicklung des Unterrichts). Die Antworten zu den konkreten Personalentwicklungsmaßnahmen lassen erkennen, dass die VERA-Ergebnisse meist (73 %) zur Planung von Fortbildungen beitragen, andere Einsatzmöglichkeiten – etwa im Rahmen von Unterrichtshospitationen oder Mitarbeitergesprächen – werden nur vereinzelt genannt.

Die logistische Regressionsanalyse zeigt, dass lediglich die Einschätzung der Nützlichkeit der VERA-Ergebnisse den erwarteten signifikanten Effekt auf die Planung von Personalentwicklungsmaßnahmen hat. Insgesamt werden durch die berücksichtigten Prädiktoren nur ca. 20 % der Varianz der VERA-Nutzung für die Personalentwicklung erklärt.

Ebene der Fachkonferenzen
Bei der Frage nach der VERA-Nutzung zur Fortbildungsplanung in Fachkonferenzen liegt der Mittelwert auf der sechsstufigen Zustimmungsskala mit 2.41 deutlich unter dem nominellen Mittelwert (3.5). VERA-Ergebnisse werden also nicht sehr häufig zur Fortbildungsplanung eingesetzt, 1/3 der Lehrkräfte gibt sogar an, dass VERA-Befunde in ihrem Fachbereich hierfür gar nicht genutzt werden.

Die multiple Regressionsanalyse zeigt, dass 55 % der Varianz der VERA-Nutzung für die Fortbildungsplanung durch die verwendeten Prädiktoren erklärt werden können. Vor allem die kollaborative Auswertung der VERA-Ergebnisse ist als Prädiktor geeignet. Je stärker der Austausch in den Fachkonferenzen über die VERA-Ergebnisse ist, desto eher werden diese zur Fortbildungsplanung eingesetzt. In etwas geringerem Ausmaß lässt sich ein ähnlich positiver Zusammenhang auch für den Prädiktor „data-wise leadership“ belegen. Für die Prädiktoren „Nützlichkeit“ und „Selbstwirksamkeitserwartung“ ergeben sich – im Gegensatz zu den Erwartungen von Bach et al. – keine signifikanten Effekte für die Fortbildungsplanung. Weniger eindeutig sind die Ergebnisse für den Prädiktor „Konsens über pädagogische Ziele“. Während eine bivariate Korrelationsrechnung einen signifikant positiven Zusammenhang ergibt, zeigt die Regressionsanalyse – entgegen den Erwartungen – einen negativen Effekt.

Personalentwicklungsmaßnahmen sollen zur Steigerung der Professionalität von Lehrkräften beitragen, daher stellen sie zweifellos einen entscheidenden Faktor für die Qualitätsentwicklung von Schulen dar – nicht zuletzt in Phasen, in denen schulische Reformen durchgeführt werden. Der Klärung der Frage, welche Faktoren die schulische Personalentwicklung beeinflussen, kommt somit eine große Bedeutung zu.

Bach et al. beleuchten in ihrer Studie aus dem Jahr 2014 einen zuvor in Deutschland noch nicht untersuchten Teilaspekt, nämlich in welchem Ausmaß und wodurch beeinflusst die seit 2007/08 bundesweit eingeführten Vergleichsarbeiten (VERA) für eine datenbasierte Personalentwicklung herangezogen werden. Zudem ist der doppelte Fokus der Autorinnen und Autoren auf unterschiedliche steuernde Akteure bei der Ausgestaltung schulischer Fortbildung – einerseits auf Schulleitungen, aber auch auf Fachkonferenzen – hervorzuheben. Vor diesem Hintergrund ist die Forschungsfrage als sinnvoll und seinerzeit innovativ zu bewerten.

Auch die Ergebnisse sind trotz der Datenbasis aus den Jahren 2011 bis 2013 nicht überholt, sondern passen zu neueren Befunden (vgl. z. B. Kuschel, 2022, S. 158f.; Hawlitschek, Hentschel, Richter & Stanat, 2024) und sind daher weiterhin von Interesse: Die Verwendung von VERA-Daten für die Personalentwicklung bleibt deutlich hinter den Erwartungen der politisch-administrativen Seite zurück. Nur in der Hälfte der Fälle verwenden Schulleitungen VERA-Befunde für die Personalentwicklung, auch in Fachkonferenzen spielt die Nutzung der Daten für die Fortbildungsplanung lediglich eine bescheidene Rolle. Dabei haben die Nützlichkeitserwartungen auf Seiten der Schulleitung und „data-wise leadership“ durch die Schulleitung sowie kollaborative Datenauswertung auf Seiten der Fachkonferenzen einen statistisch signifikanten Einfluss auf die Nutzung der VERA-Befunde für die Personalentwicklung.

Bach et al. diskutieren darüber hinaus einige Fälle, in denen die von ihnen aufgestellten Hypothesen nicht bestätigt werden konnten:

1. Aus dem Befund, dass die Qualifikationsmaßnahmen, welche die befragten Schulleitungen durchlaufen haben, keinen erkennbaren Einfluss auf die Nutzung von VERA-Daten für die Personalentwicklung hatten, folgern Bach et al., dass diesem Thema bei der zukünftigen Gestaltung derartiger Qualifikationsmaßnahmen eine stärkere Bedeutung eingeräumt werden muss.
2. Zu dem Befund, dass ein Konsens über pädagogische Ziele die Datennutzung negativ beeinflussen könnte, stellen sie die Überlegung an, dass ein solcher Konsens ja auch in einer generellen Ablehnung von Vergleichsarbeiten bestehen kann und leiten hieraus weiteren Forschungsbedarf ab.
3. Den für die Fachkonferenzen statistisch nicht nachweisbaren Zusammenhang zwischen Nützlichkeitserwartung und Fortbildungsplanung erklären Bach et al. – meiner Auffassung nach etwas verkürzt – damit, dass der Nachweis des Einflusses der Nützlichkeit umso weniger zu erkennen ist, wenn die Untersuchung weitere erklärende Variablen enthält.
4. Bei dem ebenfalls nicht erkennbaren Effekt der Selbstwirksamkeitserwartung auf die Fortbildungsplanung gehen die Autorinnen und Autoren von einem methodischen Problem aus, da diese Daten vor der Analyse jeweils auf Schulebene zusammengefasst wurden und verweisen zudem auf die uneinheitliche Befundlage zur Bedeutung der Selbstwirksamkeitserwartung für die Nutzung von VERA-Befunden durch Lehrkräfte.

Auch merken Bach et al. Schwächen ihrer Untersuchung an. So könnte die Tatsache, dass das schulleitungsspezifische Modell nur 21 % der auftretenden Varianz erklärt, auf noch nicht untersuchte Einflussfaktoren hindeuten: In diesem Zusammenhang verweisen sie u. a. auf

• die Qualität der Ergebnisrückmeldung,
• das Innovationsklima an der Schule,
• die schuleigenen Ressourcen und Entscheidungsprozesse,
• die Anwendung unterschiedlicher Führungsstilmodelle („instructional/transactional leadership“),
• die Implementationsmaßnahmen in Verbindung mit den Vergleichsarbeiten (Anreizsysteme, regulative Politik und verfügbare Unterstützungssysteme).

Für einige der genannten Einflussfaktoren halten Bach et al. ergänzend länderübergreifende vergleichende Studien für sinnvoll. Darüber hinaus merken sie kritisch an, dass ihre Fallzahlen recht klein seien, so dass nicht alle wünschbaren statistischen Auswertungsverfahren sinnvoll durchführbar gewesen seien. Auch ist ihnen bewusst, dass sich ihre Untersuchungen auf der Schulleitungsebene von denjenigen auf der Fachkonferenzebene spürbar durch die unterschiedliche Berücksichtigung der Grundschulen unterscheiden und einige in die Untersuchung eingehenden Prädiktoren lediglich undifferenziert über Einzelitems erfasst wurden. Zudem halten sie bei den Fachkonferenzen zukünftig eine Untersuchung auf der Basis einzelner Fächer für sinnvoll.

Diese durchaus kritische Diskussion durch die Autorinnen und Autoren kann um eine Reihe weiterer Punkte für zukünftige Forschung ergänzt werden.

Im Hinblick auf die bereits erwähnte Einbeziehung von Grundschulen in die Untersuchung ist z. B. zu fragen, ob sich Vergleichsarbeiten in Grund- und weiterführenden Schulen hinsichtlich 1. ihrer Aussagekraft für die Personalentwicklung und 2. der Nützlichkeitserwartung der Lehrkräfte so sehr ähneln, dass es sinnvoll ist, sie in einer Arbeit gemeinsam zu behandeln.

Als besonders wichtig erscheint mir darüber hinaus folgender Punkt: Die Fortbildungsplanung einer Schule wird durch die zur Verfügung stehenden personellen, finanziellen und zeitlichen Ressourcen beschränkt. Dadurch ist zu erwarten, dass sich Schulen bei der Personalentwicklung zunächst an Problemen orientieren, die von ihnen als besonders bedrückend empfunden werden: Hier wären – neben vielen anderen – etwa die Herausforderungen der Digitalisierung, der Umgang mit verhaltensauffälligen Schülerinnen und Schülern, der Einsatz neuer Unterrichtsmethoden, die Aufarbeitung von Problemen, die sich aus Umgestaltungen des Curriculums ergeben, die Entwicklung inklusiver Unterrichtsstrukturen, die Gestaltung von Prüfungsverfahren usw. als mögliche Beispiele zu nennen.

Mit all‘ diesen Aspekten steht die Fortbildungsplanung anhand der VERA-Ergebnisse in unmittelbarer, vermutlich nicht immer erfolgreicher Konkurrenz. Die mangelhafte Einbeziehung der VERA-Befunde in die Personalentwicklung könnte also darauf zurückzuführen sein, dass Schulen andere Probleme als schwerwiegender erachten als diejenigen, die sich aus den VERA-Ergebnissen ableiten lassen. Somit sollte in zukünftigen Untersuchungen zusätzlich erhoben werden, welche anderen Problemlagen als steuernd für die Ausgestaltung der Fortbildung an den jeweiligen Schulen angesehen werden.

Weiterhin gibt es eine starke Konkurrenz zu anderen Datenquellen, die ebenfalls handlungsleitend für die Fortbildungsplanung sein können. So kann Fortbildungsbedarf z. B. auch aus den Daten, die sich im Rahmen des ganz alltäglichen Unterrichtsgeschehens ergeben, abgeleitet werden. Diese Daten können zudem den Vorteil haben, dass sie Längsschnittentwicklungen erkennen lassen, weniger stark schematisiert erhoben sind und auch Aspekte erfassen (im Fach Deutsch etwa die Entwicklung der Formulierungsfähigkeit oder des Verfassens strukturierter, langer Texte), bei denen die Vergleichsarbeiten nur in äußerst begrenztem Maße (wenn überhaupt) Erkenntnisse bieten.

Aus dem alltäglichen Unterrichtsgeschehen können somit Fortbildungserfordernisse abgeleitet werden, welche für die Personalplanung von größerer Dringlichkeit sein können als die Ergebnisse der Vergleichsarbeiten.

Schließlich sei darauf hingewiesen, dass der geringe Raum, den die Personalentwicklung auf der Grundlage von VERA-Ergebnissen einnimmt, auch damit zu tun haben kann, dass nur für einige Fächer überhaupt Vergleichsarbeiten geschrieben werden. Eine Schulleitung muss bei der Personalentwicklung jedoch alle Fächer im Blick behalten.