Die Schulinspektion ist ein Verfahren der evidenzbasierten Steuerung (Köller & Riecke-Baulecke, 2015; Schrätz, 2015), welches die datengestützte Qualitätsentwicklung von Schulen möglich machen bzw. fördern soll. Doch wie ist das Verfahren zu gestalten, damit es zu der angestrebten Qualitätsentwicklung an den Schulen kommt?

Kemethofer arbeitet zunächst heraus, dass vermittelnde Mechanismen ausschlaggebend seien für den Einfluss von Schulinspektion auf die schulische Qualitätsentwicklung. Dies deckt sich mit der Schlussfolgerung von Dedering (2012): Schulinspektionen stellen „wohl nicht per se einen wirksamen Weg der Systemsteuerung dar“, „sondern nur in Abhängigkeit spezifischer, noch näher zu bestimmender Bedingungsfaktoren“ (ebd., S. 84).

Der Autor benennt unter Rückgriff auf ein Wirkungsmodell von Schulinspektionen (Ehren et al., 2013) drei vermittelnde Mechanismen, die den innerschulischen Verarbeitungsprozess von Inspektionsfeedback beeinflussen:

1. Aufbau von Erwartungen durch die Definition und Kommunikation von Qualitätsstandards/Qualitätskriterien
2. Handlungen von Bezugsgruppen als äußerer Druck oder Unterstützung
3. Akzeptanz von Rückmeldung durch die Schulen

Gemäß dem Wirkungsmodell werden durch diese vermittelnden Mechanismen Entwicklungsaktivitäten auf Schul- und Unterrichtsebene angestoßen: Zunächst sollen Kapazitäten zur Identifikation von Schwächen aufgebaut werden (z. B. Selbstevaluation) und daran anschließend Fähigkeiten, mit den gewonnenen Erkenntnissen umzugehen, wobei Entwicklungshandlungen zu einer Erhöhung der schulischen Entwicklungskapazität führen (z. B. Diskussion neuer Unterrichtsmethoden), was vermittelt über die Gestaltung effektiver Schul- und Unterrichtsbedingungen (z. B. Verwendung differenzierter Lernziele) den schulischen Output (Schülerleistungen) beeinflussen soll.

Der Ansatz, dass die o. g. drei Mechanismen die schulische Qualitätsentwicklung bedingen/beeinflussen, ist für Kemethofer mit der Frage verknüpft, in welchem Modus der Entwicklung Schulen auf diese Impulse reagieren. Unter Bezug auf Böttger-Beer und Koch (2008) beschreibt der Autor unterschiedliche Entwicklungsmodi, wobei der jeweils praktizierte Entwicklungsmodus durch die jeweiligen Rahmenbedingungen beeinflusst wird: Während die Entwicklungsmodi Entwicklung durch Wettbewerb und Entwicklung durch Konsequenzen in High-Stakes-Systemen – in diesen Systemen haben Ergebnisse z. B. der Schulinspektion hochbedeutsame Konsequenzen – zum Tragen kommen, ist in Low-Stakes-Systemen wie Deutschland oder Österreich der Ansatz der Entwicklung durch Einsicht vorrangig. Durch die Konzeption des Verfahrens können die vermittelnden Mechanismen (Aufbau von Erwartungen, Handlung von Bezugsgruppen, Akzeptanz von Rückmeldung) beeinflusst und Einsicht erzeugt werden.

Da die Wirkmechanismen des Ansatzes Entwicklung durch Einsicht kaum untersucht sind, fokussiert sich Kemethofer in seiner Arbeit auf die Frage, ob Schulinspektion die schulische Qualitätsentwicklung durch Einsicht beeinflussen kann. Er leitet aus seinen Ausführungen drei Hypothesen ab (ebd., S. 31):

• „Wenn es der Schulinspektion gelingt, die vermittelnden Mechanismen […] zu stimulieren, dann steigt die ‚Einsicht‘ bei den Schulleitungen.“
• „Es besteht ein positiver Zusammenhang zwischen Einsicht und Aktivitäten der Schulentwicklung.“
• „Es besteht kein Zusammenhang zwischen Einsicht und nicht-intendierten Effekten.“

Stichprobe: Für die Untersuchung greift Kemethofer auf eine Teilstichprobe des internationalen Projekts „Impact of School Inspection on Teaching and Learning“ (ISI-TL) zurück. Zur Beantwortung seiner Forschungsfragen zieht er Daten zur Teaminspektion in der Steiermark in Österreich heran, deren Konzept auf „Schulentwicklung durch Einsicht“ basiert.

In die Analysen gehen Angaben von 251 von 651 Schulleitungen (Rücklaufquote 39 %) aus dem Primarschulbereich sowie dem allgemeinbildenden Sekundarschulbereich aus einer Onlinebefragung von November 2013 bis Februar 2014 ein (Querschnittsdesign).

Instrumente: Angaben zu den vermittelnden Mechanismen wurden über Befragungsitems des ISI-TL Projekts erhoben. Die Items zu den Skalen Aufbau von Erwartungen (5 Items, α = .83), Akzeptanz von Feedback (5 Items, α = .93), Kenntnisse und Aufmerksamkeit von Bezugsgruppen (3 Items, α = .67) konnten jeweils auf einer fünfstufigen Likert-Skala von „lehne stark ab“ bis „stimme stark zu“ beantwortet werden. Das gleiche Antwortformat wurde für die Skala „Einsicht“ (5 Items, α = .92) verwendet, die für die Untersuchung neu entwickelt wurde.

Für die Bestimmung von Aktivitäten der Schulentwicklung wurde die Zeit abgefragt, die von der Schule (im Vergleich zum Vorjahr) aufgewendet worden war, für Selbstevaluierung, zur Verbesserung der Entwicklungskapazität (z. B. Zusammenarbeit im Kollegium) und zur Verbesserung der Schuleffektivität (z. B. Lernmöglichkeiten). Der Einschätzung des Auftretens von unerwünschten Effekten lag ebenfalls die Frage nach der verwendeten Zeit zugrunde.

Der Einfluss, den eine positive/negative Bewertung durch die Schulinspektion möglicherweise auf die Einsicht der Schule haben könnte, wurde von Kemethofer in seinen Analysen ebenfalls berücksichtigt.

Auswertung: Die Auswertung erfolgte mittels Regressionsanalysen und eines Strukturgleichungsmodells.

Bei der Untersuchung seiner drei Hypothesen kommt Kemethofer zu folgenden Ergebnissen:

Hypothese 1: „Wenn es der Schulinspektion gelingt, die vermittelnden Mechanismen zu stimulieren, dann steigt die Einsicht bei den Schulleitungen.“

In einer multiplen Regression, in die die Bewertung der Schule durch die Schulinspektion als Kontrollvariable einging, weisen die drei vermittelnden Mechanismen signifikant positive Zusammenhänge mit der Einsicht der Schulleitung auf (Aufbau von Erwartungen: β = .37, p ≤ .001; Akzeptanz von Feedback: β = .28, p ≤ .001; Kenntnisse und Aufmerksamkeit von Bezugsgruppen: β = .19, p ≤ .05). Die Kontrolle des Inspektionsergebnisses in diesen Analysen zeigt einen nicht signifikanten Effekt auf die Einsicht (β = .09, nicht signifikant).

Hypothese 2: „Es besteht ein positiver Zusammenhang zwischen Einsicht und Aktivitäten der Schulentwicklung.“

Zur Analyse der zweiten Hypothese zieht Kemethofer ein Strukturgleichungsmodell heran, in dem er Einsicht als intermediäre Variable zwischen den vermittelnden Mechanismen und Schulentwicklungsaktivität aufnimmt (CFI = .90, RMSEA = .03, Chi²/df = 1,7). Auch nimmt er das Inspektionsergebnis zur Kontrolle auf (gerichteter Effekt auf Akzeptanz von Feedback).

Der signifikante Einfluss von Akzeptanz von Feedback auf Einsicht aus der Regressionsanalyse zu Hypothese 1 findet sich in dieser Analyse nicht mehr, allerdings steht Akzeptanz von Feedback in signifikantem Zusammenhang mit Kenntnisse und Aufmerksamkeit von Bezugsgruppen (β = .18, p ≤ .001). Für die anderen beiden vermittelnden Mechanismen bleibt der Einfluss signifikant (Aufbau von Erwartungen: β = .71, p ≤ .001; Kenntnisse und Aufmerksamkeit von Bezugsgruppen: β = .37, p ≤ .001).

Bezogen auf den Zusammenhang von Einsicht mit Entwicklungsaktivitäten weisen die Ergebnisse einen geringen Einfluss auf, der sich v. a. hinsichtlich und vermittelt durch Selbstevaluationsaktivitäten der Schule zeigt. Als signifikant bedeutsam ergeben sich in diesem Modell die Pfade von Einsicht auf Selbstevaluationsaktivität (β = .22, p ≤ .05), von Selbstevaluationsaktivität auf Verbesserung der Entwicklungskapazität (β = .59, p ≤ .001) und von Verbesserung der Entwicklungskapazität auf Verbesserung der Schuleffektivität (β = .70, p ≤ .001).

Hypothese 3: „Es besteht kein Zusammenhang zwischen Einsicht und nicht-intendierten Effekten.“

Unter Kontrolle von vermittelnden Mechanismen und Schulinspektionsergebnis findet Kemethofer keinen Zusammenhang zwischen Einsicht der Schulleitung und nicht-intendierten Effekten von Schulinspektion (Entmutigung des Experimentierens mit neuen Unterrichtsmethoden: r = .11, nicht signifikant; Verengung von Curriculum und Unterrichtsstrategien: r = .01, nicht signifikant).

Zum Hintergrund: Bisherige Studien zur Wirkung von Schulinspektionen kommen zu recht unterschiedlichen Ergebnissen, so dass die Forschungslage uneindeutig ist (vgl. z. B. Pietsch, van den Ham, & Köller, 2015). Zudem eignen sich die vorrangig in High-Stakes-Systemen ermittelten Ergebnisse zur Wirkung von Schulinspektionen aufgrund der Unterschiedlichkeit der Rahmenbedingungen nicht zur Beantwortung von Fragen der Wirkung von Schulinspektionen in Low-Stakes-Systemen. Ausgehend hiervon stellt die Studie von Kemethofer einen wichtigen Beitrag zur Untersuchung der Wirkung von Schulinspektion in Low-Stakes-Systemen dar. Insbesondere, da er sich dem Aspekt der Einsicht als vermittelnden Mechanismus stellt, der in vielen dieser Inspektionsverfahren angenommen wird.

Kemethofer bietet eine klare theoretische Einführung in ein aktuelles Thema für Schulinspektionsverfahren in Low-Stakes-Systemen. Die Untersuchung von Einsicht als Komponente in der Schulentwicklung im Anschluss an eine Inspektion kann wichtige Informationen liefern für die weitere Entwicklung bestehender Inspektionsverfahren.

Zum Design: Der Autor zieht zur Untersuchung seiner Hypothese querschnittliche Daten aus einer Befragung von Schulleitungen heran, die mit ihrer Schule Inspektionserfahrungen gesammelt hatten. Wie der Autor bereits selber anmerkt, erscheint es gewinnbringend, in zukünftigen Studien den Kreis der befragten Personen zu erweitern, da je nach Personengruppe möglicherweise unterschiedliche Perspektiven/Wahrnehmungen zu erwarten sind (vgl. z. B. Schwank & Sommer, 2012 nach Böhm-Kasper, Selders, & Lambrecht, 2016). Auch die Verwendung längsschnittlicher Daten kann die Erkenntnisse erweitern, da das zeitlich gemeinsame Auftreten von Ereignissen allein theoretisch begründete kausale Schlüsse zulässt.

Zur Methode: Geht man davon aus, dass Schulentwicklung nicht linear erfolgt, wäre in Erwägung zu ziehen, neben den klassischerweise verwendeten linearen Analysen in weiteren Untersuchungen auch nicht-lineare Analysen durchzuführen (vgl. Feldhoff, Radisch, & Bischof, 2016).

Zu den Ergebnissen: Die Auswertungen zeigen, dass Schulinspektion zu einer größeren Einsicht auf Seiten der Schulleitung führen kann, wenn folgende vermittelnde Mechanismen stimuliert werden: Aufbau von Erwartungen, Aufmerksamkeit und Kenntnisse von Bezugsgruppen, Akzeptanz von Feedback. Für Länder mit Low-Stakes-Systemen erscheint es demnach lohnenswert, diese Aspekte bei der Konzeption ihrer Schulinspektionen zu berücksichtigen. Es zeigt sich weiter ein geringer Zusammenhang von Einsicht und Schulentwicklungsaktivitäten, was die Frage aufwirft, welche Bedingungen die Ableitung und Umsetzung von Maßnahmen im Anschluss an die Schulinspektion fördern können.

Allerdings ist der Ansatz überraschend, die Schulentwicklungsaktivitäten anhand von Zeit zu messen, die dafür aufgewendet wurde (im Vergleich zum Vorjahr). Dadurch erhält man ein quantitatives Maß über ihre relative Bedeutung im schulischen Alltag, allerdings fehlen Informationen über die Qualität der Prozesse. Interessant wäre deshalb in weiteren Untersuchungen eine inhaltliche Füllung dieser Prozesse/Aktivitäten, z. B. über die Abfrage bestimmter Indikatoren im Rahmen einer quantitativen Untersuchung ohne eine Relativierung am vorherigen Schuljahr oder aber auch die qualitative Erforschung des Untersuchungsgegenstandes. Möglicherweise ergeben sich dadurch andere Erkenntnisse als durch den Bezug zum vorherigen Schuljahr.

Der Autor kommt zu dem Schluss, dass Einsicht der Schulleitung nicht im Zusammenhang steht mit unerwünschten Nebenwirkungen nach einer Schulinspektion. Ausgehend von Forschungsergebnissen von Gärtner et al. (2011) lässt sich vermuten, dass Entwicklungen in der Schule, und damit auch unerwünschte Nebeneffekte, vielmehr vor dem Schulbesuch auftreten als danach. Interessant wäre deshalb, welchen Einfluss Einstellungen/Wahrnehmungen im Vorfeld von Schulinspektion auf das Auftreten unerwünschter Nebeneffekte vor der Inspektion haben.