Fragestellungen der Studie:
Rezension zur Studie
Schelling , N. & Rubenstein, L. D. (2021). Elementary teachers’ perceptions of data-driven decision-making. Educational Assessment, Evaluation and Accountability, 33, 317–344.FIS BildungFormatives Assessment ist eine Form von datengestützter Entscheidungsfindung (Data-Driven Decision-Making, DDDM), die darauf abzielt, im Verlauf des Lernprozesses fortlaufend Daten zu erheben, um gezielte Rückmeldungen zu Zwischenzielen zu geben, individuelle Unterstützung zu bieten und den Unterricht entsprechend anzupassen. Allerdings wird DDDM und formatives Assessment von Lehrkräften nicht im erwarteten Maße genutzt.
Schelling und Rubenstein untersuchen daher in einer qualitativen Erkundungsstudie, wie häufig DDDM bzw. formatives Assessment praktiziert wird und von welchen Bedingungen das abhängt. Zu diesem Zweck führten sie Fokusgruppeninterviews mit 9 Grundschullehrkräften aus Indiana, USA. Zugrundegelegt wurde dabei die Theorie des geplanten Verhaltens. Demnach beeinflussen kognitive und emotionale Einstellungen, soziale Normen und Erwartungen sowie ausreichende Fähigkeiten und Gestaltungsspielraum (Autonomie) die Intention für konkretes Handeln und seine Umsetzung.
In den Interviews gaben die Lehrkräfte an, dass sie ihren Unterricht häufig anlässlich der Reaktionen von Schülerinnen und Schülern auf ihre Instruktionen hin anpassen, jedoch nur selten auf Grundlage von Daten, die mithilfe selbst entwickelter formativer Tests erhoben wurden. Sie berichteten positive Gedanken (z. B. hilfreich) in Bezug auf DDDM, aber auch negative Gefühle (z. B. stressig), insbesondere hinsichtlich Assessments. Die Einschätzung und Nutzung von DDDM wird nach Ansicht der Lehrkräfte beeinflusst durch die Schulkultur, einschließlich unterstützender Schulleitungen und kollaborativer Umgebungen. Obwohl sie ihre Fähigkeiten für DDDM als ausreichend einschätzen, erachten sie es als vorteilhaft, diese weiter auszubauen. Den interviewten Lehrkräften war DDDM von der Schulverwaltung vorgeschrieben, doch wenn es ihnen freigestellt wäre, würden sie von sich aus einen Teil der Maßnahmen beibehalten. Externer Druck, etwa durch die öffentliche Präsentation der von einzelnen Lehrkräften erhobenen Daten, wird als negativer Einflussfaktor beschrieben.
Die Befunde sprechen dafür, eine unterstützende Schulkultur zu fördern, beispielsweise durch die Finanzierung geeigneter technischer Ausstattung und die Bereitstellung von Zeit für DDDM, durch zweckgebundene Entlastung der Schulen sowie durch die Schaffung gezielter Fortbildungsangebote für Lehrkräfte.
Die geringe Stichprobengröße und eine mögliche Einseitigkeit bei der Stichprobenauswahl durch die Freiwilligkeit der Teilnahme schränken die Generalisierbarkeit der Ergebnisse allerdings ein. Die Herausforderungen bei der Verknüpfung von Theorie und Praxis und die Notwendigkeit weiterer, insbesondere quantitativer Studien, wird deutlich.
Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.
Reflexionsfragen für Lehrkräfte
Reflexionsfragen für Schulleitungen
Data-driven decision-making (DDDM) wird als Prozess verstanden, bei dem Daten zur Informationsbasis für Bildungsentscheidungen genutzt werden, beispielsweise zur Formulierung von Leistungszielen, Unterrichtsplänen oder Differenzierungsangeboten. Trotz der empirisch belegten Vorteile und gesetzlichen Vorgaben haben Lehrkräfte oft Schwierigkeiten, DDDM systematisch umzusetzen.
Das Ziel der Untersuchung ist es, die Einstellungen und Wahrnehmungen von Grundschullehrkräften gegenüber DDDM zu erfassen. Dabei wird der Fokus auf die Nutzung formativer Bewertungen von Unterrichtsentscheidungen gelegt, das heißt Erhebung von Daten, während die Schülerinnen und Schüler sich aktiv im Lernprozess befinden. Dabei soll untersucht werden, warum Lehrkräfte DDDM nicht häufiger nutzen und welche hemmenden und fördernden Faktoren dabei eine Rolle spielen. Diese Erkenntnisse sollen genutzt werden, um die Unterstützung für Lehrkräfte bei der Implementierung von DDDM zu verbessern und zukünftige quantitative Forschungsinstrumente zu entwickeln.
Frühere Studien haben gezeigt, dass DDDM durch Faktoren wie den Zugang zu Daten, die Fähigkeit der Lehrkräfte zur Datenanalyse und die kulturellen Rahmenbedingungen an Schulen beeinflusst wird. Lehrkräfte berichten häufig von gemischten Gefühlen im Umgang mit DDDM, wobei positive Aspekte wie Nützlichkeit und Unterstützung wahrgenommen, gleichzeitig aber auch Stress und Überforderung empfunden werden.
Da DDDM auch stark in die soziale Umgebung eingebettet ist und von ihr beeinflusst wird, dient dieser Studie die Theorie des geplanten Verhaltens (Fishbein & Ajzen, 2010) als theoretischer Rahmen. Diese Theorie besagt, dass das Verhalten von Individuen durch deren Einstellungen, soziale Normen und die wahrgenommene Verhaltenskontrolle erklärt werden kann. Sie bietet einen Rahmen, um das Verhalten der Lehrkräfte im sozialen Kontext gezielt zu untersuchen, zu verstehen und geeignete Interventionsinstrumente zu entwickeln.
Um zu verstehen, warum Lehrkräfte möglicherweise nicht häufig oder in vollem Umfang Prozesse der formativen Bewertung und DDDM nutzen, wurden folgende Forschungsfragen gestellt:
Diese Fragen sollen dazu beitragen, ein besseres Verständnis der Wahrnehmungen und Praktiken von Lehrkräften im Zusammenhang mit DDDM zu gewinnen und mögliche Wege zur Unterstützung und Verbesserung der Nutzung von DDDM in der Bildungspraxis aufzuzeigen.
Die Untersuchung basiert auf einer qualitativen Analyse, für die neun Grundschullehrkräfte aus Indiana, USA, befragt wurden. Die Schulauswahl erfolgte gezielt, um eine Vielfalt hinsichtlich des sozioökonomischen Status und der geographischen Lage der Schulen zu gewährleisten. Die Auswahl der Lehrkräfte an den passenden Schulen wurde jedoch zufällig getroffen.
Insgesamt wurden drei Fokusgruppen mit einmal fünf und zweimal zwei Lehrkräften gebildet. Zur Datenerhebung wurden Fokusgruppeninterviews eingesetzt, die sich als geeignetes Mittel zur Erfassung von Einstellungen und Wahrnehmungen erwiesen haben. Die Gruppeninterviews wurden aufgezeichnet, transkribiert und anschließend kodiert. Die Kodierung erfolgte sowohl deduktiv, basierend auf bestehenden Kategorien nach Definitionen von Fishbein und Ajzen (2010), als auch induktiv, um neue Kategorien aus den Daten zu entwickeln. Die Ergebnisse der Analyse wurden den Teilnehmenden zugesendet, damit diese die Analyseergebnisse und das abgeleitete Modell bestätigen konnten.
Forschungsfrage 1: Die Lehrkräfte boten verschiedene Definitionen von formativer Bewertung an, einschließlich Beispielen wie Quizze, Hausaufgaben, Beobachtungen und andere schnelle Verständniskontrollen. Einige Lehrkräfte missinterpretierten formative Bewertung als standardisierte Tests. Insgesamt gaben fast alle Lehrkräfte an, dass sie formative Beurteilungen – häufiger in informeller als in formeller Form – in fast jeder Unterrichtsstunde durchführen. Für DDDM wurden als Beispiele die Verwendung von Daten zur Gruppeneinteilung, zur Unterrichtsdifferenzierung, zur Änderung des Unterrichtstempos und zur Verfolgung des individuellen Zuwachses bei bestimmten Fähigkeiten genannt. Die Angabe der Häufigkeit, mit der DDDM eingesetzt wurde, variierte sehr stark und es wurde betont, dass DDDM eher auf der Grundlage von standardisierten Beurteilungen und nicht von formativen Beurteilungen durchgeführt wird.
Forschungsfrage 2: Die Lehrkräfte hatten überwiegend positive Gedanken über DDDM (z. B. wichtig, wertvoll, hilfreich, interessant), indem sie es als nützlich und unterstützend für den Unterricht ansahen. Gleichzeitig wurden jedoch negative Gefühle (z. B. überwältigend, stressig, angstauslösend, peinlich, ärgerlich) geäußert. Einige berichten jedoch auch eine gewisse Freude an der Arbeit mit Daten.
Forschungsfrage 3: Lehrkräfte identifizierten mehrere Faktoren mit Einfluss auf ihre DDDM-Praktiken und nennen zunächst andere Lehrkräfte, mit denen zur Analyse der Daten zusammengearbeitet wird. Zusätzlich wurden die Schulleitung und die Bezirksverwaltung genannt, welche Erwartungen an die Lehrkräfte in Bezug auf die Durchführung von DDDM stellen. Die Lehrkräfte diskutieren, dass einige das Interesse der Schulleitung an Datennutzung positiv wahrnehmen, wenn es als „Unterstützung“ genutzt wird, während andere es als negativ empfinden, wenn es als „Kontrolle“ (strafender Fokus) eingesetzt wird. Die Erwartungen von Eltern und Schülerinnen und Schülern (positiver Einfluss, wenn sie Tests wünschen; negativer Einfluss, wenn sie Angst zeigen) wurden ebenfalls aufgeführt und für weitere Untersuchungen als relevante Bezugsgruppen ergänzt.
Forschungsfrage 4: Die meisten Lehrkräfte waren überzeugt, einen guten Wissensstand und die notwendigen Fertigkeiten zu haben, auch wenn Fortbildungen weiter als sinnvoll angesehen wurden. Außerdem wurde diskutiert, dass DDDM vor allem in idealen Umgebungen umsetzbar wäre, es in realen Klassenzimmern aufgrund von Ressourcenmangel, wie fehlende Zeit und unzureichende technische Unterstützung, sowie den externen Problemen, die Schülerinnen und Schüler mitbringen, jedoch deutlich schwieriger zu realisieren sei. Darüber hinaus wurde die Autonomie als beschränkt wahrgenommen, da DDDM durch die Schulverwaltung vorgegeben sei. Innerhalb dieser Vorgabe könne jedoch in einem gewissen Rahmen selbst entschieden werden, wie und wann die Lehrkräfte die Erhebung und Auswertung der Daten durchführen.
Hintergrund
Die Untersuchung greift ein relevantes Forschungsdesiderat auf, indem sie die Wahrnehmungen von Grundschullehrkräften bezüglich datengestützter Entscheidungsfindung (DDDM) untersucht. Dies ist besonders wichtig, da DDDM positive Effekte auf den Lernerfolg hat und durch bildungspolitische Vorgaben zunehmend in den Fokus rückt.
Die Studie basiert auf der Theorie des geplanten Verhaltens (Fishbein & Ajzen, 2010), worin eine potenzielle Verengung des Forschungszugangs bestehen könnte, da alternative theoretische Ansätze, wie beispielsweise der stärkere Fokus auf Motivation und Frustration bei Erfolglosigkeit, der aus der Selbstbestimmungstheorie hervorgeht, nicht berücksichtigt wurden. Dennoch bietet die gewählte Theorie eine solide Grundlage für die Untersuchung von Lehrkräfteverhalten in sozialen Kontexten.
Die theoretische Einbettung erfolgt durch die Anwendung der Theorie des geplanten Verhaltens, was eine systematische Analyse der Faktoren, die DDDM beeinflussen, ermöglicht. Ohne diese theoretische Fundierung wären die Befunde weniger aussagekräftig, da sie keine tiefere Erklärung der zugrunde liegenden Mechanismen bieten würden. Die Untersuchung berücksichtigt relevante Vorarbeiten und integriert Ergebnisse früherer Studien, um die Forschungsfragen fundiert abzuleiten und zu diskutieren.
Design
Das Studiendesign und die Methoden sind klar formuliert und geeignet, die Forschungsfragen zu beantworten. Jedoch sind nicht alle Details des Designs, wie der Erhebungszeitraum, ausführlich beschrieben. Die eingesetzte qualitative Erhebungsmethode (Fokusgruppeninterviews), die Stichprobe (neun Lehrkräfte aus Indiana) und der Ablauf der Erhebung werden beschrieben, weisen jedoch auf einige Limitationen der Studie hin, die in der Interpretation der Ergebnisse berücksichtigt werden sollten. Die geringe Stichprobengröße von neun Lehrkräften und die gezielte Auswahl nach dem Prinzip der Verfügbarkeit und Freiwilligkeit schränkt die Übertragbarkeit der Ergebnisse ein. Hilfreich wären außerdem zusätzliche demographische Daten der Lehrkräfte, um die Ergebnisse besser einordnen zu können. Dennoch bieten die Ergebnisse wertvolle erste Einblicke in die spezifischen Wahrnehmungen und Einstellungen der Lehrkräfte.
Ergebnisse
Die Zielstellung der Untersuchung wird weitgehend erreicht, da die Forschungsfragen umfassend beantwortet werden. Die Schlussfolgerungen sind, basierend auf den erhobenen Daten und der theoretischen Fundierung, plausibel und logisch nachvollziehbar. Trotz des allgemeinen Konsenses über die Nützlichkeit von DDDM hatten viele Lehrkräfte das Gefühl, dass der damit verbundene Aufwand und die erforderlichen Fähigkeiten eine Hürde darstellen. Diese Diskrepanz zwischen der anerkannten Bedeutung von DDDM und der tatsächlichen Umsetzung weist auf die Notwendigkeit zusätzlicher Unterstützung und Ressourcen hin. Eine erfolgreiche Implementierung von DDDM in Schulen hängt stark von der vorhandenen Schulkultur und den angebotenen Unterstützungsstrukturen ab. Um die Nutzung von DDDM zu fördern, sollten Schulleitungen gezielte professionelle Entwicklungsmaßnahmen anbieten und eine Umgebung schaffen, die Lehrkräfte ermutigt und unterstützt.
Andere aufgeführte Befunde zu den Forschungsfragen zeigen ähnliche Herausforderungen und positive Aspekte von DDDM, wobei die Ergebnisse der vorliegenden Studie neue Einblicke hinsichtlich der Wahrnehmungen und Einstellungen der Lehrkräfte bieten.
Mit dieser Untersuchung werden bekannte Befunde zur Bedeutung von Schulkultur und Unterstützung bei der Implementierung von DDDM repliziert und erweitert. Anschlussfragen betreffen die Notwendigkeit weiterer quantitativer Studien, um die Ergebnisse zu validieren und generalisierbare Aussagen zu treffen (vgl. z. B. Hawlitschek et al., 2024). Für bildungspolitische Maßnahmen ergeben sich Implikationen hinsichtlich der Förderung einer unterstützenden Schulkultur, durch beispielsweise die Finanzierung geeigneter technischer Ausstattung und die Bereitstellung von Zeit für DDDM durch zweckgebundene Entlastung der Schulen, sowie durch die Schaffung gezielter Fortbildungsangebote für Lehrkräfte.
Online-Unterstützungsportal zum Referenzrahmen Schulqualität NRW
Bildungsportal NRW
Sie haben Fragen oder Anregungen?