Fragestellungen der Studie:

  • Welche Aspekte von Online-Fortbildungskursen sind besonders förderlich für eine Umsetzung der Kursinhalte im eigenen Unterricht?
  • Inwieweit erfolgt ein Transfer des Kursinhaltes aus Online-Fortbildungen in die Praxis?
  • Sind Aspekte, die die Umsetzung von Kursinhalten aus online-basierten Fortbildungskursen in den eigenen Unterricht befördern, dieselben Faktoren, welche im Wesentlichen mit der Zufriedenheit mit den Kursen zusammenhängen?

Rezension zur Studie

Lehrerprofessionalisierung im Online-Zeitalter – Konzeption und Evaluation von Online-Fortbildungskursen für Mathematiklehrkräfte

Szymanski, R. & Bruder, R. (2012)

Untersucht wurde die Qualität eines Online-Fortbildungskurses in der Lehrerfortbildung aus Sicht der teilnehmenden Mathematiklehrkräfte aus der Sekundarstufe. Mit der Entwicklung eines Messinstrumentes, orientiert an einem vierstufigen Evaluationsmodell, wurde die Einstellungs- und Verhaltensakzeptanz des Kursangebotes ermittelt. Zudem wurde untersucht, welche Aspekte der Fortbildung förderlich für die nachhaltige Umsetzung der Kursinhalte sind und ob dies auch die Aspekte sind, die mit der Zufriedenheit mit dem Kurs zusammenhängen. Im Ergebnis zeigt sich, dass das Online-Format aufgrund der Flexibilität im Vergleich zu anderen Formaten von den Teilnehmenden bevorzugt wird. Auch konnte gezeigt werden, dass ein subjektiv hoch eingeschätzter Lernerfolg mit der Erprobung der gelernten Fortbildungsinhalte im Unterricht einherging, wobei Umfang der Erprobung und Höhe des eingeschätzten Lernerfolges mit einer nachhaltigen Umsetzung der Inhalte in den Unterricht zusammenhängt.

Die Ergebnisse liefern wichtige Einschätzungen zur Bewertung des Online-Fortbildungskurses und die Umsetzung seiner Inhalte in die Praxis. Aufgrund der Datenqualität (mögliche Selektionsfehler durch die kleine Stichprobe, subjektive Selbsteinschätzung zum Lernerfolg der Teilnehmenden in Online-Fortbildungskursen) stellen die Befunde jedoch in erster Line Impulse für den Professionalisierungsdiskurs zu webbasierten Fortbildungsformaten für Lehrkräfte bereit.

Online-Fortbildungskurse sind gegenüber Präsenzveranstaltungen im besonderen Maße gekennzeichnet durch die Selbstbestimmung des eigenen Lernrhythmus sowie durch die Kommunikation und das gemeinsame Lernen trotz räumlicher und zeitlicher Distanz. Der webbasierte Einsatz von Lernprogrammen in Fortbildungskursen schafft damit Lern- und Lehrmöglichkeiten, die in der Lehrerfortbildung für Professionalisierung und Qualifizierung sinnvoll genutzt werden können. Die Vorteile von Internetdiensten (z.B. E-Mail, Forum, Instant Messenger und Chat) liegen darin, dass sie adressatengerecht selbstgesteuerte Lernprozesse und eine stärkere Interaktivität zwischen Lernenden und Lehrenden sowie Lernenden und Lernenden ermöglichen sollen. Diese Vorteile werden eingebunden in Lernprogramme, die auf der Internet-Technologie basieren (Web Based Training, kurz: WBT).

Die hier vorliegende Studie greift vor dem Hintergrund der Lehrerprofessionalisierung in der Lehrerfortbildung die Möglichkeit auf, die Konzeption von Online-Fortbildungskursen zu untersuchen und zu evaluieren. Mit dem Anspruch eines Web Based Training (WBT) bietet die Arbeitsgruppe „Fachdidaktik der Mathematik“ der Technischen Universität Darmstadt Online-Fortbildungskurse für Mathematiklehrkräfte der Sekundarstufen an. Die Online-Fortbildungskurse wurden u.a. orientiert an den Bildungsstandards für das Fach Mathematik (KMK 2003) entwickelt. Ziel dieses Fortbildungsformates ist es, die teilnehmenden Mathematiklehrkräfte thematisch etwa in den Bereichen „Mathematisches Modellieren“, „Binnendifferenzierung im Mathematikunterricht“ oder „Aufgabengestützte Kompetenzentwicklung“ fortzubilden und hierüber die Qualität des Mathematikunterrichts nachhaltig zu verbessern. Die Fortbildung startet mit einer Präsenzveranstaltung und ist dann im Online-Format in fünf Module strukturiert. Mittels Arbeitsaufträgen werden die Teilnehmenden zudem dazu angehalten, die gelernten Konzepte in der Praxis zu erproben.

Mit dem begleitenden Forschungsprojekt WOLF (Wirkungsanalysen von Online-Fortbildungskursen für Mathematiklehrkräfte) werden die Kurse fortlaufend evaluiert. Der dabei als Messinstrument eingesetzte Online-Fragebogen „Fragebogen zur Evaluation von Online-Fortbildungskursen für Mathematiklehrkräfte“ (FEOM) soll sowohl die Qualität des Kurses als auch die Wirkung und Nachhaltigkeit der Online-Fortbildungskurse in der beruflichen Praxis ermitteln.

Als theoretische Grundlage, auch für die Entwicklung des Fragebogens, dient das vier Ebenen berücksichtigende Modell zur Evaluation von Trainings von Kirkpatrick & Kirkpatrick (2006):
1) Reaction (Zufriedenheit),
2) Learning (Lernerfolg),
3) Behavior (Transfererfolg) und
4) Results (Arbeitsergebnisse/Erfolge).

Die einzelnen Ebenen der Evaluation werden als aufeinander aufbauend gesehen und implizieren eine Wirkungskette, dem zufolge die Zufriedenheit der Teilnehmenden mit dem Fortbildungsangebot die Voraussetzung für die Aneignung von Kompetenzen ist (Lernerfolg). Erst durch den Erwerb entsprechender Grundlagen werden Transferbemühungen angestellt. Schließlich tragen die erlernten Inhalte auch zur Förderung der Unterrichtsqualität bei. Vorteil dieses Evaluationsmodells ist es, dass es die Output-Dimensionen von Weiterbildungs- und Trainingsmaßnahmen in den Fokus stellt. Allerdings konnten diese impliziten Wirkungsannahmen bislang jedoch weder eindeutig bestätigt noch widerlegt werden.

Die Untersuchung basiert auf Daten eines Online-Fortbildungskurses für Mathematiklehrkräfte aus dem Jahr 2011. Insgesamt nahmen 22 Lehrkräfte (48% der Teilnehmenden des Fortbildungskurses) an der Online-Befragung im Anschluss an den Online-Fortbildungskurs teil. Nach Angaben der befragten Personen handelte es sich überwiegend um Lehrkräfte aus Gymnasien, Realschulen bzw. Gesamtschulen. Bezüglich der Berufserfahrung gaben die Hälfte der Lehrkräfte (n=11) an, 4 bis 9 Jahre Berufserfahrung zu haben.

Der Fragebogen, der zur Evaluation der Online-Fortbildungskurse für Mathematiklehrkräfte (FEOM) entwickelt wurde, erfasst Meinungen und Einschätzungen zur Qualität und Wirkung der Online-Fortbildungskurse nach Abschluss der Fortbildung. Der Fragebogen enthält zudem, in Anlehnung an die vier Evaluationsebenen (Akzeptanz, Lernerfolg, Transfer, Arbeitsergebnisse) nach Kirkpatrick & Kirkpatrick (2006), einen ersten Abschnitt „Akzeptanz und Lernerfolg“ und einen zweiten Abschnitt „Transfer und Ergebnis“. Der erste Abschnitt des Fragebogens setzt sich aus sieben Skalen (Struktur und Didaktik, Relevanz, Kursleitung, Beteiligung, Lernerfolg, Interaktion und Online) zur Messung der Akzeptanz und des Lernerfolgs zusammen.

Mit den Skalen „Struktur und Didaktik“, „Relevanz“ und „Kursleitung“ wird die Zufriedenheit bezüglich des didaktischen Aufbaus des Kurses, der Kursinhalte im Hinblick auf die Praxis, der Rückmeldungen und der Präsenz der Kursleitung bewertet. Die Skala „Beteiligung“ erhebt die Häufigkeit an den Forendiskussionen sowie den stattgefundenen Austausch mit anderen Fortbildungsteilnehmerinnen und Fortbildungsteilnehmern. Die Skala „Lernerfolg“ erfasst die subjektive Einschätzung des Lernzuwachses. Zwei weitere Skalen, „Online“ und „Interaktion“, nehmen direkten Bezug auf die webbasierte Form des Online-Fortbildungskurses an und fordern eine Bewertung der Online-Veranstaltung im Vergleich zu einer Präsenzveranstaltung.

Die Bewertung erfolgte anhand einer fünfstufigen Likertskala. Die sieben Skalen zur Messung der Akzeptanz und des subjektiven Lernerfolgs wurden mittels Berechnung von Cronbachs-Alpha-Werten auf ihre innere Konsistenz geprüft. Im Ergebnis zeigen sich dabei akzeptable bis hervorragende Reliabilitätswerte. Im weiteren methodischen Vorgehen wurden die Skalenmittelwerte berechnet und für die Ermittlung von Zusammenhängen zwischen Variablen Rangkorrelationskoeffizienten nach Spearman bestimmt.

Der zweite Abschnitt „Transfer und Ergebnis“ in Bezug auf die berufliche Praxis fragt auf Itemebene nach dem Einsatz der im Fortbildungskurs erworbenen Kompetenzen im Unterricht und zielt auf die Erfassung einer nachhaltigen Verbesserung der Unterrichtsqualität. Es wird danach gefragt, inwieweit eine Erprobung des Kursinhalts in der Unterrichtspraxis erfolgt ist und inwieweit die die erworbenen Kenntnisse und Fertigkeiten bereits feste Bestandteile in der Unterrichtsplanung sind bzw. werden sollen.
Zudem wurde eine Gesamtbewertung des Fortbildungskurses mit einer Notenvergabe von 1 bis 6 abgefragt.

Die allgemeine Bewertung des Online-Fortbildungskurses wird von den Befragten im Mittel mit 1.99 (SD= .68) auf einer Notenskala von 1 bis 6 vorgenommen. Ergebnisse zu den ersten beiden Evaluationsebenen „Akzeptanz“ und „Lernerfolg“ in Anlehnung an Kirkpatrick & Kirkpatrick (2006) werden über die Skalenmittelwerte der oben genannten sieben Skalen (s. Design) ermittelt. Hohe Zustimmungswerte im Mittel resultieren bei folgenden fünf Skalen: Struktur und Didaktik (M=4,3), Relevanz (M=4,0), Kursleitung (M=4,1), Lernerfolg (M=4,0), Online (M=4,0). Bei den kommunikativen Aspekten der Online-Fortbildung zeigten sich hingegen weniger hohe Zustimmungswerte: Beteiligung (M=2,7) und Interaktion (M=2,3). Die Autoren bewerten diese niedrigen Werte damit, dass seitens der Teilnehmenden weniger der Austausch oder die Interaktion mit anderen Teilnehmenden in diesem Fortbildungsformat von Interesse waren.

In einem weiteren Schritt wurde die allgemeine Bewertung des Fortbildungskurses (Notenvergabe) mit den Messungen der einzelnen Skalen mithilfe des Spearman Rangkorrelationskoeffizienten in einen Zusammenhang gesetzt. Die Ergebnisse zeigen signifikante Zusammenhänge vor allem zwischen der Benotung und den Skalen „Struktur und Didaktik“ (r= -.89) und „Online“ (r= -.81) auf. Zudem ergab sich eine Vorhersage der Benotung anhand der Skalen zur Akzeptanz und des subjektiven Lernerfolgs mit einer Aufklärung von 89% der Kriteriumsvarianz.

Ergebnisse hinsichtlich der dritten und vierten Evaluationsebenen „Transfer“ und „Ergebnis“ zeigen, dass 12 (55%) der Befragten die erworbenen Kenntnisse aus der Online-Fortbildung im Unterricht erprobt haben. Dabei zeigte sich, dass sich die Erprobung der Fortbildungsinhalte in der Unterrichtspraxis durch die subjektive Einschätzung des Lernerfolgs vorhersagen lässt. Mehr als die Hälfte der Befragten (n=13, 59%) geben an, dass die erworbenen Kenntnisse durch den Kurs mittlerweile fester Bestandteil des Unterrichts geworden seien. Und 14 der Befragten (64%) geben an, die Kenntnisse weiterhin in ihren Unterricht integrieren zu wollen.

Zu 1. Hintergrund (Kontextualisierung der Untersuchung): Die Studie greift vor dem Hintergrund der Lehrerprofessionalisierung und der Lehrerfortbildung ein bislang eher weniger genutztes Fortbildungsformat auf, welches jedoch zunehmend in den Blick genommen wird. Es wird untersucht, wie Online-Fortbildungskurse von den Teilnehmenden bewertet werden und inwieweit ein Transfer in die Praxis nach Einschätzung der Teilgenommenen stattgefunden hat.
Die Autoren entwickeln dazu auch unter Einbezug bereits vorliegender Forschungsarbeiten einen Online-Fragebogen, der Aspekte der Einstellungsakzeptanz (Akzeptanz des Kursangebots und Lernzuwachs) und der Verhaltensakzeptanz (Transfer und Nachhaltigkeit der Kurse) beleuchtet. Auch unter Berücksichtigung der vier Ebenen der Evaluation nach Kirkpatrick & Kirkpatrick (2006) liegt der Fokus auf der ersten Evaluationsebene. Lediglich durch subjektive Einschätzungen der Befragten können Ergebnisse auch auf anderen Ebenen ermittelt werden. Die Autorin und der Autor merken die Grenzen bezüglich der subjektiven Einschätzung der Befragten an. Weiterhin wird darauf hingewiesen, dass erst durch den weiteren Einsatz des Online-Fragebogens herauszufinden ist, wie stabil die Ergebnisse seien.

Zu 2. Design (Einordnung der Untersuchung): Die Instrumente werden weitgehend ausführlich beschrieben und die methodische Vorgehensweise ist nachvollziehbar. Hinsichtlich der Stichprobe wäre noch interessant gewesen, inwieweit sich die aufgeführten Merkmale (Schulform und Berufserfahrung der Befragungsteilnehmerinnen und -teilnehmer) in den Ergebnissen widergespiegelt haben. Die Autorin und der Autor weisen sowohl bei der Einschätzung der Werte (Berechnung von Cronbachs Alpha) als auch bei der abschließenden Diskussion der Ergebnisse auf die kleine Stichprobe und die daraus resultierenden eingeschränkten Interpretationen der gefundenen Zusammenhänge hin.

Zu 3. Ergebnisse (Kontextualisierung und Einordnung der Befunde): Die Zielstellung der Untersuchung wird erreicht und die vorgenommenen Schlussfolgerungen, insbesondere da entsprechende Einschränkungen bezüglich der kleinen Stichprobe vorgenommen werden, erscheinen plausibel. Die Ergebnisse werden mit Blick auf die Grenzen der Tragweite vorsichtig und sensibel diskutiert. Die Untersuchung kann sowohl wichtige Anhaltspunkte für die Gestaltung des Fortbildungskurses als auch Informationen über die Nutzung und den Transfer in die Praxis von Seiten der Teilnehmenden liefern. Mit Blick auf nachhaltige Implementationsbemühungen von Fortbildungsinhalten in die Praxis ist besonders von Interesse, dass die Teilnehmenden vor allem dann die Absicht aufwiesen, die Inhalte nachhaltig in die Praxis zu integrieren, wenn die Kursinhalte umfangreich im Unterricht erprobt wurden und der subjektive Lernerfolg hoch eingeschätzt wurde. Weitergehend wäre es daher von Interesse, welche Maßnahmen und Rahmenbedingungen (z.B. auf einzelschulischer Ebene) die Erprobung von Fortbildungsinhalten stützen.

Das für die Evaluation entwickelte Instrument kann für Folgekurse eingesetzt werden und für weitere Befunde aus Online-Fortbildungsmaßnahmen sorgen. Aufgrund des noch eher weniger genutzten onlinegestützten Fortbildungsformates in der Lehrerfortbildung haben die Entwicklung des Messinstrumentes sowie die Ergebnisse dieser Befragung eine Bedeutsamkeit für die (Weiter-) Entwicklung von Maßnahmen in der Lehrerprofessionalisierung und sollten entsprechende Beachtung finden.
Mit den Untersuchungen von onlinegestützten Fortbildungskursen werden die Möglichkeiten der Professionalisierung über herkömmliche Wege und die Gestaltung mit und die Nutzung von Internetdiensten in der Professionalisierung von Lehrkräften vorangetrieben.

Rezension speichern und teilen
Im Kontext

nrw-wappenOnline-Unterstützungsportal zum Referenzrahmen Schulqualität NRW

Diese Rezension wurde erstellt von:
Willmann, Silke, Dr., pädagogische Mitarbeiterin an der Qualitäts- und UnterstützungsAgentur – Landesinstitut für Schule (QUA-LiS NRW), Soest. Arbeitsschwerpunkte: Qualitätssicherung und -entwicklung in der Lehrerfortbildung

Sie haben Fragen oder Anregungen?

Schreiben Sie uns!