08: Der Vater der Trainingsevaluation, Donald L. Kirkpatrick, ist tot. Eine kritische Würdigung.

So lautete 2014 der Titel eines Beitrages, die ich auf dem ersten Blog zu Didaktische Reduktion veröffentlichtet.

Darin erwähnte ich, dass sich das berühmte Buch von Kirkpatrick über Trainingsevaluation mehr als 70’000 mal verkaufte. Und sein Modell sich noch immer grosser Beliebtheit erfreute, obwohl es inzwischen stark in Kritik geraten ist.

Mir begegnete das Modell vor Jahren in der Weiterbildung MAS Educational Management an der ZHAW in Zürich. Mit der Frage, wie gestalten wir als Bildungsfachleute die vermutlich unbeliebteste und unter Trainer und Erwachsenenbildner am stärksten vernachlässigten Aufgabe: Weiterbildungen zu evaluieren?

Denn in den damals verbreiteten „Happiness-Sheets“, die oft erst am Ende eines Trainings und eher missmutig von den Teilnehmenden ausgefüllt werden, fanden sich meist nur Fragen zur Zufriedenheit oder organisatorische Rahmenbedingungen.

Beispiel: „Ist der Trainer auf Ihre Fragen eingegangen?“ oder „Wie beurteilen Sie die Räumlichkeiten?“

Die Antworten der Lernenden liefern uns wohl erste Hinweise über die Teilnehmerzufriedenheit mit dem kompetenten Trainer und die Wahrnehmung der organisatorischen Rahmenbedingungen. Doch nur wenige Ausbilder und Auftraggeber bemühen sich um die Klärung der viel interessanteren Fragen:

• Was nehmen Sie aus dem heutigen Training für Ihre Praxis mit?
• Wie hoch auf einer Skala von 1 bis 10 schätzen Sie die Möglichkeit, das Gelernte an Ihrem Arbeitsplatz umsetzen zu können?
• Woran erkennen Ihre Arbeitskolleg*innen, dass Sie sich intensiv mit diesem Thema beschäftigten?

Oder klären mit dem Auftraggeber, zeitverschoben, die konkrete Effektivität des Trainings:

• Sind als Folge des Trainings messbare Verhaltensänderung bei den Mitarbeitenden beobachtbar?
• Haben diese Veränderungen positive Wirkungen auf die Qualität der Dienstleistungen oder das finanzielle Ergebnis?

Die von mir hier skizzierten Fragen stehen neben der geläufigen Klärung der Zufriedenheit für die vier Ebenen des Weiterbildungs-Nutzens und damit für das Modell, welches Kirkpatrick in den 1950er-Jahren propagierte.

Die vier zentralen Begriffe im Modell von Kirkpatrick

Seine Begriffe lauteten damals reaction, learning, behavior und results. Sie bezeichnen Kriterien, mit denen die Wirksamkeit von Trainings untersucht werden sollen. Ich beschreibe sie hier kurz:

1. Ebene: Zufriedenheit (reaction)
2. Ebene: Lernen (learning)
3. Ebene: Verhalten (behavior)
4. Ebene: Ergebnisse (results)

Wenn ich in meinen Trainings und Inhouse-Schulungen die 1. Ebene beleuchte, messe ich, wie die Teilnehmenden auf die Weiterbildung reagieren. Ich frage danach, ob die Präsentation zu „Didaktischer Reduktion“ gelungen ist. Ob ich das Thema interessant und abwechslungsreich vermittelte. Und ob die von mir ausgewählten Inhalte und Beispiele für ihre Praxis relevant waren. Aus den Antworten der Teilnehmenden kann ich erkennen, ob mein Angebot akzeptiert wurde. Positive Rückmeldungen zeigen mir: Das Design des Trainings und mein Präsentationsstil sind angekommen.

Auf der 2. Ebene fragen wir, ob die Teilnehmenden ihr Wissen ergänzten und ihre Fähigkeiten erweiterten. Eigentlich geht es hier um die Frage, ob überhaupt etwas gelernt wurde. Damit wir objektive Zahlen erhalten, muss vor und nach dem Training gemessen werden. Denn nur so finden wir heraus, über welches Wissen die Teilnehmenden schon vor unserem Auftritt verfügten … und was wir in der Weiterbildung vermitteln konnten. Auf dieser Ebene finden wir folglich heraus, ob die von uns eingesetzten Methoden wirksam waren, die intendierten Lernziele zu erreichen oder die erforderlichen Kompetenzen aufzubauen.

Die 3. Ebene prüft, ob eine Verhaltensänderung erkennbar ist. Darauf zielt letztlich jede Weiterbildung ab: Auf ein erweitertes Verhaltensrepertoire. Wir prüfen damit, ob ein Lerntransfer zum Arbeitsplatz stattgefunden hat. Als Messverfahren empfehlen sich Test oder noch besser Beobachtungen. Für aussagekräftige Ergebnisse, muss auch das Umfeld der Lernenden befragt werden, das sind die Kolleg*innen oder die Vorgesetzten.

Die österreichische Trainings- und Transferexpertin Anna Langheiter spricht davon, dass auf dieser Ebene, auf der das Verhalten im Fokus steht, sinnvollerweise mit den Auftraggebenden herausgearbeitet werden soll, welche die ein bis drei kritischen Verhaltensweisen sind, welche Mitarbeitenden ändern sollen, damit die angestrebten Ergebnisse sich zeigen.

Um dies festzulegen, schlägt sie vor, mit der „Hans und Franz“-Metapher zu arbeiten. “Hans ist dabei der Mitarbeiter (der) am Training teilgenommen hat und das Gelernte umsetzt, Franz ist der Mitarbeiter, der nicht am Training teilgenommen hat und so arbeitet wie immer. Die Fragen an den Auftraggeber fokussieren dann genau auf diese Unterschiede: Was macht Hans, der trainierte Mitarbeiter? Wie arbeitet er? Was macht der Franz anders? Erkennen Sie den Unterschied vom Hans zum Franz, dem Mitarbeiter, der nicht im Training war?“ Aus dieser Diskussion können wir die Verhaltensweisen ableiten, die verändert werden müssen.

Die Auswirkungen der Weiterbildung, interessieren uns auf der 4. Ebene. Fragen könnten lauten: Welche Veränderung hat das Training für die Auftraggeberin, die Institution, gebracht? Sind für das Unternehmen „Werte“ geschaffen worden? Dabei denken wir an weniger Unfälle, verbesserte Qualität, höhere Produktivität, sinkende Kosten, mehr Umsatz, geringerer Personalwechsel. Valide Daten auf dieser 4. Ebene zu sammeln, Sie erkennen es, ist anspruchsvoller als auf den Ebenen 1 bis 3. Die 4. Ebene im Blick zu behalten ist aber entscheidend, weil erst diese Hinweise auf den Wertschöpfungsbeitrag der Weiterbildung in der Unternehmung belegen.

Hautpkritik: Der Nutzen vieler Weiterbildungen ist mit dem Kirkpatrick-Modell kaum oder sehr aufwendig messbar

Wenn wir uns auf die 4. Ebene und die Frage der „Effektivität“ konzentrieren, erkennen wir: Während einfacher gestrickte Weiterbildungen sich leichter untersuchen lassen, brauchen andere  ein ausgeklügeltes Instrumentarium.

Kirpatrick gibt in seinem Buch „Evaluating Training Programs“ selber zu, die Effektivität von Trainings z.B. in den Bereichen Kommunikation, Führung, Entscheidungsfindung seien auf Ebene 4 nur sehr aufwendig oder gar nicht messbar.

Zitat: „Sie ergeben keine konkreten Ergebnisse, die sich in Dollars oder Cent messen lassen.“

Kirkpatrick, J. und Kirkpatrick, W. (2016). Four Levels of Training Evaluation. atd press: Alexandria

Sie werden vielleicht einwenden, genau wie Kirpatrick dies auch tut: Die in den Trainings angestossenen Verhaltensänderungen sollten sich doch auch in einem finanziellen Nutzen für die Unternehmung zeigen.

Darum schlug in den 1990-er Jahren der US-amerikanische HR-Management- und Evaluationsexperte Jack Philipps, den wir in meiner Weiterbildung auch studierten, eine 5. Ebene vor. Diese untersucht spezifisch den ROI (Return of Investment). Dabei werden die Seminarteilnehmenden vor und nach der Weiterbildung einem Leistungstest unterzogen. In dem wir vom erzielten Nutzen die Kosten abziehen, erhalten wir Hinweise auf die Zunahme der Produktivität. Im Idealfall eine konkrete Zahl oder eben den ROI der Massnahme.

Meine Kritik am Evaluations-Modell von Kirpatrick

Mit vielen anderen kritischen Geistern bemängle ich beim Vier-Ebenen-Modell nicht allein die Schwierigkeit der ROI-Messung. Problematischer finde ich die unterstellte Annahme, die vier Ebenen würden kausal aufeinander aufbauen. Und die jeweils untere Ebene habe einen Einfluss auf die nächsthöhere. Diese „Ursache-Wirkungs-Zusammenhänge“ sind mir nicht ersichtlich.

Inzwischen gibt es mehrere Studien, die eindeutig aufzeigen (z.B. Stefan Rädiker in seiner Dissertation über die Evaluation von Weiterbildungsprozessen): Teilnehmerzufriedenheit und Lernerfolg stehen in keinem direkten kausalen Zusammenhang. Wenn Teilnehmende zufrieden aus dem Training an ihren Arbeitsplatz zurückkehren, müssen sie nicht unbedingt etwas an ihrem Verhalten geändert haben. Vielleicht gefiel ihnen einfach die Atmosphäre in der Gruppe oder sie erhielten wertvolle Inspirationen durch den anregenden Vortragsstil des Dozenten.

Umgekehrt, kann sich auch bei unzufriedenen oder in ihren Feedbacks zurückhaltenden Teilnehmenden, ein Lernerfolg einstellen. Selber erlebte ich schon öfters, dass mir Studierende in einem Seminar ein bis zwei Jahre später dankbar mitteilten, wann ihnen schliesslich „ein Licht aufgegangen sei“ und wie sie heute ihre Aufgaben anders, effektiver, erledigen.

Fazit: Warum ist das Modell der Vier-Ebenen von Kirkpatrick, der am 9. Mai 2014 mit 90 Jahren gestorben ist, bis heute unter Ausbildenden, Trainern und Personalentwicklern beliebt? Vielleicht hat gerade die Schlichtheit des Modells zu seiner enormen Verbreitung beigetragen. Es ist einfach, einsichtig und zumindest auf den Ebenen 1 und 2 leicht umzusetzen. Und erzeugt möglicherweise gerade darum die Illusion wirksamer und sinnvoller Weiterbildung …

Ressourcen:

Blogbeitrag Anna Langheiter “Das Evaluationsmodell nach Donald Kirkpatrick” von 2018

Neues Fachbuch “Mini-Handbuch Didaktische Reduktion”, Beltz Verlag 2022