Richtig evaluieren: Ablauf, Vorteile und Ziele einer Evaluation
Beitrag von Marlene Dillig
Damit ein Projekt gelingt, ist eine konsequente Evaluation unabdingbar. Dies gilt nicht nur bei der Planung und Erstellung von E-Learnings oder der Umsetzung von Blended Learning Konzepten: Eine Evaluation sollte fester Bestandteil eines jeden Projektplans sein.
Abhängig vom Unfang des Projekts, der Stärken und Schwächen der Zielgruppe und der gewählten Formate und Medien können sogar mehrere Evaluationen nötig sein. So haben wir etwa für unser aktuelles Projekt zur Erstellung digitaler Qualifizierungsmodule für Menschen mit Einschränkungen drei spezielle Erfordernisse identifiziert, die eine umfassende Evaluation der E-Learning Module notwendig machen:
- Genaue Userführung und starke Unterstützung
- Einfache Sprache
- Anwendbarkeit auch mit schwacher Lesekompetenz
Um diesen speziellen Herausforderungen schon im Vorfeld zu begegnen, wurde bereits während der Pilotphase auf Tauglichkeit für diese besondere Zielgruppe getestet. Unser Ziel bei der ersten Evaluation war es, projektrelevante Erkenntnisse zu gewinnen und Entwicklungs-Standards für weitere Qualifizierungsmodule festlegen zu können, die für die Zielgruppe geeignet sind und Spaß machen. Nur so können Qualitätssicherung, Effizienz und ein nachhaltiger Einsatz der Qualifizierungsmodule gewährleistet werden.
In der folgenden Evaluation konnten wir nicht nur die gewählten Fragenformate und die eigens für die Bedarfe der Zielgruppe entwickelte Userführung validieren, sondern auch spracliche Hürden überwinden. Diese Erkenntnisse wären ohne eine umfangreiche Evaluation der E-Learning Module nicht so nachhaltig und effizient schon im Vorfeld un zu Beginn der Produktion möglich gewesen.
Damit auch Sie in Zukunft nicht auf wichtige Erkenntnisse aus einer Projektevaluation verzichten müssen ,zeigen wir Ihnen im Folgenden nicht nur die fünf Schritte einer Evaluation, sondern auch weitere Vorteile, die eine Evaluation für Ihr (E-Learning-)Projekt haben kann.
Was ist eine Evaluation und welche Schritte sind zu beachten?
Eine Projektevaluation umfasst eine systematische, methodische Untersuchung eines Gegenstands, um zu überprüfen, ob ein vorab definiertes Ziel erreicht werden konnte [1]. Sie dient dem Datengewinn und damit einem Erkenntnisgewinne über den getesteten Gegenstand. Anschließend folgen die Datenbewertung und die Schlussfolgerung, welche Maßnahmen, um das Ziel zu erreichen, greifen und welche modifiziert oder optimiert werden müssen.
Eine Evaluation sollte vor allem in größeren Projekten Standard sein. Je nachdem worauf der Fokus der Evaluation liegt, kann sie gleich zu Beginn innerhalb der Pilotphase, punktuell während des Projektverlaufs und/oder nach Fertigstellung vorgenommen werden. Zu empfehlen sind außerdem mehrer Evaluationsiterationen, um modifizierte Maßnahmen erneut auf Tauglichkeit überprüfen zu können.
Eine Evaluation hat verschiedene Phasen [2], die folgendermaßen grob gegliedert werden können:
Es werden Lernziele definiert und eine (prototypische) E-Learning-Anwendung konzipiert und erstellt.
Die Methodik der Evaluation wird festgelegt. In unserem Fall wurde ein Probandentest mit der Zielgruppe vorgenommen. Dabei kamen für die Datengewinnung qualitative und quantitative Methoden zum Einsatz.
Die Evaluation wird durchgeführt, Daten werden gewonnen, ausgewertet und bewertet. Weitere Maßnahmen werden hier schon formuliert.
Die Erkenntnisse der Evaluation werden festgehalten und den relevanten Projektbeteiligten mitgeteilt.
Empfohlene Maßnahmen werden umgesetzt, welche im besten Falle in einer weiteren Evaluation erneut getestet werden.
Welche Vorteile bringt eine frühzeitige Evaluation?
Durch eine frühzeitige Evaluation während der Prototyp- und Pilotphase werden umfassende Erkenntnisse bezüglich vorab gesetzter Ziele und Erfordernisse gewonnen. Systematische Tests, die sich unterschiedlicher Methoden bedienen, beleuchten dabei gezielt Stärken und Schwächen des Testgeganstands. Maßnahmen könne daher schon in frühen Stadien des Vorhabens getroffen werden, was zu weniger Korrekturschleifen insgesamt führt. Daraus resultieren für den weiteren Projektverlauf meist enorme Kosten-, Zeit- und Ressourcen-Ersparnisse. Daneben gewinnt man an Nachhaltigkeit und Effizienz.
Das oberste Ziel von E-Learning-Kursen ist es, dass das Angebot für die Zielgruppe geeignet und von ihr verwendet wird. Nur durch „gezieltes Nachfragen“ in Form eines User-Tests kann auf die Bedenken und Wünsche der vorgesehenen Nutzer eingegangen und reagiert werden. Je früher dieser Test stattfindet, desto effizienter kann der Fortlauf des Projektes erfolgen.
im besten Falle ist daher eine Evaluation mit der Zielgruppe als Probanden. Nur so können fundierte Erkenntnisse bezüglich vorheriger Zielgruppenanalyse erworben werden. Denn theoretisch erarbeitete Analysen und Maßnahmen, um ein Ziel zu erfüllen, sagen meist wenig über die Funktionalität und Tauglichkeit im späteren Einsatz aus. Erst durch Feedback und gewonnene Daten mit Hilfe der Zielgruppe, können Aussagen über beispielsweise Passgenauigkeit (Inhalt, Schwierigkeitsgrad etc.) Fehlerquellen, Stärken und Schwächen des Testgegenstandes getroffen werden. Erst diese gewonnenen und bewerteten Daten machen eine optimale Weiterentwicklung in Bezug auf die Zielgruppe möglich.
Evaluation im E-Learning: Fazit
In unserem Projekt zur Erstellung digitaler Qualifizierungsmodule für unseren Kunden integra MENSCH, konnten wir dank der Selbstevaluation relevante Erkenntnisse in Bezug auf die Zielgruppe – Menschen mit Einschränkungen, wie etwa schwacher Lesekompetenz – gewinnen. Nach dem ersten User-Test wurden Maßnahmen getroffen, die weitreichende und nachhaltige Verbesserungen der Module ermöglichten. Die Pilotanwendung für den digitalen Qualifizierungskurs wurde daraufhin modifiziert, optimiert und anschließend ein zweites Mal evaluiert. Für den weiteren Projektverlauf konnten wir damit funktionierende Standards ermitteln, die es uns erlauben in Zukunft effizienter zu konzipieren und produzieren. Eine dritte punktuelle Evaluation, die weitere Interaktionsformen für die Zielgruppe testen soll, wird externdurchgeführt, um einen objektiven Blick von außen zu erhalten. Hierdurch können erneut neue Erkenntnisse gewonnen werden.
Wir raten daher vor allem bei größeren Projekten zu einer projektbegleitenden Evaluation, ob zu Beginn und/oder punktuell während des Vorhabens, ob intern oder extern. Dies kann enorme Kosten, Zeit und Ressourcen einsparen und außerdem effizienteres, zielgruppenorientiertes Arbeiten ermöglichen. Aber nicht nur bei großen, sondern auch bei kleineren Projekten ist ein User-Text mit der Zielgruppe sinnvoll, um passgenaue Maßnahmen nachweisen und ausarbeiten zu können.
Jetzt PDF anfordern
Beliebte Beiträge
„Learning Change“ – ein Management-Modell für den Wandel zur lernenden Organisation
Digitale Transformation, Vernetzung, Globalisierung, Autonome Systeme, Künstliche Intelligenz… Unternehmen stehen heute vor einer nie dagewesenen Vielzahl von Veränderungen, die meist zeitgleich zu bewältigen sind.
Best Practice: Wie E-Learnings für Vertriebsschulungen gelingen
Generell bleibt für Weiterbildung häufig zu wenig Zeit. Hier können E-Learnings für Vertriebsschulungen eine sinnvolle Alternative darstellen, da zeit- und ortsunabhängig gelernt werden kann.
Whitepaper: Wie der Einstieg ins digitale Lernen gelingt
Sie stehen vermutlich gerade vor der Entscheidung, digitales Lernen in Ihrem Unternehmen oder Ihrer Institution einzuführen. Vielleicht wissen Sie nicht, wie Sie sich bei der Vielzahl an erhältlichen Lösungen entscheiden sollen.
Sie benötigen Unterstützung bei einem Ihrer Bildungsprojekte?
Vereinbaren Sie jetzt einen Termin zur kostenlosen und unverbindlichen Erstberatung.
