Damit ein Projekt gelingt ist eine konsequente Evaluation unabdingbar. Dies gilt nicht nur bei der Planung und Erstellung von E-Learnings oder der Umsetzung von Blended Learning Konzepten: Eine Evaluation sollte fester Bestandteil eines jeden Projektplans sein.

Abhängig vom Umfang des Projekts, der Stärken und Schwächen der Zielgruppe und der gewählten Formate und Medien können sogar mehrere Evaluationen nötig sein. So haben wir etwa für unser aktuelles Projekt zur Erstellung digitaler Qualifizierungsmodule für Menschen mit Einschränkungen drei spezielle Erfordernisse identifiziert, die eine umfassende Evaluation der E-Learning Module notwendig machen:

– Genaue Userführung und starke Unterstützung
– Einfache Sprache
– Anwendbarkeit auch mit schwacher Lesekompetenz


Um diesen speziellen Herausforderungen schon im Vorfeld zu begegnen, wurde bereits während der Pilotphase auf Tauglichkeit für diese besondere Zielgruppe getestet. Unser Ziel bei der ersten Evaluation war es, projektrelevante Erkenntnisse zu gewinnen und Entwicklungs-Standards für weitere Qualifizierungsmodule festlegen zu können, die für die Zielgruppe geeignet sind und Spaß machen. Nur so können Qualitätssicherung, Effizienz und ein nachhaltiger Einsatz der Qualifizierungsmodule gewährleistet werden.

In der folgenden Evaluation konnten wir nicht nur die gewählten Fragenformate und die eigens für die Bedarfe der Zielgruppe entwickelte Userführung validieren, sondern auch sprachliche Hürden überwinden. Diese Erkenntnisse wären ohne eine umfangreiche Evaluation der E-Learning Module nicht so nachhaltig und effizient schon im Vorfeld und zu Beginn der Produktion möglich gewesen.

Richtig evaluieren – aber wie?

Damit auch Sie in Zukunft nicht auf wichtige Erkenntnisse aus einer Projektevaluation verzichten müssen, zeigen wir Ihnen im Folgenden nicht nur die fünf Schritte einer Evaluation, sondern auch weitere Vorteile, die eine Evaluation für Ihr (E-Learning-) Projekt haben kann.

Was ist eine Evaluation und welche Schritte sind zu beachten?

Eine Projektevaluation umfasst eine systematische, methodische Untersuchung eines Gegenstands, um zu überprüfen, ob ein vorab definiertes Ziel erreicht werden konnte [1]. Sie dient dem Datengewinn und damit einem Erkenntnisgewinn über den getesteten Gegenstand. Anschließend folgen die Datenbewertung und die Schlussfolgerung, welche Maßnahmen, um das Ziel zu erreichen, greifen und welche modifiziert oder optimiert werden müssen.

Eine Evaluation sollte vor allem in größeren Projekten Standard sein. Je nachdem worauf der Fokus der Evaluation liegt, kann sie gleich zu Beginn innerhalb der Pilotphase, punktuell während des Projektverlaufs und/oder nach Fertigstellung vorgenommen werden. Zu empfehlen sind außerdem mehrere Evaluationsiterationen, um modifizierte Maßnahmen erneut auf Tauglichkeit überprüfen zu können.

Eine Evaluation hat verschiedene Phasen [2], die folgendermaßen grob gegliedert werden können:

In 5 Schritten zur erfolgreichen Evaluation Ihres Projektes!

Welche Vorteile bringt eine frühzeitige Evaluation?

Durch eine frühzeitige Evaluation während der Prototyp- und Pilotphase werden umfassende Erkenntnisse bezüglich vorab gesetzter Ziele und Erfordernisse gewonnen. Systematische Tests, die sich unterschiedlicher Methoden bedienen, beleuchten dabei gezielt Stärken und Schwächen des Testgegenstands. Maßnahmen können daher schon in frühen Stadien des Vorhabens getroffen werden, was zu weniger Korrekturschleifen insgesamt führt. Daraus resultieren für den weiteren Projektverlauf meist enorme Kosten-, Zeit und Ressourcen-Ersparnisse. Daneben gewinnt man an Nachhaltigkeit und Effizienz.

Das oberste Ziel von E-Learning-Kursen ist es, dass das Angebot für die Zielgruppe geeignet und von ihr verwendet wird. Nur durch „gezieltes Nachfragen“ in Form eines User-Tests kann auf die Bedenken und Wünsche der vorgesehenen Nutzer eingegangen und reagiert werden. Je früher dieser Test stattfindet, desto effizienter kann der Fortlauf des Projektes erfolgen.

Im besten Falle ist daher eine Evaluation mit der Zielgruppe als Probanden. Nur so können fundierte Erkenntnisse bezüglich vorheriger Zielgruppenanalyse erworben werden. Denn theoretisch erarbeitete Analysen und Maßnahmen, um ein Ziel zu erfüllen, sagen meist wenig über die Funktionalität und Tauglichkeit im späteren Einsatz aus. Erst durch Feedback und gewonnene Daten mit Hilfe der Zielgruppe, können Aussagen über beispielsweise Passgenauigkeit (Inhalt, Schwierigkeitsgrad etc.), Fehlerquellen, Stärken und Schwächen des Testgegenstandes getroffen werden. Erst diese gewonnenen und bewerteten Daten machen eine optimale Weiterentwicklung in Bezug auf die Zielgruppe möglich.

Evaluation im E-Learning: Fazit

In unserem Projekt zur Erstellung digitaler Qualifizierungsmodule für unseren Kunden integra MENSCH, konnten wir dank der Selbstevaluation relevante Erkenntnisse in Bezug auf die Zielgruppe – Menschen mit Einschränkungen, wie etwa schwacher Lesekompetenz – gewinnen. Nach dem ersten User-Test wurden Maßnahmen getroffen, die weitreichende und nachhaltige Verbesserungen der Module ermöglichten. Die Pilotanwendung für den digitalen Qualifizierungskurs wurde daraufhin modifiziert, optimiert und anschließend ein zweites Mal evaluiert. Für den weiteren Projektverlauf konnten wir damit funktionierende Standards ermitteln, die es uns erlauben in Zukunft effizienter zu konzipieren und produzieren. Eine dritte punktuelle Evaluation, die weitere Interaktionsformen für die Zielgruppe testen soll, wird extern durchgeführt, um einen objektiven Blick von außen zu erhalten. Hierdurch können erneut neue Erkenntnisse gewonnen werden.

Wir raten daher vor allem bei größeren Projekten zu einer projektbegleitenden Evaluation, ob zu Beginn und/oder punktuell während des Vorhabens, ob intern oder extern. Dies kann enorme Kosten, Zeit und Ressourcen einsparen und außerdem effizienteres, zielgruppenorientiertes Arbeiten ermöglichen. Aber nicht nur bei großen, sondern auch bei kleineren Projekten ist ein User-Test mit der Zielgruppe sinnvoll, um passgenaue Maßnahmen nachweisen und ausarbeiten zu können.

Der Blogbeitrag „Richtig evaluieren: Ablauf, Vorteile und Ziele einer Evaluation“ als praktisches pdf zum Download:

Quellen:
[1] Prof. Dr. Günter W. Maier, Gabler Wirtschaftslexikon – Das Wissen der Experten – Evaluation.
https://wirtschaftslexikon.gabler.de/definition/evaluation-32471 (zuletzt besucht am 08.07.2020)
[2] Bundesministerium für Ernährung und Landwirtschaft (Hg.), IN FORM – Leitfaden Evaluation. 2017.
https://www.in-form.de/fileadmin/Dokumente/Materialien/IN_FORM_Leitfaden_Evaluation.pdf (zuletzt besucht am 08.07.2020)

Kategorien: Allgemein