Hauptinhaltsbereich

Häufig gestellte Fragen

In dieser Rubrik möchten wir Ihnen Antworten auf häufig gestellte Fragen zum Thema "Evaluation in Gesundheitsförderung und Prävention" geben.

Grundsätzlich sollten Sie sich bei einem Evaluationsprojekt zu Beginn überlegen, woran Sie den Erfolg Ihrer Maßnahme messen wollen. Die Evaluation sollte sich auf die wichtigsten Erfolgsparameter konzentrieren. Es ist immer schwierig, sehr umfassende Fragestellungen zu bearbeiten, da dann sehr viele unterschiedliche Faktoren zu berücksichtigen sind. Wenn Sie zum Beispiel in Ihrem Kindergarten das gesamte Gesundheitsverhalten der Kinder evaluieren wollen (Bewegung, Ernährung, Entspannung etc.), fangen Sie am Besten zunächst mit einem kleinen Teil an. Nehmen wir an, Sie planen die Einführung neuer Bewegungsangebote im nächsten Kindergartenjahr. Dann könnten Sie diese evaluieren, indem Sie zu Anfang und zum Ende des Kindergartenjahres einen Motoriktest durchführen. Auf diesem Weg können Sie Veränderungen im Bewegungsverhalten feststellen.

Bei dem oben genannten Beispiel möchten Sie das Bewegungsverhalten der Kinder bewerten. Wenn Sie dieses insgesamt erfassen wollten, müssten Sie das Bewegungsverhalten der Kinder zu Hause, im Kindergarten, beim Sport, in der Freizeit etc. erheben. Da dies meist nicht zu leisten ist, wählt man bestimmte Indikatoren bzw. Erfolgsparameter aus, die einen Hinweis darauf geben, dass sich das Bewegungsverhalten verbessert hat. Wenn zum Beispiel viele Kinder zu Anfang des Kindergartenjahres keinen Hampelmannsprung beherrschen und nicht fangen können und sich dies zu Ende des Kindergartenjahres gebessert hat, ist dies ein Indikator für ein verbessertes Bewegungsverhalten. Indikatoren für die Besserung des Ernährungsverhaltens könnten zum Beispiel ein höherer Konsum von Obst und Gemüse oder weniger Verzehr von Süßigkeiten und Soft-Drinks sein.

Eine Ergebnisevaluation sollte möglichst vor Beginn und nach Ende eines neuen Projekts durchgeführt werden, das heißt Sie müssen bei der Planung Ihrer Maßnahme frühzeitig auch Überlegungen zur Evaluation berücksichtigen. So können Sie am besten überprüfen, ob sich etwas verändert hat. Häufig wird zu spät entschieden, die Effekte einer Maßnahme zu überprüfen. Wenn diese bereits angelaufen ist, ist der Spielraum bereits stark eingeschränkt und es lassen sich nur selten zuverlässige Aussagen treffen.

Wenn Sie eine Prozessevaluation durchführen möchten, muss diese während des laufenden Projekts erfolgen. Sie können zum Beispiel über Interviews feststellen, ob die Eltern Ihr Angebot zum gemeinsamen Schulfrühstück unterstützen. Wenn Sie dadurch feststellen, dass die Eltern sich nicht genug in das Projekt eingebunden fühlen, könnten Sie die Eltern zum Beispiel reihum an den Vorbereitungen für das Frühstück beteiligen.

Eine Kontrollgruppe ist eine Gruppe, in der man im Gegensatz zur Interventionsgruppe keine Maßnahme durchführt. Ansonsten sollte sie der Gruppe, die an der Maßnahme teilnimmt, möglichst ähnlich sein. In der Grundschule könnte dies zum Beispiel die Parallelklasse sein. In beiden Gruppen führt man wie oben beschrieben die Evaluation am Anfang und Ende des Schuljahres durch. Dann vergleicht man die Ergebnisse der beiden Gruppen. Wenn sich in beiden Klassen die Ergebnisse verbessert haben, liegt es wahrscheinlich nicht an der Maßnahme, sondern an anderen Faktoren, die in beiden Klassen wirken (etwa das gestiegene Alter oder ein Angebot, das die gesamte Schule betrifft). Hat sich aber das Bewegungsverhalten nur in der Gruppe mit Bewegungsprogramm gebessert, ist dies ein Hinweis auf dessen Wirksamkeit. Ohne eine Kontrollgruppe lässt sich nur schwer nachweisen, dass ein Effekt tatsächlich auf der durchgeführten Maßnahme beruht.

Ein Pretest ("Vortest") dient dazu, ein neu entwickeltes Instrument (einen Fragebogen, Leitfaden oder ähnliches) an einer kleinen Gruppe zu erproben, bevor es in der eigentlichen Erhebung eingesetzt wird. So kann man zum Beispiel einen Fragebogen von ein paar Personen vorab ausfüllen lassen um zu testen, ob alle Formulierungen verständlich sind. Am besten eignen sich hierfür Personen, die der Zielgruppe ähnlich sind.

Die Auswertungsmethode ist vor allem abhängig von der Menge ausgefüllter Fragebögen. Bei kleinen Fallzahlen ist eine Auswertung per Hand möglich. Hierzu können Sie entweder eine Strichliste führen oder die Punktwerte mit dem Taschenrechner zusammenrechnen. Je mehr Fragebögen Sie auswerten müssen, desto komplizierter wird dies ohne einen Computer. Für die computergestützte Auswertung bieten sich etwa das Statistikprogramm SPSS oder das Programm Excel an. Vielleicht finden Sie ja auch ein Elternteil in Ihrer Einrichtung, das sich mit diesen Programmen auskennt und bereit ist, eine kleine Auswertung zu übernehmen? Oder Sie nehmen Kontakt zu einer Universität oder Fachhochschule auf: Viele Studiengänge führen Praxisprojekte oder Abschlussarbeiten mit Studierenden durch, in denen die Auswertung Ihrer Befragung ein Bestandteil sein könnte.

Die Rücklaufquote bezeichnet den prozentualen Anteil der Fragebögen, die Sie zurück erhalten. Wenn Sie beispielsweise einen Fragebogen an hundert Kinder schicken und hinterher 60 ausgefüllte Fragebögen zurückbekommen, spricht man von einer 60%-igen Rücklaufquote.

Es gibt sehr detaillierte Datenschutzbestimmungen, die in den unterschiedlichen Bundesländern und Institutionen individuell geregelt sind. Prinzipiell sollten Sie beachten, dass

  • eine Teilnahme immer freiwillig ist,
  • bei Minderjährigen das Einverständnis der Eltern vorliegt,
  • die Teilnehmenden über Zweck, Art und Umfang der Maßnahme informiert sind,
  • die Daten nicht an Dritte weitergegeben werden dürfen,
  • die Daten anonym sind, also dass keine Rückschlüsse auf Personen möglich sind.

Die eigenständige Erstellung eines Fragebogens ist sehr aufwändig. Auf den ersten Blick erscheint die Konzepterstellung gar nicht so schwierig, doch um hinterher einen Fragebogen zu erhalten, der wirklich die Dinge erfasst, die Sie wissen wollen, benötigen Sie ein detailliertes methodisches Wissen. Deshalb empfehlen wir Ihnen, bereits bestehende und getestete Fragebögen zu nutzen. Andernfalls bietet es sich auch hier an, eine (Fach)Hochschule oder Universität zu Rate zu ziehen.
Wenn Sie sich trotzdem an eine eigenständige Erstellung heranwagen, haben wir einige grundlegende Tipps, die sie beachten sollten:

  • Verwenden Sie eine verständliche Sprache und ein ansprechendes Layout für die Zielgruppe. So sollte ein Fragebogen für 11-jährige Kinder anders aufgebaut sein als für 18-jährige junge Erwachsene.
  • Gestalten Sie den Aufbau klar und verständlich, zum Beispiel unterteilt in verschiedene Themenblöcke.
  • Kennzeichnen Sie deutlich, ob eine Frage mit einer oder mit mehreren Kreuzen beantwortet werden muss.
  • Sie sollten einen Pretest durchführen, um herauszufinden ob die Fragen verständlich sind.
  • Auch auf die Einhaltung des Datenschutzes sollten Sie achten.
  • Prüfen Sie bei jeder Frage genau, ob sie wirklich das beantwortet was Sie wissen wollen und ob sie wirklich wichtig ist.

Um methodisches Know-how zu erhalten, könnten Sie sich beispielsweise an eine (Fach)Hochschule oder Universität wenden. Hier wäre es etwa denkbar, die Evaluation mit einer Diplom- oder Masterarbeit einer Studentin oder eines Studenten zu verbinden.

Weitere Hilfen finden Sie auch in der angegeben Literatur und unter den Links im Bereich "Evaluationstools".

Unter dem Begriff Ergebnisevaluation wird eine systematische Beurteilung der Ergebnisqualität unter Nutzung sozialwissenschaftlicher Methoden verstanden. Synonym wird der Begriff summative Evaluation verwendet.

Prozess- oder Ergebnisevaluationen können als Selbst- oder Fremdevaluation durchgeführt werden.
Wurden externe Fachpersonen (zum Beispiel Universitäten, wissenschaftliche Institute), die weder zur eigenen Institution gehören, noch an der Durchführung der Maßnahme oder des Projekts beteiligt sind, für die Evaluation beauftragt, handelt es sich um eine Fremdevaluation (externe Evaluation).

Selbstevaluation (oder Eigenevaluation) bedeutet, dass die Bewertung des Erfolgs einer Maßnahme oder eines Projekts durch Beschäftigte der eigenen Institution oder die Projektmitarbeiterinnen und -mitarbeiter durchgeführt wird.

Planungsqualität bezieht sich auf die Fragen, ob die Bedürfnisse der Zielgruppe erfasst sind, die Zielgruppe klar bestimmt ist, das Ziel eindeutig formuliert ist, der Bedarf ermittelt wurde und die theoretischen Grundlagen gut aufgearbeitet wurden. Die Begriffe Planungsqualität, Konzeptqualität und Assessmentqualität werden synonym verwendet.

Prozessqualität hingegen bezieht sich auf die Umsetzung einer Intervention und beschreibt die Qualität von Verfahren und
Abläufen.

Die Ergebnisqualität beschäftigt sich mit der Frage, ob das intendierte Ziel auch erreicht wurde.

Eine Prozessevaluation ist die systematische Beurteilung der Prozessqualität unter Nutzung sozialwissenschaftlicher Methoden. Sie hat in der Gesundheitsförderung große Bezüge zum Qualitätsmanagement. Die Begriffe Prozessevaluation und formative Evaluation werden synonym verwendet.

Bei der Qualitätsentwicklung wird die Qualität gezielt schrittweise weiterentwickelt. Es erfolgt die Förderung von strukturellen Gegebenheiten, Prozessen sowie Konzeptionen, die zur Entwicklung von Qualität erforderlich sind (Töppich & Linden, 2010).

Qualitätsmanagement ist die Gesamtheit aller Aktivitäten einer Institution/Organisation, die sich auf Qualität beziehen, unter Einbezug sämtlicher Einzelaktivitäten der Qualitätssicherung und Qualitätsentwicklung (Töppich & Linden, 2010).

Ein Item ist ein Element in einem Fragebogen (Frage oder Aussage). Häufig werden mehrere Items zu einer Skala zusammengefasst.

Eine Operationalisierung ist die Bildung von Indikatoren. Es ist der Schritt des Messbarmachens eines Sachverhalts. "Eine operationale Definition standardisiert einen Begriff [...] durch Angabe von messbaren Ereignissen, die das Vorliegen dieses Sachverhaltes anzeigen (Indikatoren)" (Bortz & Döring, 2006, S. 67).

Reliabilität bezeichnet eines von drei Gütekriterien eines (psychologischen) Tests oder Fragebogens (neben Objektivität und Validität). Die Reliabilität bezeichnet die Genauigkeit eines Tests.

Validität bezieht sich auf die Frage, ob das Instrument auch das misst, was es zu messen vorgibt.

Bortz J, Döring N: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler 4., überarbeitete Auflage. Berlin: Springer 2006.

Töppich J, Linden S: Qualitätssicherung, Qualitätsentwicklung, Qualitätsmanagement. Leitbegriffe der Gesundheitsförderung. Herausgegeben von der Bundeszentrale für gesundheitliche Aufklärung 2010. Verfügbar unter: www.leitbegriffe.bzga.de/?uid=d3ed42800a5a4f7dd71ac31df16b492d&id=angebote&idx=199  (Abruf: 18.08.2017)