Wirkungsökonomie Logo Wirkungsökonomie

WÖMS · Kategorie D · Messung, Bewertung und Evidenz

D12 · Evaluations- und Lernfragen-Design

Eine verhältnismäßige Evaluation entwerfen, die Relevanz, Kohärenz, Wirksamkeit, Effizienz, Wirkung, Nachhaltigkeit und WÖMS-spezifische Systemfragen beantwortet.

Was du mitbringst

Inputs

  • Auftrag
  • vorhandene Daten und relevantes Kontextwissen

So gehst du vor

Schritte

  1. Entscheidungsnutzer:innen und Nutzung klären.
  2. Evaluationsfragen aus ToC, Risiken und Gates ableiten.
  3. OECD-DAC-Kriterien und WÖMS-Kriterien auswählen.
  4. Methodenmix und Vergleichs-/Beitragslogik festlegen.
  5. Beteiligung, Ethik und Datenschutz planen.
  6. Bericht, Rückmeldung und Entscheidungsnutzung verbindlich machen.

Was herauskommt

Outputs

  • Evaluationsdesign mit Fragen, Kriterien, Methodenmix, Vergleichslogik, Beteiligung, Zeitplan und Nutzung.

Woran du gute Arbeit erkennst

Qualitätsregeln

  • Empfänger, Systemgrenzen und Referenzrahmen sind eindeutig.
  • Empirische Befunde, Annahmen und normative Bewertungen bleiben unterscheidbar.
  • Ergebnis führt zu einer klaren nächsten Entscheidung oder Lernfrage.
  • Nutzung ist vor Erhebung geklärt.
  • Methoden passen zur Kausal- und Kontextfrage.
  • Betroffene und negative Wirkungen sind einbezogen.

Die roten Linien

Schutzregeln

Diese Regeln stehen über allem. Eine verletzte Wirkungsgrenze lässt sich nicht durch positive Werte ausgleichen.

  • Ergebnis nicht als endgültige Wahrheit, sondern als versionierte Entscheidungsgrundlage behandeln.
  • Betroffene, negative Wirkungen und Machtasymmetrien dürfen nicht durch Workshopkonsens verschwinden.
  • Evaluation nicht als nachträgliche Legitimation planen.
  • Methodenkomplexität muss verhältnismäßig bleiben.

Die Arbeitsfläche

Canvas - Evaluations- und Lernfragen-Design

Eine leere Vorlage mit klaren Leitfragen. Die fünf Pflichtfelder sind immer auszufüllen - sie halten Ehrlichkeit und Nichtkompensation im Blick.

D12 · Evaluations- und Lernfragen-DesignFall: Datum: Version: Moderation:
Entscheidungsnutzer:innen und Nutzung klärenWie wird „Entscheidungsnutzer:innen und Nutzung klären“ für den konkreten Fall nachvollziehbar bearbeitet?
Evaluationsfragen aus ToC, Risiken und Gates ableitenWie wird „Evaluationsfragen aus ToC, Risiken und Gates ableiten“ für den konkreten Fall nachvollziehbar bearbeitet?
OECD-DAC-Kriterien und WÖMS-Kriterien auswählenWie wird „OECD-DAC-Kriterien und WÖMS-Kriterien auswählen“ für den konkreten Fall nachvollziehbar bearbeitet?
Methodenmix und Vergleichs-/Beitragslogik festlegenWie wird „Methodenmix und Vergleichs-/Beitragslogik festlegen“ für den konkreten Fall nachvollziehbar bearbeitet?
Beteiligung, Ethik und Datenschutz planenWie wird „Beteiligung, Ethik und Datenschutz planen“ für den konkreten Fall nachvollziehbar bearbeitet?
Bericht, Rückmeldung und Entscheidungsnutzung verbindlich machenWie wird „Bericht, Rückmeldung und Entscheidungsnutzung verbindlich machen“ für den konkreten Fall nachvollziehbar bearbeitet?
EvidenzstatusImmer ausfüllen – auch wenn unbequem.
UnsicherheitImmer ausfüllen – auch wenn unbequem.
Negative WirkungImmer ausfüllen – auch wenn unbequem.
WirkungsgrenzenImmer ausfüllen – auch wenn unbequem.
Offene FragenImmer ausfüllen – auch wenn unbequem.

Ausgefülltes Beispiel folgt. Mehr zum Canvas-Prinzip.

← D11 Alle Methoden