Evaluatie

Stel voordat je gaat evalueren een evaluatieplan op waarin je de volgende zaken aangeeft:

  • Wat is de doorlooptijd van de evaluatie?
  • Welke vragen moet de evaluatie beantwoorden?
  • Welke instrumenten worden ingezet? En bij welke respondenten?
  • Wie doet wat? En wanneer (dataverzameling, -verwerking, -analyse en rapportage)?
  • Hoe worden de uitkomsten gecommuniceerd en gepresenteerd? En aan wie?

Bepaal vooraf of het gaat om een eenmalige evaluatie of een opzet waarin op meerdere momenten (bijvoorbeeld 2-jaarlijks) peilingen worden uitgevoerd. Zoek aansluiting bij al bestaande monitoring- en evaluatiesystemen, zodat je zo min mogelijk dingen dubbel doet. Dat leidt niet allen tot efficiënt werken, maar ook tot minder last en irritatie bij de mensen die je bevraagt.

De volgende stappen worden globaal gezien meestal doorlopen bij een evaluatie:

  1. De nulmeting

Een nulmeting geeft zicht op de beginsituatie van dat wat je wilt meten. Als je bij de voorbereidingen van een brede school in beeld wilt brengen hoe de verschillende partners daar over denken gaat een nulmeting bijvoorbeeld over:

  • uitgangspositie van organisaties
  • Verwachtingen, visies en plannen van organisaties
  • de verschillende doelgroepen.
  • Aanwezige voorzieningen in de wijk.

Als je de resultaten van een brede school in beeld wilt brengen gaat een nulmeting bijvoorbeeld over:

  • De deelname van leerlingen aan naschoolse activiteiten
  • De sociale competenties van leerlingen
  • De schoolprestaties

Juist bij deze zaken is een nulmeting belangrijk: om in beeld te brengen of dingen veranderen moet je wel weten hoe de beginsituatie was. Door de resultaten van latere metingen met de resultaten van de nulmeting te vergelijken, krijg je zicht op ontwikkelingen.

  1. Inventarisatie van doelen

De doelen zij bepalend voor wat je gaat evalueren. Inventariseer de doelen die je wilt evalueren. Als het goed is zijn die in de voorbereidingsfase geformuleerd [link naar doelen]. Ga na of ze voldoende SMART zijn geformuleerd. Zo niet, scherp ze dan alsnog aan. Soms zijn de doelstellingen veranderd in de loop der tijd. Houd daar rekening mee in de evaluatie. Neem de meest recente doelen als uitgangspunt voor de evaluatie.

  1. Van doelen naar meten

Bepaal hoe je je doelen kunt meten. Je vertaalt je doelen dan in zogenaamde indicatoren. Dat wil zeggen, beschrijf concreet hoe je kunt vaststellen of een doel bereikt is. Ook dit is als het goed is al gebeurd in de voorbereidingsfase. Indicatoren kunnen zowel betrekking hebben op het proces als op de opbrengst van de brede school

Voorbeelden: ·Doel: verbetering van leerprestaties.
Indicator: Cito leerlingvolgsysteem scores.

Doel: tenminste 50% van de leerlingen doet tenminste 1 keer per blok mee aan een brede school activiteit.

Indicator: (registratie van) deelname aan brede school activiteiten

  1. Doelgroepen vaststellen

Stel vast bij wie je wat wilt meten: wie zijn de respondenten? Denk aan leerlingen, ouders, wijkbewoners. Maar ook aan personeel en management van de betrokken organisaties en ambtenaren van de gemeente.

  1. Vaststellen van instrumenten

Bedenk hoe je de gegevens die je nodig hebt kunt verzamelen. Zoek bij elke indicator het juiste instrument. Denk daarbij aan schriftelijke of digitale vragenlijsten, documentenanalyse (bijvoorbeeld van werkplannen), interviews, toetsen en observaties. Maak zoveel mogelijk gebruik van bestaande vragenlijsten, informatie en gegevens. . Pas als je met vragenlijsten of interviews werkt, de vragen aan op je doelgroep. Ga sober te werk en belast respondenten zo min mogelijk. Daar hoort ook bij dat je niet meer vraagt dan noodzakelijk is om je onderzoeksvragen te beantwoorden.

6. Gegevensverzameling

Het verzamelen van gegevens kost tijd. De respons kan soms tegenvallen. Zorg daarom voor draagvlak en duidelijke communicatie over de doelen en het nut van de evaluatie. Wees creatief in het benaderen van respondenten en zoek alternatieven om moeilijk bereikbare doelgroepen te bereiken (benader allochtone ouders bijvoorbeeld via zelforganisaties). Geef respondenten voldoende tijd om te reageren (bijvoorbeeld 2 weken) en rappelleer aan het einde van die periode. Houd de respons in de gaten en neem tijdig maatregelen om de respons te verhogen. Denk aan een e-mail rappel of nabellen. Verwacht niet té veel van de respons. Voor vragenlijsten bij ouders is een respons van 50% al heel hoog. Als je gebruik wilt maken van gegevens die niet van je eigen organisatie zijn, vraag dan tijdig toestemming aan de betreffende organisatie.

  1. Analyse

Het invoeren van data hoeft niet altijd ingewikkeld te zijn. Tijdrovend is het wel. Houd hier rekening mee in de planning. Regel tijdig iemand die de antwoorden op vragenlijsten in kan voeren, huur eventueel een uitzendkracht/datatypist in. Houd bij het analyseren van de gegevens oog voor de relatie tussen input, proces en opbrengsten (link naar….). Koppel de resultaten duidelijk aan de doelstellingen waarop zij betrekking hebben. Wacht niet te lang met het terugkoppelen van gegevens aan de respondenten. Dat betekent dat de dataverwerking en de analyse kort na het verzamelen moeten gebeuren

  1. Rapportage

Houd de rapportage beknopt. Verwerk de resultaten bijvoorbeeld in overzichtelijke tabellen of grafieken met een korte toelichting. Trek op basis daarvan enkele conclusies en schrijf aanbevelingen ter verbetering. Rapporteer informatie uit vragenlijsten en interviews zoveel mogelijk anoniem. Dit geldt zeker voor gegevens over leerlingen (bijv. toetsgegevens). In de Wet Bescherming Persoonsgegevens is geregeld dat dergelijke gegevens niet zomaar openbaar gemaakt mogen worden.

  1. Communicatie

Bedenk wie geïnformeerd moeten worden over de uitkomsten van de evaluatie en welke middelen het meest geschikt zijn: schriftelijke rapportage, informatiebijeenkomsten, nieuwsbrieven, lokale of landelijke media, etc.