Toolbox impactevaluatie

 
 

De leden van onze begeleidingscommissie vroegen ons aandacht te besteden aan beoordelingskaders die van toepassing zijn op hun inspanningen in relatie tot gemeenschapsvorming en solidariteit in superdiversiteit. Hun vraag komt voort uit een onvrede met de heersende beoordelingskaders. Deze zijn te kwantitatief, hebben te weinig aandacht voor het procesmatige en houden onvoldoende rekening met het innovatieve en experimentele karakter van hun zoektocht in een superdiverse samenleving.

In antwoord op de vraag en bezorgdheden van de leden uit onze begeleidingscommissie ontwikkelden we deze toolbox inzake impactevaluatie. We bieden hiermee tevens een perspectief om innovatieve praktijken van solidariteit in superdiversiteit beter te leren begrijpen en de mogelijke betekenis ervan voor andere plaatsen en contexten helder te krijgen.

Over impactevaluatie Over solidariteit in superdiversiteit als impact Naar de toolbox Naar handleidingen impactevaluatie

Toolbox beoordelen

Zij die de impact van professionele interventies op concrete plaatsen waar mensen van diverse afkomst nabij zijn willen evalueren, komen ongetwijfeld enkele uitdagingen tegen. Bij elk van de zeven uitdagingen hieronder vind je inspiratiebronnen om mee aan de slag te gaan:

uitdaging
01
Verder dan alleen naar je eigen inspanningen kijken
uitdaging
02
Complexe processen en oorzaak-gevolgrelaties doorgronden
uitdaging
03
Je doelen en je interventielogica helder expliciteren
uitdaging
04
Evalueren zonder standaarden
uitdaging
05
Om te weten kan je meer doen dan meten
uitdaging
06
Een evaluatiecultuur in je organisatie ontwikkelen
uitdaging
07
Evalueren met oog op de toekomst
 
uitdaging
02

complexiteit
doorgronden

Impact bepalen van acties, interventies gericht op solidariteit in superdiversiteit is een complexe aangelegenheid. We kunnen hierbij een onderscheid maken tussen simpele (geordend), ingewikkelde (kan geordend worden) en complexe (niet-geordend) systemen. Een ideaaltypische onderverdeling weliswaar, in de realiteit zijn deze types nooit zo duidelijk en helder van elkaar te onderscheiden. Jouw inschatting als professionals is daarbij van belang. Hoe schat je zelf de mate van complexiteit in die speelt in jouw praktijken? En in welke mate neem je die complexiteit mee in rekening wanneer je de impact van jouw interventies wilt gaan onderzoeken?

Bij simpele systemen is het mogelijk om wetmatigheden te ontdekken en voorspellingen te doen over de toekomst. De processen, acties en interventies, die naar solidariteit in superdiversiteit leiden, zijn eenvoudig waar te nemen en te onderzoeken. Oorzaak en gevolg zijn op een lineaire manier met elkaar verbonden. Een professionele interventie die als een ‘simpel systeem’ wordt begrepen, leent zich goed tot het bewijzen van de impact van een praktijk door middel van attributie. Impact is dan een langetermijneffect van één specifieke interventie.

Deze kijk op impact vooronderstelt een directe, enkelvoudige causale relatie tussen één praktijk, actie of interventie en de ontwikkeling van solidariteit in diversiteit. Ons case-onderzoek toont dat dit voor de ontwikkeling van nieuwe vormen van solidariteit in superdiversiteit zelden het geval is.

Bij ingewikkelde systemen is het niet zo eenvoudig als bij simpele systemen om de processen die naar solidariteit in superdiversiteit leiden, waar te nemen. Een praktijk is vaak ingewikkeld omdat er meerdere actoren (personen, organisaties, ...) betrokken zijn of ook omdat de praktijk bestaat uit zeer van elkaar verschillende activiteiten, die elk op een andere manier functioneren of volgens een andere methodiek verlopen. Om een dergelijke ingewikkelde praktijk met zijn verschillende componenten en oorzakelijke verbanden in beeld te brengen, verzamel je best zeer gevarieerde gegevens en betrek je de diverse betrokkenen waaronder deelnemers, opdrachtgevers, en andere belanghebbenden. Op die manier kan je de contributie of de relatieve bijdrage van een interventie of actie in combinatie met andere oorzaken in beeld brengen.

In de sociale realiteit opereren praktijken niet onafhankelijk van elkaar en beïnvloedt een veelheid aan factoren de ontwikkeling van nieuwe vormen van solidariteit in superdiversiteit. Een benadering van causaliteit als contributie is daarom vaak een meer realistische optie dan een benadering als attributie.

Een complexe praktijk komt tot stand door de interactie tussen verschillende factoren en actoren. Deze interacties zijn niet lineair en ook disproportioneel. Kleine oorzaken kunnen grote gevolgen hebben en omgekeerd. Er zit geen regelmaat in de patronen binnen de praktijk. Doordat de interacties zich niet herhalen en doordat ze elkaar continu beïnvloeden is het niet mogelijk om voorspellingen te maken over de toekomst. Doordat complexe praktijken geen lineair pad volgen is het van belang om een goed beeld te krijgen van hoe de praktijk doorheen de tijd evolueert. Aan de hand van generatieve causaliteit kan je op zoek gaan naar de wijze waarop oorzaken zich zo ontwikkelen dat ze bepaalde vormen van solidariteit in superdiversiteit genereren.

Oorzakelijke verbanden bekijk je dan als een causaal pad dat bestaat uit veel verschillende componenten, relaties en voorwaarden (zowel op micro, meso als macroniveau). Conclusies over de relatie tussen een oorzaak en een gevolg maak je op basis van een zoektocht naar de mechanismen en processen achter deze relatie.

Hoe je interventies gericht op solidariteit in superdiversiteit evalueert naar impact is afhankelijk van de interpretatie van de betrokken professionals. Het is mogelijk dat sommigen een praktijk zien als een ingewikkelde praktijk terwijl dit voor anderen een complexe praktijk is. Wie een praktijk als ingewikkeld beschouwt, gaat ervan uit dat de praktijk in principe kenbaar en voorspelbaar is. Mits er voldoende kennis ontwikkeld wordt over deze praktijk, zullen de praktijk en de uitkomsten ervan op een bepaald moment (in de toekomst) voorspelbaar zijn. Wie deze praktijk als complex beschouwt, gaat ervan uit dat de praktijk weinig of niet voorspelbaar is. De praktijk en zijn effecten zijn vooral retrospectief te begrijpen en kunnen daarop volgende initiatieven inspireren.

Meer over complexe systemen?