Evalueren van een project of programma; de lerende organisatie

Een evaluatie is een gevalsstudie (case study) rond een typische gebeurtenis. Dat "typische" is de kern, want een evaluatie staat nooit op zichzelf, maar zegt alles over de professionele cultuur. Daarom is evalueren vooral zinvol als het leidt tot inzicht én beweging. Deze blog gaat over de reconstructieve aanpak in het perspectief van organisatiegroei: samen terugkijken om vooruit te kunnen kijken. In een tweede blog kijk ik naar de reflectieve, meer persoonlijke variant die meer gericht is op persoonlijke groei.

De reconstructie is vergelijkbaar met archeologisch onderzoek: wat is er gebeurd? Daarin leg je causale verbanden tussen de uitkomsten van een project of programma en de rolinvulling van professionals op thema's als kwaliteit, tijd en budget. De bedoeling is doorgaans toekomstgericht: wat leren we hiervan voor de manier waarop we projecten of programma's uitvoeren? Ook als het gaat het om het afleggen van verantwoording aan een gemeenteraad of is er sprake van een (dreigende) rechtszaak, is deze reconstructieve variant heel geschikt.

Reflectief of reconstructief

Professionals leren het meest van hun eigen handelen. Met een evaluatie maak je dat handelen expliciet. Daarbij zijn er grofweg twee methoden:

• Reflectieve evaluatie – professionals vertellen individueel over hun eigen handelen.

• Reconstructieve evaluatie – het collectieve verhaal wordt gereconstrueerd, waarbij iedereen terugkeert naar de sleutelmomenten.

In deze blog staat de tweede, reconstructieve evaluatie centraal. Het doel is om aan de hand van een gevalsstudie licht te werpen op (aspecten van) de professionele cultuur van een organisatie. Denk in de bouw bijvoorbeeld aan risicobeheersing op technische, juridische, organisatorische en administratieve risico's.

Evalueren van een project

Evalueren van een project

Evalueren van een project

Evalueren van een project

Evalueren van een strategisch

Evalueren van een project

Voorbeelden van evaluaties met het doel om licht te werpen op de professionele ontwikkeling en de de cultuur van de organisatie. Van linksboven naar rechtsonder: evaluatie aanleg station Bijlmer-ArenA i.o.v. gemeente Amsterdam, evaluatie doortrekken VU-tram i.o.v. gemeente Amsterdam, evaluatie bouwproject De Balk i.o.v. gemeente Amsterdam, evaluatie herprofilering Stadhouderskade i.o.v. gemeente Amsterdam, evaluatie van een strategieproces i.o.v. VSO Nederland, evaluatie aanleg IJtram i.o.v. gemeente Amsterdam.

Doorbreekt het patroon

Evaluaties zijn in veel organisaties een verplicht nummer. Ze komen neer op een zelfevaluatie: hoe vind je dat je het hebt gedaan? In het beste geval leidt dat tot een lijst met ‘lessons learned’ — in het slechtste geval tot een klopje op de eigen schouder. Logisch.

Een reconstructieve evaluatie doorbreekt dat patroon en werpt licht op de professionele cultuur van een project- of programma-organisatie.

Wat is reconstructief evalueren?

Bij reconstructief evalueren vertel je samen één verhaal rondom de toedracht van een project of programma. Uiteraard gerelateerd aan concrete uitkomsten van dat project of programma. Het is essentieel dat iedereen zijn of haar rol en interventies in het project of programma (h)erkent. Pas als dat basisverhaal er ligt, kun je kijken naar sleutelmomenten: waar liepen zaken anders dan gedacht? Wat werkte goed? Wie handelde wanneer en op basis waarvan met welk gevolg?

Deze methode werkt helemaal goed als alle partijen meedoen; bij een gemeentelijk bouwproject dus niet alleen de gemeentelijke professionals, maar ook de aannemer en de kabelbedrijven.

Wat deze aanpak anders maakt

• Feiten worden vastgelegd in een verhalend kader (reportagevorm), waardoor terugkijken geen vrijblijvende meningen-ronde wordt.

• Mini-verhalen worden geclusterd op causale patronen en besproken in workshops.

• Deelnemers blijven anoniem en de insteek is altijd toekomstgericht.

• Het verhaal nodigt uit tot positie: in een gezamenlijke reconstructie kun je niet overal achteraf ‘nee’ op zeggen.

Voorbeelden van miniatuur-verhalen

Gemeentelijk opdrachtgever vertelt: 'Alles wat binnen het bestek moest gebeuren, is ook gebeurd. Behalve nieuwe openbare verlichting. We kregen [partij] niet aan de gang. Die had dat tegelijkertijd met onze werkzaamheden moeten doen. Nu mag het projectgebied niet meer afgesloten worden en moeten ze werken in vervuilde grond, want onze saneringsconstructie is ook afgerond.'

Projectleider vertelt: 'Het werk had veel gestructureerder voorbereid en uitgevoerd moeten worden. Omdat het als kleine routineklus binnenkomt, is dat niet gebeurd. En als het dan wordt opgewaardeerd tot een alles-behalve-routineklus, is het kennelijk lastig om de projectstructuur op te schalen. Dan is het project eenmaal als klein routinewerk gelabeld.'

Projectleider vertelt: 'Mijn les is: ik wil een goedgekeurd DO hebben, voordat ik met de volgende stap verder ga. Dat probeer ik toch wel zoveel mogelijk mee te nemen. Je probeert zo goed mogelijk te anticiperen; maar stopzetten doe je niet. Ik probeer tot het uiterste door te gaan en de opdrachtgever tevreden te stellen. En het uiterste gaat soms heel ver. Misschien moet je ook de optie openlaten van STOP HIER NU! Maar die houding is voor [organisatie] wel tegennatuurlijk.'

Uiteraard zijn op deze manier de personen herleidbaar. Vooraf maak ik afspraken over de mate waarin personen herkenbaar zijn.

Lerende organisatie: van patroon naar programma

Door een aantal van deze gevalsstudies met elkaar te vergelijken, krijg je zicht op professionele en culturele patronen, rode draden en blinde vlekken. Pas dan kun je zeggen:

Op deze punten moeten we onze professionele cultuur verder ontwikkelen.

En daar bouw je vervolgens een ontwikkelprogramma voor.

Een andere vorm is bijvoorbeeld om een voorbeeldig gelopen project of programma af te zetten tegen een minder goed gelopen project of programma. Een goed project naast een minder goed gelopen project leggen is de snelste manier om te zien hoe een organisatie werkelijk werkt. In het ene zie je wat helpt, in het andere wat schuurt. Samen tonen ze de patronen die je in één evaluatie nooit ziet: besluitvorming, risicobesef, rolvastheid, reflexen onder druk. Het contrast legt de professionaliteit én de mentaliteit bloot. Zo weet je wat echt ontwikkeld moet worden.

In Amsterdam worden projecten in de ruimtelijke en infrastructurele sector sinds een aantal jaren vooraf geëvalueerd. Dat gebeurt aan de hand van 'dwarskijksessies', waarbij collega's met een frisse kijk op de voorgenomen aanpak van een project reflecteren. Niet iedere projectmanager vindt het even leuk om zijn of haar aanpak te laten beoordelen door een of meerdere collega's. Maar het zal duidelijk zijn dat de kwaliteit van de uitvoering gebaat is bij reflecties van collega's. Maar het grote nadeel is wel dat vooraf nog alles mogelijk is, terwijl achteraf alles vastligt. Als er dan achteraf niet meer geëvalueerd wordt, zit er geen slot op de deur van projecten en van de dwarskijksessies zelf.

Spin-off en toepassing

Deze aanpak leent zich niet alleen voor professionele reflectie, maar ook voor professionele cultuuranalyse:

• Gevalsstudies geven een scherp beeld van de professionele cultuur.

• Jonge professionals leren van collega’s via herkenbare verhalen in begrijpelijke taal.

• Verhalen zijn herbruikbaar in workshops, onboarding of als case study in offertetrajecten.

• Je kunt ze zelfs inzetten als relatiegeschenk bij een opening of oplevering of als show-cases.

Waarom in een verhaalvorm?

Ons brein is een narratief verwerkingssysteem: we onthouden informatie beter als die in verhaalvorm is gegoten, we begrijpen gedrag beter via verhalen dan via theorie. Dat hielp ons overleven op de savanne, door kennis, waarden en gevaren over te dragen zonder dat we zelf die ervaring hoefden te ondergaan. Dat laatste, het leren van ervaringen van anderen zonder dat we zelf in de vuurlinie staan, is een van de grote voordelen van een verhalende vorm van evalueren. Maar zeker niet het enige!

Waarom een project evalueren?

• Reflectie op het eigen handelen

• Verbetering van proces en kwaliteit

• Verantwoording richting Raad of Kamer

• Acquisitie en positionering

• Voorbereiding op mogelijke juridische geschillen

• Voor promotie als relatiegeschenk of show-cases

Meer weten?

Wil je een project laten evalueren, of eerst verkennen of deze methode past bij jouw organisatie? Neem gerust contact op.