Onderzoek naar effect verkeerseducatie: 10 'gouden regels'

Verkeerseducatie zet in op het aanleren van gewenst gedrag én het tegengaan van ongewenst gedrag. Evaluatie van verkeerseducatie leidt tot meer kennis en inzicht, zorgt voor (continue) ontwikkeling en verbetering van verkeerseducatie en geeft inzicht in de mate waarin overheidsmiddelen efficiënt en effectief worden ingezet. Positieve resultaten geven inzicht in werkzame elementen. Negatieve resultaten geven inzicht in wat je niet moet doen en in mogelijke verbeterpunten van een programma. In een goed opgezet verkeerseducatieprogramma is een effectmeting integraal onderdeel van een lerend systeem en vindt eens in de drie tot vijf jaar plaats. Effecten van verkeerseducatie op verkeersongevallen zijn moeilijk te meten, maar het is wel mogelijk de effecten op veranderingen in (voorwaarden voor) verkeersveilig gedrag in kaart te brengen.

Evaluatie is alleen zinvol wanneer probleemgedrag en doelgroep goed zijn gekozen en geanalyseerd, leerdoelen helder en meetbaar zijn beschreven, indicatoren zijn geformuleerd en didactische uitgangspunten zijn beschreven en beargumenteerd. Een goede effectmeting heeft een voor- en nameting, een experimentele- en controlegroep en maakt gebruik van een (quasi) experimenteel design. Met de onderzoeksmethoden gedragsobservaties, objectieve toetsing en zelfrapportage kan een effectmeting gedrag en determinanten van gedrag meten. Effectmeting moet worden voorafgegaan of gecombineerd met procesevaluatie. Publiceren over resultaten is altijd zinvol – zowel van positieve als negatieve uitkomsten kan veel worden geleerd.

Evaluatiestudies

Tot nu toe is bij 26 van de 96 producten uit de Toolkit Verkeerseducatie een evaluatiestudie uitgevoerd. Daarvan krijgen 9 studies het predicaat goed of voldoende. Bij 16 van de 26 evaluatiestudies is sprake van een (quasi-) experimenteel design: er is gewerkt met experimentele groep en controle groep en er is zowel een voor- als nameting gedaan. Alle evaluatiestudies maken gebruik van zelfrapportage (onder andere vragenlijsten); in 4 studies zijn objectieve metingen gedaan en ook in 4 studies zijn observaties gedaan. Bij 15 van de 26 onderzoeken is zowel een proces- als effectevaluatie uitgevoerd. Bij circa driekwart van de producten uit de Toolkit zijn essentiële ontwikkelstappen goed doorlopen, zodat het zinvol is om bij deze producten een effectmeting uit te voeren.

Parallelle ontwikkelingen op andere terreinen leren ons dat het stimuleren van het gebruik van bewezen effectieve interventies een arbeidsintensief proces is waarbij draagvlak bij en betrokkenheid van ontwikkelaars en eindgebruikers essentieel is. Ook in andere Europese landen is het kwaliteitsdenken en het meten van effecten op het gebied van verkeerseducatie nog sterk in ontwikkeling.

Het onderzoek naar de stand van zaken naar effectmeting heeft een mooi overzicht en tien gouden regels opgeleverd. Het heeft overheden en producenten gemotiveerd aan de slag te gaan met effectmeting. In opdracht van het IPO zijn Royal HaskoningDHV en de SWOV nu bezig met het ontwikkelen van standaard meetinstrumenten, om het meten van effecten verder te stimuleren.

De 10 gouden regels

Regel 1: Effectmeting is nodig om te kunnen aantonen dat verkeerseducatie werkt

Bij verkeerseducatie wordt vaak gedacht dat het spreekwoord ‘Baat het niet, dan schaadt het niet’ van toepassing is. Beter iets doen dan niets, al is het alleen maar omdat mensen weer eens over verkeersveiligheid nadenken. Maar verkeerseducatie kan, mits niet goed doordacht, leiden tot ongewenste, contraproductieve effecten op de verkeersveiligheid. Een effectmeting is nodig om kennis en inzicht te krijgen in het wel of niet behalen van beoogde leerdoelen én over de redenen van het wel of niet optreden van beoogde effecten. Op basis van die resultaten kan een programma worden doorontwikkeld en verder verbeterd.

Jaarlijks gaat er veel geld om in verkeerseducatie. Alleen al in het basis en het voortgezet onderwijs worden jaarlijks tientallen miljoenen Euro’s overheidsgeld geïnvesteerd. De keuze om wel of niet overheidsmiddelen in te (blijven) zetten voor verkeerseducatie moet zijn gebaseerd op het bewezen c.q. te verwachten effect van verkeerseducatieprogramma’s. Daarmee wordt voorkomen dat er verkeerseducatieprogramma’s worden ingezet, waarvan we niet weten of die wel effectief zijn en die (erger) potentieel nadelig voor de verkeersveiligheid zijn.

Regel 2: Integreer een effectmeting in de interventie-evaluatiecyclus van een programma

Een effectmeting is een onlosmakelijk onderdeel van de ontwikkeling van een interventie. In belangrijke eerste ontwikkelstappen moet al op een effectmeting worden geanticipeerd. Het gaat dan om cruciale beginstappen als:

-        De keuze van het probleemgedrag en de doelgroep.

-        Het opstellen van leerdoelen en het formuleren van indicatoren voor gewenste veranderingen.

-        Het ontwikkelen van een passende didactische aanpak om de leerdoelen bij de doelgroep te realiseren.

Regel 3: Voer pas een effectmeting uit als belangrijke ontwikkelstappen goed zijn doorlopen en goed zijn beargumenteerd

Een effectmeting is pas zinvol, als de belangrijke eerste ontwikkelstappen goed zijn doorlopen en goed zijn beargumenteerd. Als dat niet is gebeurd, heb je in feite geen idee wat je zou moeten/ willen meten. Cruciaal hierbij is de formulering van concrete leerdoelen. Met deze leerdoelen leg je het gedrag vast dat iemand moet kunnen vertonen na het volgen van het verkeerseducatieprogramma. Ze zijn richtinggevend voor de te ontwikkelen didactische aanpak en vormen de basis voor de latere toetsing van effecten van de toegepaste aanpak. Als leerdoelen voldoende concreet zijn geformuleerd, kan na uitvoering van het programma gemakkelijk worden vastgesteld of ze al dan niet zijn gehaald. Dat is in feite de basis van de effectmeting en die wordt al gelegd bij het ontwikkelen van het programma.

Regel 4: Houd de vinger aan de pols

Resultaten van de effectmeting leveren input voor een verdere verbetering en doorontwikkeling van het programma. Zo is de effectmeting onderdeel van een lerend systeem. Zeker bij lang lopende projecten is het belangrijk dat regelmatig de vinger aan de pols wordt gehouden. Dat betekent dat er periodiek, eens per drie tot vijf jaar, onderhoud gepleegd dient te worden aan het programma. Een effectmeting is daarbij onontbeerlijk.

Regel 5: Stem de onderzoeksmethode en onderzoeksopzet af op de levensfase van het project

Verkeerseducatieprogramma’s worden ontwikkeld, vervolgens uitgevoerd en bij succes gecontinueerd en geborgd. Het karakter van een evaluatieonderzoek is afhankelijk van de levensfase van een project.

Als een project nog in ontwikkeling is en het belangrijkste doel is om na te gaan of er draagvlak voor een nieuwe interventie is (en of het bijvoorbeeld überhaupt mogelijk is om de doelgroep te interesseren voor de nieuwe interventie), kan de evaluatie vooral kwalitatief en procesmatig zijn. Hoe verder je voortschrijdt in het proces van implementatie, hoe meer de evaluatie kwantitatief en resultaatgericht (meten van effecten) zal kunnen/ moeten zijn. Uiteindelijk zal in de fase van borging in belangrijke mate kunnen worden volstaan met het op een kwantitatieve wijze monitoren van de beoogde effecten van het geïmplementeerde programma.

Regel 6: Kijk niet alleen puur naar de resultaten, maar doe ook altijd een procesevaluatie

Een effectmeting is niet zinvol zonder tegelijkertijd onderzoek te doen naar het uitvoeringsproces. De combinatie van effectmeting mét procesevaluatie is niet alleen nodig om te kunnen aantonen of de doelen bereikt zijn. Ze zijn ook nodig om inzicht te kunnen krijgen in waar en hoe mogelijke aanpassingen in een programma kunnen worden doorgevoerd.

Voor een neutraal en onafhankelijk oordeel over de effecten van een programma is het noodzakelijk dat het onderzoek wordt uitgevoerd door een externe, onafhankelijke organisatie. Een tussenvorm is mogelijk waarbij de ontwikkelaar veel van het praktische onderzoekswerk uitvoert (bijvoorbeeld opstellen vragenlijsten en dataverzameling) en een onafhankelijk partij cruciale stappen van het onderzoeksproces bewaakt c.q. uitvoert.

Regel 7: Pas een onderzoeksopzet toe met voor- en nameting bij een experimentele groep en een controlegroep

Voor een goede effectmeting is een onderzoeksopzet met een voor- en nameting én een experimentele groep en een controlegroep nodig.

Voor- en nameting

Het uitvoeren van een voor- en nameting ligt voor de hand. Dat 95 procent van de ondervraagden na een bromfietsproject de helm draagt, zegt weinig als je niet weet wat het percentage voor deelname aan het programma was. Een voormeting kan eventueel op termijn achterwege blijven, als je een referentiecijfer hebt. Bijvoorbeeld wanneer je uit ander onderzoek al weet wat het gemiddelde gebruik van de helm onder de doelgroep is. Je neemt dan aan dat dit ook het gebruik van de helm is in de experimentele groep vóór deelname aan het programma.

Experimentele groep en controlegroep

De experimentele groep is de groep deelnemers die meedoet aan de effectmeting en het verkeerseducatieprogramma volgt. De controlegroep bestaat uit deelnemers die in alle relevante aspecten lijkt op de experimentele groep, maar het betreffende programma niet heeft gevolgd. Een controlegroep is nodig om een eventueel gevonden effect in de experimentele groep ook daadwerkelijk te kunnen toewijzen aan het feit dat zij een bepaald programma hebben gevolgd c.q. met een bepaalde interventie zijn geconfronteerd.

Experimenteel of quasi-experimenteel design

We spreken van een experimenteel design, wanneer de respondenten op basis van toeval zijn toegewezen aan de experimentele groep en de controlegroep. In de praktijk is deze ‘toevals’ toewijzing echter moeilijk te realiseren. Dan spreken we van een quasi-experimenteel design.

Regel 8: Gebruik een meetinstrument dat het gedrag zo direct mogelijk meet

Bij het meten van effecten van verkeerseducatie is het vaak niet mogelijk om de directe afname van het aantal verkeersongevallen te meten. De effecten van programma’s worden daarom over het algemeen bepaald door de verandering in cruciale voorwaarden voor gedrag, maar vooral óók het gewenste eindgedrag zelf te meten.

Dat eindgedrag staat dan voor verkeersgedrag, waarvan we weten dat het een sterke relatie heeft met verkeersveiligheid. Veranderingen in kennis (bijvoorbeeld dat je weet wat de dode hoek van een vrachtauto is) en veranderingen in attitude (bijvoorbeeld dat je vindt dat muziek luisteren op de fiets gevaarlijk is) kunnen belangrijke voorwaarden zijn voor een gedragsaanpassing, maar zij leiden niet automatisch tot het gewenste gedrag in het verkeer.

Het ontwikkelen van valide en betrouwbare meetinstrumenten is een vak apart. Zorg ervoor dat de gewenste kennis en expertise aanwezig is of wordt ingehuurd.

Regel 9: Pas het programma aan op basis van de gevonden resultaten: leer van zowel positieve als negatieve resultaten

De resultaten van de effectmeting moeten worden geïnterpreteerd en moeten vervolgens  worden verwerkt in een aangepaste interventie. Daarbij kun je leren van zowel positieve als negatieve resultaten.

Positieve resultaten van evaluaties kunnen inzicht geven in werkzame elementen van geëvalueerde programma’s. Het programma blijkt te werken zoals je hebt bedoeld. Die kennis over werkzame elementen kan vervolgens ook worden toegepast in andere onderdelen van het geëvalueerde programma of  in nieuw te ontwikkelen verkeerseducatieprogramma’s.

Negatieve uitkomsten worden te vaak uitsluitend als een bedreiging gezien. Maar in een goed opgezette effectmeting heb je ook naar het uitvoeringsproces gekeken en kun je daarmee eventuele negatieve uitkomsten verklaren. De achterliggende oorzaken van de ontbrekende of tegenvallende resultaten kunnen vervolgens worden aangepakt om ervoor te zorgen dat het programma wel effectief of nog effectiever wordt. Of om te concluderen dat de ontwikkelde aanpak niet werkt en niet meer moet worden toegepast.

Regel 10: Publiceer over de gevonden werkzame principes, maar ook over de negatieve uitkomsten

Het is belangrijk de resultaten van de effectmeting te delen met anderen, zowel met ontwikkelaars en onderzoekers als met subsidieverstrekkers en beleidsmakers. Dat geldt zowel voor de positieve als de negatieve resultaten.

Het is belangrijk om werkzame principes met anderen te delen. Dan hoeven anderen niet steeds het wiel opnieuw uit te vinden.

Je hebt de neiging om negatieve uitkomsten in de doofpot te stoppen. Maar andere ontwikkelaars en onderzoekers zijn gebaat bij informatie over strategieën en technieken die niet effectief blijken te zijn. Negatieve uitkomsten dragen immers ook bij aan de ontwikkeling van kennis. Dus openheid over negatieve uitkomsten is noodzakelijk.

Het volledige rapport ‘Het meten van effecten van verkeereducatie – tien gouden regels voor effectmeting’ kunt u gratis downloaden via deze pagina. 

Meer info?

Neem dan contact op met Niki Hukker: niki.hukker@rhdhv.com