Het RIVM volgt de effecten van verschillende (actie)programma’s die te maken hebben met zwangerschap en geboorte. Voor het meten van effecten van beleidsinterventies wordt in de literatuur vaak gebruikgemaakt van quasi-experimentele methoden zoals difference-in-differences (DiD). De toepassing hiervan maakt het mogelijk een oorzakelijk effect te meten op basis van bestaande, routinematige data. Maar voor het schatten van deze effecten moet voldaan worden aan een aantal DiD-specifieke assumpties (aannames).
Wat hebben we gedaan?
In een systematische literatuurstudie onderzochten we in hoeverre studies voldoen aan de specifieke assumpties van DiD bij beleidsevaluaties op het gebied van Kansrijke Start (eerste 1000 dagen). Hiervoor gebruikten we 3 databases: Medline, Embase en Scopus. Studies zijn geïncludeerd wanneer DiD werd gebruikt voor de evaluatie van een maatregel gericht op moeders en kinderen tot 2 jaar oud in hoog inkomenslanden. We hebben voor het beoordelen van de assumpties gebruikgemaakt van een bestaande checklist van Ryan en anderen. Voorbeelden van assumpties zijn databeschikbaarheid, parallel trends en statistische voorwaarden. De geïncludeerde studies zijn beoordeeld op hun rapportage en toepassing van de assumpties van DiD.
Wat laten we zien?
Uit dit onderzoek blijkt dat geen enkele van de 19 geïncludeerde studies voldeed aan alle assumpties van DiD. Daarnaast is er variatie in het aantal assumpties waar de geïncludeerde studies rekening mee houden in hun evaluaties. De tekortkomingen van DiD-studies op het gebied van Kansrijke Start zijn opmerkelijk omdat DiD-studies gebruikt kunnen worden door beleidsmakers voor het opschalen of implementeren van bestaande maatregelen, zoals op het gebied van Kanrijke Start.
Conclusie
Dit onderzoek laat tekortkomingen in DiD-evaluaties op het gebied van zwangerschap en geboorte zien. We raden onderzoekers aan om de checklist van Ryan en anderen te gebruiken bij het toepassen van DiD voor de evaluatie van maatregelen van Kansrijke Start. Dit kan bijdragen aan het aantal betrouwbare DiD-evaluaties en uiteindelijk verbetering van beleid op het gebied van zwangerschap en geboorte.
Het artikel Do studies evaluating early-life policy interventions fully adhere to the critical conditions of difference-in-differences? A systematic review is gepubliceerd in BMJOpen (2024).
Auteurs: Anouk Klootwijk, Jeroen Struijs, Annelieke Petrus, Marlin Leemhuis, Mattijs Numans en Eline de Vries.
Meer informatie over Kansrijke Start is te lezen op de webpagina Kansrijke Start.