Taalintegratietrajecten Wetenschappelijk rapport

46 1.1.3 Dataverzameling en selectie Figuur 6 vat het selectieproces samen aan de hand van een flow diagram. De elektronische zoektocht leverde 532 recente interventies op. Deze werden geïmporteerd naar Zotero. Vervolgens werden alle referenties op basis van hun titel en abstract gescreend door twee onderzoekers; een derde onderzoeker beoordeelde onafhankelijk 20% van alle referenties als tweede beoordelaar om zo de betrouwbaarheid van de selectie te verhogen. Alle discrepanties tussen het oordeel van de eerste en tweede beoordelaar werden onderling besproken en opgelost. Indien een abstract te weinig prijsgaf om op een gefundeerde manier over inclusie of exclusie te oordelen werd de studie naar de volgende fase meegenomen. In een tweede fase (1b) screenden we de 186 overgebleven studies op basis van de volledige tekst. Van vier studies kon de volledige tekst niet opgevraagd worden of bleek de volledige tekst in een andere taal geschreven dan Engels of Nederlands. Alle studies werden dubbel beoordeeld door telkens twee projectmedewerkers. Verschillen in oordeel werden door twee onderzoekers onderling bediscussieerd en opgelost. Op die manier bleven 41 studies over die volledig aan onze inclusiecriteria beantwoorden. 1.2 Fase 2: kritische beoordeling van de methodologische kwaliteit Omdat de interventies gebruikt zullen worden als inspirerend voorbeeld, vinden we het belangrijk dat het effectonderzoek van goede methodologische kwaliteit is. Hiertoe hebben we een aantal minimumvereisten vooropgesteld waaraan het onderzoek moet beantwoorden: • Afwezigheid van verstorende factoren : de controlegroep en de experimentele groep mogen niet op een systematische manier van elkaar verschillen, bijvoorbeeld doordat de leerlingen van de controlegroep allemaal uit school A komen en de experimentele leerlingen allemaal in school B zitten. • Keuze voor statistische analyse conform het design : de statistische analyse houdt rekening met de aanwezigheid van clusters, zoals scholen of klasgroepen, wanneer die aanwezig zijn. • Slechts beperkte uitval van deelnemers : in RCT-studies mogen er na de randomisering slechts in heel beperkte mate deelnemers wegvallen. Er mogen geen deelnemers toegevoegd zijn. • Baseline equivalentie : in quasi-experimentele studies en RCT’s met hoge uitval moeten de experimentele groep en de controlegroep bij aanvang van de interventie voldoende gelijk zijn voor wat betreft relevante kenmerken. • De kwaliteit van de uitkomstmaten : we verwachten dat er voor minstens één taaldoel een significant resultaat is. Dit taaldoel moet in kaart zijn gebracht met een uitkomstmaat die meet wat hij zegt te meten (face validity), die betrouwbaar is (reliability), die in alle condities op dezelfde wijze verzameld is, en die niet afgestemd is op de specifieke inhouden en materialen van de interventie (overaligned). Deze minimumvereisten zijn geïnspireerd door de selectiecriteria die gehanteerd worden bij de Amerikaanse toonaangevende website What Works Clearinghouse, die de effectiviteit van onderwijsinterventies en -praktijken in kaart brengt op basis van een strenge selectie van interventieonderzoek. Het was niet mogelijk om het protocol van What Works Clearinghouse helemaal te volgen omdat deze organisatie hiertoe regelmatig extra data opvraagt bij de primaire onderzoekers, wat niet realistisch is binnen de tijdsbeperkingen van dit onderzoek. Het stappenplan waarmee de minimumvereisten beoordeeld zijn, is te vinden in Appendix B. 27 studies blijken niet aan deze minimumvereisten te voldoen. Bij de overige studies brengen we ook nog een aantal gewenste, maar niet verplichte kwaliteitsindicatoren in kaart: • een grootschalige studie (n>250), • follow-up metingen, • geblindeerde metingen, • uitvoerige beschrijving van de leerlingenkenmerken, • de onderwijsaanpak in de controlegroep, • de implementatiekwaliteit in de experimentele groep, • afwezigheid van bodemeffecten of plafondeffecten. Wanneer RCT-studies met lage attritie minstens vier van deze kenmerken vertonen, verdienen ze het label ‘hoge kwaliteit’. Voor quasi-experimentele studies en RCT-studies met hoge attritie ligt de drempel op zes kenmerken om het label ‘hoge kwaliteit’ te krijgen. De overige studies krijgen het label ‘middelmatige kwaliteit’.