Taalintegratietrajecten Wetenschappelijk rapport

17 1.3 Fase 2: kritische beoordeling van de methodologische kwaliteit Aangezien de auteur van een overview weinig zicht heeft op de primaire studies die in de reviews zijn opgenomen, valt of staat de kwaliteit van de overview met de kwaliteit van de geïncludeerde reviews. Het kritisch beoordelen van de methodologische kwaliteit van de reviews is dan ook een fundamentele stap in het overviewproces. Hiervoor ontwikkelden we op basis van bestaande instrumenten uit medisch onderzoek enerzijds (vb. Shea et al., 2017; Whiting et al., 2016; Torgerson, 2007) en methodologische aanbevelingen van experts in onderwijsonderzoek anderzijds (Slavin, 2008 en 2020; Aromataris et al., 2015) een eigen tool (zie Appendix B). Op basis van deze tool werd elke review beoordeeld op het vlak van relevantie, kwaliteit van de geïncludeerde primaire studies, de wijze van dataverzameling en, voor meta-analyses, de manier waarop de resultaten van de primaire studies statistisch gecombineerd werden. We scoorden het aantal keren dat een review tegen één van de vastgelegde kwaliteitscriteria zondigde en labelden de reviews op basis van deze score als van hoge, gemiddelde en lage kwaliteit. De 41 reviews werden door twee onderzoekers dubbel beoordeeld en gescoord. Vijf reviews kregen het label ‘lage kwaliteit’ en werden alsnog uitgesloten, omdat dit label betekent dat de betrouwbaarheid van de resultaten in het gedrang komt door de lage methodologische kwaliteit van de review. We zijn ons ervan bewust dat de selectiecriteria voor meta-analyses in het bijzonder nog strenger hadden kunnen zijn. Zo gebruiken meta-analyses uiteenlopende methodes voor data-analyse, combineren ze soms verschillende leeftijden en onderwijsniveaus of maken ze niet altijd een onderscheid tussen verschillende deelvaardigheden, bijvoorbeeld bij leesvaardigheid. Desondanks rapporteren ze net zoals de systematische reviews interessante, richtinggevende resultaten uit het interventieonderzoek. 1.4 Fase 3: data-extractie en analyse van resultaten De 36 overgebleven studies werden in twee fases gecodeerd en geanalyseerd. Eerst importeerden we de reviews in Nvivo 1.3., waar we alle voor deze overview relevante informatie codeerden zodat deze kenmerken eenvoudig te traceren zijn: • de rationale en de onderzoeksvragen, • descriptieve gegevens van de ingesloten studies (doelgroepen, onderwijsniveaus of leeftijden, talen en landen, aantal ingesloten studies, effect sizes), • de verschillende kenmerken van de interventies volgens het analytisch schema in Figuur 1 (taaldoelen, vormelijke en inhoudelijke kenmerken), • de analyse van de resultaten en conclusies van de auteurs, • de beperkingen van de review en de kwaliteitskenmerken van de primaire studies Vervolgens formuleerden we voor elke review een gefundeerde conclusie waarin we de resultaten van de reviews specifiek belichtten vanuit onze onderzoeksvragen en belangrijke aandachtspunten noteerden. Voor elke conclusie werd ook de mate van evidentie bepaald, gebaseerd op de kwaliteit van de review (zie fase 2), het aantal onderliggende primaire studies en de generaliseerbaarheid naar andere onderwijscontexten. Per review schreven twee onderzoekers, onafhankelijk van elkaar, een conclusie die vervolgens na onderling overleg in een definitieve versie gegoten werd. Tot slot groepeerden we de reviews die eenzelfde topic behandelden en schreven we per subgroep een overkoepelende conclusie. Daarin legden we onze eindconclusie van de verschillende reviews binnen een bepaald thema naast elkaar en belichtten op die manier onze bevindingen vanuit onze onderzoeksvragen. Deze overkoepelende conclusies vormen de basis van de resultatensectie. Tijdens het voorbereiden van de conclusies stootten we in drie reviews op ernstige methodologische problemen die de betrouwbaarheid van de conclusie bij de betreffende review in het gedrang brengen. Volgende reviews werden daarom alsnog in deze laatste fase uitgesloten. Shepley & Grisham-Brown (2020) onderzoeken in hun meta-analyse het effect van zogenaamde multi tiered systems of support op kleuters met een taalachterstand. Bij de selectie en analyse van primaire studies maken de auteurs echter twee methodologische fouten. Ten eerste houden de onderzoekers onvoldoende rekening met de samenstelling van de interventie- en controlegroep enerzijds en de aanpak in beide groepen anderzijds. Zo neemt de ene studie enkel kleuters mee die voor Tier 2 in aanmerking komen en vergelijkt de andere studie kleuters in volledige klasgroepen, of krijgt de ene controlegroep een uitgebreid Tier-1-aanbod terwijl het in de andere controlegroep om business as usual gaat. Ten tweede worden de resultaten van twee deelstudies (Buysse et al., 2016) verkeerd gerapporteerd. In beide deelstudies gaat het om difference-in-difference designs, waarbij de leesvaardigheid van de controlegroep bij de pretest beduidend beter is dan de leesvaardigheid van de experimentele groep. Shepley & Grisham- Brown (2020) houden hier geen rekening mee bij de berekening van de effect size en nemen enkel de verschillen bij de posttest mee zonder deze te corrigeren voor de verschillen bij de pretest. Op die manier leiden de auteurs een negatief