Betere leerresultaten met Drillster
Een onderzoek naar de invloed van Drillster op de leeruitkomst

In het voorjaar van 2013 heeft Joost van der Veen, student van de masteropleiding 'Onderwijskundig Ontwerp en advisering' van de Universiteit van Utrecht, een wetenschappelijk onderzoek uitgevoerd naar de invloed van Drillster op de leeruitkomst.

De hoofdvraag van het onderzoek luidde: “Heeft Drillster effect op de leeruitkomst van de lerende?”.

Voor de beantwoording van de onderzoeksvraag zijn de volgende deelvragen geformuleerd:

• Is er een verschil in leeruitkomst tussen lerende die adaptief met Drillster leren en lerende die op een traditionele wijze leren (boek, niet adaptief)?
• Blijft het effect van het leren met Drillster op de leeruitkomst even groot als ook rekening wordt gehouden met een mogelijk effect van de variabele ‘aantal uren besteed aan het leren’ en de ‘motivatie voor het vak’?

Uit de analyse van de onderzoeksresultaten is gebleken dat:

• De deelnemers die met Drillster studeerden 10% hogere resultaten behaalden voor de eindtoets;
• De deelnemers in de groep die met Drillster studeerden de lesstof minimaal 40% sneller beheersten;

Door middel van data-exploratie is bekeken of er sprake is van positieve of negatieve uitbijters. Geconcludeerd is dat er geen sprake is van uitbijters. De gemeten verschillen zijn significant.

Hieronder wordt een verdere toelichting gegeven op de manier waarop het wetenschappelijk onderzoek is uitgevoerd. Voor meer informatie of een kopie van het volledige onderzoeksrapport kun je altijd contact opnemen met info@drillster.com.

Participanten

Aan het onderzoek hebben 162 participanten deelgenomen. Er is gekozen voor leerlingen van het reguliere middelbare onderwijs. Aan dit onderzoek hebben leerlingen deelgenomen van het Berlage Lyceum in Amsterdam en het Bonhoefer College in Castricum. Binnen het Berlage Lyceum zijn de leerlingen afkomstig uit klassen van de leergang 2 en 3 vwo en 3 havo. Binnen het Bonhoeffer College zijn de leerlingen afkomstig uit twee klassen, waarvan één klas van de leergang 2 vwo en één klas van de leergang 2 gymnasium.

Het minimaal benodigde aantal participanten dat nodig is voor het onderzoek, is vooraf bepaald door middel van een power analyse[1]. Power verwijst naar de kans dat de nulhypothese – de onderzoeksgroep verschilt niet van de controlegroep – terecht wordt verworpen. Uit de power-analyse is gebleken dat voor een effect-size van .50 met een significantieniveau van .05 minstens 102 participanten nodig zijn om een power van 70% te handhaven. Dit zal voor het onderzoek betekenen dat de onderzoeksgroep en de controlegroep elk uit minimaal 51 participanten moet bestaan. Het onderzoek voldoet ruim aan deze voorwaarde, daar de steekproef in dit onderzoek bestaat uit 162 participanten, de onderzoeksgroep uit 99 participanten en de controlegroep uit 62 participanten.

De gemiddelde leeftijd van de onderzoeksgroep is 14,27 jaar (SD = .78) en varieert tussen de 13 en 16 jaar. De onderzoeksgroep bestaat uit 46 vrouwen en 53 mannen. De gemiddelde leeftijd van de controlegroep is 13,92 jaar (SD = .75) en varieert tussen de 13 en 16 jaar. De controlegroep bestaat uit 33 mannen en 30 vrouwen.

Onderzoeksopzet

De inhoud van de te leren stof is in samenwerking met de docenten van de vakken Latijn, Spaans en Biologie samengesteld. De keuze voor de leerstof moest voldoen aan de eis dat de leerlingen nog niet eerder in aanraking gekomen mogen zijn met de te leren stof tijdens de reguliere lessen.

Daarnaast moest de leerstof volledig nieuw zijn voor de leerlingen, maar wel logischerwijs volgen op wat de leerlingen al geleerd hadden in de voorgaande weken. Op deze manier sluit de te leren stof voor het onderzoek aan op het niveau waarop de leerlingen zich bevinden en heeft de lesstof relevantie. Hiervoor is gekozen om te voorkomen dat de leerlingen voorkennis zouden hebben van de geselecteerde leerstof. Dit zou ten koste zijn van de betrouwbaarheid van de resultaten.

Een tweede reden is dat op deze manier voorkomen wordt dat de leerlingen tijdens het onderzoek ook op andere momenten, zoals tijdens de lesuren, in aanraking komen met de te leren stof. Dit zou een verkeerd leereffect kunnen opleveren wat een minder betrouwbaar beeld zou kunnen gaan geven van het effect van Drillster op de leeruitkomsten bij de leerlingen die deelnemen aan het onderzoek.

De leerstof voor de controlegroep is qua inhoud exact hetzelfde als de leerstof wat de experimentele groep krijgt. Daar waar de experimentele groep de leerstof aangeboden krijgt in de vorm van drills, krijgt de controlegroep exact dezelfde leerstof aangeboden in PDF-formaat. Omdat binnen de deelnemende scholen iPads worden gebruikt, is gekozen voor het ‘boek in PDF-formaat’ voor de controlegroep. Daarbij is op een aparte pagina een overzicht van de goede antwoorden bijgevoegd. Op deze manier kunnen de leerlingen in de controlegroep ook de vragen oefenen met de juiste antwoorden.

Devices

De deelnemers uit de onderzoeksgroep hebben met behulp van een eigen computer, iPad of smart phone met Drillster kunnen werken. Voor de iPad en de smart phone was het noodzakelijk de gratis Drillster applicatie te installeren.

Instrumenten Vragenlijsten

Voor het onderzoek zijn twee vragenlijsten samengesteld. De eerste vragenlijst is bij aanvang van de onderzoeksperiode afgenomen en was bedoeld om relevante informatie te verzamelen wat in de analyses gebruikt is. De vragen in de eerste vragenlijst zijn hetzelfde geformuleerd voor zowel de onderzoeksgroep als de controlegroep.

Het tweede deel van de vragenlijst bestaat uit 15 stellingen. Van deze 15 stellingen zijn 8 stellingen bedoeld om de motivatie van de participanten voor het (school)vak in beeld te brengen. Motivatie voor het vak stuurt het denken, het gevoel en de acties van de participant bij het betreffende vak[2].

De stellingen waren afkomstig van de Checklist Studiemotivatie[3].

Nulmeting en eindmeting

Voor het onderzoek zijn kennistoetsen samengesteld uit de te leren stof. Dit is door de onderzoeksleider gedaan doormiddel van een random selectie van oefenvragen uit de leerstof wat de participanten voor het onderzoek moesten leren.

Vooraf aan het onderzoek is deze kennistoets in alle klassen bij alle leerlingen afgenomen. Deze toets had als doel het meten van de kennis over de stof die de leerlingen moesten gaan leren. Deze toets dient als een zogeheten nulmeting.

De tweede kennistoets is afgenomen aan het eind van de onderzoeksperiode. Ook deze toets is in alle klassen bij alle leerlingen afgenomen. Deze toets had als doel het meten van de kennis over de te leren stof aan het eind van de onderzoeksperiode.

Aan de hand van de twee kennistoetsen is het mogelijk een vergelijking te maken tussen de kennis aan het begin van de onderzoeksperiode en de kennis aan het einde van de onderzoeksperiode. De vragen in de kennistoetsen komen allemaal direct uit de samengestelde leerstof.

Procedure

Het onderzoek is op beide scholen op dezelfde wijze opgezet en uitgevoerd. Direct gevolgd op het introductiemoment hebben de leerlingen de kennistoets gemaakt. Deze kennistoets dient als nulmeting voor alle participanten.

Na het introductiemoment is de onderzoeksperiode van start gegaan. De leerlingen hebben vanaf dit moment vier weken de tijd gehad om de stof van het onderzoek te leren.

Aan het eind van de onderzoeksperiode is bij alle participanten een tweede kennistoets afgenomen. Deze kennistoets vormt de eindmeting.

Data-analyse

Met behulp van de vragenlijsten en de kennistoetsen, die vooraf en aan het eind van de onderzoeksperiode zijn afgenomen, is de gewenste data voor dit onderzoek verzameld. De gegevens van alle participanten zijn op anonieme wijze gedocumenteerd in het databestand.

Ter vaststelling van de betrouwbaarheid van de vragenlijst – in het bijzonder de schaal ‘motivatie voor het vak’ – is de interne consistentie bepaald met behulp van de Cronbach’s Alfa[4].

Op basis van de door de participanten aangegeven aantal uren wat is besteed aan het leren is met behulp van een t-test voor onafhankelijke steekproeven onderzocht of er een verschil is in het besteedde aantal uren tussen de onderzoeksgroep en de controlegroep.

Vervolgens zijn de gemiddelden en standaarddeviaties van de percentage goede antwoorden van de onderzoeksgroep en de controlegroep berekend. Op basis van de gemiddelde percentage goede antwoorden is met behulp van een t-test voor onafhankelijke steekproeven[4] onderzocht of er een verschil is in het gemiddelde percentage van de nulmeting tussen de onderzoeksgroep en de controlegroep. Dit is onderzocht omdat het van belang is dat beide groepen bij aanvang van het onderzoek hetzelfde gemiddelde percentage goede antwoorden dient te hebben om een goede vergelijking aan het eind van het onderzoek te kunnen maken.

Vervolgens werd onderzocht of de gemiddelde percentages goede antwoorden van de eindmeting verschilt tussen de onderzoeksgroep en de controlegroep. Deze analyse is met behulp van een ANOVA[4] uitgevoerd.

Als volgende stap van de analyses is gecontroleerd of het mogelijke effect van het leren met Drillster op het gemiddelde percentage goede antwoorden op de eindtoets, gelijk blijft als ook de variabelen ‘motivatie voor het vak’ en ‘aantal uren besteed aan het leren met Drillster’ worden betrokken in de analyse als onafhankelijke variabelen.

Dit is onderzocht met behulp van ANCOVA[5][6]. Deze analyse is uitgevoerd om te bekijken of het effect van het leren met Drillster stand houdt indien ook rekening wordt gehouden met mogelijk andere variabelen (co-varianten).

Als laatste stap in de analyses werden de antwoorden geanalyseerd op de vragenlijst die na de eindmeting bij zowel de onderzoeksgroep als de controlegroep zijn. Op basis van kwalitatieve analyse werd bepaald welke antwoorden het meest naar voren komen in de vragenlijsten.

Er is in de data-exploratie gekeken naar mogelijke uitschieters die van invloed kunnen zijn op de resultaten.

Resultaten

Uit de analyse van de onderzoeksresultaten is gebleken dat:

De deelnemers in de groep die met Drillster studeerden, 10% hogere resultaten behaalden voor de eindtoets
De deelnemers in de groep die met Drillster studeerden de lesstof minimaal 40% sneller beheersten;
De gemeten verschillen significant zijn.
Door middel van data exploratie is bekeken of er sprake is van positieve of negatieve uitschieters. Geconcludeerd is dat er geen sprake is van uitbijters.

Voor de bepaling van de interne consistentie van de schaal ‘motivatie voor het vak’ in de vragenlijst is de Cronbach’s Alfa berekend. Hierbij geldt dat bij een waarde van de Cronbach’s Alfa van .70 of hoger de schaal ‘motivatie voor het vak’ als goed mag worden beschouwd. Uit de analyse blijkt dat de schaal ‘motivatie voor het vak’ een gemiddelde score van 3.4 (SD = .12) heeft en een Cronbach’s α = .75. Er mag gesteld worden dat de items in de schaal ‘motivatie voor het vak’ met elkaar samenhangen.

Referenties

1. Faul, Erdfelder, Lang & Buchner, 2007
2. Boekaerts, 2005
3. Schouwenburg & Stevens, 1996
4. Moore, McCabe & Craig, 2007
5. Field, 2009
6. Kinnear & Gray, 2011