De meilleurs résultats d'apprentissage avec Drillster

Une enquête sur l'influence de Drillster sur le résultat d'apprentissage

Au printemps 2013, Joost van der Veen, étudiant diplômé en sciences de l'éducation à l'Université d'Utrecht, a étudié l'influence de Drillster sur les résultats d'apprentissage. La question centrale de cette recherche était :

« Drillster a-t-il un effet sur le résultat d'apprentissage de l'utilisateur ? »

Afin de répondre à cette question, les sous-questions suivantes ont été identifiées :

• Existe-t-il une différence dans les résultats d'apprentissage entre l'utilisation de l'application adaptative de Drillster et l'apprentissage utilisant des méthodes traditionnelles non adaptatives (c'est-à-dire l'utilisation d'un livre physique) ?
• Les effets positifs éventuels restent-ils significatifs si l'on tient compte des effets possibles du « nombre d'heures passées à étudier » et de la « motivation pour le sujet » ?

 L'analyse des résultats des tests montre que :

• Les participants utilisant Drillster comme aide à l'étude ont obtenu des notes 10 % plus élevées lors d'un test final ;
• Les participants utilisant Drillster ont pu assimiler le sujet au moins 40 % plus rapidement.

Des techniques d'exploration de données ont été utilisées pour déterminer s'il y avait des valeurs aberrantes significatives. Cela ne s'est pas avéré être le cas. Les différences mesurées sont statistiquement significatives.

Participants

L'étude a porté sur 162 participants. Le chercheur a opté pour des lycéens ordinaires. Les écoles participantes étaient le Berlage Lyceum à Amsterdam, aux Pays-Bas, et le Bonhoeffer College à Castricum, aux Pays-Bas. Au Berlage Lyceum, les participants étaient des élèves de 2e et 3e année de VWO, et de 3e année de HAVO. Au Bonhoeffer College, les participants provenaient de deux classes de 2e année, une de VWO et une de gymnasium.

Le nombre minimum de participants requis pour l'étude a été déterminé au préalable à l'aide d'une analyse de puissance^[1]. La puissance fait référence à la probabilité que l'hypothèse nulle — le groupe d'étude ne diffère pas du groupe témoin — soit rejetée pour les bonnes raisons. L'analyse de puissance a indiqué que pour obtenir une taille d'effet de 0,50 avec une signification de 0,05, au moins 102 participants sont requis pour maintenir une puissance de 70 %. Cela signifie que pour cette étude, le groupe d'étude et le groupe témoin doivent tous deux être composés d'au moins 51 participants. L'étude répond largement à ces critères : l'échantillon était composé de 162 participants, avec 99 personnes dans le groupe d'étude et 62 participants dans le groupe témoin.

L'âge moyen du groupe d'étude est de 14,27 ans (SD = 0,78) et varie entre 13 et 16 ans. Ce groupe est composé de 46 participantes et 53 participants. L'âge moyen du groupe témoin est de 13,92 ans (SD = 0,75) et varie également entre 13 et 16 ans. Le groupe témoin est composé de 33 participants et 30 participantes.

Configuration de l'étude

Le contenu du matériel d'étude ciblé a été compilé avec l'aide de professeurs de latin, d'espagnol et de biologie. En impliquant les professeurs habituels des participants, le chercheur a pu s'assurer que le matériel d'étude sélectionné était totalement nouveau pour les participants.

En plus de l'utilisation de nouveau matériel d'apprentissage, on a veillé à ce que le matériel suive logiquement celui utilisé au cours des semaines précédant le test. Cela garantissait qu'il n'y avait pas de lacunes entre les connaissances préexistantes des participants et le matériel d'apprentissage utilisé pour l'étude, car cela aurait compromis la fiabilité des données du test. Les enseignants ont également reçu pour instruction de ne pas couvrir le matériel d'apprentissage utilisé dans le test, afin de ne pas biaiser les résultats d'apprentissage.

Le matériel d'apprentissage pour le groupe d'étude et le groupe témoin était exactement le même. Le groupe d'étude a utilisé des drills, tandis que le groupe témoin a utilisé des fichiers PDF avec le même contenu (non adaptatif). Les élèves des écoles sélectionnées ont tous accès à des iPads, c'est pourquoi le groupe témoin a reçu le matériel d'apprentissage au format PDF. En plus du matériel d'apprentissage au format PDF, les élèves du groupe témoin ont reçu un fichier séparé avec les réponses correctes aux questions de l'étude afin de leur donner les mêmes chances que le groupe d'étude.

Appareils

Les participants du groupe d'étude ont utilisé leur propre ordinateur, iPad ou smartphone pour utiliser l'application Drillster. Pour les utilisateurs d'iPad et de smartphone, cela nécessitait l'installation de l'application gratuite Drillster.

Questionnaires

Dans le cadre de l'étude, deux questionnaires ont été préparés. Le premier questionnaire a été administré avant le test et visait à recueillir des informations pertinentes qui ont ensuite été utilisées dans l'analyse. Le groupe d'étude et le groupe témoin ont tous deux reçu le même questionnaire.

Le deuxième questionnaire se composait de 15 affirmations. Sur ces 15 affirmations, 8 visaient à évaluer la motivation du participant pour le sujet concerné. La motivation a un impact sur la réflexion, l'opinion et les actions du participant concernant le sujet donné.^[2]

Les affirmations ont été tirées de la Checklist Study Motivation^[3].

Évaluation initiale et finale

Pour cette étude, des tests de connaissances ont été créés, composés de la matière utilisée. Cela a été fait par le chercheur en utilisant une sélection aléatoire d'éléments d'apprentissage tirés des matières données aux participants. Avant le test, ce test a été administré à tous les participants pour établir une base de référence.

Un deuxième test de connaissances a été administré à la fin de la période de formation. À nouveau, le test a été donné à tous les participants du groupe d'étude et du groupe témoin. Cela a servi d'évaluation finale.

En utilisant les résultats de ces deux tests, il est devenu possible de comparer les niveaux de connaissances avant et après la période d'étude. Toutes les questions du test ont été tirées directement du matériel d'étude utilisé dans la recherche.

Procédure

L'étude a été mise en place et exécutée de manière identique dans les deux écoles. Les participants ont passé le test de référence directement après l'introduction de l'étude. Juste après l'introduction et le test de référence, la période d'étude a commencé. Les élèves de chaque groupe ont disposé de quatre semaines pour étudier le matériel d'apprentissage. À la fin de la période d'étude, un deuxième test de connaissances a été donné à tous les participants en guise d'évaluation finale.

Analyse des données

Toutes les données recueillies à l'aide des questionnaires et des tests de connaissances passés avant et après la période d'étude ont été anonymisées avant toute analyse ultérieure. Afin de déterminer la fiabilité des questionnaires, en particulier l'échelle utilisée pour la motivation envers la matière, la cohérence interne a été déterminée à l'aide de l' alpha de Cronbach^[4].

Un test t pour échantillons indépendants a été utilisé pour déterminer s'il existe des différences entre le temps passé à étudier par le groupe Drillster et le groupe témoin. Cela a été fait sur la base du nombre d'heures rapporté par les participants.

Par la suite, les moyennes et les écarts types des pourcentages de réponses correctes aux tests de connaissances ont été calculés pour le groupe d'étude et le groupe témoin. Sur la base du pourcentage moyen de réponses correctes, un test t pour échantillons indépendants^[4] a été utilisé pour déterminer s'il existe une différence entre le score moyen de l'évaluation initiale et celui de l'évaluation finale. Cela a été fait pour s'assurer que les deux groupes avaient des scores similaires avant la période d'étude afin de garantir une comparaison significative à la fin de la période d'étude.

L'étape suivante consistait à déterminer si les pourcentages moyens de réponses correctes lors de l'évaluation finale différaient entre le groupe d'étude et le groupe témoin. Cette analyse a été réalisée à l'aide de l'ANOVA^[4].

Une étape ultérieure de l'analyse a consisté à vérifier si les éventuels effets positifs de l'apprentissage avec Drillster étaient toujours présents dans les pourcentages de l'évaluation finale si les éléments de motivation pour la matière et le nombre d'heures d'étude déclarées étaient inclus dans l'analyse en tant que paramètres indépendants. Cela a été fait à l'aide de l'ANCOVA^[5][6]. Cette étape de l'analyse a été entreprise pour voir si l'effet de l'apprentissage avec Drillster est toujours significatif lorsqu'on tient compte d'autres variables possibles (covariables).

Comme dernière étape, les réponses aux questionnaires utilisés après l'évaluation finale ont été analysées, tant pour le groupe d'étude que pour le groupe témoin. Sur la base d'une analyse qualitative, les réponses les plus fréquemment données ont été déterminées. Lors de l'exploration des données, le chercheur a recherché d'éventuelles valeurs aberrantes qui auraient pu influencer les résultats.

Résultats

L'analyse des résultats de la recherche a montré que :

• Les participants du groupe Drillster ont obtenu des notes 10 % supérieures lors de l'évaluation finale par rapport au groupe témoin
• Les participants du groupe Drillster ont pu assimiler le matériel d'apprentissage 40 % plus rapidement par rapport au groupe témoin

Une exploration plus approfondie des données a été entreprise pour rechercher d'éventuelles valeurs aberrantes. La conclusion a été qu'il n'y en avait aucune.

Afin de déterminer la cohérence interne de l'échelle pour la « motivation envers la matière » telle qu'évaluée dans les questionnaires, l'alpha de Cronbach a été calculé. Pour des valeurs de l'alpha de Cronbach supérieures à 0,70, l'échelle utilisée pour la « motivation envers la matière » peut être considérée comme bonne. L'analyse des données montre que la « motivation envers la matière » a un score moyen de 3,4 (SD = 0,12) avec un α de Cronbach = 0,75. Cela signifie que les items utilisés dans l'échelle pour la « motivation envers la matière » sont cohérents en interne.

Références

1. Faul, Erdfelder, Lang & Buchner, 2007
2. Boekaerts, 2005
3. Schouwenburg & Stevens, 1996
4. Moore, McCabe & Craig, 2007
5. Field, 2009
6. Kinnear & Gray, 2011