Mejores resultados de aprendizaje con Drillster

Una investigación sobre la influencia de Drillster en los resultados de aprendizaje

En la primavera de 2013, Joost van der Veen, estudiante de posgrado en Ciencias de la Educación en la Universidad de Utrecht, investigó la influencia de Drillster en los resultados de aprendizaje. La pregunta central de esta investigación fue:

“¿Tiene Drillster un efecto en el resultado de aprendizaje del usuario?”

Para responder a esta pregunta, se identificaron las siguientes subpreguntas:

• ¿Existe una diferencia en los resultados de aprendizaje entre el uso de la aplicación adaptativa de Drillster y el aprendizaje mediante métodos tradicionales y no adaptativos (es decir, utilizando un libro físico)?
• ¿Siguen siendo significativos los efectos positivos cuando se tienen en cuenta los posibles efectos del «número de horas dedicadas al estudio» y la «motivación por la materia de estudio»?

 El análisis de los resultados de las pruebas muestra que:

• Los participantes que utilizaron Drillster como ayuda de estudio obtuvieron calificaciones un 10% más altas en una prueba final;
• Los participantes que utilizaron Drillster pudieron asimilar la materia de estudio al menos un 40% más rápido.

Se han utilizado técnicas de exploración de datos para determinar si hubo algún valor atípico significativo. Se comprobó que no fue así. Las diferencias medidas son estadísticamente significativas.

Participantes

En el estudio participaron 162 personas. El investigador optó por estudiantes de secundaria regular. Los colegios participantes fueron el Berlage Lyceum en Ámsterdam, Países Bajos, y el Bonhoeffer College en Castricum, Países Bajos. En el Berlage Lyceum, los participantes procedían de cursos de 2.º y 3.º de VWO, y de 3.º de HAVO. En el Bonhoeffer College, los participantes se seleccionaron de dos clases de 2.º año, una de VWO y otra de gymnasium.

El número mínimo de participantes necesario para el estudio se determinó de antemano mediante un análisis de potencia^[1]. La potencia se refiere a la probabilidad de que la hipótesis nula —el grupo de estudio no difiere del grupo de control— se rechace por los motivos adecuados. El análisis de potencia indicó que para lograr un tamaño del efecto de 0.50 con una significación de 0.05, se requieren al menos 102 participantes para mantener una potencia del 70%. Esto significa que para este estudio tanto el grupo de estudio como el grupo de control debían constar de al menos 51 participantes cada uno. El estudio cumple estos criterios por un amplio margen: el grupo de muestra estuvo compuesto por 162 participantes, con 99 personas en el grupo de estudio y 62 participantes en el grupo de control.

La edad media del grupo de estudio es de 14.27 años (DE = 0.78) y varía entre los 13 y los 16 años de edad. Este grupo consta de 46 participantes mujeres y 53 hombres. La edad media del grupo de control es de 13.92 años (DE = 0.75) y también varía entre los 13 y los 16 años de edad. El grupo de control está formado por 33 participantes hombres y 30 mujeres.

Diseño del estudio

El contenido del material de estudio seleccionado se recopiló con la ayuda de profesores de latín, español y biología. Al involucrar a los profesores habituales de los participantes, el investigador pudo asegurarse de que el material de estudio seleccionado fuera completamente nuevo para los alumnos.

Además de utilizar material de aprendizaje nuevo, se procuró que el material siguiera lógicamente al material utilizado durante las semanas anteriores a la prueba. Esto garantizó que no hubiera lagunas de conocimiento entre los conocimientos previos de los participantes y el material de aprendizaje utilizado para el estudio, ya que eso habría puesto en peligro la fiabilidad de los datos de las pruebas. También se indicó a los profesores que no cubrieran el material de aprendizaje utilizado en la prueba, para no sesgar los resultados del aprendizaje.

El material de aprendizaje tanto para el grupo de estudio como para el grupo de control fue exactamente el mismo. El grupo de estudio utilizó drills, mientras que el grupo de control utilizó archivos PDF con el mismo contenido (no adaptativo). Los estudiantes de los colegios seleccionados tienen todos acceso a iPads, por lo que al grupo de control se le entregó el material de aprendizaje en formato PDF. Además del material de aprendizaje en formato PDF, a los estudiantes del grupo de control se les entregó un archivo independiente con las respuestas correctas a las preguntas de estudio para garantizarles las mismas oportunidades en comparación con el grupo de estudio.

Dispositivos

Los participantes del grupo de estudio utilizaron su propio ordenador, iPad o smartphone para utilizar la aplicación Drillster. Para los usuarios de iPad y smartphone, esto requirió la instalación de la aplicación gratuita de Drillster.

Cuestionarios

Como parte del estudio, se prepararon dos cuestionarios. El primer cuestionario se administró antes de la prueba y su objetivo era recopilar información relevante que se utilizó posteriormente en el análisis. Tanto al grupo de estudio como al grupo de control se les entregó el mismo cuestionario.

El segundo cuestionario constaba de 15 afirmaciones. De estas 15 afirmaciones, 8 tenían como fin evaluar la motivación de los participantes por la materia en cuestión. La motivación influye en el pensamiento, la opinión y las acciones del participante en torno al tema dado.^[2]

Las afirmaciones se extrajeron de la Checklist Study Motivation (Lista de comprobación de motivación de estudio)^[3].

Evaluación inicial y final

Para este estudio, se crearon pruebas de conocimiento basadas en la materia utilizada. El investigador lo hizo mediante una selección aleatoria de elementos de aprendizaje extraídos de las materias proporcionadas a los participantes. Antes de la prueba, esta evaluación se aplicó a todos los participantes para establecer una línea base.

Se administró una segunda prueba de conocimientos al finalizar el periodo de formación. De nuevo, la prueba se entregó a todos los participantes del grupo de estudio y del grupo de control. Esto sirvió como evaluación final.

Utilizando los resultados de estas dos pruebas, fue posible comparar los niveles de conocimiento antes y después del periodo de estudio. Todas las preguntas de la prueba se extrajeron directamente del material de estudio empleado en la investigación.

Procedimiento

El estudio se configuró y ejecutó de manera idéntica en ambos colegios. Los participantes realizaron la prueba inicial inmediatamente después de la introducción del estudio. Justo después de la introducción y de la prueba inicial, comenzó el periodo de estudio. A los estudiantes de cada grupo se les concedió un tiempo transcurrido de cuatro semanas para estudiar el material de aprendizaje. Al finalizar el periodo de estudio, se realizó una segunda prueba de conocimientos a todos los participantes a modo de evaluación final.

Análisis de datos

Todos los datos recopilados mediante los cuestionarios y las pruebas de conocimientos realizadas antes y después del periodo de estudio fueron anonimizados antes de proceder a su análisis. Para determinar la fiabilidad de los cuestionarios, especialmente la escala utilizada para la motivación en la materia, se calculó la consistencia interna utilizando el alfa de Cronbach^[4].

Se utilizó una prueba T para muestras independientes para determinar si existen diferencias entre el tiempo dedicado al estudio por el grupo de Drillster y el grupo de control. Esto se hizo basándose en el número de horas reportadas por los participantes.

Posteriormente se calcularon los promedios y las desviaciones típicas de los porcentajes de respuestas correctas en las pruebas de conocimiento tanto para el grupo de estudio como para el grupo de control. Basándose en el porcentaje medio de respuestas correctas, se utilizó una prueba t para muestras independientes^[4] para determinar si existe una diferencia entre la puntuación media de la evaluación inicial y la final. Esto se hizo para garantizar que ambos grupos tuvieran puntuaciones similares antes del periodo de estudio y así asegurar una comparación significativa al finalizar dicho periodo.

El siguiente paso consistió en determinar si los porcentajes medios de respuestas correctas en la evaluación final diferían entre el grupo de estudio y el grupo de control. Este análisis se realizó mediante ANOVA^[4].

Un paso posterior en el análisis fue comprobar si los posibles efectos positivos de aprender con Drillster seguían presentes en los porcentajes de la evaluación final al incluir los elementos de motivación por la materia y el número de horas de estudio declaradas como parámetros independientes en el análisis. Esto se llevó a cabo utilizando ANCOVA^[5][6]. Este paso en el análisis se realizó para comprobar si el efecto de aprender con Drillster sigue siendo significativo al tener en cuenta otras posibles variables (covariantes).

Como paso final, se analizaron las respuestas de los cuestionarios utilizados tras la evaluación final, tanto para el grupo de estudio como para el grupo de control. Mediante un análisis cualitativo, se determinaron las respuestas más frecuentes. En la exploración de datos, el investigador buscó posibles valores atípicos que pudieran haber influido en los resultados.

Resultados

El análisis de los resultados de la investigación ha demostrado que:

• Los participantes del grupo de Drillster obtuvieron calificaciones un 10% mejores en la evaluación final en comparación con el grupo de control.
• Los participantes del grupo de Drillster pudieron asimilar el material de aprendizaje un 40% más rápido en comparación con el grupo de control.

Se llevó a cabo una exploración de datos adicional para buscar posibles valores atípicos. La conclusión fue que no existía ninguno.

Para determinar la consistencia interna de la escala de «motivación por la materia» evaluada en los cuestionarios, se calculó el alfa de Cronbach. Para valores del alfa de Cronbach superiores a 0.70, la escala utilizada para la «motivación por la materia» puede considerarse buena. El análisis de los datos muestra que la «motivación por la materia» tiene una puntuación media de 3.4 (DE = 0.12) con un alfa de Cronbach α = 0.75. Esto significa que los elementos utilizados en la escala de «motivación por la materia» son internamente consistentes.

Referencias

1. Faul, Erdfelder, Lang & Buchner, 2007
2. Boekaerts, 2005
3. Schouwenburg & Stevens, 1996
4. Moore, McCabe & Craig, 2007
5. Field, 2009
6. Kinnear & Gray, 2011