Un sistema de IA detecta e interviene precozmente en estudiantes en riesgo de abandonar

Según los investigadores, este seguimiento continuado ayuda a acortar el tiempo entre las primeras señales de riesgo y la intervención del sistema para evitar que el alumnado abandone la asignatura.

La tecnología se ha testado en una prueba piloto con 581 estudiantes matriculados en una asignatura de primer semestre en diferentes grados de los Estudios de Economía y Empresa de la UOC, lo que ha reducido el abandono de la asignatura y ha aumentado su participación durante el semestre.

La investigación está liderada por David Bañeres, del grupo Systems, Software and Models Research Lab (SOM Research Lab), del Internet Interdisciplinary Institute (IN3), que coordina a un equipo multidisciplinario en el que participan Ana Elena Guerrero, investigadora principal del grupo Technology-Enhanced Knowledge and Interaction Group (TEKING), y M. Elena Rodríguez González, también miembro de TEKING, ambas profesoras de los Estudios de Informática, Multimedia y Telecomunicación, y Pau Cortadas, investigador y profesor de los Estudios de Economía y Empresa.

Este proyecto de investigación en elearning (aprendizaje virtual) tiene el acompañamiento del eLearning Innovation Center (eLinC) de la UOC, el centro que trabaja por la innovación y la transformación educativa digital.

Estos prometedores resultados se han conseguido gracias al desarrollo de un nuevo modelo predictivo, denominado Profiled Dropout At Risk (PDAR), que se ha incorporado al Learning Intelligent System (LIS), un sistema de predicción de estudiantes en riesgo de suspender desarrollado por este equipo de investigadores y que está testándose con buenos resultados en diferentes pruebas piloto con estudiantes de la UOC desde 2019.

Hasta ahora, el sistema LIS únicamente tenía un modelo de predicción de compleción del curso basado en datos históricos de las asignaturas —recogidos en el DataMart de la Unidad de Evaluación de Proyectos Institucionales de la UOC— y en los resultados de las pruebas de evaluación continua del curso en marcha. Así, después de cada actividad el sistema LIS predice la nota mínima que el alumno debería obtener en la prueba siguiente para aprobar la asignatura y asigna un nivel de riesgo de suspender que se muestra en el espacio personal del alumno mediante una representación en forma de semáforo. En caso de detectar un alto nivel de riesgo, el sistema activa los correspondientes mecanismos de intervención en forma de mensajes a los alumnos. “Esta predicción, aunque es muy útil al estudiante, tiene deficiencias, principalmente porque limita el seguimiento a ciertos puntos de control después de cada actividad (suelen ser tres o cuatro cada semestre), de manera que la intervención asociada puede llegar tarde, cuando el estudiante ya ha abandonado el curso”, explica David Bañeres.

En cambio, el nuevo modelo PDAR aporta una mejora sustancial del seguimiento, puesto que, a partir de datos del perfil de los estudiantes, el rendimiento dentro del curso y los clics y otras acciones diarias en el campus en línea de la UOC, genera una predicción diaria del riesgo de abandono de la asignatura. “El modelo evalúa si el grado de implicación diaria del estudiante se adecua a la media dentro de la asignatura. Es decir, esta evaluación se hace dependiendo de cada asignatura y de cada actividad”, detalla el investigador.

Uno de los retos del nuevo modelo ha sido evitar los falsos positivos, personas que el sistema señala como en riesgo sin serlo. Este error se produce principalmente con estudiantes que no siempre están activos en el entorno virtual de aprendizaje. Así, el nuevo modelo también tiene en cuenta una ventana temporal que se calcula automáticamente según el curso, el tipo y la dificultad de la actividad. Es decir, para confirmar que un alumno realmente se encuentra en riesgo de abandono y activar los correspondientes mecanismos de intervención, debe permanecer en la categoría de riesgo de abandono durante un número consecutivo de días determinado para cada actividad. En caso de estar en un nivel de riesgo alto de abandono, se genera un mensaje de intervención automático al estudiante.

El objetivo de la intervención del sistema es aumentar la motivación del alumnado con, por ejemplo, recomendaciones sobre la gestión del tiempo, marcando objetivos a corto plazo o informando de las posibles consecuencias negativas de no completar la actividad. También proporciona materiales de aprendizaje y ejercicios complementarios para ayudar a los estudiantes a lograr sus objetivos. Además, el profesorado de la asignatura puede diseñar y personalizar el contenido de los mensajes y adaptarlos según el nivel de riesgo. Finalmente, la herramienta tiene diferentes paneles de control que permiten, tanto al profesor como al estudiante, conocer de forma individual el estado actual y los riesgos potenciales.

Para evaluar la incorporación de este nuevo modelo predictivo, se compararon los resultados en el abandono con el grupo de estudiantes que usaron el sistema LIS el año anterior -cuando todavía no se había implementado el PDAR- y también con el grupo de estudiantes que no quisieron participar en el estudio y realizaban la asignatura sin el apoyo del sistema LIS. Los resultados, publicados en la revista International Journal of Educational Technology in Higher Education, coeditada por la UOC, mostraron que el abandono de los estudiantes al final del curso disminuyó significativamente en todas las actividades, con una diferencia del 12% entre participantes en el estudio piloto y no participantes, y con una diferencia del 5% en comparación con el semestre anterior, cuando solo se usaba LIS sin el nuevo modelo predictivo.

Los resultados mostraron que el abandono de los estudiantes al final del curso disminuyó significativamente en todas las actividades.

Este nuevo sistema da al profesorado la posibilidad de intervenir de forma proactiva ante los problemas de su alumnado. “Con este sistema de detección precoz, puede avisarse al estudiante antes de que suceda el problema y podemos hacer un seguimiento 24x7 de nuestro alumnado”, explica David Bañeres.

Además, también es una herramienta escalable, que permite al profesorado hacer un seguimiento integral de una asignatura con un alto número de alumnos. “Por ejemplo, uno de los estudios piloto se hizo en una asignatura con 1.500 estudiantes, y el sistema permitió a los profesores poder hacer un seguimiento de estudiantes con riesgo de abandono sin sobrecargar la tarea del profesor responsable ni de los colaboradores”, destaca el investigador.

Una ventaja importante del sistema LIS es que no depende de una tecnología de gestión del aprendizaje determinada y, por lo tanto, puede utilizarse en cualquier entorno, siempre que haya datos históricos académicos de estudiantes. “Esto quiere decir que, aunque actualmente la UOC esté en transición hacia un nuevo campus basado en otra tecnología, como, por ejemplo, Canvas, el sistema podrá utilizarse igualmente adquiriendo los datos de la fuente de información correspondiente”, explica Bañeres. Como ejemplo, actualmente el equipo de investigadores trabaja en un proyecto de personalización de la educación para la Oficina Europea de Patentes, en el que el sistema LIS se usará para hacer el seguimiento de los estudiantes dentro de su plataforma de educación, basada en Moodle.

Además, LIS puede configurarse específicamente para cada asignatura adaptándose a las actividades que forman parte de ella y entrenando los modelos de predicción necesarios con datos de estudiantes anteriores que han pasado por la asignatura.

Este nuevo sistema da al profesorado la posibilidad de intervenir de forma proactiva ante los problemas de su alumnado. “Con este sistema de detección precoz, puede avisarse al estudiante antes de que suceda el problema y podemos hacer un seguimiento 24x7 de nuestro alumnado”, explica David Bañeres

Uno de los retos del nuevo modelo ha sido evitar los falsos positivos, personas que el sistema señala como en riesgo sin serlo. Este error se produce principalmente con estudiantes que no siempre están activos en el entorno virtual de aprendizaje

Esta investigación de la UOC favorece el objetivo de desarrollo sostenible (ODS) 4, de educación de calidad.