2021_07_01 Premios eMadrid_Pedro Manuel Moreno Marcos

1. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Analítica del aprendizaje para la predicción
en escenarios educativos heterogéneos
Autor:
Pedro Manuel Moreno Marcos
Directores:
Carlos Delgado Kloos y Pedro José Muñoz Merino
Departamento de Ingeniería Telemática
Universidad Carlos III de Madrid
XI Jornadas eMadrid
30 de junio de 2021
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 1/15

2. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Índice
1 Introducción y estado del arte
2 Metodología y escenarios
3 Resultados
4 Conclusiones
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 2/15

3. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Introducción
‚ Aumento de recogida de datos
‚ Uso de la analítica del aprendizaje
§ Información de los estudiantes
Aumento
de datos
Uso de
analítica del
aprendizaje
Aplicación:
predicción
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 3/15

4. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Objetivos
1 Análisis de la necesidad de la predicción
2 Análisis del efecto de algunas variables predictoras
3 Análisis temporal en cursos síncronos/asincronos
4 Análisis de algunos casos de generalización de los
modelos predictivos a otros contextos
5 Análisis del efecto de las variables a predecir
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 4/15

5. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Estado del arte
Principales conclusiones y contribuciones
‚ Falta analizar nuevas variables predictoras (p.ej.,
autorregulación, comportamientos) y corroborar existentes
en nuevos escenarios
‚ Falta relacionar variables dependientes y justificarlas
‚ Faltan conclusiones globales sobre el análisis temporal en
diferentes contextos
‚ Faltan análisis sobre la generalización para conocer
posibles condiciones, aproximaciones, etc.
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 5/15

6. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Escenarios educativos
1 MOOC sobre programación en Java (edX – UC3M)
2 MOOC sobre programación en Java (edX – HKUST)
3 MOOCs sobre tres temáticas (Coursera - PUC)
4 SPOCs preparación al acceso a la universidad (edX Edge -
KU Leuven)
5 SPOCs apoyo a clases presenciales universitarias (Open edX
– UC3M)
6 Datos de primaria y secundaria (plataforma propietaria)
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 6/15

7. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Medidas
Variables
independientes
Vídeos
Ejercicios
Actividad
Foro
SRL
Comportamientos
Tipología curso Variables
dependientes
Notas
Éxito
Abandono
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 7/15

8. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Análisis cualitativo de la necesidad de la predicción
‚ Baja adopción a nivel institucional
‚ Líderes institucionales y expertos
§ Necesidad detectar abandono / bajo rendimiento
§ Indicadores de éxito de la titulación
‚ Profesores
§ Detectar estudiantes en riesgo
§ Preocupaciones: personalización y nivel de intervención
§ Tutores personales
‚ Estudiantes
§ Alertas riesgo suspenso
§ Dudas sobre datos, rol de profesores e intervenciones
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 8/15

9. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Efecto de las variables predictoras
‚ Tipos de variables
§ Ejercicios (formativos y
sumativos)
§ Vídeos
§ Actividad
§ Foro
§ SRL
§ Comportamientos
‚ Modo no acumulativo
‚ Importancia del contexto
●
●
●
●
●
●
●
●
●
●
0.15
0.20
0.25
0.30
1 2 3 4 5
Semana
RMSE
Modo No acumulativo Acumulativo
Nota a predecir
●
NF
T2
T3
T4
T5
P3
P5
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 9/15

10. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Análisis temporal
‚ Es posible tener predicciones tempranas, aunque el
contexto influye
Contexto Escenarios AUC ě 0.8
MOOCs 1, 2 y 3 20-40%
SPOC 4 90%
SPOCs 5 y 6 13-35%
GLOBAL (salvo escenario 4) 13-40%
Alumno B
Alumno C
Alumno A
Enero 15-FEB 15-ABR 15-JUN Diciembre
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 10/15

11. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Generalización de los modelos predictivos
‚ Transferir modelos
§ Mismos estudiantes
§ Mismo curso (otra edición) ~
§ Curso y cohorte diferente
§ Importancia del contexto
‚ Agregado de cursos
§ Buen poder predictivo a nivel global
§ Puede no generalizar en algunos cursos
‚ Reutilizar y adaptar
§ Puede evitar problemas, pero más costoso
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 11/15

12. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Efecto de las variables a predecir
‚ Relación entre predicciones de la nota final y examen final
‚ Perfiles a partir de las predicciones del abandono y la nota
‚ Importancia de la selección de la variable en los resultados
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
0.0
2.5
5.0
7.5
10.0
0 25 50 75 100
Probabilidad de abandono (%)
Predicción
de
la
nota
(sobre
10)
Clúster ● ● ● ● ● ● ●
C1 C2 C3 C4 C5 C6 C7
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 12/15

13. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Conclusiones
‚ Resumen de resultados
§ Los interesados reconocen la importancia de la predicción
§ Las variables tienen un alto impacto (especialmente los
ejercicios, vídeos, actividades y SRL)
§ Predicciones tempranas, aunque contexto afecta
§ Diferentes formas para tratar la generalización
§ Relación de variables dependientes Ñ más información
‚ Aplicabilidad
§ Técnicos e instructores
§ Mejora el diseño y orquestación de los cursos
‚ Limitaciones: contexto, variables y filtrados
‚ Trabajo Futuro: analizar nuevos escenarios, variables,
algoritmos, filtrados y generalización a lo largo del tiempo
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 13/15

14. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
Impacto de la tesis
‚ 9 publicaciones en revistas JCR (6 Q1 y 3 Q2)
§ Listado: scholar.google.es/citations?user=YlpQpzQAAAAJ
‚ 9 publicaciones adicionales (1 revista, 1 congreso CORE A,
5 congresos adicionales, 1 workshop y 1 libro)
‚ 1 publicación JCR actualmente en revisión
‚ Participación en 7 proyectos de investigación (LALA,
SHEILA, SmartLET, RESET, SNOLA, eMadrid y proyecto
con empresa)
‚ 2 estancias de investigación (1 mes en KU Leven y 3 meses
en Hong Kong University of Science and Technology)
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 14/15

15. Introducción y estado del arte Metodología y escenarios Resultados Conclusiones
¡Muchas gracias
por vuestra atención!
Pedro Manuel Moreno Marcos Universidad Carlos III de Madrid
Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos 15/15