El servicio de evaluación educativa del Principado de Asturiasretos metodológicos en la evaluación del sistema educativo.

Abstract

Antecedentes: El servicio de evaluación educativa del Principado de Asturias ha realizado sus funciones a lo largo de más de dos décadas dando respuesta eficaz a las necesidades del sistema y a las sucesivas regulaciones estatales que atañen a su evaluación. Esta tesis, como mejora de la organización, propone tres soluciones metodológicas a otros tres desafíos experimentados en el trabajo en dicho servicio. Se ha realizado un análisis de las sucesivas estructuras orgánicas de la Consejería de Educación a fin de identificar las funciones que ha tenido el Servicio en los últimos 20 años. Se han categorizado entre ellas, tres bloques que resumen y sintetizan dichas funciones: a) la elaboración y gestión de herramientas que garantizan una evaluación válida y fiable. b) la transferencia de los resultados de la evaluación a sus destinatarios. c) la gestión del conocimiento derivado de los procesos evaluadores. A continuación, se han identificado tres retos metodológicos asociados a dichos bloques funcionales: a) la evaluación de producciones abiertas como la expresión lingüística o las producciones artísticas y deportivas. b) la validez consecuencial en los procesos de evaluación a través del feedback que reciben los centros de sus resultados. c) El tratamiento y difusión de determinados factores asociados al rendimiento educativo como por ejemplo los deberes escolares. Objetivos: Se han propuesto como objetivos, tres soluciones a dichos retos: a) el diseño y validación de una rúbrica para la evaluación de una producción abierta. b) La aplicación de la metodología del análisis de redes a factores asociados al rendimiento. c) el uso del meta-análisis sobre un factor asociado al rendimiento académico de especial impacto en la comunidad educativa: los deberes escolares. Método: a) Rúbrica: Un panel de expertos creó una rúbrica analítica para evaluar la interpretación musical en un proceso de premios extraordinarios. La validación de la rúbrica fue realizada por dos paneles independientes de jueces que usaron la herramienta para calificar una muestra de grabaciones. Se hizo un examen de dimensionalidad, fiabilidad entre evaluadores y consistencia interna de puntuaciones. b) Análisis de redes: Se utilizó una muestra de 7.882 estudiantes de 2.º ESO. Se evaluó su competencia matemática y se obtuvieron datos relativos al contexto educativo. Se utilizó el análisis de redes, calculando indicadores de centralidad, así como de precisión y estabilidad de la red. c) Meta-análisis sobre los resultados PISA de 2009 a 2018, en los países que aplicaron el cuestionario para las familias. Se analizaron 180 efectos, comprobando el ajuste del modelo y la heterogeneidad de los efectos, y realizando análisis de moderadores y análisis de inferencia con modelos múltiples. Resultados: a) Rúbrica; la unidimensionalidad esencial de la rúbrica fue confirmada. No se encontraron efectos diferenciales entre los evaluadores, ni hubo diferencias significativas en la consistencia interna de cada evaluador. b) Análisis de redes; los resultados indican que el autoconcepto y las expectativas académicas tienen un importante efecto sobre los resultados en matemáticas. Los hallazgos convergen con los obtenidos previamente con otros enfoques. c) Meta-análisis; los estudiantes que reciben más ayuda con los deberes obtienen resultados más bajos: d = 0.23, IC 95% [0.21, 0.25]. Los efectos son mayores en Europa que en Asia. No se encontraron diferencias en función de la asignatura, y los resultados son estables a lo largo del tiempo. Conclusiones: a) Rúbrica; el uso de una rúbrica como herramienta para evaluar la interpretación musical en un contexto competitivo tiene efectos positivos, mejorando la fiabilidad y objetividad de los resultados, tanto en términos de consistencia intraevaluador como de acuerdo entre evaluadores. b) Análisis de redes; el acercamiento del análisis de redes ofrece una combinación idónea entre rigor analítico y sencillez interpretativa, lo que le confiere gran potencial para ser empleado en contextos educativos aplicados para la toma de decisiones basadas en datos. c) Meta-análisis; la ayuda familiar con los deberes no garantiza el éxito académico, siendo más importante cómo se hace que el cuánto. Esta conclusión es válida en todas las asignaturas y se muestra estable en el tiempo, observándose variaciones interculturales. En definitiva, las tres propuestas metodológicas presentadas, (rúbrica de producción abierta, análisis de redes y meta-análisis), proporcionan respuesta a los tres desafíos señalados, presentes en las funciones orgánicas del servicio de evaluación educativa.