¿Qué nos dice PISA sobre la enseñanza y el aprendizaje de las ciencias? Una proximación a través de árboles de decisión

  1. Esther López-Martín 2
  2. Eva Expósito-Casas 2
  3. Elvira Carpintero Molina 1
  4. Inmaculada Asensio Muñoz 1
  1. 1 Universidad Complutense de Madrid
    info

    Universidad Complutense de Madrid

    Madrid, España

    ROR 02p0gd045

  2. 2 Universidad Nacional de Educación a Distancia
    info

    Universidad Nacional de Educación a Distancia

    Madrid, España

    ROR https://ror.org/02msb5n36

Journal:
Revista de educación

ISSN: 0034-8082

Year of publication: 2018

Issue: 382

Pages: 133-162

Type: Article

DOI: 10.4438/1988-592X-RE-2018-382-395 SCOPUS: 2-s2.0-85067567689 DIALNET GOOGLE SCHOLAR lock_openOpen access editor

More publications in: Revista de educación

Abstract

This paper analyzes the data from Spain in PISA 2015 with the goal of, on the one hand, identifying the factors strongly related to the scientific competency and, on the other, describing the profile of students with higher and lower performance in the science test, according to the context variables. To do so, a multivariate classification technique based on decision tree with the CART (Classification and Regression Trees) algorithm has been used. After the descriptive-exploratory study, we present the selection and hierarchy of the contextual characteristics of the students that are most closely related to their performance. The student¿s grade, along with his or her academic expectations and the grade repetition, are the variables that, overall, best predict the performance in science of Spanish students aged 15. At the same time, the results relating to students with high and low science performance allow us to identify those variables with a differential incidence for both groups. The study's main conclusions highlight the importance of the work done by educational centers, since the academic trajectory and the psychoeducational variables seem to have a greater effect on the academic results of students than their socioeconomic characteristics. We discuss the findings and expose the main implications that these results may have in the improvement of science teaching-learning process in Spain, which may be reflected in the decrease the students who are falling behind, as well as in the increase the average performance and, especially, the number of students who are reaching proficiency levels.

Bibliographic References

  • Aksu, G., & Güzeller, C.O. (2016). Classification of PISA 2012 Mathematical Literacy Scores Using Decision-Tree Method: Turkey Sampling. Education and Science, 41 (185), 101-122.
  • Baird, J.A., Johnson, S., Hopfenbeck, T.N., Isaacs, T., Sprague, T., Stobart, G., & Yu, G. (2016). On the supranational spell of PISA in policy. Educational Research, 58 (2). 121-138. DOI: 10.1080/00131881.2016.1165410
  • Blanco, A., Asensio, I.I., Carpintero, E., Ruiz de Miguel, C., & Expósito, E. (2017). Aplicaciones de la segmentación jerárquica en medición y evaluación de programas educativos. Ejemplos con un programa de educación financiera. Educación XX1, 20 (2), 235-257.
  • Blanco-Blanco, Á., López, E., & Ruiz de Miguel, C. (2014). Aportaciones de los modelos jerárquico-lineales multivariados a la investigación educativa sobre el rendimiento. Un ejemplo con datos del alumnado español en PISA 2009. Revista de Educación, 365, 122-149.
  • Breiman, L., Friedman, J.H., Olshen, R.A., & Stone, C.J. (1984). Classification and regression trees. Monterey, CA: Wadsworth and Brooks-Cole.
  • Carabaña, J. (2015). La inutilidad de PISA para las escuelas. Madrid: La Catarata.
  • Carvallo, M., Caso, J., & Contreras (2007). Estimación del efecto de variables contextuales en el logro académico de estudiantes de Baja California. Revista Electrónica de Investigación educativa, 9(2), http:// redie.uabc.mx/vol9no2/contenido-carvallo.html
  • Casanova, P., Cruz, M., de la Torre, M. J., & de la Villa, M. (2005). Influence of family and socio-demographic variables on students with low academic achievement. Educational Psychology, 25 (4), 423-435.
  • Castro-Morera, M., García-Medina, A., Pedrosa-Zúñiga, H., & Caso-Niebla, J. (2015). Escuelas de alto y bajo valor añadido. Perfiles diferenciales de las secundarias en Baja California. Archivos Analíticos de Políticas Educativas, 23 (67) http://dx.doi.org/10.14507/epaa.v23.1917
  • Cordero, J.M., Crespo, E., & Pedraja, F. (2013). Rendimiento educativo y determinantes según PISA: Una revisión de la literatura en España. Revista de Educación, 362, 273-297.
  • Crujeiras, B., & Jiménez, M.P. (2015). Análisis de la competencia científica de alumnado de secundaria: respuestas y justificaciones a ítems de PISA. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 12(3), 385-401.
  • Demir, İ., Kılıç S. (2010). Using PISA 2003: Examining the factors affecting students’ mathematics achievement. H. U. Journal of Education, 38, 44-54.
  • Escobar, M. (2007). El análisis de segmentación: Técnicas y aplicaciones de los árboles de clasificación. Madrid: CIS.
  • Freeman, S., Eddy, S.L., McDonough, M., Smith, M.K., Okoroafor, N., Jordt, H., & Wenderoth, M.P. (2014). Active learning increases student performance in science, engineering, and mathematics. Proceedings of the National Academy of Sciences, 111(23), 8410–8415. http://www. pnas.org/content/111/23/8410
  • Gil-Flores, J. (2012). Actitudes del alumnado español hacia las ciencias en la evaluación PISA 2006. Enseñanza de las Ciencias, 30(2), 131-152.
  • González-Such, J., Sancho-Álvarez, C., & Sánchez-Delgado, P. (2016). Cuestionarios de contexto PISA: Un estudio sobre los indicadores de evaluación. RELIEVE, 22(1), M7. DOI: http://dx.doi.org/10.7203/ relieve.22.1.8429
  • Ikeda, M., & García, E. (2014). Grade repetition: A comparative study of academic and non-academic consequences. OECD Journal: Economic Studies, Vol. 2013/1, 269-315. http://dx.doi.org/10.1787/eco_studies2013-5k3w65mx3hnx
  • Instituto Nacional de Evaluación Educativa (INEE). (2014). Análisis desagregado de los resultados de España en PISA. EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Obtenido de http://www.mecd.gob.es/dctm/inee/boletines/educainee27. pdf?documentId=0901e72b8186 8b0a
  • Instituto Nacional de Evaluación Educativa (INEE). (2016). PISA 2015. Programa para la Evaluación Internacional de los alumnos. Informe español. Madrid: Ministerio de Educación, Cultura y Deporte.
  • Jiménez-Tejada, M. P., Romero-López, M. C., Almagro-Fernández, M., González-García, F., & Vílchez-González, J.M. (2016). Spanish teaching students’ attitudes towards teaching science at the pre-school level. SHS Web of Conferences, 26, 01103, ERPA 2015. DOI: 10.1051/ shsconf/20162601103
  • Kearney, C. (2016). Efforts to Increase Students’ Interest in Pursuing Mathematicas, Science and Technology Studies and Careers. Brussels: European Schoolnet (EUN Partnership AISBL). http://files.eun. org/scientix/Observatory/ComparativeAnalysis2015/Kearney-2016NationalMeasures-30-countries-2015-Report.pdf
  • Kiray, S.A., Gok, B., & Bozkir, A.S. (2015). Identifying the factors affecting science and mathematics achievement using data mining methods. Journal of Education in Science, Environment and Health (JESEH), 1(1), 28-48.
  • Lent, R., Brown, S., & Hackett, G. (1994). Toward a unifying social cognitive theory of career and academic interest, choice, and performance. Journal of Vocational Behavior, 45, 79–122.
  • Lizasoain, L. (2012) Las técnicas de minería de datos aplicadas a la investigación educativa. Arboles estadísticos de decisión. En M. Castro (Coord.) Elogio a la Pedagogía Científica. Madrid: Grafidridma.
  • López-Martín, E., Navarro, E., Ordóñez, X., & Romero, S. (2009). Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: El caso de España. Education Policy Analysis Archives, 17(16), 1-24.
  • Mason, L., Boscolo, P., Tornatora, M.C., & Ronconi, L. (2013). Besides Knowledge: A cross-Sectional Study on the Relations between Epistemic Beliefs, Achievement Goals, Self Beliefs, and Achievement in Science. Instructional Science, 41(1), 49–79. doi:10.1007/s11251012-9210-0.
  • Méndez Coca, D. (2015). Estudio de las motivaciones de los estudiantes de secundaria de física y química y la influencia de las metodologías de enseñanza en su interés. Educación XX1, 18(2), 215-235, doi: 10.5944/educXX1.14016.
  • Nugent, G., Barker, B., Welch, G., Grandgenett, N., Wu, C., & Nelson, C. (2015). A Model of Factors Contributing to STEM Learning and Career Orientation. International Journal of Science Education 37(7), 1067–88.
  • OECD (2005). The Definition and Selection of key Competencies. Executive Summary. En http://www.oecd.org/pisa/35070367.pdf. Consultado el 4 de julio de 2017.
  • OCDE (2008). Informe PISA 2006. Competencias científicas para el mundo del mañana. Madrid: Santillana.
  • OECD (2013). PISA 2015 Draft Science Framework. Paris: OECD.
  • OECD (2014). PISA 2012 Technical Report. Paris: OECD https ://www.oecd.org/pisa/pisaproducts/PISA%202012%20 Technical%20Report_Chapter%2019.pdf
  • OECD (2017). PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy, Paris: OECD Publishing, 101-127. DOI: http://dx.doi.org/10.1787/9789264281820-en
  • Parker, P.D., Jerrim, J., Schoon, I., & Marsh, H.W. (2016). A multination study of socieoeconomic inequality in expectations for progression to Higher Education: The role of between-school tracking and ability stratification. American Educational Research Journal, 53 (1), 6-32.
  • Pérez, A. I., & Soto, E. (2011). Luces y sombras de PISA. Sentido educativo de las evaluaciones externas. Cultura y Educación, 23(2), 171-182, DOI: 10.1174/113564011795944758
  • Schleicher, A. (2016). Desafíos para PISA. RELIEVE, 22(1), art. M13. DOI: http://dx.doi.org/10.7203/relieve.22.1.8429
  • Strobl, C., Malley, J., & Tutz, G. (2009). An Introduction to Recursive Partitioning: Rationale, Application, and Characteristics of Classification and Regression Trees, Bagging, and Random Forests. Psychological Methods, 14 (4), 323–348.
  • Torío, S., Hernández, J., & Peña, J.V. (2007). Capital social familiar y expectativas académico-formativas y laborales en el alumnado de Educación Secundaria Obligatoria. Revista de Educación, 343, 559-586.
  • Yu, C.H., Kaprolet, C., Jannasch-Pennell, A., & DiGangi. S. (2012). A Data Mining Approach to Comparing American and Canadian Grade 10 Students’ PISA Science Test Performance. Journal of Data Science, 10, 441-464.