Validez predictiva del u-ranking en las titulaciones universitarias de Ciencias de la Salud

  1. Esther López-Martín 1
  2. Alexis Moreno-Pulido 1
  3. Eva Expósito-Casas 1
  1. 1 Universidad Nacional de Educación a Distancia
    info

    Universidad Nacional de Educación a Distancia

    Madrid, España

    ROR https://ror.org/02msb5n36

Revista:
Bordón: Revista de pedagogía

ISSN: 0210-5934,  2340-6577

Any de publicació: 2018

Volum: 70

Número: 1

Pàgines: 57-72

Tipus: Article

DIALNET GOOGLE SCHOLAR lock_openDialnet editor

Altres publicacions en: Bordón: Revista de pedagogía

Resum

INTRODUCTION. In recent years, university rankings have attracted significant media attention. The information −that these rankings provide about the university activities in relation to quality of teaching, research and innovation and technological development− has an important social influence and it affects the reputation and prestige of universities. In addition, these rankings increase the university attractiveness for students, conditioning the decision-making process of potential students. This paper studies the predictive validity of the U-Ranking for graduates of the Faculties of Medicine, Pharmacy, Nursing and Psychology in Spain. METHOD. This paper analyzes how the scores obtained by different public and private Spanish universities may predict the level of performance achieved by their graduates in a national test for selecting health workers (using data from four calls 2012/13, 2013/14, 2014/15 and 2015/16). RESULTS. The results show that the position in the U-Ranking is not related to the universities’ success rates in these selective tests. DISCUSSION. The marked trend of these results reveals a validity problem of the U-Ranking, which could be associated with a systematic error in predicting performance criteria through features that are not relevant in relation to it. Consequently, specific predictions to certain groups or entities might show a major benefit for definite units, producing significant inconsistencies with reality. Likewise, it is also important to rethink how the university rankings are built, based on a precise definition of the construct, in order to improve the quality of the measurement ensuring their suitability.

Referències bibliogràfiques

  • Abad, F. J., Olea, J., Ponsoda, V. y García, C. (2011). Medición en ciencias sociales y de la salud. Madrid: Síntesis.
  • Alva-Chávez, K., Díaz-Varela Arrese, M., Franco-Romo, D. y Ballesteros-Carrasco, B. (2014). Estudio de la posición de las universidades españolas en algunos rankings internacionales. Recuperado de http://universidad.es/sites/default/files/informe-ficue-rankings.pdf
  • American Educational Research Association (AERA), American Psychological Association (APA) y National Council on Measurement in Education (NCME). (2014). Standards for Educational and Psychological Testing. Washington: APA.
  • Anastasi, A. y Urbina, S. (1998). Tests psicológicos. México: Pearson Educación.
  • Baladrón, J., Curbelo, J., Sánchez-Lasheras, F., Romeo-Ladrero, J. M., Villacampa, T. y Fernández Somoano, A. (2016). El examen al examen MIR 2015: aproximación a la validez estructural a través de la teoría clásica de los tests. FEM: Revista de la Fundación Educación Médica, 19(4), 217-226.
  • Buela-Casal, G., Quevedo-Blasco, R. y Guillén-Riquelme, A. (2015). Ranking 2013 de investigación de las universidades públicas españolas.  Psicothema,  27(4), 317-326. doi: http://dx.doi. org/10.7334/psicothema2015.140
  • Cizek, G. J. (2012). Defining and distinguishing validity: interpretations of score meaning and justifications of test use, Psychological Methods, 17(1), 31-43. doi: http://dx.doi.org/10.1037/ a0026975
  • Daraio, C. y Bonaccorsi, A. (2016). Beyond university rankings? Generating new indicators on universities by linking data in open platforms. Journal of the Association for Information Science and Technology. doi: http://dx.doi.org/10.1002/asi.23679
  • Daraio, C., Bonaccorsi, A. y Simar, L. (2015). Rankings and university performance: A conditional multidimensional approach. European Journal of Operational Research, 244(3), 918-930. doi: http://dx.doi.org/10.1016/j.ejor.2015.02.005
  • De la Orden, A., Asensio, I., Carballo, R., Fernández Díaz, M. J., Fuentes, A., García Ramos, J. M. y Guardia, S. (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. RELIEVE, 3(1), 1-27. Recuperado de: http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm
  • Delgado-López-Cózar, E. (2012). Cómo se cocinan los rankings universitarios. Dendra Médica, 11(1), 43-58.
  • Docampo, D. (2015). Universidades españolas según el ranking de Shanghai. Recuperado de: http:// dicits.ugr.es/rankinguniversidades/?page_id=671
  • Elosua, P. (2003). Sobre la validez de los tests. Psicothema, 15(2), 315-321. Recuperado de: http:// www.psicothema.com/pdf/1063.pdf
  • Expósito-Casas, E., González-Benito, A., López-Martín, E. y Moreno-Pulido, A. (2016). Rendimiento de los titulados en Psicología en las pruebas de acceso al PIR [Performance of graduates in the Internship in Clinical Psychology entrance examens]. Acción Psicológica, 13(1), 145-158. doi: http://dx.doi.org/10.5944/ap.13.1.17429
  • González-Riaño, M. G., Repiso, R. y Delgado-López-Cózar, E. (2014). Repercusión de los rankings universitarios en la prensa española. Revista Española de Documentación Científica, 37(3), e055. doi: http://dx.doi.org/10.3989/redc.2014.3.1128
  • Grau F. X. (2013). ¿Cómo están las universidades españolas en los rankings? La visión académica: La preponderancia del impacto científico en los ránquings de universidades. En: V. Climent, F. Michavila y M. Ripollés (eds.). Los rankings universitarios, mitos y realidades. Madrid: Tecnos. Recuperado de: https://www.academia.edu/3391556/Los_R%C3%A1nkings_Universitarios_ mitos_y_realidades
  • Grau, F. X. (2015). Rankings, impacto científico y sistemas universitarios. Madrid: CRUE. Recuperado de: http://www.crue.org/Publicaciones/Documents/MONO_RANKING_WEB.pdf
  • Hunsley, J. y Meyer, G. J. (2003). The incremental validity of psychological testing and assessment: conceptual, methodological, and statistical issues. Psychological Assessment, 15(4), 446-455. doi: http://dx.doi.org/10.1037/1040-3590.15.4.446
  • Lane, S. (2014). Validity evidence based on testing consequences. Psicothema, 26(1), 127-137. doi: http://dx.doi.org/10.7334/psicothema2013.258
  • López-Valcárcel, B. G., Ortún, V., Barber, P., Harris, J. E. y García, B. (2013). Ranking Spain’s Medical Schools by their performance in the national residency examination. Revista Clínica Española (English Edition), 213(9), 428-434.
  • Mauri, T., Coll, C. y Onrubia, J. (2008). La evaluación de la calidad de los procesos de innovación docente universitaria. Una perspectiva constructivista. Revista de Docencia Universitaria, 1(1), 1-11.
  • Orden SSI/1892/2015, de 10 de septiembre, por la que se aprueba la oferta de plazas y la convocatoria de pruebas selectivas 2015 para el acceso en el año 2016, a plazas de formación sanitaria especializada para Médicos, Farmacéuticos, Enfermeros y otros graduados/licenciados universitarios del ámbito de la Psicología, la Química, la Biología y la Física. Boletín Oficial del Estado, 224, 82031-82318. Recuperado de: http://boe.es/diario_boe/txt.php?id=BOE-A-2015-10053
  • Orduña-Malea, E. (2012). Propuesta de un modelo de análisis redinformétrico multinivel para el estudio sistémico de las universidades españolas (2010) (tesis doctoral). Valencia: Universidad Politécnica de Valencia. Recuperado de: https://riunet.upv.es/handle/10251/14420
  • Pérez, F., Aldás, J., Aragón, R. y Zaera, I. (2016). U-Ranking 2016: indicadores sintéticos de las universidades españolas. doi: http://dx.medra.org/10.12842/RANKINGS_SP_ISSUE_2016
  • Ramírez Garzón, M. I. y Montoya Vargas, J. (2014). La evaluación de la calidad de la docencia en la universidad: Una revisión de la literatura. REDU. Revista de Docencia Universitaria, 12(2), 77-95.
  • Rauhvargers, A. (2011). Global University Rankings and their Impact. Bruselas: European University Association. Recuperado de http://www.eua.be/Libraries/publications-homepage-list/Global_ University_Rankings_and_Their_Impact.pdf?sfvrsn=4
  • Rauhvargers, A. (2013). Global university rankings and their impact: Report II. Bruselas: European University Association. Recuperado de: http://www.eua.be/Libraries/publications-homepage-list/ EUA_Global_University_Rankings_and_Their_Impact_-_Report_II
  • Sentí, M., Pérez, J. y Baños, J. E. (2016). Factores predictores de resultados en la prueba MIR en las universidades públicas: análisis de la cohorte 2008-2014. FEM: Revista de la Fundación Educación Médica, 19(3), 155-160.
  • Sireci, S. y Faulkner-Bond, M. (2014). Validity evidence based on test content. Psicothema, 26(1), 100-107. doi: http://dx.doi.org/10.7334/psicothema2013.256
  • Tomàs-Folch, M., Feixas-Condom, M., Ruiz-Ruiz, J. M. y Bernabeu-Tamayo, M. (2015). La literatura científica sobre rankings universitarios. REDU, Revista de Docencia Universitaria, 13(3), 33-54. Recuperado de: http://red-u.net/redu/index.php/REDU/article/view/828
  • Tremblay, K., Lalancette, D. y Roseveare, D. (2012). AHELO Feasibility Study Report. Volume 1− Design and Implementation. Paris: OECD. Recuperado de: http://www.oecd.org/education/skillsbeyond-school/AHELOFSReportVolume1.pdf
  • Van Raan, A. F. (2005). Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics, 62(1), 133-143.
Fuente de los datos: Dialnet