Evaluación de la adecuación de modelos psicométricos para el análisis de pruebas conformadas por testlets

Resumo

El objetivo de la presente tesis doctoral fue comparar los modelos psicométricos utilizados en el análisis de testlets en funciónn de sus índices de ajuste, de la estimación de los parámetros de los ítems, de la precisión e imparcialidad de las puntuaciones, y de su impacto en la clasificaciC3n de los examinados. Con base en la revisión sistemática de la literatura se seleccionaron diez modelos psicométricos propios de los enfoques de la teoría de respuesta al ítem, de la teoría de respuesta a los testlets y modelos confactor, los cuales fueron aplicados a un conjunto de datos obtenidos de la aplicaciónn de la Prueba de lectura del Examen de Ingreso a la Educación Superior (UABC, 2017) a una muestra de aspirantes a ingresar a una universidad pública mexicana (n = 30.853). El ajuste de los modelos se determinción con base en los índices de bondad de ajuste y los índices de información (AIC, BIC y DIC). Se comparará la magnitud y precisión de los parámetros de los ítems y de los examinados, así como la fiabilidad de las puntuaciones obtenidas por cada modelo. Para valorar el impacto de los testlets en la imparcialidad de la prueba, se comparará la detección de ítems con funcionamiento diferencial a través del procedimiento de regresiónn logística. Finalmente, se comparará la capacidad de cada uno de los diez modelos para seleccionar a los examinados en función de su nivel de habilidad. De acuerdo con los índices de bondad de ajuste, el modelo testlet de dos parámetros (2P-TRT) fue el modelo que mejor ajusta a los datos y el modelo Bi-factor de dos parámetros (2PL-BM) fue el segundo mejor modelo. Con base en la magnitud y precisión de los estimadores de los parámetros, se encontró que los modelos unidimensionales (a) subestiman el parámetro de dificultad; (b) sobreestiman el parámetro de discriminación de los ítems; y (c) sobre estiman la precisión del parámetro de habilidad de los examinados, lo cual impacta directamente en la interpretación de la fiabilidad de la prueba. En suma, bajo todas comparaciones, los modelos psicométricos de la teoría de respuesta a los testlets ofrecen la mejor alternativa para analizar pruebas conformadas por testlets. Utilizar estos modelos permite controlar los efectos del formato de los ítems sobre la fiabilidad, comparabilidad, imparcialidad y validez de las interpretaciones propuestas para la puntuación de la Prueba de lectura.