Calibration of a reading comprehension test for Portuguese students

  1. Cadime, Irene
  2. Ribeiro, Iolanda
  3. Viana, Fernanda Leopoldina P.
  4. Santos, Sandra
  5. Prieto Adánez, Gerardo
Revista:
Anales de psicología

ISSN: 0212-9728,  1695-2294

Año de publicación: 2014

Volumen: 30

Número: 3

Páginas: 1025-1034

Tipo: Artículo

DOI: 10.6018/ANALESPS.30.3.172611 DIALNET GOOGLE SCHOLAR

Otras publicaciones en: Anales de psicología

Objetivos de desarrollo sostenible

Resumen

Las evaluaciones de la comprensión lectora son importantes pa-ra identificar a los estudiantes que tienen un desempeño inferior a lo espe-rado para su grupo normativo. Sin embargo, los tests para evaluar la com-prensión lectora deben también permitir la medición de su mejora a lo largo de la escolaridad. En este artículo, se presenta el proceso de construcción y calibración en la misma métrica de tres versiones de un test de compren-sión lectora con dificultad creciente, construidas para evaluar a alumnos portugueses del segundo, tercero y cuarto curso de primaria. Se utilizó una muestra de 843 estudiantes. Se utilizó el modelo de Rasch para analizar los datos en las tres fases del estudio: (a) análisis inicial de la muestra de ítems, (b) selección de los ítems para las versiones de test, y (c) calibración de las versiones de test. Los resultados sugieren la unidimensionalidad de los da-tos. Las medias de los residuos (infit y outfit) muestran que los datos se ajus-tan al modelo. A cada versión se asignaron 30 ítems con niveles de dificul-tad adecuados a cada curso. Se obtuvieron altos coeficientes de fiabilidad para cada versión. Para concluir se discuten las limitaciones y potencialida-des de las versiones del test

Referencias bibliográficas

  • Alonzo, J., Basaraba, D., Tindal, G., & Carriveau, R. S. (2009). They read, but how well do they understand? Assessment for Effective Intervention, 35(1), 34-44.
  • Arias, R. M. (1996). Psicometría: Teoría de los tests psicológicos y educativos [Psychometrics: Psychological and educational tests theory]. Madrid: Editorial Síntesis.
  • Baker, F. B. (1984). Ability metric transformations involved in vertical equating under item response theory. Applied Psychological Measurement, 8(3), 261-271.
  • Bond, T. G., & Fox, C. M. (2007). Applying the Rasch model: Fundamental measurement in the human sciences (2nd ed.). Mahwah, New Jersey: Lawrence Erlbaum.
  • Browne, M. W., & Cudeck, R. (1993). Alternative ways of assessing model fit. In K. A. Bollen & J. S. Long (Eds.), Testing Structural Equation Models (pp. 136-162). Beverly Hills, CA: Sage.
  • Byrne, B. M. (2012). Structural equation modeling with Mplus: Basic concepts, applications and programming. New York: Routledge Academic.
  • Català, G., Català, M., Molina, E., & Monclús, R. (2001). Evaluación de la comprensión lectora: Pruebas ACL [Assessment of reading comprehension: ACL tests]. Barcelona: Editorial Graó.
  • Custer, M., Omar, H., & Pomplun, M. (2006). Vertical scaling with the Rasch model utilizing default and tight convergence settings with WINSTEPS and BILOG - MG. Applied Measurement in Education, 19(2), 133-149.
  • De Ayala, R. J. (2009). The theory and practice of item response theory. New York: The Guilford Press.
  • Embretson, S. E., & Reise, S. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Erlbaum Associates.
  • Herber, H. (1978). Teaching reading in content areas (2nd ed.). Englewood Cliffs, NJ: Prentice-Hall.
  • Hu, L., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55.
  • Kline, R. (2011). Principles and practice of structural equation modeling (3rd ed.). New York: The Guilford Press.
  • Kolen, M. J., & Brennan, R. L. (2010). Test equating, scaling and linking (2nd ed.). New York: Springer.
  • Kubinger, K. D. (2005). Psychological test calibration using the Rasch model - Some critical suggestions on traditional approaches. International Journal of Testing, 5(4), 377-394.
  • Linacre, J. M. (2002). What do infit and outfit, meansquare and standardized mean? Rasch Measurement Transactions, 16(2), 878.
  • Linacre, J. M. (2011). A user's guide to WINSTEPS and MINISTEP: Raschmodel computer programs. Program manual 3.72.0. Chicago, IL: Winsteps.
  • Linacre, J. M., & Wright, B. D. (1994). Chisquare fit statistics. Rasch Measurement Transactions, 8(2), 350.
  • Linacre, J. M., & Wright, B. D. (2001). Winsteps (Version 3.61.1) [Computer software]. Chicago: Mesa Press.
  • Lord, F. M., & Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley.
  • McNamara, T., & Knoch, U. (2012). The Rasch wars: The emergence of Rasch measurement in language testing. Language Testing, 29(4), 555-576.
  • Muthén, B. O., & Muthén, L. (2010). Mplus Version 6.1 [Software]. Los Angeles, CA: Muthén & Muthén.
  • Pearson, P. D., & Johnson, D. D. (1978). Teaching reading comprehension. New York: Holt, Rinehart and Winston.
  • Prieto, G., & Delgado, A. R. (2003). Análisis de un test mediante el modelo de Rasch [Analysis of a test using the Rasch model]. Psicothema, 15(1), 94-100.
  • Prieto, G., & Velasco, A. D. (2003). Uso del modelo de Rasch para poner en la misma escala las puntuaciones de distintos tests [Use the Rasch model to convert scores from different tests to the same metric]. Actualidades en Psicología, 19(106), 5-23.
  • RAND Reading Study Group (2002). Reading for understanding: Toward an R&D program in reading comprehension. Santa Monica, CA: RAND Corporation.
  • Smith, N. B. (1980). Reading instruction for today's children. Englewood Cliffs: Prentice-Hall.
  • Smith, R. J., & Barrett, T. C. (1979). Teaching reading in the middle grades (2nd ed.). Reading, Massachusetts: Addison-Wesley.
  • Snow, C. E., & Sweet, A. P. (2003). Reading for comprehension. In A. P. Sweet & C. E. Snow (Eds.), Rethinking reading comprehension (pp. 1-11). New York: The Guilford Press.
  • Swaby, B. (1989). Diagnosis and correction of reading difficulties. Boston: Allyn and Bacon.
  • Wilson, M., & Moore, S. (2011). Building out a measurement model to incorporate complexities of testing in the language domain. Language Testing, 28(4), 441-462.
Fuente de los datos: Dialnet