Validación de una rúbrica para la evaluación de trabajos fin de máster

  1. Garcia-Valcarcel Muñoz-Repiso, Ana 1
  2. Hernández Martín, Azucena 1
  3. Martín del Pozo, Marta 1
  4. Olmos Migueláñez, Susana 1
  1. 1 Universidad de Salamanca
    info

    Universidad de Salamanca

    Salamanca, España

    ROR https://ror.org/02f40zc51

Revista:
Profesorado: Revista de curriculum y formación del profesorado

ISSN: 1989-6395,  1138-414X

Any de publicació: 2020

Títol de l'exemplar: Enseñanza Superior Contemporánea

Volum: 24

Número: 2

Pàgines: 72-96

Tipus: Article

DOI: 10.30827/PROFESORADO.V24I2.15151 DIALNET GOOGLE SCHOLAR lock_openAccés obert editor

Altres publicacions en: Profesorado: Revista de curriculum y formación del profesorado

Objectius de Desenvolupament Sostenible

Resum

Rubrics have become an appropriate competence assessment instrument to assess the learning process and outcomes in the context of higher education, as well as to guide students ́ work. This paper presents a rubric to assess the students ́ Final Master’s Thesis (FMT) and its process of validation. The rubric is made up of 4 dimensions: formal aspects, content and methodology, results and conclusions, and relevance of the contributions for educational improvement. It has been applied to 34 FMTs that have been received 136 ratings from teachers. The results show an excellent degree of reliability based on the inter-judge agreement in the final score of the rubric (CCI = 0.80), although the agreement in the qualitative assessment categories is lower (Kappa values lower than 0.40). Its content validity is guaranteed through expert judgment and criterial validity through Pearson correlation with an external variable " students ́ average grade in the Master's Degree except the FMT", which provides a value of 0.58. Thus, the proposed rubric turns out to be a rigorous assessment instrument whose use could be transferred to other similar contexts.

Referències bibliogràfiques

  • Aguaded, I. (2020). Los procesos de selección académica del manuscrito por una revista científica. Recuperado de https://comunicarautores.com/2020/02/17/los-procesos-de-seleccion-academica-del-manuscrito-por-una-revista-cientifica/
  • Bailey, J.R. (2014). Crossing the Rubric-Con. Journal of Management Education, 38 (3), 313-318. doi: 10.1177/1052562913515657
  • Blanco, A. (2008). Las rúbricas: un instrumento útil para la evaluación de competencias. En L. Prieto (Coord.) La enseñanza universitaria centrada en el aprendizaje. (pp. 171-188). Barcelona, España: Octaedro.
  • Cano, E. (2015). Las rúbricas como instrumento de evaluación de competencias en educación superior: ¿Uso o abuso?. Profesorado. Revista de curriculum y formación de profesorado, 19 (2), 265-280. Recuperado de https://recyt.fecyt.es/index.php/profesorado/article/view/40925/23289
  • Carrió, C., Soler, M. y Aymerich, M. (2015). Análisis de la Validez de Contenido de un Cuestionario de Evaluación del Aprendizaje Basado en Problemas: Un Enfoque Cualitativo. Formación universitaria, 8(1), 13-22. doi: 10.4067/S0718-50062015000100003
  • Castro, M. (2010). ¿Qué sabemos de la medida de las competencias?. Características y problemas psicométricos en la evaluación de competencias. Bordon, 63(1), 109-113. Recuperado de https://recyt.fecyt.es/index.php/BORDON/article/view/28908/15413
  • Cebrián, M. (2007). Buenas prácticas en el uso de e-portafolios y e-rúbrica. En A. Cid, M. Raposo, M. y A. Pérez (Coords.), El practicum: buenas prácticas en el Espacio Europeo de Educación Superior (pp.67-87). Madrid, España: Tórculo Edicións.
  • Cebrián, M. (2014). Evaluación formativa con e-rúbrica: aproximación al estado del arte. Revista de Docencia Universitaria, 12(1), 15-2.
  • Cebrián, M. y Monedero, J.J. (2014). Evolución en el diseño y funcionalidad de las rúbricas: desde las rúbricas “cuadradas” a las erúbricas federadas. Revista de Docencia Universitaria, 12 (1), 81-98.
  • Cicchetti, D. V. (1994). Guidelines, Criteria, and Rules of Thumb for Evaluating Normed and Standardized Assessment Instruments in Psychology. Psychological Assessment, 6(4), 284-290.
  • Chica, E. (2011). Una propuesta de evaluación para el trabajo en grupo mediante rúbrica. Escuela Abierta, 14, 67-81.
  • Dawson, P. (2017). Assessment rubrics: towards clearer and more replicable design, research and practice. Assessment & Evaluation in Higher Education, 42(3), 347-360. doi: 10.1080/02602938.2015.1111294
  • Del Pozo, J. Á. (2012). Competencias profesionales: Herramientas de evaluación: el portafolios, la rúbrica y las pruebas situacionales (Vol. 9). Madrid, España: Narcea Ediciones.
  • Díaz-Barriga, F. y De la Cruz, G. (2011). Rúbricas en la evaluación de competencias y aprendizaje complejo. Alcances y restricciones en educación superior. En K. Bujan, I. Rekelde, y P. Aramendi, (Coords.), La evaluación de competencias en la Educación Superior. Las rúbricas como instrumento de evaluación (pp. 9-12). Sevilla, España: MAD.
  • Expósito, M., Nicolau, D. y Tomas, J.V. (2017). La evaluación por competencias en los grados. Desarrollo de una experiencia en el Grado en Administración y Dirección de Empresas mediante el uso y validación de rúbrica. Revista Complutense de Educación. 28(4), 1155-1171. doi:10.5209/RCED.51618
  • Fleiss, J. L., Levin, B. y Paik, M. C. (2003). Statistical Methods for Rates and Proportions. Hoboken, New Jersey: John Wiley & Sons.
  • Fraile, J., Pardo, R. y Panadero, E. (2017). Cómo emplear las rúbricas para implementar una verdadera evaluación formativa?. Revista Complutense de Educación 28(4), 1321-1334. doi: https://doi.org/10.5209/RCED.51915
  • Gairín, I. (2009). Guía para la evaluación de competencias en el Area de Ciencias Sociales. Barcelona, España: Agéncia per a la Qualitat del Sistema Universitari de Catalunya.
  • García, M., Belmonte, B. y Nicolásac, G. (2017). Opinión del alumnado sobre el empleo de rúbricas en la universidad. Estudios Pedagógicos, 2, 93-113. Recuperado de http://hdl.handle.net/10230/21151
  • García, M. J., Terrón, Mª J. y Blanco, Y. (2009). Desarrollo de recursos docentes para la evaluación de competencias genéricas. XV Jornadas de Enseñanza Universitaria de la Informática (JENUI). UPC. Recuperado de http://hdl.handle.net/2099/7902
  • García Sanz, M.P. (2014). La evaluación de competencias en Educación Superior mediante rúbricas: un caso práctico. Revista electrónica interuniversitaria de formación del profesorado, 17(1), 87-106. doi: https://doi.org/10.6018/reifop.17.1.198861
  • Goodrich, H. (2000). Using Rubrics to Promote Thinking and Learning. Recuperado de http://www.ascd.org/publications/educational_leadership/feb00/vol57/num05/Using_Rubrics_to_Promote_Thinking_and_Learning.aspx.
  • I-Capó, A.J. Guerrero, C. Miró, J. y Egea, A. (2012). Elaboración de una rúbrica para la evaluación de los TFG y TFM de Informática de la Universitat de les Illes Balears. Actas Simposio-taller JENUI 2012. Ciudad Real, 10-13 de julio, pp. 17-24.
  • Kohn, A. (2006). The trouble with rubrics. The English Journal, 95(4), 12-15.
  • Madariaga, I. y Lekue, P. (2019) Evaluación mediante una rúbrica de las guías docentes de másteres universitarios de arte de la Universidad del País Vasco (UPV/EHU). La valoración de expertos internos y externos. Observar, 13, 26-38. Recuperado de https://www.observar.eu/ojs/index.php/Observar/article/view/101
  • Marcelo, C., Yot, C., Mayor, C., Sánchez, M. y Murillo, P. (2014). Las actividades de aprendizaje en la enseñanza universitaria: ¿hacia un aprendizaje autónomo de los alumnos? Revista de Educación, 363, 334-359. doi: 10.4438/1988-592X-RE-2012-363-191
  • Mateo, J. y Martínez, F. (2008). Mediación y evaluación educativa. Madrid: La Muralla.
  • Moskal, B. y Leydens, J.A. (2000). Scoring Rubric Development: Validity and Reliability, Practical Assessment, Research, and Evaluation, 7 (10). doi: 10.7275/q7rm-gg74
  • Muñiz, J., y Fonseca-Pedrero, E. (2019). Diez pasos para la construcción de un test, Psicothema, 31(1), 7-16 doi: 10.7334/psicothema2018.291
  • Panadero, E. y Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational Research Review, 9, 129–144. doi: 10.1016/j.edurev.2013.01.002
  • Panadero, E., y Romero, M. (2014). To rubric or not to rubric? The effects of self-assessment on self-regulation, performance and self-efficacy. Assessment in Education: Principles, Policy & Practice, 21(2), 133-148. doi: 10.1016/j.stueduc.2013.04.001
  • Popham, W. (1997). What’swrong – and what’sright – withrubrics? Recuperado de: http://www.ascd.org/publications/educational-leadership/oct97/vol55/num02/What%27s-Wrong%E2%80%94and-What%27s-Right%E2%80%94with-Rubrics.aspx
  • Raposo, M. y Sarceda, M.C. (2010). El trabajo en las aulas con perspectiva europea: medios y recursos para el aprendizaje autónomo. Enseñanza & Teaching: Revista interuniversitaria de didáctica, 28(2), 45-60.
  • Reddy, M. y Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448. doi: 10.1080/02602930902862859
  • Rekalde, I., y Buján, K. (2014). Las eRúbricas ante la evaluación de competencias transversales en Educación Superior. Revista Complutense de Educación, 25(2), 355-374. Doi: 10.5209/rev_RCED.2014.v25.n2.41594
  • Rochelle, E., Tractenberg, R.E., Kevin, T, y FitGerarld, K.T. (2012). A Mastery Rubric for the design and evaluation of an institucional curriculum in the responsible conduct of research. Assessment and Evaluation In Higher Education, 37(8), 1003-10021. doi: 10.1080/02602938.2011.596923
  • Rust, C. (2007). Towards a scholarship of assessment. Assessment and Evaluation in Higher Education, 32(2), 229-237. doi: 10.1080/02602930600805192
  • Sadler, P. M. (2009). Indeterminacy in the use of present criteria for assessment and grading in higher education. Assessment & Evaluation in Higher Education, 34,159-179. doi: 10.1080/02602930801956059
  • Sánchez-Elvira, A., Luque-Pulgar, E., García-Cedeño, F.C., López-González, M.A., Fernández-Sánchez M.V., y De Santiago-Alba C. (2010). Del diseño a la evaluación en competencias. Análisis empírico e intervención mediante rúbricas. Proyecto EA 2009-0102. Madrid, España: MEC.
  • Urrutia, M., Barrios, S., Gutiérrez, M. y Mayorga, M. (2014). Optimal method for content validity. Revista cubana de educación médica superior, 3, 547-558.
  • Valverde, J. y Ciudad, A. (2014). El uso de e-rúbricas para la evaluación de competencias en estudiantes universitarios. Estudio sobre fiabilidad del instrumento. Revista de Docencia Universitaria, 12(1), 49-79. doi: 10.4995/redu.2014.6415
  • Vázquez-Cano, E., Martín-Monje, E. y Fernández-Álvarez, M. (2014). El rol de las e-rúbricas en la evaluación de materiales digitales para la enseñanza de lenguas en entornos virtuales de aprendizaje. Revista de Docencia Universitaria, 12 (1), 135-157. doi: 10.4995/redu.2014.6414
  • Velasco, L.C. y Tójar, J.C. (2018). Uso de rúbricas en educación superior y evaluación de competencias. Profesorado. Revista de Currículum y Formación de Profesorado, 22(3), 183-208. Recuperado de https://revistaseug.ugr.es/index.php/profesorado/article/view/7998/6946
  • Velasco, R., Pérez, M., Díaz, A.J., Jordano, M.A. Márquez, C., Soria, E. Sanchidrián, J.L., Bonilla, R., Romero, D., Muñoz, I., Salas, L., Sánchez,
  • B., Mata, J., Carrillo, A. y García Ríos, J.M. (2018). La rúbrica como elemento de evaluación: aplicación y análisis en disciplinas humanísticas. Revista de innovación y buenas prácticas docentes, 18-22. Recuperado de https://www.uco.es/ucopress/ojs/index.php/ripadoc/article/view/11665/10643
  • Villa, A. y Poblete, M. (2011). Evaluación de competencias genéricas: principios, oportunidades y limitaciones. Bordón, 63, 147-170. Recuperado de https://recyt.fecyt.es/index.php/BORDON/article/view/28910
  • Villasís-Keever M.. A., Márquez-González, H., Zurita-Cruz, J.N., Miranda-Novales, G., y Escamilla-Núñez, A. (2018). El protocolo de investigación VII. Validez y confiabilidad de las mediciones. Revista Alergia México., 65(4), 414-421. Recuperado de http://www.scielo.org.mx/pdf/ram/v65n4/2448-9190-ram-65-04-414.pdf
  • Zazueta, M.A. y Herrera, L.F. (2008). Rúbrica o matriz de valoración, herramienta de evaluación formativa y sumativa. Recuperado de http://www.quadernsdigitals.net/index.php?accionMenu=hemeroteca.VisualizaArticuloIU.visualiza&articulo_id=10816
Fuente de los datos: Dialnet