Resultados de la implantación de nuevos métodos de enseñanza y evaluación en el pregrado de pediatría

Resumen

INTRODUCCIÓN: Durante el curso 2012-2013, en la asignatura PRÁCTICA CLÍNICA DE PEDIATRÍA,se incorporaron nuevas metodologías docentes Se estructuró el Rotatorio Práctico con tutor a través de un portafolio, definiendo las competencias a adquirir durante el mismo, se elaboró y puso a disposición de los alumnos a través del Aula Virtual de la Uva, material docente que completaba la formación requerida, se estableció un feed-back con los alumnos a través de Foros y mensajes, se realizaron prácticas de simulación en el Aula de Habilidades y se efectuó una prueba ECOE (Examen Clínico Objetivo Estructurado). Se muestran y analizan los resultados obtenidos tras la incorporación de metodologías no presenciales y formación y evaluación por competencias. Además exponemos resultados sobre el grado de satisfacción de los alumnos con la docencia clásica y con la implantación de las nuevas metodologías docentes, a través de la realización de encuestas docentes. OBJETIVOS: 1. Determinar la adecuación para la adquisición de conocimientos de un programa de innovación docente basado en competencias en Pediatría, utilizando metodologías de transmisión de conocimientos no presenciales mediante contenidos en un aula virtual y evaluación mediante un test de respuesta múltiple. 2. Determinar el grado de correlación entre las notas de Pediatría impartida de forma clásica, las notas medias de Licenciatura y la evaluación de conocimientos mediante un test de respuesta múltiple antes y después de instaurar un programa de innovación con metodología de transmisión de conocimientos no presenciales. 3. Analizar por grupos de competencias (Conocimientos, Anamnesis, Comunicación, Exploración física, Habilidades técnicas y Manejo de situaciones clínicas), los resultados de los alumnos en una evaluación por competencias en pediatría. 4. Determinar el grado de influencia del expediente académico previo (notas de Licenciatura global y nota final de Pediatría Clásica) en los resultados, globales y por grupos de competencias, de una evaluación de competencias en pediatría. 5. Determinar la influencia del entrenamiento previo en competencias sobre los resultados de una evaluación por competencias en pediatría, analizando los resultados de grupos de alumnos pertenecientes a la ¿Academia de Alumnos Internos¿ y los alumnos que de forma voluntaria se presentaron a una prueba ECOE general de Facultad. 6. Analizar las diferencias por sexo en los resultados académicos de programas clásicos y de evaluación por competencias. 7. Evaluar los resultados obtenidos en una prueba ECOE en días consecutivos y determinar cómo influye en los resultados la transmisión de información entre los estudiantes. 8. Elaborar y validar un cuestionario propio de satisfacción sobre los diferentes aspectos de los procesos de planificación, desarrollo, resultados y evaluación docentes. 9. Determinar el grado de satisfacción global con la docencia recibida en Pediatría Clásica frente a las nuevas metodologías docentes y analizar los aspectos docentes en los que los alumnos muestran mayor y menor satisfacción en ambos modelos. 10. Analizar la satisfacción de los estudiantes y profesores con la planificación, contenidos y desarrollo de la evaluación por competencias mediante una prueba ECOE. 11. Implantar el análisis de las encuestas docentes como fuentes de información sobre detección de necesidades y aplicarlas en propuestas de mejora, fomentando la evaluación continua de la calidad docente. CONCLUSIONES: Sobre evaluación de conocimientos. 1. Utilizando metodologías de transmisión de conocimientos no presenciales mediante contenidos en un aula virtual y evaluación de conocimientos mediante un test de respuesta múltiple, se obtienen incrementos significativos en la adquisición de conocimientos. 2. Mediante metodologías clásicas de transmisión y evaluación de conocimientos empleados durante los estudios de la licenciatura en medicina existe una fuerte correlación entre las notas de Licenciatura y las notas de Pediatría impartida de forma clásica (r=0,820). Previamente a la implantación de un programa de innovación docente basado en competencias en pediatría, la evaluación de conocimientos mediante un test de respuestas múltiple, se correlaciona débilmente con las notas de Pediatría impartida de forma clásica (r=0,364), con las notas medias de Licenciatura (r=0.339) y con el mismo test de evaluación al finalizar el programa (r=0,394). Después de la implantación de un programa de innovación docente basado en competencias en pediatría, la evaluación de conocimientos, mediante un test de respuestas múltiples, se correlaciona más fuertemente con las notas de Pediatría impartida de forma clásica (r=0,462) y con la nota media de Licenciatura (r=0,516), aunque no se alcanza el nivel de correlación apreciado entre las notas de Pediatría impartida de forma clásica y las notas de Licenciatura. Excluyendo el efecto de las notas de Licenciatura sobre las correlaciones estudiadas, sólo permanece la correlación entre la evaluación de conocimientos previa y final (r=0,306). ¿ Sobre evaluación global por competencias 3. En dos de los grupos de competencias analizadas, ANAMNESIS y MANEJO DE SITUACIONES CLÍNICAS, los resultados de los alumnos fueron significativamente y de forma relevante peores que en el resto de competencias (conocimientos, comunicación, exploración física y habilidades técnicas). 4. Los alumnos que obtienen mejores resultados en programas clásicos de Licenciatura, también los obtienen en un programa de innovación docente de forma global y en todas las competencias analizadas: Conocimientos, Anamnesis, Comunicación, Exploración física, Habilidades técnicas y Manejo de situaciones clínicas. A un nivel inferior de la estrecha correlación entre las notas de Licenciatura y las de Pediatría Clásica encontramos correlación relevante entre las notas globales de la Licenciatura y de Pediatría Clásica con los resultados globales de la evaluación por competencias, pero influenciadas por los resultados globales de Licenciatura, puesto que estas correlaciones desaparecen retirando el efecto de las notas de Licenciatura. Las notas de la evaluación de competencias se correlacionan de forma relevante con cada una de las competencias que lo componen, relación que permanece retirando el efecto de las notas de Licenciatura. Por competencias se aprecia correlación relevante entre anamnesis y comunicación y entre exploración física y manejo de situaciones clínicas. 5. Los alumnos del programa de ¿Alumnos Internos¿ obtienen mejores resultados en programas clásicos de Licenciatura (notas de Licenciatura global y notas de Pediatría Clásica) y también de forma global en pruebas de evaluación de competencias (ECOE general y ECOE pediátrico). El entrenamiento previo en un programa de ¿Alumno Interno¿, retirando el efecto de las notas de Licenciatura y de haberse presentado a un ECOE general previo, influye de forma significativa en la competencia de anamnesis, pero no en los resultados globales de una evaluación de competencias en un programa de formación y evaluación por competencias en pediatría. El entrenamiento previo por haberse presentado a una prueba ECOE general previa, retirando el efecto de las notas de Licenciatura y de ser alumno interno, influye de forma significativa en las competencias de anamnesis y conocimientos, pero no en los resultados globales de una evaluación de competencias en un programa de formación y evaluación por competencias en pediatría. 6. El sexo no influye en los resultados de un programa de innovación docente por competencias en pediatría, ni de forma global, ni por los grupos de competencias analizadas. En nuestra muestra de alumnos de sexto de Medicina los varones obtuvieron mejores resultados en programas clásicos de Licenciatura y las mujeres utilizaron más los recursos implementados en el aula virtual del programa de innovación docente. 7. La transmisión de información entre estudiantes sobre los contenidos de una prueba ECOE realizada en días consecutivos influye de forma significativa en los resultados globales de la prueba, pero con una intensidad del efecto poco relevante y afecta a competencias cuyos resultados dependen del conocimiento del caso clínico propuesto (datos de exploración física y manejo de la situación clínica), sin verse influenciadas competencias de anamnesis, comunicación y habilidades técnicas. Sobre satisfacción docente y garantía de calidad de los procesos docentes. 8. Se aporta un cuestionario validado de satisfacción sobre los diferentes aspectos de los procesos de planificación, desarrollo, resultados y evaluación docentes. 9. Los alumnos muestran una buena satisfacción global con la docencia recibida en Pediatría Clásica (77,21%), que mejora cuando se implantan nuevas metodologías de formación y evaluación por competencias (88%). La mayor diferencia de satisfacción entre la metodología clásica y la de innovación docente, se encuentra en aspectos sobre el desarrollo de las prácticas (61,03% frente al 77,21%), en la percepción del profesorado (76,47% frente al 89%) y la evaluación (69,12% frente al 85,93%). La percepción que tienen los estudiantes sobre su participación en el proceso de enseñanza y aprendizaje presenta porcentajes bajos de satisfacción en la docencia clásica (43,39%) y aunque mejoran con programas de innovación docente (55,89%), los resultados no son satisfactorios. 10. La satisfacción de los estudiantes con la planificación, contenidos y desarrollo de la evaluación por competencias mediante una prueba ECOE es elevada (91,55%). La prueba ECOE es percibida por los alumnos como de larga duración y estresante, circunstancias que no son percibidas por los profesores. 11. La realización de encuestas de satisfacción ayuda a detectar necesidades de mejora y es imprescindible para instaurar metodologías de garantía de calidad a los procesos docentes. BIBLIOGRAFÍA: 1. Pérez Curiel MJ. Modelo de evaluación de las competencias del profesional facultativo médico: Universidad de Salamanca; 2010. 2. Carreras Barnés J, Alberto Branda L, Castro Salomó A, Fenoll Brunet MR, Gual Sala A, Mahy Géhenne JN, et al. Guía para la evaluación de competencias en Medicina. Barcelona: Agència per a la Qualitat del Sistema Universitari de Catalunya; 2009. 3. Martínez-Clares P, Juárez MM, Muñoz-Cantero JM. Formación basada en competencias en educación sanitaria: aproximaciones a enfoques y modelos de competencia. RELIEVE Revista Electrónica de Investigación y Evaluación Educativa. 2008;14(2):1-23. 4. Harden RM. AMEE Guide No. 14: Outcome-based education: Part 1-An introduction to outcome-based education. Med Teach. 1999;21(1):7-14. 5. Harden RM. Learning outcomes and instructional objectives: is there a difference? Med Teach. 2002;24(2):151-5. 6. Agencia Nacional de Evaluacio¿n de la Calidad y An. Programa de convergencia europea: el cre¿dito europeo. Madrid: Agencia Nacional de Evaluacio¿n de la Calidad y Acreditacio¿n; 2003. 7. Gonza¿lez J, Wagenaar R. Tuning educational structures in Europe - Informe final fase 1. Bilbao; Groningen: Universidad de Deusto ; Universidad de Groningen; 2003. 8. Ministerio de Educacio¿n y Ciencia. La Integracio¿n del sistema universitario espan¿ol en el Espacio Europeo de Ensen¿anza Superior documento marco2003. 9. European Commission. ECTS Users¿ Guide: Luxembourg: Office for Official Publications of the European Communities; 2009. Available from: http://europa.eu.int/comm/education/socrates ects.html. 10. European Association for Quality Assurance in Higher Education. Criterios y directrices para la garanti¿a de calidad en el Espacio Europeo de Educacio¿n Superior. Helsinki: European Association for Quality Assurance in Higher Education; 2005. 11. Martínez Carretero JM. Los métodos de evaluación de la competencia profesional: la evaluación clínica objetivo estructurada (ECOE). Educación Médica. 2005;8:18-22. 12. España. Real Decreto 1027/2011, de 15 de julio, por el que se establece el Marco Español de Cualificaciones para la Educación Superior. Boletín Oficial del Estado. 1852011. p. 87912-8. 13. Sellarès Sallas J, Bosch Gras C. Evaluación de la Competencia. Reto o necesidad. Barcelona: Sociedad Española de Medicina de Familia y Comunitaria; 2001. 14. Brailovsky CA, Maison PG, Lescop J. Construct validity of the québec licensing examination SP¿based OSCE. Teaching and Learning in Medicine. 1997;9(1):44-50. 15. Barzansky B, Etzel SI. Educational programs in US medical schools, 2002-2003. JAMA. 2003;290(9):1190-6. 16. Miller GE. The assessment of clinical skills/competence/performance. Acad Med. 1990;65(9 Suppl):S63-7. 17. Shumway JM, Harden RM, Association for Medical Education in E. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician. Med Teach. 2003;25(6):569-84. 18. Christensen L, Karle H, Nystrup J. Process-outcome interrelationship and standard setting in medical education: the need for a comprehensive approach. Med Teach. 2007;29(7):672-7. 19. Mac Gahie WC. Introduccio¿n a la preparacio¿n de planes de estudios de medicina basados en la competencia. Ginebra: Organizacio¿n Mundial de la Salud; 1978. 20. Rethans JJ, Norcini JJ, Barón-Maldonado M, Blackmore D, Jolly BC, LaDuca T, et al. The relationship between competence and performance: implications for assessing practice performance. Medical education. 2002;36(10):901-9. 21. Albanese MA, Mejicano G, Anderson WM, Gruppen L. Building a competency-based curriculum: the agony and the ecstasy. Adv Health Sci Educ Theory Pract. 2010;15(3):439-54. 22. Ya¿niz A¿lvarez de Eulate Cn, Villardo¿n Gallego L. Planificar desde competencias para promover el aprendizaje: el reto de la sociedad del conocimiento para el profesorado universitario. Bilbao: Universidad de Deusto; 2006. 23. Swanson AG, Anderson MB. Educating medical students. Assessing change in medical education--the road to implementation. Acad Med. 1993;68(6 Suppl):S1-46. 24. AAMC. Recommendations for Clinical Skills Curricula for Undergraduate Medical Education. Washington DC: Association of American Medical Colleges (AAMC); 2004. 25. Metz JCM, David TJ, Roon HBd. Blueprint 1994: training of doctors in The Netherlands: objectives of undergraduate medical education. Nijmegen: University of Nijmegen, University Publication Office; 1994. 26. Metz JCM, Verbeek-Wheel AMM, Huisjes MJ. Blueprint 2001: training of doctors in the Netherlands: adjusted objectives of undergraduate medical education in the Netherlands. Nijmegen: University of Nijmegen, University Publication Office; 2002. 27. Bloch R, Bürgi H. The Swiss catalogue of learning objectives. Med Teach. 2002;24(2):144-50. 28. Bu¿rgi H, Bader C, Bloch R, Bosman F, Horn B, Im Hof V, et al. Swiss catalogue of learning objectives for undergraduate medical training. Berne: University of Bern; 2008. 29. General Medical Council. Education Committee. Tomorrow's Doctors. London: General Medical Council; 2003. 30. Rubin P, Franchi-Christopher D. New edition of Tomorrow's Doctors. Med Teach. 2002;24(4):368-9. 31. Hamilton JD. International standards of medical education: a global responsibility. Med Teach. 2000;22(6):547-8. 32. Core Committee IfIME. Global minimum essential requirements in medical education. Med Teach. 2002;24(2):130-5. 33. Comité Central IplEMII. Requisitos globales mínimos esenciales en educación médica. Educación Médica. 2003;6:11-9. 34. Karle H. Global standards and accreditation in medical education: a view from the WFME. Acad Med. 2006;81(12 Suppl):S43-8. 35. World Federation for Medical E. WFME global standards for quality improvement. [Copenhagen]: WFME Office, University of Copenhagen; 2003. 36. The University of Edinburgh. Medical Education in Europe 2013 [cited 2013 12/15/2013]. Available from: http://medine2.com. 37. Cumming A, Ross M. The Tuning Project (medicine) - learning outcomes / competences for undergraduate medical education in Europe. Edinburgh: The University of Edinburgh; 2008. 38. Beneitone P, Proyecto Tuning Ame¿rica L, Rijksuniversiteit te G, Universidad de D. Reflexiones y perspectivas de la educacio¿n superior en Ame¿rica Latina: informe final Proyecto Tuning Ame¿rica Latina : 2004-2007. Bilbao; Groningen: Universidad de Deusto ; Universidad de Groningen; 2007. 39. WFME Global Standards For Quality Improvement in Medical Education: European Specifications. MEDINE The Thematic Network on Medical Education in Europe. 2007. Copenhagen: World Federation of Medical Education; 2007. 40. International Federation of Medical Students A, European Medical Students A, Hilgers J, De Roos P. European core curriculum--the students' perspective, Bristol, UK, 10 July 2006. Med Teach. 2007;29(2-3):270-5. 41. Rigby E, Participants IEBPC. Taking forward aims of the Bologna Declaration: European core curriculum--the student's perspective. Med Teach. 2007;29(2-3):83-4. 42. Escanero S, Fonseca M, Gual A, Manso JM. Recomendaciones para un nuevo proceso de reforma curricular en las facultades de medicina españolas. Educación Médica. 2005;8(1):03-7. 43. Aqu C. Programa Disseny2008. 44. Prat i Caro¿s J, Carreras Barne¿s J, Age¿ncia per a la Qualitat del Sistema Universitari de C, Disseny. Competencias profesionales ba¿sicas comunes de los licenciados en Medicina formados en las universidades de Catalunya. Barcelona: Age¿ncia per a la Qualitat del Sistema Universitari a Catalunya; 2004. 45. Agencia Nacional de Evaluacio¿n de la Calidad y An. Libro blanco. Título de grado en Medicina. Madrid: Agencia Nacional de Evaluacio¿n de la Calidad y Acreditacio¿n; 2005. 46. España. Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales. Boletín Oficial del Estado. 2602007. p. 44037-48. 47. España. ORDEN ECI/332/2008, de 13 de febrero, por la que se establecen los requisitos para la verificación de los títulos universitarios oficiales que habiliten para el ejercicio de la profesión de Médico. Boletín Oficial del Estado. 402008. p. 8351-5. 48. Agencia Nacional de Evaluacio¿n de la Calidad y An. Guía de apoyo para la elaboración de la memoria para la solicitud de verificación de títulos oficiales (grado y máster). 0.4 ed. Madrid: Agencia Nacional de Evaluacio¿n de la Calidad y Acreditacio¿n; 2012. 49. Blanco Quirós A, Mata Jorge M. Historia de la Medicina Vallisoletana. Luis de Mercado en el cuarto centenario de su fallecimiento (1611-2011). 50. Morán-Barrios J. Un nuevo profesional para una nueva sociedad. Respuestas desde la educación médica: la formación basada en competencias. Revista de la Asociación Española de Neuropsiquiatría. 2013;33:385-405. 51. España. Ley 44/2003, de 21 de noviembre, de ordenación de las profesiones sanitarias. Boletín Oficial del Estado. 2802003. p. 41442-58. 52. España. Real Decreto 55/2005, de 21 de enero, por el que se establece la estructura de las enseñanzas universitarias y se regulan los estudios universitarios oficiales de Grado. Boletin Oficila del Estado. BOE-A-2005-12552005. p. 2842-46 53. Parlamento Europeo. Directiva 2005/36/CE del Parlamento Europeo y del Consejo de 7 de septiembre de 2005 relativa al reconocimiento de cualificaciones profesionales. Diario oficial de al Unión Europea. 2005;L255:22-145. 54. España. RESOLUCIÓN de 17 de diciembre de 2007, de la Secretaría de Estado de Universidades e Investigación, por la que se publica el Acuerdo de Consejo de Ministros de 14 de diciembre de 2007, por el que se establecen las condiciones a las que deberán adecuarse los planes de estudios conducentes a la obtención de títulos que habiliten para el ejercicio de la profesión regulada de Médico. Boletín Oficial del Estado. 3052007. p. 52849-50. 55. Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Libro Blanco: Título de Grado en Medicina. Madrid: Agencia Nacional de Evaluación de la Calidad y Acreditación; 2006. 56. Babenko-Mould Y, Andrusyszyn M-A, Goldenberg D. Effects of computer-based clinical conferencing on nursing students' self-efficacy. J Nurs Educ. 2004;43(4):149-55. 57. Wahlgren C-F, Edelbring S, Fors U, Hindbeck H, Ståhle M. Evaluation of an interactive case simulation system in dermatology and venereology for medical students. BMC Med Educ. 2006;6. 58. Kaveevivitchai C, Chuengkriankrai B, Luecha Y, Thanooruk R, Panijpan B, Ruenwongsa P. Enhancing nursing students' skills in vital signs assessment by using multimedia computer-assisted learning with integrated content of anatomy and physiology. Nurse Educ Today. 2009;29(1):65-72. 59. Barrios Araya S, Masalán Apip MP, Cook MP. Educación en salud: En la búsqueda de metodologías innovadoras. Ciencia y enfermería. 2011;17:57-69. 60. Hudson JN. Computer-aided learning in the real world of medical education: does the quality of interaction with the computer affect student learning? Medical education. 2004;38(8):887-95. 61. Feldman MJ, Barnett GO, Link DA, Coleman MA, Lowe JA, O'Rourke EJ. Evaluation of the Clinical Assessment project: a computer-based multimedia tool to assess problem-solving ability in medical students. Pediatrics. 2006;118(4):1380-7. 62. Barker AM. A Case Study in Instructional Design for Web-Based Courses. Nursing Education Perspectives. 2002;23(4). 63. Qayumi AK, Kurihara Y, Imai M, Pachev G, Seo H, Hoshino Y, et al. Comparison of computer-assisted instruction (CAI) versus traditional textbook methods for training in abdominal examination (Japanese experience). Medical education. 2004;38(10):1080-8. 64. López JG, Spirko LV. Simulación, herramienta para la educación médica. Salud Uninorte. 2007;23(1):79-95. 65. Feingold CE, Calaluce M, Kallen MA. Computerized patient model and simulated clinical experiences: evaluation with baccalaureate nursing students. J Nurs Educ. 2004;43(4):156-63. 66. Corona Martínez L, Fonseca Hernández M, López Férnandez R, Cruz Pérez N. Propuesta metodológica para la incorporación de la simulación de casos clínicos al sistema de métodos de enseñanza-aprendizaje en el internado rotatorio de Pediatría: una preocupación de todos. MediSur. 2010;8:46-9. 67. Gilbart MK, Hutchison CR, Cusimano MD, Regehr G. A computer-based trauma simulator for teaching trauma management skills. Am J Surg. 2000;179(3):223-8. 68. Seybert AL, Kobulinsky LR, McKaveney TP. Human patient simulation in a pharmacotherapy course. Am J Pharm Educ. 2008;72(2). 69. Vivekananda-Schmidt P, Lewis M, Hassell AB, A. R. C. Virtual Rheumatology CAL Research Group. Cluster randomized controlled trial of the impact of a computer-assisted learning package on the learning of musculoskeletal examination skills by undergraduate medical students. Arthritis Rheum. 2005;53(5):764-71. 70. Knight CM. Evaluating a skills centre: the acquisition of psychomotor skills in nursing--a review of the literature. Nurse Educ Today. 1998;18(6):441-7. 71. Mencía S, López-Herce J, Botrán M, Solana MJ, Sánchez A, Rodríguez-Núñez A, et al. Evaluación de los cursos de simulación médica avanzada para la formación de los médicos residentes de pediatría en situaciones de emergencia. Anales de Pediatría. 2013;78(4):241-7. 72. Schell GP. Student Perceptions of Web-based Course Quality and Benefit. Education and Information Technologies. 2001;6(2):95-104. 73. Barro Ameneiro SFLSCdRdlUE. Las tecnologías de la información y las comunicaciones en el sistema universitario español. Madrid: Conferencia de Rectores de las Universidades Españolas; 2004. 74. Azcorra Saloña A, Bernardos Cano CJ, Gallego Gómez O, Soto Campos I. Informe sobre el estado de la Teleeducación en España. Madrid: Universidad Carlos III de Madrid, 2001. 75. Cabero Almenara J. Bases pedagógicas del e-learning. RU&SC Universities and Knowledge Society Journal. 2006;3(1). 76. Hannafin MJ, Hill JR, McCarthy JE. Designing resource-based learning and performance support systems. In: (Ed.) DAW, editor. The Instructional Use of Learning Objects: Online Version2000. 77. McFarlane A. El aprendizaje y las tecnologías de la información: experiencias, promesas y posibilidades: Alfaguara, Ediciones, S.A.- Grupo Santillana; 2001. 78. Badia AMJMBGE. La Incógnita de la educación a distancia. Barcelona: I.C.E Universitat de Barcelona : Horsori; 2001. 79. Olea JyP. Evaluación informatizada en contextos de aprendizaje. En V. Vizcarro, Carmen León José A., Nuevas tecnologías para el aprendizaje. Madrid: Pirámide; 1998. 80. Simpson JG, Furnace J, Crosby J, Cumming AD, Evans PA, Friedman Ben David M, et al. The Scottish doctor--learning outcomes for the medical undergraduate in Scotland: a foundation for competent and reflective practitioners. Med Teach. 2002;24(2):136-43. 81. Howard R. The Postgraduate Medical Education and Training Board and quality assurance of training standards. Psychiatric Bulletin. 2007;31(2):41-3. 82. Swing SR. The ACGME outcome project: retrospective and prospective. Med Teach. 2007;29(7):648-54. 83. Davis MH, Harden RM. Competency-based assessment: making it a reality. Med Teach. 2003;25(6):565-8. 84. de Miguel Díaz FM, Escudero Escorza T, Rodríguez Espinar S, Ginés Mora J, Mateo Andrés J. La evaluación del profesorado: Un tema a debate. Revista de investigación educativa, RIE. 1996;14(2):73-93. 85. Dent J, Harden RM. A Practical Guide for Medical Teachers: Elsevier Health Sciences UK; 2009. 86. Friedman Ben-David M, Davis MH, Harden RM, Howie PW, Ker J, Pippard MJ. AMEE Medical Education Guide No. 24: Portfolios as a method of student assessment. Med Teach. 2001;23(6):535-51. 87. Moon JA. The module & programme development handbook : a practical guide to linking levels, learning outcomes & assessment. London: Kogan Page; 2002. 88. Anderson J. Multiple choice questions revisited. Med Teach. 2004;26(2):110-3. 89. Collins J. Writing Multiple-Choice Questions for Continuing Medical Education Activities and Self-Assessment Modules. RadioGraphics. 2006;26(2):543-51. 90. McCoubrie P. Improving the fairness of multiple-choice questions: a literature review. Med Teach. 2004;26(8):709-12. 91. Rodríguez Carranza R. La evaluación del conocimiento en medicina. Revista de la educación superior. 2008;37:31-42. 92. Darling-Hammond LL, A. . The shortcomings of standardized tests. The Chronicle of Higher Education. 1992;29(January). 93. Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Medical education. 1979;13(1):41-54. 94. Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. Br Med J. 1975;1(5955):447-51. 95. Poenaru D, Morales D, Richards A, Michael O'Connor H. Running an objective structured clinical examination on a shoestring budget. The American Journal of Surgery. 1997;173(6):538-41. 96. Prislin MD, Fitzpatrick CF, Lie D, Giglio M, Radecki S, Lewis E. Use of an objective structured clinical examination in evaluating student performance. Fam Med. 1998;30(5):338-44. 97. Major DA. OSCEs--seven years on the bandwagon: the progress of an objective structured clinical evaluation programme. Nurse Educ Today. 2005;25(6):442-54. 98. Cox K, Ewan CE. La Docencia en medicina: Doyma; 1990. 99. Maldonado Mancilla JA, Portillo García LM, Salazar Reina J. Evaluación metacompleja de las competencias para el médico general en la Facultad de Medicina de Matamoros de la Universidad Autónoma de Tamaulipas a través de la Evaluación Clínica Objetiva Estructurada en una estación. Revista de Educación y Desarrollo 2013;10(25): 51-6. 100. García-Seoane JJ. Objetivo cumplido: la evaluación de competencias en la Facultad de Medicina de la Universidad Complutense de Madrid. Educación Médica. 2008;11:63-7. 101. Tsai J-C, Liu K-M, Lee K-T, Yen J-C, Yen J-H, Liu C-K, et al. Evaluation of the effectiveness of postgraduate general medicine training by objective structured clinical examination---pilot study and reflection on the experiences of Kaohsiung Medical University Hospital. Kaohsiung J Med Sci. 2008;24(12):627-33. 102. Dora Jimenez V, Lorenzo Martinez CE, Rivas Martinez Z, Becerra Pena O, Rodriguez Dominguez O, Rodriguez Hernandez A. Valoracion de un metodo de evaluacion final diferente en la Licenciatura en Enfermeria 1997. 103. Hamdy H, Prasad K, Anderson MB, Scherpbier A, Williams R, Zwierstra R, et al. BEME systematic review: predictive values of measurements obtained in medical schools and future performance in medical practice. Med Teach. 2006;28(2):103-16. 104. Kamarudin MA, Mohamad N, Siraj MNABHH, Yaman MN. The Relationship between Modified Long Case and Objective Structured Clinical Examination (Osce) in Final Professional Examination 2011 Held in UKM Medical Centre. Procedia - Social and Behavioral Sciences2012. p. 241-8. 105. Wilkinson TJ, Frampton CM. Comprehensive undergraduate medical assessments improve prediction of clinical performance. Medical Education. 2004;38(10):1111-6. 106. Boursicot KAM, Roberts TE, Burdick WP. Structured assessments of clinical competence. Edinburgh: Association for the Study of Medical Education (ASME); 2007. 107. Hodges B. Validity and the OSCE. Med Teach. 2003;25(3):250-4. 108. Newble D. Techniques for measuring clinical competence: objective structured clinical examinations. Med Educ. 2004;38(2):199-203. 109. Townsend AH, McLlvenny S, Miller CJ, Dunn EV. The use of an objective structured clinical examination (OSCE) for formative and summative assessment in a general practice clinical attachment and its relationship to final medical school examination performance. Medical Education. 2001;35(9):841-6. 110. Rushforth HE. Objective structured clinical examination (OSCE): review of literature and implications for nursing education. Nurse Educ Today. 2007;27(5):481-90. 111. Nulty DD, Mitchell ML, Jeffrey CA, Henderson A, Groves M. Best Practice Guidelines for use of OSCEs: Maximising value for student learning. Nurse Educ Today. 2011;31(2):145-51. 112. Probert CS, Cahill DJ, McCann GL, Ben-Shlomo Y. Traditional finals and OSCEs in predicting consultant and self-reported clinical skills of PRHOs: a pilot study. Medical Education. 2003;37(7):597-602. 113. Bustos M, Chiolo MJ, Cutri A, Noguerol ME, Ossorio MF, Torres F, et al. Examen clínico estructurado objetivo para residentes de pediatría: Presentación de una experiencia. Archivos argentinos de pediatría. 2007;105:333-6. 114. Toledo García JA, Fernández Ortega MA, Trejo Mejía JA, Grijalva MG, Gómez Clavelina FJ, Ponce Rosas ER. Evaluación de la competencia clínica en el posgrado de medicina familiar mediante el Examen Clínico Objetivo Estructurado. TITLEREVISTA. 2002;30(07):435-41. 115. de Serdio Romero E. ECOE: Evaluación Clínica Objetiva Estructurada. I. Competencias y su evaluación. Medicina de Familia Andalucia. 2002;3(1):49-52. 116. de Serdio Romero E. ECOE: Evaluación Clínica Objetiva Estructurada (III). Montaje y desarrollo de una ECOE. Medicina de Familia Andalucia. 2002;3(4):277-81. 117. de Serdio Romero E. ECOE: Evaluación Clínica Objetiva Estructurada. Medicina de Familia Andalucia. 2002;3(2):127-32. 118. Newble D. ¿Cómo planificar y llevar a cabo exámenes clínicos estructurados? La Docencia en medicina: Doyma; 1990. p. 196-201. 119. Boursicot K, Roberts T. Practical Teaching: How to set up an OSCE. The clinical teacher. 2005;2(1):16-20. 120. Bustamante Z M, Carvajal H C, Gottlieb B B, Contreras P JE, Uribe M M, Melkonian T E, et al. Hacia un nuevo instrumento de evaluación en la carrera de Medicina.: Uso del método OSCE. Revista médica de Chile. 2000;128:1039-44. 121. Duquesne Alderete A, Fernández Hidalgo ME, Ferrer Ballester R, Agüero Batista N. Diseño para la Evaluación Clínica estructurada por objetivos en la asignatura Clínica I. Educación Médica Superior. 2009;23:245-56. 122. Alarcón M. A. Incorporación del Examen Clínico Objetivo Estructurado (ECOE) en la Carrera de Enfermería. . Rev Educ Cienc Salud. 2013;10(1):18-22. 123. García-Estañ López J. Conferencia. FEM: Revista de la Fundación Educación Médica. 2013;16:59-70. 124. Norcini JJ. The Mini Clinical Evaluation Exercise (mini-CEX). The clinical teacher. 2005;2(1):25-30. 125. Carraccio C, Englander R. Evaluating competence using a portfolio: a literature review and web-based application to the ACGME competencies. Teaching and learning in medicine. 2004;16(4):381-7. 126. Challis M. AMEE Medical Education Guide No. 11 (Revised): Portfolio-based Learning and Assessment in Medical Education. Med Teach. 1999;21(4):370-86. 127. Roberts C, Newble DI, O'Rourke AJ. Portfolio-based assessments in medical education: are they valid and reliable for summative purposes? Med Educ. 2002;36(10):899-900. 128. Driessen E, van Tartwijk J, van der Vleuten C, Wass V. Portfolios in medical education: why do they meet with mixed success? A systematic review. Med Educ. 2007;41(12):1224-33. 129. Driessen EW, Muijtjens AM, van Tartwijk J, van der Vleuten CP. Web- or paper-based portfolios: is there a difference? Med Educ. 2007;41(11):1067-73. 130. Driessen EW, van Tartwijk J, Overeem K, Vermunt JD, van der Vleuten CP. Conditions for successful reflective use of portfolios in undergraduate medical education. Med Educ. 2005;39(12):1230-5. 131. Pitts J. Portfolios, Personal Development and Reflective Practice. Understanding Medical Education: Wiley-Blackwell; 2010. p. 99-110. 132. Denton GD, DeMott C, Pangaro LN, Hemmer PA. Narrative review: use of student-generated logbooks in undergraduate medical education. Teach Learn Med. 2006;18(2):153-64. 133. Norcini JJ. Work based assessment. Bmj. 2003;326(7392):753-5. 134. Patil NG, Lee P. Interactive logbooks for medical students: are they useful? Med Educ. 2002;36(7):672-7. 135. Raghoebar-Krieger HM, Sleijfer D, Bender W, Stewart RE, Popping R. The reliability of logbook data of medical students: an estimation of interobserver agreement, sensitivity and specificity. Med Educ. 2001;35(7):624-31. 136. Arnold L. Assessing professional behavior: yesterday, today, and tomorrow. Acad Med. 2002;77(6):502-15. 137. Stern DT, Wojtczak A, Schwarz MR, Assessment ITFf. The assessment of Global Minimum Essential Requirements in medical education. Med Teach. 2003;25(6):589-95. 138. Guilbert J-J, Rodríguez Torres A. Guía pedagógica para el personal de salud. Valladolid: Instituto de Ciencias de la Educación; 1981. 139. Mager RF. Formulacio¿n operativa de objetivos dida¿cticos. Madrid: Marova; 1985. 140. Martín Arribas MC. Diseño y validación de cuestionarios. Matronas Profesión. 2004;5(17):23-9. 141. Rodríguez MdlÁ, Jaramillo JL. Conceptos básicos de validación de escalas en salud mental. CES Medicina. 2002;16(3):31-9. 142. Brookes M. Evaluating the 'Student Experience': An Approach to Managing and Enhancing Quality in Higher Education. The Journal of Hospitality Leisure Sport and Tourism. 2003;2(1):17-26. 143. García de Yébenes Prous MJ, Rodríguez Salvanés F, Carmona Ortells L. Validación de cuestionarios. Reumatología Clínica. 2009;5(4):171-7. 144. Curtis DD, Keeves JP. The Course Experience Questionnaire as an Institutional Performance Indicator. International Education Journal. 2000;1(2):73-82. 145. Palacios SG, García MV. El SEUE: un instrumento para conocer la satisfacción de los estudiantes universitarios con su educación. Acción Pedagógica. 2003;12(2):16-27. 146. Marsh HW. Seeq: A Reliable, Valid, and Useful Instrument for Collecting Students' Evaluations of University Teaching. British Journal of Educational Psychology. 1982;52(1):77-95. 147. Hou X, Zhu D, Zheng M. Clinical Nursing Faculty Competence Inventory - development and psychometric testing. J Adv Nurs. 2011;67(5):1109-17. 148. Escalera Izquierdo B, Reíllo Martín A, Torrado Durán G, Peña Fernández MA. Encuesta de opinión de los estudiantes sobre la calidad docente de las prácticas de Farmacia Clínica. X Jornadas de Redes de Investigación en Docencia Universitaria La participación y el compromiso de la comunidad universitaria. Universidad de Alicante ed. Alicante: Instituto de Ciencias de la Educación; 2012. p. 810-9. 149. Barrado C, Gallego I, Valero-García M. Usemos las encuestas a los alumnos para mejorar nuestra docencia. Departament d'Arquitectura de Computadors.Universidad Politécnica de Cataluña, 1999 UPC-DAC-1999-70. 150. Biarent D, Bingham R, Eich C, Lopez-Herce J, Maconochie I, Rodriguez-Nunez A, et al. European Resuscitation Council Guidelines for Resuscitation 2010 Section 6. Paediatric life support. Resuscitation. 2010;81(10):1364-88. 151. Sandroni C, Nolan J, European Resuscitation C. ERC 2010 guidelines for adult and pediatric resuscitation: summary of major changes. Minerva anestesiologica. 2011;77(2):220-6. 152. Rodriguez Nunez A, Lopez-Herce Cid J, Hermana Tezanos MT, Rey Galan C. [Ethics and pediatric cardiopulmonary resuscitation]. An Pediatr (Barc). 2007;66(1):45-50. 153. Bossaert L, Chamberlain D. The European Resuscitation Council: its history and development. Resuscitation. 2013;84(10):1291-4. 154. Kleinman ME, de Caen AR, Chameides L, Atkins DL, Berg RA, Berg MD, et al. Part 10: Pediatric basic and advanced life support: 2010 International Consensus on Cardiopulmonary Resuscitation and Emergency Cardiovascular Care Science With Treatment Recommendations. Circulation. 2010;122(16 Suppl 2):S466-515. 155. Caballero Oliver A. Conferencia ILCOR 2010: el proceso hacia unas nuevas guías de resucitación cardiopulmonar. Atencion primaria / Sociedad Española de Medicina de Familia y Comunitaria. 2010;42(10):493-5. 156. Carrillo Á, López-Herce J. Canalización intraósea. Anales de Pediatría Continuada. 2003;1(1):38-41. 157. Kronfly Rubiano E, Ricarte Díez JI, Juncosa Font S, Martínez Carretero JM. Evaluación de la competencia clínica de las facultades de medicina de Cataluña, 1994-2006: evolución de los formatos de examen hasta la evaluación clínica objetiva y estructurada (ECOE). Medicina Clínica. 2007;129(20):777-84. 158. Espeland V, Indrehus O. Evaluation of students' satisfaction with nursing education in Norway. Journal of Advanced Nursing. 2003;42(3):226-36. 159. Sánchez R, Echeverry J. Validating scales used for measuring factors in medicine. Revista de Salud Pública. 2004;6(3):302-18. 160. García López E, Cabero Almenara J. Diseño y validación de un cuestionario dirigido a describir la evaluación en procesos de educación a distancia. Edutec : revista electrónica de tecnología educativa. 2011;35(marzo):1-26. 161. Cabero Almenara J, López Meneses EE. Construcción de un instrumento para la evaluación de las estrategias de enseñanza de cursos telemáticos de formación universitaria Islas Baleares: Universidad de las Islas Baleares, Grupo de Tecnología Educativa, Departamento de Ciencias de la Educación; 2009. Available from: http://site.ebrary.com/id/10458376. 162. Ruiz C. Instrumentos de investigación educativa. Procedimientos para su diseño y validación. Barquisimeto2002. 163. Carbonell J, Badia X. Desarrollo y validación de un cuestionario de satisfacción con el tratamiento en pacientes con artritis reumatoide. Reumatología Clínica. 2006;2(3):137-45. 164. Varela-Ruiz M, Díaz-Bravo L, García-Durán R. Descripción y usos del método Delphi en investigaciones del área de la salud. TITLEREVISTA. 2012;01(02):90-5. 165. Rabaaya D, Maimunah I, Zoharah O. Safety Research Exploring Competencies: A Preliminary Study of Malaysian SH&E Professionals Using the Delphi Technique. Professional safety. 2010;55(10):39. 166. Huerta JM. Procedimiento para redactar y validar los cuestionarios para los estudios de investigación y evaluación. In: Agrícola UdPRRUdMCdCASdE, editor. 2005. 167. Vargas Ruiz R. Escala de actitudes hacia la tecnología en el aprendizaje escolar aplicada a niños y niñas de primaria pública en Costa Rica. Análisis de validez y confiabilidad: Universidad de Costa Rica; 2006. Available from: http://redalyc.uaemex.mx/redalyc/src/inicio/ArtPdfRed.jsp?iCve=43510603. 168. Delgado Marroquín MT, Denizon Arranz S, Monreal Hijar A, Martín Zurro A, Otero Puime Á, Mundet Tuduri X, et al. Fiabilidad de un cuestionario empleado para la aplicación en el seguimiento longitudinal de la opinión y percepciones de la medicina de familia de los estudiantes de medicina de la Universidad de Zaragoza. Atención Primaria. 2013;45(5):249-62. 169. Granado de la Orden S, Rodríguez Rieiro C, Olmedo Lucerón MdC, Chacón García A, Vigil Escribano D, Rodríguez Pérez P. Diseño y validación de un cuestionario para evaluar la satisfacción de los pacientes atendidos en las consultas externas de un hospital de Madrid en 2006. Revista Española de Salud Pública. 2007;81(6):637-45. 170. Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika. 1951;16(3):297-334. 171. O'Neill A, McCall JM. Objectively assessing nursing practices: a curricular development. Nurse Educ Today. 1996;16(2):121-6. 172. Ramírez-Puerta D, González-Béjar M, Zarco-Rodríguez J, Gilbert I, Gual-Sala A. Competencia clínica de los médicos de familia en 14 Comunidades Autónomas españolas. Educación Médica. 2006;9:234-44. 173. Brazeau C, Boyd L, Crosson J. Changing an existing OSCE to a teaching tool: the making of a teaching OSCE. Acad Med. 2002;77(9):932. 174. Duerson MC, Romrell LJ, Stevens CB. Impacting faculty teaching and student performance: nine years' experience with the Objective Structured Clinical Examination. Teach Learn Med. 2000;12(4):176-82. 175. McLay RN, Rodenhauser P, Anderson DS, Stanton ML, Markert RJ. Simulating a full-length psychiatric interview with a complex patient: an OSCE for medical students. Academic psychiatry : the journal of the American Association of Directors of Psychiatric Residency Training and the Association for Academic Psychiatry. 2002;26(3):162-7. 176. Cusimano MD, Cohen R, Tucker W, Murnaghan J, Kodama R, Reznick R. A comparative analysis of the costs of administration of an OSCE (objective structured clinical examination). Acad Med. 1994;69(7):571-6. 177. Reznick RK, Smee S, Baumber JS, Cohen R, Rothman A, Blackmore D, et al. Guidelines for estimating the real cost of an objective structured clinical examination. Acad Med. 1993;68(7):513-7. 178. Sloan DA, Donnelly MB, Schwartz RW, Felts JL, Blue AV, Strodel WE. The use of objective structured clinical examination (OSCE) for evaluation and instruction in graduate medical education. The Journal of surgical research. 1996;63(1):225-30. 179. Trejo Mejía JA, Martínez González A, Méndez Ramírez I, Morales López S, Ruiz Pérez LC, Sánchez Mendiola M. Evaluación de la competencia clínica con el examen clínico objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de México. Gaceta médica de México. 2014;150(1). 180. Trejo Mejia JA, Larios Mendoza H, Velasco Jimenez MT, Hernandez Lope zA, Martinez Viniegra N, Cortes Gutierrez MT. Evaluacion de la competencia clinica de los alumnos al iniciar el internado medico de pregrado. Revista de la Facultad de Medicina UNAM. 1998;41(3):108-13. 181. Reznick R, Smee S, Rothman A, Chalmers A, Swanson D, Dufresne L, et al. An objective structured clinical examination for the licentiate: report of the pilot project of the Medical Council of Canada. Acad Med. 1992;67(8):487-94. 182. Reznick RK, Blackmore D, Cohen R, Baumber J, Rothman A, Smee S, et al. An objective structured clinical examination for the licentiate of the Medical Council of Canada: from research to reality. Acad Med. 1993;68(10 Suppl):S4-6. 183. Tapia Villanueva RM, Núñez Tapia RM, Syr Salas Perea R, Rodríguez-Orozco AR. El examen clínico objetivo estructurado como herramienta para la evaluación de competencias clínicas del internado de pregrado. Educación Médica Superior. 2008;22:0-. 184. Hickling FW, Morgan KA, Abel W, Denbow CE, Ali Z, Nicholson GD, et al. A comparison of the objective structured clinical examination results across campuses of the University of the West Indies (2001 and 2002). The West Indian medical journal. 2005;54(2):139-43. 185. Ratzmann A, Wiesmann U, Kordass B. Integration of an Objective Structured Clinical Examination (OSCE) into the dental preliminary exams. GMS Zeitschrift fur medizinische Ausbildung. 2012;29(1):Doc09. 186. Lo¿pez Salazar J. Aplicabilidad del examen clínico objetivo estructurado en la evaluación de las competencias clínicas de los internos de medicina en la rotación de pediatría, Hospital Nacional Dos de Mayo, 2006 [Tesis Doctoral]. Lima: Universidad Nacional Mayor de San Marcos. ; 2011. 187. Cardoso IM, Gallicet PC, Auchter MC, Servin RE. Evaluación de competencias en el área pediatría del internado con E.C.O.E. Revista de Posgrado de la VIa Cátedra de Medicina. 2012;211:1-4. 188. Pierre RB, Wierenga A, Barton M, Thame K, Branday JM, Christie CD. Student self-assessment in a paediatric objective structured clinical examination. The West Indian medical journal. 2005;54(2):144-8. 189. Gamboa-Salcedo T, Martínez-Viniegra N, Peña-Alonso YR, Pacheco-Ríos A, García-Durán R, Sánchez-Medina J. Examen Clínico Objetivo Estructurado como instrumento para evaluar la competencia clínica en Pediatría. Estudio piloto. Boletín médico del Hospital Infantil de México. 2011;68(3):184-92. 190. Cohen R, Reznick RK, Taylor BR, Provan J, Rothman A. Reliability and validity of the objective structured clinical examination in assessing surgical residents. Am J Surg. 1990;160(3):302-5. 191. Faulkner H, Regehr G, Martin J, Reznick R. Validation of an objective structured assessment of technical skill for surgical residents. Acad Med. 1996;71(12):1363-5. 192. Singhal N, McMillan DD, Yee WH, Akierman AR, Yee YJ. Evaluation of the Effectiveness of the Standardized Neonatal Resuscitation Program. J Perinatol Journal of Perinatology. 2001;21(6):388-92. 193. Zyromski NJ, Staren ED, Merrick HW. Surgery residents' perception of the Objective Structured Clinical Examination (OSCE). Current surgery. 2003;60(5):533-7. 194. Mitchell ML, Henderson A, Groves M, Dalton M, Nulty D. The objective structured clinical examination (OSCE): optimising its value in the undergraduate nursing curriculum. Nurse Educ Today. 2009;29(4):398-404. 195. Demestre X. Evaluación de competencias en neonatología. Experiencias en Cataluña = Neonatologian gaitasunen ebaluazioa. Kataluinako esperientziak. Boletín de la Sociedad Vasco-Navarra de pediatría =Euskal Herriko Pediatria Elkartearen aldizkaria. 2005;106:16-9. 196. Biran LA. Self-assessment and learning through GOSCE (group objective structured clinical examination). Med Educ. 1991;25(6):475-9. 197. Mathews L, Menon J, Mani NS. Micro-OSCE for assessment of undergraduates. Indian pediatrics. 2004;41(2):159-63. 198. Sloan DA, Donnelly MB, Schwartz RW, Strodel WE. The Objective Structured Clinical Examination. The new gold standard for evaluating postgraduate clinical performance. Annals of surgery. 1995;222(6):735-42. 199. Garrison DR, Anderson T, Archer W. Critical thinking, cognitive presence, and computer conferencing in distance education. American Journal of Distance Education. 2001;15(1):7-23. 200. Britain S. A Review of Learning Design: Concept, Specifications and Tools. 2004 19-Nov-2004. Report No. 201. Marcelo C. Propuesta de estándares de calidad para programas de formación docente a través de estrategias de aprendizaje abierto y a distancia: Organización de Estados Iberoamericanos; 2007. Available from: http://www.oei.es/pdfs/modelo_aad_unesco.pdf. 202. Marcelo García C, Perera Rodríguez VH. Comunicación y aprendizaje electrónico: la interacción didáctica en los nuevos espacios virtuales de aprendizaje. Revista de educación. 2007(343):193-4. 203. Tett RP, Jackson DN, Rothstein M. Personality measures as predictors of job performance: a meta-analytic review. Personnel Psychology. 1991;44(4):703-42. 204. Tracz SM, Elmore PB, Pohlmann JT. Correlational Meta-Analysis: Independent and Nonindependent Cases. Educational and Psychological Measurement. 1992;52(4):879-88. 205. Roth PL BC, Schippmann JS. . 1996;81:54856. Metaanalyzing the relationship between grades and job performance. Journal of Applied Psychology. 1996;81:548-56. 206. McManus IC, Esmail A, Demetriou M. Factors affecting likelihood of applicants being offered a place in medical schools in the United Kingdom in 1996 and 1997: retrospective studyCommentary: League tables will helpCommentary: Some legal aspects arising from the study. Bmj. 1998;317(7166):1111-7. 207. Deary IJ. Intelligence : a very short introduction. Oxford; New York: Oxford University Press; 2001. 208. Ferguson E, James D, Madeley L. Factors associated with success in medical school: systematic review of the literature. Bmj. 2002;324(7343):952-7. 209. Hunter JE, Schmidt FL. Methods of meta-analysis correcting error and bias in research findings Thousand Oaks, Calif.: Sage; 2004. 210. Zúñiga D, Mena B, Oliva R, Pedrals N, Padilla O, Bitran M. [Modeling the academic performance of medical students in basic sciences and pre-clinical courses: a longitudinal study]. Rev Med Chil. 2009;137(10):1291-300. 211. Findley MJC, Harris M. Locus of control and academic achievement: A literature review. Journal of Personality and Social Psychology. Feb 1983;Vol 44(2): 419-27. 212. Gonnella JS, Hojat M. Relationship between performance in medical school and postgraduate competence. Journal of medical education. 1983;58(9):679-85. 213. Johnson V, Miller RD, Gage RP. Correlation Between Performance in Medical School and in Residency Training. Academic Medicine. 1963;38(7):591-5. 214. Markert RJ. The relationship of academic measures in medical school to performance after graduation. Acad Med. 1993;68(2 Suppl):S31-4. 215. Part HM, Markert RJ. Predicting the first-year performances of international medical graduates in an internal medicine residency. Acad Med. 1993;68(11):856-8. 216. Madigan V. Predicting PHC Students' First Year Performance at University: Predicting Pre Hospital Care Students' First Year Academic Performance in a Rural Australian University: VDM Publishing; 2009. 217. Brosnan M, Evans W, Brosnan E, Brown G. Implementing objective structured clinical skills evaluation (OSCE) in nurse registration programmes in a centre in Ireland: a utilisation focused evaluation. Nurse Educ Today. 2006;26(2):115-22. 218. Newble DI. Eight years' experience with a structured clinical examination. Med Educ. 1988;22(3):200-4. 219. Millán Núñez-Cortés J, García-Seoane J, Calvo-Manuel E, Díez-Lobato R, Calvo-Manuel F, Nogales-Espert A. Relaciones de la facultad de medicina con el hospital universitario: La enseñanza de la medicina clínica. Educación Médica. 2008;11:3-6. 220. Lledó L, Fernández MC, Pablo R GJ, Ibáñez A SP, Abajo F, Arriba G, et al., editors. Innovaciones en la prueba ECOE para mejorar su valor como actividad formativa. XXI Congreso de la Sociedad Española de Educación Médica; 2013; Madrid: Fundación Educación Médica. 221. Galindo López J, Visbal Spirko L. Simulación, herramienta para la educación médica. Salud Uninorte 20072379-95 222. Rovamo L, Mattila MM, Andersson S, Rosenberg P. Assessment of newborn resuscitation skills of physicians with a simulator manikin. Archives of disease in childhood Fetal and neonatal edition. 2011;96(5):F383-9. 223. Savoldelli GL, Naik VN, Park J, Joo HS, Chow R, Hamstra SJ. Value of debriefing during simulated crisis management: oral versus video-assisted oral feedback. Anesthesiology. 2006;105(2):279-85. 224. Weiner GM, Menghini K, Zaichkin J, Caid AE, Jacoby CJ, Simon WM. Self-directed versus traditional classroom training for neonatal resuscitation. Pediatrics. 2011;127(4):713-9. 225. Simon SR, Bui A, Day S, Berti D, Volkan K. The relationship between second-year medical students¿ OSCE scores and USMLE Step 2 scores. Journal of evaluation in clinical practice. 2007;13(6):901-5. 226. Simon SR, Volkan K, Hamann C, Duffey C, Fletcher SW. The relationship between second-year medical students' OSCE scores and USMLE Step 1 scores. Med Teach. 2002;24(5):535-9. 227. Sandoval GE, Valenzuela PM, Monge MM, Toso PA, Triviño XC, Wright AC, et al. Analysis of a learning assessment system for pediatric internship based upon objective structured clinical examination, clinical practice observation and written examination. Jornal de pediatria. 2010;86(2):131-6. 228. McManus I, Woolf K, Dacre J, Paice E, Dewberry C. The Academic Backbone: longitudinal continuities in educational achievement from secondary school and medical school to MRCP(UK) and the specialist register in UK medical students and doctors. BMC Medicine. 2013;11(1):242. 229. Dewhurst N, McManus I, Mollon J, Dacre J, Vale J. Performance in the MRCP(UK) Examination 2003-4: analysis of pass rates of UK graduates in the Clinical Examination in relation to self-reported ethnicity and gender. BMC Medicine. 2007;5:8. 230. Woolf K, Haq I, McManus I, Higham J, Dacre J. Exploring the underperformance of male and minority ethnic medical students in first year clinical examinations. Adv Health Sci Educ. 2008;13:607 - 16. 231. Haq I, Higham J, Morris R, Dacre J. Effect of ethnicity and gender on performance in undergraduate medical examinations. Medical Education. 2005;39(11):1126-8. 232. Rothman AI, Cohen R, Ross J, Poldre P, Dawson B. Station gender bias in a multiple-station test of clinical skills. Acad Med. 1995;70(1):42-6. 233. Wiskin CM, Allan TF, Skelton JR. Gender as a variable in the assessment of final year degree-level communication skills. Med Educ. 2004;38(2):129-37. 234. Bandaranayake RC. Implementing change in medical education in developing countries. Med Teach. 1989;11(1):39-45. 235. Albarrak AI, Mohammed R, Abalhassan MF, Almutairi NK. Academic satisfaction among traditional and problem based learning medical students. A comparative study. Saudi medical journal. 2013;34(11):1179-88. 236. Manzar B, Manzar N. To determine the level of satisfaction among medical students of a public sector medical university regarding their academic activities. BMC Res Notes. 2011;4(1):1-7. 237. Szolnoki G, Hoffmann D. Online, face-to-face and telephone surveys¿Comparing different sampling methods in wine consumer research. Wine Economics and Policy. 2013;2(2):57-66. 238. Paechter M, Maier B. Online or face-to-face? Students' experiences and preferences in e-learning. The Internet and Higher Education. 2010;13(4):292-7. 239. Wright KB. Researching Internet-Based Populations: Advantages and Disadvantages of Online Survey Research, Online Questionnaire Authoring Software Packages, and Web Survey Services. Journal of Computer-Mediated Communication. 2006;10(3):00-. 240. Thompson LF, Surface EA, Martin DL, Sanders MG. From paper to pixels: moving personnel surveys to the web. Personnel Psychology. 2003;56(1):197-227. 241. Al-Subaihi AA. Comparison of web and telephone survey response rates in Saudi Arabia. Electron J Bus Res Methods Electronic Journal of Business Research Methods. 2008;6(2):123-32. 242. Xing Y, Handy S. Online versus phone surveys: comparison of results for a bicycling survey. Transportation Planning and Technology. 2014:1-14. 243. Schmidt W. World-Wide Web survey research: Benefits, potential problems, and solutions. Behavior Research Methods, Instruments, & Computers. 1997;29(2):274-9. 244. Duffy B. Comparing data from online and face-to-face surveys2005. 245. Jalili M MAAA. A survey of medical students' perceptions of the quality of their medical education upon graduation. Annals of the Academy of Medicine, Singapore. 2008;37(12):1012-8. 246. Nandi PL, Chan JN, Chan CP, Chan P, Chan LP. Undergraduate medical education: comparison of problem-based learning and conventional teaching. Hong Kong medical journal = Xianggang yi xue za zhi / Hong Kong Academy of Medicine. 2000;6(3):301-6. 247. Gallagher SA, Stepien WJ. Content Acquisition in Problem-Based Learning: Depth versus Breadth in American Studies. Journal for the Education of the Gifted. 1996;19(3):257-75. 248. Gallardo S, Barrero FJ, Martinez-Torres MR, Toral SL, Duran MJ. Addressing Learner Satisfaction Outcomes in Electronic Instrumentation and Measurement Laboratory Course Organization. IEEE Trans on Educ. 2007;50(2):129-36. 249. Delavar MA, Salmalian H, Faramarzi M, Pasha H, Bakhtiari A, Nikpour M, et al. Using the objective structured clinical examinations in undergraduate midwifery students. Journal of medicine and life. 2013;6(1):76-9. 250. Shamsan B, Syed AT. Evaluation of problem based learning course at college of medicine, qassim university, saudi arabia. International journal of health sciences. 2009;3(2):249-58. 251. van der Hem-Stokroos HH, Daelmans HEM, van der Vleuten CPM, Haarman HJTM, Scherpbier AJJA. A qualitative study of constructive clinical learning experiences. Med Teach. 2003;25(2):120-6. 252. Kilminster S, Jolly B, Vleuten CPMvd. A framework for effective training for supervisors. Med Teach. 2002;24(4):385-9. 253. Irby DM. What clinical teachers in medicine need to know. Acad Med. 1994;69(5):333-42. 254. Pierre R, Wierenga A, Barton M, Branday JM, Christie C. Student evaluation of an OSCE in paediatrics at the University of the West Indies, Jamaica. BMC Med Educ. 2004;4(1):22. 255. Kowlowitz V, Hoole AJ, Sloane PD. Implementing the objective structured clinical examination in a traditional medical school. Acad Med. 1991;66(6):345-7. 256. Woodburn J, Sutcliffe N. The Reliability, Validity and Evaluation of the Objective Structured Clinical Examination in Podiatry (Chiropody). Assessment & Evaluation in Higher Education. 1996;21(2):131-46. 257. Allen R, Heard J, Savidge M, Bittergle J, Cantrell M, Huffmaster T. Surveying Students' Attitudes During the OSCE. Adv Health Sci Educ Theory Pract. 1998;3(3):197-206.