ORIGINAL

Evaluación integral de competencias en la formación de médicos en México. Estudio interinstitucional

Comprehensive evaluation of the competences in the training of physicians in Mexico. An interinstitutional study

Joaquín López-Bárcena, Juan Trejo, Joel Sánchez-Alor, Gerardo Muñoz, Alfredo González-Torres, Claudio García-Bonilla, Socorro Carmona, Martha Cruz, Leandro Loya, Ana Monterrosas, Santos Guzmán y José Narro

Facultad de Medicina; Universidad Nacional Autónoma de México, UNAM (J. López-Barcena, J. Trejo, L. Loya, A. Monterrosas, J. Narro). Facultad de Estudios Superiores Iztacala; UNAM (J. Sánchez-Alor). Facultad de Estudios Superiores Zaragoza; UNAM (M. Cruz). Escuela Superior de Medicina; Instituto Politécnico Nacional (A. González-Torres). Facultad de Medicina; Universidad Autónoma de Nuevo León (G. Muñoz, S. Guzmán). Facultad de Medicina; Universidad Autónoma de Guanajuato (S. Carmona). Facultad de Medicina; Universidad Autónoma de San Luís Potosí (C. García-Bonilla). México.

Dirección para correspondencia

RESUMEN

Introducción. La educación médica en México no tiene referentes nacionales de evaluación integral que permitan identificar fortalezas y debilidades educativas.
Objetivos. Valorar la factibilidad de colaboración interinstitucional para la evaluación en medicina y analizar integralmente conocimientos, destrezas y actitudes médicas.
Sujetos y métodos. Ocho facultades de medicina definieron las competencias necesarias al concluir el año previo al internado. Se aplicó a distancia un examen con 105 reactivos de opción múltiple, además de un examen clínico objetivo estructurado (ECOE) con 18 estaciones. Áreas evaluadas: cirugía, ginecología, medicina interna, medicina comunitaria y pediatría. Universo: estudiantes próximos al inicio del internado. Muestra de acuerdo a la matrícula de cada institución. Los resultados se analizaron en global, área del conocimiento e institución.
Resultados. Participaron 199 estudiantes de ocho facultades en las dos evaluaciones, 99 hombres y 100 mujeres, con una edad media de 21 años. El rendimiento global por área fue: cirugía, 60,22 %; ginecología, 61,90%; medicina interna, 57,97%; pediatría, 52,25%, y salud pública, 49,68%. La media total fue del 56.40%. Por institución, la mediana se mantuvo entre 35,91 y 51,06%.
Conclusiones. Es factible la participación interinstitucional en evaluaciones integrales de medicina. La plataforma utilizada permitió la aplicación de exámenes a distancia simultáneos. El ECOE es factible y útil para evaluar habilidades y destrezas, y es recomendable que todas las escuelas lo utilicen. Se identifican fortalezas en ginecología y cirugía, así como debilidades en pediatría y, sobre todo, en salud pública y medicina comunitaria, que pueden considerarse referentes útiles para ajustes en los programas educativos. Se requiere incrementar el tamaño de la muestra.

Palabras clave: Competencias. ECOE. Educación médica. Medicina.

ABSTRACT

Key words: Competences. Medical education. Medicine. OSCE.

Introducción

En todo proceso educativo, la evaluación constituye un verdadero desafío. En la educación médica se complica aún más, ya que para cumplir su principal objetivo, que consiste en obtener información útil para tomar decisiones que conduzcan hacia la óptima calidad requerida en la formación de los profesionales que atenderán las necesidades de salud de la sociedad, debe llevarse a cabo con instrumentos que permitan obtener información integral, válida, fiable, objetiva y aplicable a diversos programas educativos, todo esto en el contexto único de interacción humana que requiere la profesión médica.

En México, la carrera de medicina se puede cursar en alguna de las casi cien escuelas o facultades de medicina que se tienen registradas. La mayor parte de ellas pertenecen a instituciones educativas públicas, pero considerando la tendencia ocurrida en los últimos diez años a favor del incremento de las instituciones privadas, la diferencia es cada vez menor y no sería difícil que se invirtiera el predominio a corto plazo. Los programas educativos de las diferentes escuelas muestran una amplia diversidad en la duración, estructura, perfiles y procedimientos de evaluación, ya que no existe un modelo educativo nacional. Estos programas deben ser acreditados por el Consejo Mexicano para la Acreditación de la Educación Médica (COMAEM). Este proceso de acreditación se inició hace 15 años por la Asociación Mexicana de Facultades y Escuelas de Medicina (AMFEM) en 1997, y la vigencia es de cinco años. En el último informe de 2011, el COMAEM señala que hay 43 escuelas o facultades de medicina acreditadas, 13 se encuentran en proceso, 8 no han acreditado y 20 no han solicitado el procedimiento [1]. Cabe señalar que esta acreditación no incluye el rendimiento académico de los alumnos.

La carrera de medicina, independientemente del programa que se curse, tiene contenidos de conocimiento científico, habilidades, destrezas clínicas y aspectos conductuales, todo ello orientado hacia el individuo y la comunidad. Esto implica que una genuina evaluación de la formación de los estudiantes de esta carrera debería incluir de manera integral todos estos aspectos. En nuestro medio, los procedimientos de evaluación que generalmente se utilizan están enfocados solamente al área cognitiva, sin explorar los demás componentes del aprendizaje, o lo hacen de forma parcial.

La tendencia actual hacia la globalización trae consigo la necesidad de establecer indicadores comunes nacionales, regionales y mundiales, en este caso aplicados a la formación de médicos, ya que se prevé un aumento en la movilidad interinstitucional e internacional tanto de estudiantes como de profesionales. Ante esto, es imperante la necesidad de homologar los programas educativos con contenidos que integren competencias mínimas que debe lograr un médico para ejercer la profesión en un país, en una región e, incluso, en cualquier parte del mundo. Este proceso ya se ha iniciado en la Unión Europea y se tiene experiencia en escuelas de medicina de China con el modelo propuesto por el Instituto de la Educación Médica Internacional (IIME) [3,4].

Por tanto, es necesario definir un perfil profesional nacional del médico para que, en concordancia con el perfil de egreso de las instituciones de educación superior, se integren las competencias indispensables que deben incluir los diferentes programas. La AMFEM ha avanzado los trabajos en este sentido con el fin de unificar los criterios de las escuelas de medicina mexicanas y ya se cuenta con un modelo educativo basado en competencias [5]. En consecuencia, es necesario diseñar instrumentos que permitan la evaluación de competencias y así obtener información útil para los ajustes que requieran los programas de formación de médicos.

El objetivo del presente estudio consistió en lograr un ejercicio de colaboración interinstitucional para evaluar de manera integral conocimientos, habilidades, destrezas y actitudes de estudiantes de medicina que se encontraban al final de la carrera y próximos al inicio del año de internado médico.

Sujetos y métodos

Se convocó a participar en el estudio a 10 escuelas o facultades de medicina públicas de diferentes entidades federativas.

La interacción entre los participantes se llevó a cabo en reuniones presenciales de forma rotatoria en las diferentes instituciones, y se combinó con comunicación por vía electrónica utilizando la plataforma Moodle, con videoconferencias o bien por correo electrónico.

Al inicio, mediante consenso, se definió el perfil de formación y se especificaron las competencias que debería tener un alumno de medicina en la etapa inmediata al inicio del internado, considerando las diferentes áreas por las que se lleva a cabo la rotación de ese año escolar, esto es, cirugía, ginecoobstetricia, medicina interna, pediatría, salud pública y medicina familiar y urgencias.

- Valores profesionales, actitudes, comportamientos y ética. Actúa de manera congruente con los valores de humanismo, responsabilidad, honestidad, respeto e integridad y se compromete, con alto sentido ético, en la atención de la salud del individuo, familiar y comunidad, respetando las creencias y características socioculturales de la población dentro del marco legal de la profesión.

- Fundamentos científicos de la medicina. Integra y aplica los fundamentos científicos a la práctica clínica, con base en el conocimiento de la historia natural de la enfermedad y la epidemiología de los problemas prioritarios de salud, en el ámbito de su práctica profesional.

- Habilidades de comunicación. Demuestra habilidades de expresión verbal, no verbal y escrita de forma clara y comprensible, así como capacidad para la percepción y la escucha activa y sensible en diferentes escenarios, con grupos e individuos, para lograr una adecuada relación médico-paciente y familia, interacción de comunicación, en las actividades educativas, de asesoría y de orientación en salud.

- Destrezas clínicas. Obtiene información mediante el interrogatorio, la exploración física e interpretación de auxiliares de diagnóstico, la integra para elaborar hipótesis diagnósticas, plan de tratamiento, pronóstico, vigilancia de la evolución, así como medidas de prevención y rehabilitación.

- Salud pública y sistemas de salud. Analiza los aspectos epidemiológicos del proceso salud-enfermedad. Reconoce, participa y aplica las acciones prioritarias del programa nacional de salud para contribuir a mantener la calidad de vida de la población a nivel local y nacional; asimismo identifica la estructura del Sistema Nacional de Salud y vincula dichas acciones con los diferentes niveles de atención, tanto en el sector público como privado.

- Manejo de la información. Analiza el registro de la información obtenida de los pacientes en el expediente clínico. Utiliza las fuentes de información documentales y electrónicas de manera racional. A través del análisis crítico de la bibliografía construye hipótesis diagnósticas, fundamenta el tratamiento y las medidas de prevención.

- Pensamiento crítico e investigación. Emplea metodología científica para investigar el proceso salud-enfermedad y aplica los conocimientos de forma crítica a nivel individual y colectivo en los problemas de salud relevantes.

Una vez definidas las competencias, se diseñaron los instrumentos de evaluación. Para la exploración del componente cognitivo y la toma de decisiones se elaboraron reactivos de opción múltiple que abarcaran las áreas mencionadas con las siguientes condiciones: síntesis de casos clínicos no mayor de 10 líneas, identificación con alguna de las competencias consideradas, mínimo de tres y máximo de cinco preguntas por caso clínico, todas las preguntas redactadas en positivo, congruencia entre el caso clínico, las preguntas y la competencia, cinco opciones de respuesta, sólo una opción correcta, bibliografía o fundamentación de la respuesta correcta.

Para la evaluación de las habilidades de comunicación, destrezas clínicas, aspectos conductuales, interpretación de auxiliares de diagnóstico, capacidad de razonamiento clínico para establecer diagnóstico y plantear acciones terapéuticas y preventivas, así como valorar la aplicación de la ética y el humanismo en diferentes escenarios, se diseñó un examen clínico objetivo y estructurado (ECOE) de 18 estaciones en el que se utilizaron pacientes simulados estandarizados, maniquíes y estudios de imagen. Se programó cada estación con una duración de seis minutos: 13 de ellas tuvieron interacción con pacientes estandarizados para interrogatorio o examen físico; dos más, sobre interpretación de estudios de laboratorio; otras dos, de interpretación radiográfica, y una, para exploración rectal en un maniquí. Los problemas de salud que se abordaron en las diferentes estaciones correspondieron a las áreas de rotación ya mencionadas:

- Cirugía: cáncer de próstata, cólico biliar, enfermedad hemorroidal y fractura de tibia y peroné.

- Ginecoobstetricia: amenaza de aborto, control prenatal y placenta previa.

- Medicina interna: enfermedad vascular cerebral, insuficiencia renal crónica, estenosis aórtica, pancreatitis y cólico renoureteral.

- Salud pública y medicina familiar: diabetes mellitus, hipertensión arterial sistémica y tuberculosis pulmonar.

- Pediatría: hidratación oral en gastroenteritis infecciosa, alimentación infantil y control del niño sano.

Para la aplicación de ambas evaluaciones se calculó una muestra representativa de alumnos con base en la matrícula de cada una de las instituciones participantes.

El examen de conocimientos se programó para aplicarse de forma simultánea por vía electrónica, utilizando la plataforma Moodle, a todos los alumnos que conformaron la muestra, para su respuesta en un tiempo máximo de 120 minutos.

Para el análisis estadístico se utilizaron pruebas de varianza múltiple y univariadas con frecuencias simples, medias y desviaciones estándares, así como α de Cronbach.

Resultados

Participaron ocho escuelas o facultades de medicina de diferentes entidades federativas. El examen teórico y el ECOE lo aplicaron 199 alumnos (100 mujeres y 99 hombres), con una media de edad de 21,1 años. La distribución por escuela se señala en la tabla.

El rendimiento obtenido tanto en el examen teórico como en el ECOE se calificó por área, por escuela y de forma global. La calificación por área se refiere al rendimiento obtenido en cada una de las seis áreas médicas descritas previamente. En el caso del examen teórico se consideró el porcentaje del número de aciertos, y para el ECOE, la media obtenida en las listas de cotejo de cada una de las 18 estaciones. La calificación global incluye la obtenida por los sustentantes de todas las escuelas en determinada área tanto del examen teórico como del ECOE.

En la figura 1 se describe el rendimiento obtenido en el examen teórico en cada una de las áreas. En ninguna de ellas la calificación fue mayor del 70% de aciertos, sin que se obtuviera una diferencia significativa, a excepción del área de salud pública y comunitaria. Aunque el rendimiento general mostró diferencias entre las escuelas participantes (Fig. 2), el comportamiento por áreas fue similar. Las medias de los exámenes teóricos variaron de 59,3% a 44,3%, con desviaciones estándares de 4,9% a 7,5%. La fiabilidad de los exámenes fue de 0,35-0,80.

En el ECOE, las dos estaciones destinadas a evaluar la interpretación de estudios de laboratorio resultaron con la calificación más alta. Las otras dos estaciones por encima del 60% fueron control prenatal y amenaza de aborto. En las 14 restantes se observó un déficit en el desarrollo de habilidades clínicas. Cuatro estaciones estuvieron entre el 50-60%, correspondientes a factores de riesgo de hipertensión arterial, cáncer de próstata, cólico renoureteral y cólico biliar. Diez estaciones estuvieron por debajo de 50% de rendimiento.

En la figura 3 se observan los resultados obtenidos en el ECOE, también correspondientes a cada una de las áreas. No se mostraron diferencias significativas entre ellas. En la figura 4 se identificó un comportamiento por escuela similar al observado en el examen de conocimientos. El α de Cronbach, que fue de 0,68, se considera bueno para un ECOE de dos horas de duración.

La figura 6 muestra el análisis estadístico por escuela en el comportamiento global. Se realizó análisis de varianza de los resultados de ambos exámenes aplicados y se encontró una diferencia significativa entre las escuelas participantes: B, C, E, G y H frente a A, D y F.

Discusión

Esta es la primera experiencia en México de evaluación de rendimiento académico integral en estudiantes de medicina en el último año de la carrera, con participación interinstitucional y multicéntrica, de diferentes programas de licenciatura de diversas universidades.

En el presente estudio se destaca el logro de objetivos relevantes como es la colaboración interins-titucional principalmente a través de actividades a distancia por medios electrónicos actuales y presenciales, con el fin de establecer acuerdos por consenso y llevar a cabo los procedimientos de evaluación psicomotoras. Sin lugar a dudas es una muestra de que en la educación médica hay más intereses que favorecen la unión y la colaboración que pretensiones que propician barreras de separación y protagonismo. Se superó la desconfianza y se mejoró la comunicación con intercambio de experiencias. Con la utilización de los avances electrónicos se alcanzó la interacción deseada a pesar de las distancias, lo que se tradujo en una economía significativa.

Otro de los objetivos alcanzados fue el consenso en cuanto a la definición y categorización de las competencias a evaluar en la etapa final de la formación de los médicos en México, independientemente de los diferentes programas educativos que existen en las escuelas y facultades de medicina del país, así como el establecimiento de los procedimientos de evaluación utilizados con el fin de identificar el logro de dichas competencias en sus diferentes componentes: el saber, el saber hacer y el ser. Por ello, se concluye que es necesario utilizar diversos instrumentos, tanto pruebas escritas estructuradas en sus diferentes modalidades -que en nuestro caso fue de opción múltiple, enfocada a evaluar el conocimiento, el saber- como otros instrumentos de mayor complejidad y necesidad de recursos materiales y profesionales -en este caso elegimos hacerlo a través de un ECOE-. Aun cuando no todas las instituciones participantes contaban con los recursos indispensables para llevar a cabo este procedimiento de evaluación -que implica áreas especiales, pacientes estandarizados y profesores capacitados, además del diseño y aplicación para un número alto de alumnos en tiempo restringido-, instituciones públicas de atención médica facilitaron instalaciones del primer nivel de atención, que resultaron idóneas para este tipo de ejercicios, con los recursos propios y el coste mínimo para cubrir la participación de los pacientes estandarizados y la logística y transporte de los estudiantes, un gasto fácilmente asumible. En síntesis, se demostró la factibilidad y utilidad del ECOE como uno de los instrumentos para la evaluación de las competencias.

En cuanto a los resultados, somos concientes de que la muestra de estudiantes no representa satisfactoriamente el universo del país, pero como un ensayo inicial está claro que puede extenderse a un mayor número de facultades participantes y lograr una muestra adecuada. Cabe destacar el comportamiento de los resultados obtenidos por cada una de las instituciones participantes. La diversidad observada puede explicarse desde varios enfoques: la diferencia estructural y metodológica de los programas académicos en cada una de las escuelas, la matrícula escolar -que a su vez influyó en el tamaño de la muestra estudiada- y el hecho novedoso de someterse a una evaluación interinstitucional fuera del ámbito de protección al que están acostumbrados. Sin embargo, entre los objetivos del estudio no está la comparación cualitativa entre las instituciones participantes, para lo cual habría que elaborar otro diseño. Sin embargo, con la información obtenida pueden identificarse elementos para establecer indicadores de alcance de competencias en la formación de médicos, que puedan servir como referente nacional y, en un siguiente paso, lograr el comparativo y la referencia internacional.

Es notorio que, en todos los grupos estudiados, el menor rendimiento global se obtuvo en el ámbito de la salud pública. Al separar lo teórico de lo práctico, también fue el más bajo en el primero y en el segundo, ligeramente por debajo del área de pediatría, que probablemente se explica porque en el momento en que se aplicó la evaluación, los alumnos de una de las escuelas todavía no terminaba de cursar la práctica clínica pediátrica. Por tanto, lo consideramos como una importante llamada de atención para todas las escuelas y facultades de medicina, ya que el área de salud pública resulta fundamental en la formación del médico. Tanto es así que en varios programas constituye el eje conductor de dicho proceso formativo. Además de los aspectos epidemiológicos, de prevención y educación para la salud, es un área que incluye las acciones a favor de la salud con un enfoque colectivo tanto familiar como comunitario.

En general, la experiencia y los resultados obtenidos con el presente estudio invitan a reproducirlo con una mayor cobertura de instituciones participantes y mejoras en los procedimientos de evaluación, sobre todo en esta época en la que la mayoría se ha orientado a la educación basada en competencias, con el fin de que puedan llegarse a obtener indicadores de rendimiento académico nacionales.

Bibliografía

1. Consejo Mexicano para la Acreditación de la Educación Médica (COMAEM). URL: http://www.comaem.org.mx.         [ Links ]

2. Hernández J. El EGEL y la identificación de conocimientos y habilidades. Boletín CENEVAL 2006; 6: 4-10.         [ Links ]

3. Core Committee, Institute for International Medical Education. Global minimum essential requirements in medical education. Med Teach 2002; 24: 130-5.         [ Links ]

4. Stern DT, Miriam BD, De Champlain A, Hodges B, Wojtczak A, Schwarz MR. Ensuring global standards for medical graduates: a pilot study of international standard-setting. Med Teach 2005; 27: 207-13.         [ Links ]

5. Abreu L, Cid A, Herrera G, Lara V, Lavida R, Rodríguez C, et al. Perfil por competencias del médico general mexicano. Asociación Mexicana de Facultades y Escuelas de Medicina (AMFEM). México DF: Elsevier Masson Doyma México; 2008.         [ Links ]

6. Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ 1979; 13: 41-54.         [ Links ]

7. Larios-Mendoza H, Trejo-Mejía JA, Martínez-Viniegra N, Cortés-Gutiérrez MT. Desarrollo de la competencia clínica durante el internado médico. Revista de la Educación Superior 2000; 29: 115-28.         [ Links ]

8. Newble D. Techniques for measuring clinical competence: objective structured clinical examinations. Med Educ 2004; 38: 199-203.         [ Links ]

9. Van der Vleuten C, Schuwirth L. Assessing professional competence: from methods to programs. Med Educ 2005; 39: 309-17.         [ Links ]

Dirección para correspondencia:
Dr. Joaquín López Bárcena. ]]> Programa Universitario de Investigación en Salud.
Universidad Nacional Autónoma de México.
Edificio de Programas Universitarios. Planta Alta.
Circuito de la Investigación Científica.
Ciudad Universitaria.
CP 04510. México DF, México.
E-mail: joalob@unam.mx

Conflicto de intereses: No declarado.