ORIGINAL

 

Evaluación del programa de médico cirujano del Instituto de Ciencias Biomédicas de la Universidad Autónoma de Ciudad Juárez

Assessment of the medical surgeon program of the Instituto de Ciencias Biomédicas, Universidad Autónoma de Ciudad Juárez

 

 

Rafael Cataño-Calatayud, María Teresa G. Manjarrez-González, Jaime Romero-González

Instituto de Ciencias Biomédicas. Universidad Autónoma de Ciudad Juárez. Ciudad Juárez, Chihuahua, México.

Dirección para correspondencia

 

 

---

RESUMEN

Con el propósito de mejorar la calidad académica del programa de médico cirujano del Instituto de Ciencias de Biomédicas de la Universidad Autónoma de Ciudad Juárez (UACJ), en México, se modificó la manera de evaluar a los graduados. El programa de médico cirujano comprendía tres procesos de evaluación, que se utilizaron durante el periodo 2006-2008 para conocer la pertinencia, eficacia y eficiencia de la formación profesional de sus graduados: el promedio general de salida (PGS) y el examen profesional ante pacientes (EPAP), evaluados por la UACJ, y el examen general para el obtención de la licenciatura (EGEL), evaluado por el Centro Nacional de Evaluación para la Educación Superior (CENEVAL). Se emplearon los procesos de evaluación con el fin de obtener un mejor perfil del grado. Se obtuvo una correlación entre el PGS y el EPAP, pero no con el EGEL, el cual tuvo una diferencia porcentual apreciable respecto a los otros dos procesos. Mientras que el EPAP reflejó los conocimientos obtenidos a lo largo del programa (comparado con el PGS), el EGEL mostró una diferencia marcada, probablemente, al evaluar con diversas puntuaciones las diferentes disciplinas del programa.

Palabras clave: Evaluación. Examen general para la obtención del grado. Examen profesional ante pacientes.

---

SUMMARY

In order to improve the program of surgeon of the Instituto de Ciencias Biomédicas, Universidad Autónoma de Ciudad Juárez (UACJ) the graduate evaluating procedure was modified. Three processes were selected for evaluation by the medical surgeon program during the period 2006-2008 to determine the relevance, effectiveness and efficiency of its graduates, which are: the overall grade point average (GPA) and the professional medical exam (PME) taken with real patients at a hospital, evaluated by the UACJ, and the general exam for graduates (GEG), evaluated by the National Center for the Evaluation of Higher Education (CENEVAL). The evaluation processes were used in order to get a better graduate profile. Correlation was obtained between the GPA and the PME but not with the GEG, which had a visible percentage difference with respect to the other two processes. While the PME reflected the knowledge gained throughout the program (PME vs. GPA), the GEG showed a considerable difference with respect to the other two, probably, because the different disciplines in the program are evaluated asymmetrically by the UACJ and CENEVAL.

Key words: Evaluation. General exam for graduates. Professional medical exam.

---

 

Introducción

El perfil profesional de grado del programa de la Universidad Autónoma de Ciudad Juárez (UACJ) expresa: 'el médico cirujano es un profesional de la salud, capacitado para desempeñarse en primero y segundo nivel de atención, tanto en lo individual como en lo colectivo; brinda atención médica integral y orienta sus acciones principalmente a la promoción, prevención y preservación de la salud; además, conoce y utiliza la metodología de la investigación biomédica'.

Desde su fundación en 1973, el programa de médico cirujano (PMC) se ciñó a la obligatoriedad de realizar el examen profesional a sus licenciados utilizando el examen profesional teórico, donde el sustentante era cuestionado oralmente por un jurado de cinco sinodales, todos académicos del programa con diferentes especialidades y asignaturas, quienes ad libitum exploraban el dominio del conocimiento de las diferentes disciplinas y asignaturas del currículo que poseía el sustentante y emitían un juicio aprobatorio o reprobatorio. No se dejaba constancia escrita del procedimiento y conocimiento explorado, ni de la base para emitir el dictamen final.

A partir de 1999, por invitación del Comité Interinstitucional para la Formación de Recursos Humanos en Salud (CIFRHS), la UACJ se incorporó al programa de evaluación externa (EGEL) [1], que permite establecer un comparativo con las distintas instituciones de educación superior del país, estableciendo mínimos de calidad para el ejercicio profesional y dejando a las instituciones la decisión del valor que podría darse a esta evaluación. A partir del año 2005, la UACJ lo estableció como requisito para acceder al examen profesional del programa de medicina, requiriendo una puntuación mínima.

En la actualidad, la demanda internacional para implementar un método que evalúe el dominio de las competencias médicas [2-4] en los estudiantes que se gradúan en las distintas universidades [5-7] está obligando a las instituciones de estudios superiores a reconsiderar no sólo la evaluación de salida como un mero proceso de certificación, sino como un proceso de autoevaluación que permita identificar las debilidades en la formación de sus licenciados [8,9].

Este trabajo permite comparar los procesos de evaluación que el PMC utilizó en el periodo 2006-2008 y ver si estos instrumentos y sus resultados constituyen herramientas adecuadas para evaluar la calidad y el dominio de habilidades, conceptos y principios de sus licenciados.

 

Materiales y métodos

De acuerdo con el reglamento de titulación de la UACJ, y específicamente para el PMC, la titulación se considera una actividad extracurricular y se establecen varias modalidades:

- Sustentación del examen ante sinodales (la elección mayoritaria).

- Trabajo de investigación.

- Estudios de posgrado.

- Por promedio.

- Curso de sustitución de examen [10].

Promedio general de salida (PGS)

La institución establece que la calificación mínima del PGS sea de 7,0, con un máximo de 10,0, en base al plan de estudios estipulado por el Instituto de Ciencias Biomédicas de la UACJ [11]. Como se estipuló anteriormente, la titulación puede ser automática si el alumno alcanza un PGS mayor de 9,0 o si obtiene en el EGEL una calificación mayor de 1.150 puntos sobre 1.300 puntos posibles (sobresaliente).

Examen general para el obtención de la licenciatura (EGEL)

El EGEL es un examen nacional que evalúa los conocimientos y capacidades de los sustentantes. No incluye conocimientos ni capacidades genéricas, sino que toma en cuenta aspectos comunes entre los currículos de las instituciones más importantes del país, cuenta con reglas específicas (de diseño, elaboración, aplicación y calificación), tiene criterios de calificación claros y precisos, y cada pregunta se acompaña de cuatro respuestas, de las cuales sólo una es correcta [1]. En el caso específico de medicina general, el EGEL se basa en casos clínicos de donde se originan 325 reactivos en áreas como medicina interna (50,2%), pediatría (12,9%), ginecología y obstetricia (12,9%), cirugía (9,2%) y salud publica (14,8%). Los resultados son normalizados por el Centro Nacional de Evaluación para la Educación Superior (CENEVAL) para obtener un índice cuyos valores comprenden desde 700 hasta 1.300 puntos, subdivididos en cuatro niveles (hasta el año 2010, cuando se modificaron: 700-949 puntos, insuficiente; 950-999 puntos, suficiente; 1.000-1.149 puntos, satisfactorio, y 1.150-1.300 puntos, sobresaliente [1].

Examen profesional ante pacientes (EPAP)

A partir del año 2006 se realizó por primera vez una nueva modalidad en la evaluación del examen profesional. Esta nueva modalidad complementa el examen ante sinodales con el EPAP, el cual se lleva a cabo en un hospital donde el sustentante se encuentra con un paciente, a quien debe realizar una historia clínica, y posteriormente debe establecer una discusión con tres sinodales sobre su propuesta diagnóstica, estudios requeridos, tratamiento propuesto y comunicación y trato con el paciente. Los sinodales evalúan la competencia del sustentante al elaborar la historia clínica, el dominio del conocimiento en relación con el problema presentado, y la calidad, responsabilidad, comunicación y ética en su trato al paciente. Todo esto se apoya en una lista de capacidades clínicas, actitudes y valores [12-14] (Tablas I y II), previamente elaborada, para facilitar y establecer criterios de equidad entre los sinodales, después de un análisis comparativo de los criterios utilizados en diferentes universidades nacionales y extranjeras [15]. La forma de evaluar estas capacidades es: deficiente (menos de 7 puntos sobre un total de 10), regular (7,0-7,9 puntos), bien (8,0-8,9 puntos), muy bien (9,0 y 9,9 puntos) y excelente (10 puntos).

 

 

 

Teniendo en cuenta estos datos (calificación mínima de 7 y máxima de 10 puntos del PGS, puntuación mínima suficiente de 950 puntos y estableciendo la mayor calificación obtenida por nuestros alumnos que tomaron el EGEL como la máxima puntuación, y la calificación mínima aprobatoria de 7 puntos y máxima de 10 del EPAP) se pudo establecer una comparación cuantitativa entre los tres métodos de evaluación durante el periodo 2006-2008. En 2006 se utilizó un grupo piloto de 19 sustentantes seleccionados, por su PGS superior a 8,5 puntos, de un universo de 60; en 2007, un grupo de 65 sustentantes de forma aleatoria, y en 2008, un grupo de 140 sustentantes seleccionados también de forma aleatoria.

Se analizó posteriormente el grupo piloto mediante el α de Cronbach para medir la homogeneidad de las preguntas, promediando las correlaciones entre todas las capacidades para comprobar que, efectivamente, se parecen y así obtener la fiabilidad y consistencia de las calificaciones obtenidas en el EPAP:

donde K es el numero de capacidades clínicas, ΣS_i² es el sumatorio de varianzas de las capacidades, S_T² es la varianza de la suma de las capacidades y α es el coeficiente de Cronbach.

 

Resultados

Resultados comparativos entre PGS, EGEL y EPAP

Es evidente el contraste entre los resultados bajos del EGEL y los resultados elevados del PGS y del EPAP en los años 2007 y 2008, no así en el año 2006, cuando fueron más semejantes (Fig. 1).

 

 

Resultados del EPAP en el periodo 2006-2008

La figura 2 muestra las evaluaciones ponderadas de los sustentantes durante el periodo 2006-2008. Se puede apreciar que el grupo piloto seleccionado en el año 2006 sobresale del resto de los sustentantes, y que del periodo 2007-2008 hay un incremento pequeño, pero notable, en la mayoría de las capacidades evaluadas.

 

 

Resultados del análisis del EPAP en el 2006 utilizando el α de Cronbach

La figura 3 muestra los resultados ponderados de la muestra piloto durante el periodo 2006, los cuales se utilizaron para el análisis del EPAP; en la parte inferior se muestran los resultados del análisis, que se calcularon usando la ecuación anterior. El valor de α obtenido fue de 0,92.

 

 

Discusión

Al analizar los instrumentos o herramientas (PGS, EPAP y EGEL) que utiliza el PMC del Instituto de Ciencias Biomédicas para medir los aspectos cognitivos y el dominio de destrezas, conceptos y principios de los graduados, resulta evidente que el grupo piloto evaluado en el año 2006 muestra un equilibrio que se pone en evidencia al compararlo con los resultados de los siguientes grupos. Desafortunadamente no se pudieron utilizar datos posteriores al año 2008 debido a los cambios efectuados por el EGEL, que fue y ha seguido siendo modificado.

Era de esperar que el grupo del 2006 mostrara resultados similares en sus tres evaluaciones, ya que se seleccionó por su alto PGS (8,5-9,2). Por otra parte, el grupo de sustentantes de 2007 y 2008 muestran similitud en sus resultados del PGS y el EPAP, pero al compararse con el EGEL, presentan una discordancia porcentual notable (Fig. 1). Esto obliga, por un lado, a reconsiderar el valor del PGS y el EPAP en cuanto a su validez como parámetro de calidad del licenciado, pero también muestra la diferencia entre lo que el CENEVAL y la UACJ consideran importante de enseñar y la manera en que ambas instituciones miden o valoran las diferentes disciplinas evaluadas.

Al analizar el EPAP vemos nuevamente la diferencia de no más del 6% entre el grupo piloto y el resto de los sustentantes. Si nos centramos solamente en los grupos de los años 2007 y 2008, apreciamos que aumenta de un año a otro el porcentaje de la mayoría de las aptitudes evaluadas. Con motivo de verificar la estabilidad o consistencia de los resultados obtenidos utilizando las listas de capacidades y valores (Tablas I y II), se empleó el α de Cronbach, que indica el grado en que la aplicación repetida del instrumento, al mismo sujeto, produce iguales resultados y se interpreta de la siguiente manera: en cuanto más se acerque el índice al extremo 1, mejor es la fiabilidad, y en cuanto más se acerque a 0, la muestra se considera contaminada con errores. En este caso, α = 0,92, lo cual denota la homogeneidad en la evaluación de las capacidades por los sinodales.

En conclusión, al comparar los resultados de una evaluación externa (EGEL) con la del programa (PGS y EPAP), llama la atención la diferencia tan significativa entre el EGEL y las otras dos evaluaciones, lo que conduce a la necesidad de reevaluar los criterios con los cuales se emiten las calificaciones en las asignaturas del programa y, al mismo tiempo, replantear las estrategias y objetivos del EPAP de un modo imparcial, sin caer en los extremos y creer que las evaluaciones del CENEVAL son mejores.

La utilización de al menos dos instrumentos de evaluación permite establecer criterios más acordes con la realidad del dominio de los conocimientos y capacidades del licenciado. El aspecto cognitivo e informativo del EGEL y el saber hacer y el hacer promovidos por el EPAP configuran un complemento integral para la formación de los licenciados. No cabe duda de que el cambio del antiguo examen profesional al EPAP fue un acierto del Instituto de Ciencias Biomédicas, que, como todo, necesita cierta precisión.

 

Bibliografía

1. Centro Nacional de Evaluación de la Educación Superior (CENEVAL). Criterios y métodos de evaluación. México; 2010. URL: http://www.ceneval.edu.mx/ceneval-web/content.do?page=2241.         [ Links ]

2. González-Días C, Sánchez-Santos L. El diseño curricular por competencias en la educación médica. Escuela Nacional de Salud Pública. Ciudad de la Habana. Educación Médica Superior 2003. URL: http://scielo.sld.cu/scielo.php?pid=S0864-1412003000400004&script=sci_arttext#cargo.         [ Links ]

3. Boelen C. A new paradigm for medical schools a century after Flexner's report. International Consultant in Health Systems and Personnel (formerly Coordinator of Human Resources for Health, World Health Organization, Geneva, Switzerland). Ref. No. 02-0252 592. Bulletin of the World Health Organization 2002; 80: 7.         [ Links ]

4. Meagher FM, Butler MW, Stanley DW, Costello RW, Conroy RM, McElvaney NG. Predictive validity of measurements of clinical competence using the Team Objective Structured Bedside Assessment (TOSBA): assessing the clinical competence of final year medical students. Dublin: Department of Medicine, Royal College of Surgeons in Ireland, Beaumont Hospital; 2009.         [ Links ]

5. Díaz-Barriga A. El enfoque de competencias en la educación: ¿una alternativa o un disfraz del cambio? Perfiles Educativos (UNAM México) 2006; 28: 7-36.         [ Links ]

6. Tapia-Villanueva RM, Núñez-Tapia RM, Salas-Perea R, Rodríguez-Orozco AR. El examen clínico objetivo estructurado como herramienta para la evaluación de competencias clínicas del internado de pregrado. Educación Médica Superior 2008. URL: http://scielo.sld.cu/scielo.php?script=sci_issuetoc&pid=0864-214120080001&Ing=es&nrm=iso.         [ Links ]

7. Trejo-Mejía J, Estrada-Salgado D, Peña-Balderas J, Garnica-García J, Ángeles-Cruz R, Díaz-Reyes J, et al. Desafíos en la enseñanza de la medicina familiar en el pregrado: el caso de México. Medicina Familiar 2005; 7: 109-16.         [ Links ]

8. Eduard KR. Evaluación de la competencia clínica de las facultades de medicina de Cataluña. Med Clin (Barc) 2007; 129: 77-84.         [ Links ]

9. Montaño MG. Evaluación de competencias clínicas en semiología. Barranquilla: Salud Uninorte; 2007.         [ Links ]

10. Normatividad. Universidad Autónoma de Ciudad Juárez; 2011. URL: http://www.uacj.mx/rectoria/normatividad/Paginas/default.aspx.         [ Links ]

11. Plan de estudios. Universidad Autónoma de Ciudad Juárez; 2011. URL: http://www.uacj.mx/ICB/medicas/cirugiageneral/Paginas/PlandeEstudios.aspx.         [ Links ]

12. Asociación Mexicana de Facultades y Escuelas de Medicina. Perfil por competencias del médico general mexicano. México DF: Elsevier Masson Doyma; 2008.         [ Links ]

13. Ponce de León-Castañeda ME, Ortiz-Montalvo A, Bonilla-González I, Berlanga-Balderas FJ. Evaluación general de la competencia clínica a través del examen profesional. Medicina Familiar 2006; 8: 119-29.         [ Links ]

14. Edinger W, Robertson J, Skeel J, Schoonmaker J. Available patients to teach clinical ethics. Med Educ Online 1999; 4 (4). URL: http://www.Med-Ed-Online.org.         [ Links ]

15. Morrison J. ABC of learning and teaching in medicine evaluation. Clinical review. BMJ 2003; 15: 326.         [ Links ]

 

 

Dirección para correspondencia:
Profa. María Teresa G. Manjarrez González.
Instituto de Ciencias Biomédicas.
Universidad Autónoma de Ciudad Juárez.
Anillo PRONAF y Estocolmo, s/n.
CP 32310. Ciudad Juárez, Chihuahua, México.
E-mail: mmanjar@uacj.mx

Conflicto de intereses: No declarado.