Competencias médicas y su evaluación al egreso de la carrera de medicina en la Universidad Nacional de Cuyo (Argentina).
Medical competences and their assessment at the end of the undergraduate medical program at the National University of Cuyo (Argentina)
Ana María Reta de Rosas, María José López, María Montbrun, Alba Ortiz y Ana Lía Vargas
Facultad de Ciencias Médicas - Universidad Nacional de Cuyo, Mendoza, Argentina
Dirección para correspondencia:
]]>
RESUMEN
Los alumnos de la Carrera de Medicina, Facultad de Ciencias Médicas, Universidad Nacional de Cuyo, deben aprobar para su egreso, una Prueba Global de Ciclo Clínico. Con el objeto de analizar qué evaluar y qué instrumentos utilizar, se diseñó este trabajo tomando como marco teórico la Educación Basada en Competencias, en la que el curriculum debe ajustar el proceso de aprendizaje a los resultados esperados. Se entrevistó a médicos, pacientes, enfermeros, empleadores, docentes y alumnos (N=147).
Se definieron seis competencias médicas y 51 componentes en total. Con esta información se realizó una encuesta a docentes (N=50) y se evaluó la significatividad de las diferencias de las respuestas obtenidas. Esto permitió reestructurar y reducir a 27 los componentes de las competencias. Se realizó una última consulta con la técnica Delphi (N=40), con el objeto de elegir el instrumento para evaluar cada componente y el momento de la carrera para hacerlo.
De los veintisiete, veinticuatro deberían evaluarse durante el ciclo clínico, dieciséis al finalizar la carrera y tres en primer año. Los instrumentos más elegidos fueron: observación del desempeño con pacientes, evaluación continua con retroalimentación y exámenes orales y escritos.
A partir de estos resultados, se dispone de una definición de las competencias y sus componentes para el ejercicio profesional, una selección de los instrumentos y el momento de la carrera en que deben evaluarse, el aval de la comunidad educativa para ambos productos y una base para establecer un sistema de evaluación para todo el curriculum.
Palabras clave: Educación Médica/competencias médicas/evaluación/intrumentos de evaluación
ABSTRACT
In order to graduate, medical students at the National University of Cuyo have to pass a mandatory global clinical exam. This research project was designed to analyze what that exam should assess as well as the instruments to be used. The project employed the paradigm of Outcome-Based Education, which establishes that the curriculum must adjust the learning process and the assessment tools to the expected outcomes.
An interview, conducted with physicians, patients, nurses, employers, faculty members and students (n=147) defined six competences with a total of fifty-one components. The six competences were: Clinical skills; Medical knowledge; Communication skills; Personal and professional update and development; Ethical and legal aspects of the profession; and Social context and health system. A survey was drafted to select the essential components of the six competences. This survey was applied to fifty faculty members. The significance of the differences was studied. ]]>
As a result the competence components were reordered and reduced to twenty-seven. A second survey, based on the Delphi technique, was submitted to another group of faculty members (n=40), in order to select the most appropriate assessment instrument for each component and to determine the most adequate timetable for such assessments during the course of the medical program. Twenty-four of the twenty-seven components were to be evaluated during the clinical years (sixteen of them to be assessed after the internship, at the end of the medical program) and three were to be appraised during the first year. Observation of the students' performance with patients, continuous evaluation with feedback, and oral and written exams were the instruments deemed most appropriate by the faculty.
In conclusion, this project served to define the most appropriate competences and their components for a professional medical practice, as well as determining the assessment instruments and the timetable for their application. It also obtained faculty support and established the framework of a global system for student assessment across the curriculum.
Key words: Medical Education/medical competences/assessment/assessment tools.
Introducción
Las actuales demandas de la sociedad en la formación de sus profesionales intentan ser satisfechas por un nuevo paradigma: el de la Educación Basada en Competencias (Outcome Based Education). En este enfoque educativo, las decisiones sobre el curriculum, incluida la evaluación, se toman de acuerdo con los resultados que los estudiantes deben demostrar al final de la carrera1,2. En este sentido, existen también nuevas orientaciones para cambiar el enfoque de la actual evaluación para la acreditación de escuelas de medicina, proponiendo evaluar los resultados del aprendizaje, además de evaluar las fortalezas de la institución respecto de su estructura y capacitación de sus docentes3. Como ejemplo, el Acreditation Council of Graduate Medical Education de Norteamérica (ACGME) declara que su Outcome Project tiene dos metas fundamentales: 1) Que el contenido educacional de los programas de residencia se alinee con las cambiantes necesidades del sistema de salud, y 2) Que los programas de residencia tengan sistemas de evaluación que provean datos sobre su efectividad. En AGCME se han identificado seis competencias generales del médico, para guiar los procesos de evaluación y acreditación de posgrados en medicina y se desarrolló una encuesta para verificar si dichas competencias se ejercían en los distintos servicios de formación médica de posgrado4,5
Por otra parte, en el intento de definir las competencias profesionales del médico, las distintas instituciones se han encontrado con el interrogante de qué médico se desea formar. Tradicionalmente la educación médica se ha basado en el modelo de "diagnosticar y tratar", de investigar la causa de la enfermedad y curar al paciente, lo cual resulta útil -por ejemplo- en una cirugía de emergencia. Sin embargo, este modelo actualmente demuestra algunas consecuencias no deseadas, como la distorsión de la relación médico-paciente, la incapacidad para formar al profesional para la atención de enfermedades crónicas y discapacidades con toda la complejidad médica y social que ellas implican, la falta de atención a la promoción de la salud y la prevención de la enfermedad6. Por lo tanto, resulta necesario trasladarse al mundo real para encontrar una visión completa de los resultados deseables de la educación médica, de modo que los graduados contribuyan efectivamente al cuidado de la salud y satisfagan las expectativas de los pacientes y de la comunidad7,8. Varias instituciones del mundo ya han definido, para su propio uso, las competencias profesionales propuestas como resultados de la formación del médico que desean9,10,11,12,13. Se han publicado, incluso, modelos para la especificación de dichas competencias14.
La Facultad de Ciencias Médicas de la Universidad Nacional de Cuyo, en su nuevo curriculum iniciado en 1997, ha intentado resguardar la fe pública en las competencias profesionales de sus graduados, estableciendo una Prueba Global al finalizar el ciclo clínico, previa al egreso. En tal sentido, este trabajo de investigación intentó responder a la necesidad de una mejor definición de conocimientos, habilidades y actitudes a evaluar y de los instrumentos de evaluación a utilizar, al egreso de la carrera de medicina, en la Prueba Global de Ciclo Clínico. Para ello, se tomó como marco teórico el paradigma de la Educación Basada en Competencias. Se planificaron y desarrollaron dos etapas, cuyos objetivos fueron:
]]> • Determinar cuáles son las competencias clínicas que deben evaluarse en los estudiantes al momento de graduarse de la Carrera de Medicina (primera etapa).
• Identificar la metodología de evaluación más adecuada para esas competencias (segunda etapa).
Material y Métodos
Primera etapa (2003)
Para relevar aquellos comportamientos del profesional médico, que la población involucrada consideraba necesarios para el desempeño de la profesión, se realizaron 147 entrevistas a médicos, pacientes, enfermeros, empleadores de médicos, docentes y alumnos de la carrera de medicina. Las opiniones vertidas se agruparon en categorías. Por otra parte, se revisó la bibliografía nacional e internacional con las competencias profesionales establecidas por otras escuelas médicas en el mundo.
Con los aportes de la bibliografía y de las opiniones categorizadas obtenidas en las entrevistas, se identificaron y definieron seis competencias fundamentales para el profesional médico:
• Habilidades clínicas: Cuidar la salud del paciente de una forma adecuada, efectiva y eficiente, en el ámbito de la medicina general.
• Conocimiento médico: Poseer conocimiento biomédico, clínico y humanístico y aplicarlos al cuidado del paciente.
]]> • Habilidades de comunicación: Poseer habilidades de comunicación e interpersonales, que resulten en un intercambio efectivo de información y trabajo en equipo con los pacientes, sus familias y otros profesionales.• Actualización y desarrollo profesional y personal: Evaluar su práctica médica para mejorarla, valorando y asimilando la nueva evidencia científica, atendiendo a su desarrollo profesional y personal.
• Aspectos éticos y legales de la profesión: Comprometerse a llevar adelante las responsabilidades profesionales de acuerdo con la ley, adhiriendo a los principios éticos y teniendo en cuenta las diferencias individuales entre los pacientes.
• Sistema de salud y contexto social: Tener en cuenta el contexto social y el sistema de salud en su conjunto, desarrollando la capacidad de utilizar los recursos disponibles para brindar la mejor atención posible.
A partir de las mismas fuentes de información, se establecieron los componentes de cada competencia, 51 en total. Con esa lista se elaboró una encuesta, en que cada componente debía calificarse de "esencial", "importante pero no esencial" o "no importante", incluyendo además la opción "no contesta". La encuesta se validó con cinco docentes clínicos y luego se puso a consideración de 50 docentes de ciclo básico y clínico, a través del correo electrónico. Las respuestas obtenidas se estudiaron descriptivamente y luego se trataron con un análisis ANOVA I no paramétrico, para estudiar las diferencias entre los componentes para cada una de las competencias. El test utilizado fue el de Kruskal-Wallis y como post test, la prueba de Comparación Múltiple de Dunn. Los resultados de este análisis permitieron seleccionar del total sólo los componentes que habían sido calificados como "esenciales" o "importantes pero no esenciales" por el 80 % o más de los encuestados.
Segunda etapa (2004)
Definidas las competencias y sus componentes, se procedió a trabajar sobre las estrategias de evaluación que serían capaces de controlar la existencia de dichas competencias. Se revisó la bibliografía nacional e internacional sobre instrumentos de evaluación actualmente utilizados en Educación Médica15–21. Se contó, además, con la experiencia sobre evaluación, acumulada por los docentes previamente y a partir de 1997, año desde el que rige el nuevo curriculum de la carrera de medicina.
Se decidió una nueva consulta a docentes, esta vez del ciclo clínico de la carrera, a través de la técnica Delphi, tal como se utilizara en la Escuela de Medicina de la Brown University22. Para realizar esta consulta, se reestructuró el listado de las competencias, cada una con sus componentes, agrupando aquéllos que mostraban superposiciones y definiéndolos más clara y simplemente, para ayudar a una mejor comprensión. Las seis competencias quedaron conformadas por 27 componentes, en total.
La técnica Delphi se realizó en dos rondas consultando a 40 docentes del área clínica. En la primera ronda Delphi, se pidió a los profesores que consignaran en qué año de la carrera y con qué instrumento consideraban adecuado evaluar cada componente de cada competencia. Se elaboró un cuadro resumen con las respuestas obtenidas, otorgando un nombre a las estrategias de evaluación a utilizar, y se procedió a una segunda ronda de consulta a los mismos docentes, quienes podían confirmar sus respuestas de la primera ronda o rectificarlas en función de la reflexión sobre las respuestas obtenidas de todos los encuestados en esa primera ronda.
Los resultados obtenidos fueron objeto de un estudio descriptivo.
]]>Resultados y discusión
Primera etapa (2003)
En primer término, se estudiaron las diferencias entre las calificaciones recibidas por los componentes dentro de cada competencia y se encontró que, al interior de cada competencia, había diferencias significativas entre sus componentes, excepto en "Conocimiento médico". Indudablemente los componentes de esta competencia no fueron bien trabajados en la encuesta y hubieran requerido de más especificación, para obtener respuestas con diferencias significativas. En adelante es probable que haya necesidad de especificar los contenidos del conocimiento médico requerido al egreso.
Por otra parte, después de analizar las diferencias entre las cuatro categorías de la encuesta, se encontró que no hay diferencias significativas entre las categorías "esencial" e "importante pero no esencial". De aquí que puedan seleccionarse los componentes calificados en ambas categorías para integrar cada competencia. Tampoco hay diferencias significativas entre los grupos "no importante" y "no contesta", aunque sí las hay con los primeros dos grupos. Por ello, pueden excluirse de las competencias los componentes calificados en estas dos categorías. Dados estos resultados, se agruparon las respuestas a la encuesta en dos categorías: "esencial"/"importante pero no esencial" y "no importante/no contesta".
Se decidió incluir en cada competencia aquellos componentes en que las respuestas sumadas, que los califican como "esenciales" o "importantes pero no esenciales", son 80 % o más, por lo cual se eliminó el componente n° 25 y quedaron 50 componentes en total.
Segunda etapa (2004)
Tal como se describiera anteriormente, se analizaron superposiciones, se depuraron y reestructuraron los componentes, para confeccionar los protocolos de la técnica Delphi. Quedaron 27 componentes en total.
Después de las dos rondas de la técnica Delphi se identificaron los momentos y las estrategias generales de evaluación de los componentes de las competencias, tal como aparecen descritos estadísticamente, en las Tablas 1 y 2.
A partir de los resultados consignados en la Tabla 1, se puede observar que más de la mitad (16 componentes) deben evaluarse -en opinión de los encuestados- al finalizar la carrera, en 6° año. Se supone que las opiniones acerca de evaluar los dos primeros componentes de las Habilidades Clínicas en 4° año y los dos segundos, en 5°, han sido influenciadas por la distribución de contenidos del curriculum, aunque esos cuatro componentes se siguen desarrollando durante el resto de la carrera.
Además, llama la atención el hecho de que, a pesar de que 24 de los 27 componentes se eligen para ser evaluados desde 4° año en adelante, hay tres componentes que la mayoría de los docentes considera que deben evaluarse en primer año: 17, 19 y 23. De estos tres, el primero se relaciona con la utilización de tecnologías de la información y los otros dos con comportamientos del dominio emocional. Para la mayoría del claustro docente, en primer año y antes de continuar con la carrera, los estudiantes deben demostrar el dominio de estos componentes, que hacen a dos competencias fundamentales. Sin embargo, muchos opinan que estos aspectos afectivos deben evaluarse "todos los años".
Respecto del modo como debe verificarse la existencia de las competencias médicas, la gran mayoría de los docentes coincide en elegir, como estrategia general de evaluación, la observación del desempeño o del producto del desempeño del alumno, como se observa en la Tabla 2. Las Habilidades Clínicas y el Conocimiento Médico deben ser evaluados -según la mayoría de los encuestados- a través de "la observación del desempeño del alumno con pacientes", aunque porcentajes importantes consideran que el conocimiento médico puede evaluarse en exámenes orales o escritos. También un buen porcentaje elige, como estrategia, la observación del desempeño con pacientes para las Habilidades de Comunicación, la Actualización y Desarrollo Profesional y Personal y los Aspectos Éticos y Legales de la Profesión; sin embargo, la opción más elegida como estrategia de evaluación de estas tres competencias, es la "evaluación continua con retroalimentación". La última competencia, Sistema de Salud y Contexto Social, también mantiene la estrategia de observación del desempeño con pacientes e incluye "la resolución de casos problema", pero la mayoría de los docentes eligen "la realización de trabajos o proyectos específicos".
Las opiniones vertidas por los docentes de la Facultad, coinciden con la bibliografía internacional, que reporta la experiencia de muchas escuelas médicas del mundo, y con las del equipo de trabajo. En efecto, se considera que el mejor modo de evaluar la mayoría de los componentes de las competencias médicas finales es a través del desempeño con pacientes, aunque la viabilidad, validez y confiabilidad de una evaluación final de carrera requiere de situaciones de examen objetivas y estructuradas, que registren el desempeño del alumno en listas de cotejo propias de cada situación. De ahí que este grupo de trabajo eligiera un examen ampliamente difundido en el área de la educación médica: el OSCE (sigla inglesa del Examen Clínico Objetivo Estructurado), que utiliza paciente estandarizados en situaciones de examen absolutamente programadas y controladas.
Por otra parte, se reconoce como muy valiosa -como instrumento de evaluación- la opción "evaluación continua con retroalimentación", elegida por un muy alto porcentaje de docentes. Sin embargo, este equipo de trabajo la consideró como una estrategia de evaluación formativa para ser utilizada durante la carrera, pero no adecuada para una evaluación sumativa final, cual es la Prueba Global de Ciclo Clínico. De todos modos no hay dudas de que este instrumento debe ser utilizado dentro del sistema de evaluación de toda la carrera, pues hay componentes -como los relacionados con aspectos éticos- cuya existencia no puede verificarse en situaciones de evaluación sumativa y debe hacerse a través de la observación diaria de la conducta del alumno 23.
Uno de los resultados más interesantes de este trabajo ha sido el descubrir que, a partir de la definición de las competencias y sus componentes, los docentes han reflexionado acerca de la necesidad de utilizar estrategias de evaluación que rara vez utilizan durante la carrera, como es la "evaluación continua con retroalimentación" y la "observación del desempeño con pacientes".
Conclusiones
]]> Dada la información obtenida, no hay dudas de que el marco teórico elegido -Educación Basada en Competencias- ha sido el adecuado para reconocer los resultados a evaluar al egreso de la carrera de medicina.La identificación de las competencias médicas para nuestra comunidad educativa ha permitido concluir que las demandas hacia el médico, desde los distintos sectores relacionados con la salud son muy similares a las competencias profesionales definidas para otros países del mundo, sean los centrales o los periféricos.
Si bien el trabajo se proponía identificar competencias médicas con la finalidad de que permitieran mejorar el diseño de las pruebas globales de fin de carrera, el producto obtenido ha excedido esa expectativa inicial. El establecimiento de las competencias y sus respectivos componentes ha ampliado considerablemente la gama de aspectos a tener en cuenta y ha configurado una visión más integral del perfil del futuro médico. Esta diversidad y amplitud de aspectos ha llevado, a su vez, a reparar en la necesidad de considerar distintas facetas del desempeño en cada evaluación, así como en la necesidad de complementar diferentes instrumentos de evaluación para poder dar cuenta, adecuadamente, de la complejidad del resultado.
En conjunto, los resultados obtenidos indican la necesidad de desarrollar, además de la Prueba Global de Ciclo Clínico, un sistema de evaluación que recorra toda la carrera y que vaya más allá de la yuxtaposición de instrumentos diferentes. Se trata de atender a una evaluación secuencial de cada competencia, a la utilización de pruebas que permitan hacer valoraciones transversales entre competencias, así como a la integración de instrumentos que puedan cubrir todos los aspectos del perfil deseado.
Bibliografía
1. Harden RM, Crosby J.R, Davis M.H. An introduction to outcome-based education. Medical Teacher 1999; 21(2):125-126. [ Links ]
2. Carraccio C, Wolfsthal S, Englander R, Ferentz K, Martin C. Shifting Paradigms: From Flexner to Competencies, Academic Medicine. 2002; 77: 361-367. [ Links ]
3. Stone S, Qualters D. Course-based Assessment: Implementing Outcome Assessment in Medical Education. Academic Medicine 1998; 73: 397-401. [ Links ]
4. Volkan K. Survey on professional competencies. http://www.kevinvolkancom/profcompsurvey5.htm, 21/07/03, pp.1-10. [ Links ]
5. ACGME Outcome project. http://www.acgme.org/outcome/project/glossary2.asp, 21/07/03, pp.1-3. [ Links ]
6. Callahan D. Medical education and the goals of medicine. Medical Teacher 1998 20 (2): 85-86. [ Links ]
7. Jones R, Higgs R, Angelis C, Prideaux D. Changing face of medical curricula. The Lancet. 2001; 357 : 699-703. [ Links ]
8. Hamilton JD. Outcomes in medical education must be wide, long and deep. Medical Teacher 1999; 21(2): 125-126. [ Links ]
9. Bloch R, Bürgi H. A Swiss Catalogue of Learning Objectives. Medical Teacher.2002; 24(2): 144-150. [ Links ]
10. Palés J, Cardellach F, Estrach MT, Gomar C, Gual A, Pons F, Bombi JA. Defining the learning outcomes of graduates from the medical school at the University of Barcelona (Catalonia, Spain). 2004; Medical Teacher 26(3):239-243. [ Links ]
11. Schwarz MR, Wojtczak, A. Global minimun essential requirements: a road towards competence-oriented medical education. Medical Teacher. 2002; 24(2): 125-129. [ Links ]
12. The Scottish Deans' Medical Curriculum Group. The Scottish doctor-learning outcomes for the medical undergraduate in Sotland: a foundation for competent and reflective practitioners. Medical Teacher. 2002; 24(2): 136-143. [ Links ]
13. Core Committee, Institute for International Medical Education. Medical Teacher. 2002; 24(2): 130-135 [ Links ]
14. Harden RM, Crosby JR, Davis MH, Friedman, M. From competency to meta-competency: a model for the specification of learning outcomes. 1999; AMEE Education Guide N° 14: 37-45. [ Links ]
15. Harden RM, Gleeson FA. Assessment of Medical Competence using an Objective Structured Clinical Examination (OSCE). Edinburgh, ASME Medical Education. 1979; Booklet Nº 8. [ Links ]
16. Cusimano M.D. Standard setting in Medical Education. Academic Medicine. 1996; 71(10 supplement):S112-S120. [ Links ]
17. Gronlund, N.E. Assessment of student achievement. Boston, Allyn and Bacon. 1998 [ Links ]
18. Ladyshewsky R. Simulated patients and assessment. The literature on simulated patients suggests that they are a valid and reliable tool that can be used with confidence for the evaluation of clinical competence. Medical Teacher. 1999; 21(3):266-269 [ Links ]
19. Friedman Ben-David, M. Assessment in outcome-based education. Medical Teacher.1999; 21(1):23-25. [ Links ]
20. Friedman Ben-David,M. Standard setting in student assessment. Guide No 18. Medical Teacher.2000; 22(2):120-130. [ Links ]
21. Troncon LEA, Dantas RO, Figueiredo JFC, Ferriolli E, Moriguti JC, Martinelli ALC, Voltarelli, JC. A standardized, structured long-case examination of clinical competence of senior medical students. Medical Teacher. 2000; 22(4):380-385. [ Links ]
22. Smith SR, Dollase R. Planning, implementing and evaluating a competency-based curriculum, Medical Teacher.1999; 21(1): 15-22. [ Links ]
23. Lynch DC, Surdyck PM, Eiser AR. Assesing professionalism: a review of the literature. Medical Teacher. 2004; 26(4): 366-374. [ Links ]
]]>
Dirección para correspondencia