MESA 4. APRENDIZAJE DE LAS COMPETENCIAS

 

Objetivo cumplido: la evaluación de competencias en la Facultad de Medicina de la Universidad Complutense de Madrid

Goal achieved: the evaluation of abalities at the Universidad Complutense de Madrid´s Faculty of Medicine

 

 

J.J. García-Seoane

Facultad de Medicina. Universidad Complutense de Madrid. Madrid, España. E-mail: jgarseo@med.ucm.es

 

 

Introducción

La evaluación es uno de los pilares esenciales del proceso educativo. La primera pregunta que surge es identificar cuál es el objetivo de la propia evaluación. Dentro de la espiral educativa, la evaluación cumple una doble función esencial: motivación y retroalimentación. Sirve como elemento de motivación esencial para los alumnos y, en el caso de evaluaciones sancionadoras, es capaz de orientar y sesgar el proceso de aprendizaje con mayor fuerza que ningún otro proceso docente. Como elemento de retroalimentación, permite a profesores y alumnos identificar las áreas de mejora y es el elemento clave para plantear una reforma curricular que atienda a las verdaderas necesidades de aprendizaje de los alumnos más que a la necesidad de enseñanza de los profesores.

La validez constituye el primer objetivo a cumplir en el diseño de una prueba de evaluación y expresa que debemos medir lo que pretendemos medir. Este punto nos conduce a la dificultad inherente a pretender medir la competencia al final de una etapa del proceso educativo. Habría que definir los niveles de competencia y las herramientas de que disponemos para realizar la evaluación. Aunque la validez real de la mayoría de las evaluaciones es casi imposible de establecer, hay una validez formal que corresponde a ajustarse, en cuanto a los niveles, a lo que parece apropiado a un grupo de expertos, y en cuanto a las herramientas, a la utilización de una variedad suficiente de herramientas que nos permitan la medida menos sesgada posible. Si seguimos los niveles de complejidad en la formación de la ‘pirámide de Miller’, ampliamente aceptada, nos encontramos que en la base están los conocimientos que se necesitan para el correcto ejercicio profesional, y en el vértice, la capacidad de actuar con esos conocimientos. ‘Conocer’ y ‘saber cómo’ entrarían en el campo cognitivo, y los métodos de evaluación clásicamente empleados –preguntas de elección múltiple, preguntas orales, pruebas escritas con preguntas cortas o de desarrollo, casos clínicos abiertos– pueden proporcionar una información adecuada. En el nivel más alto, ‘hacer’, se encuentra el ejercicio profesional, más difícil de evaluar porque entran en consideración aspectos más complejos. En este nivel, la auditoría de historias clínicas, la revisión de decisiones clínicas, las observaciones por otros profesionales y la satisfacción de los enfermos podrían constituir herramientas útiles de medida, pero no corresponden a un nivel exigible. En nuestro caso, al alumno que va a acceder al ejercicio profesional pero aún no es médico, el nivel apropiado correspondería a ‘mostrar cómo’, y para evaluarlo tenemos que buscar métodos que simulen la práctica clínica real, en condiciones de ser reproducibles y que permitan analizar las competencias específicas que se pretendan evaluar.

La forma de combinar todos los instrumentos de evaluación más difundida actualmente es la prueba conocida como ‘evaluación clínica objetiva y estructurada’ (ECOE). Utiliza en un mismo examen una serie de estaciones con pacientes estandarizados, simulación con maniquíes, realización de informes clínicos, integración de pruebas radiológicas, analíticas y preguntas cortas, integradas en un circuito que es recorrido por los alumnos, a los cuales posteriormente se les aplica un test de conocimientos. Este tipo de evaluación tiene una validez formal reconocida con el fin de dar una adecuada información acerca de la capacidad del examinando para demostrar cómo ‘conoce’, ‘sabe cómo hacerlo’ y ‘demuestra cómo lo hace’.

 

Experiencia en la Universidad Complutense de Madrid (UCM)

La experiencia de la UCM puede ser útil para otras universidades que quieran incorporarse a la práctica de ECOE en la evaluación final de competencia a realizar a los alumnos de los nuevos planes de estudio. En la Facultad de Medicina de la UCM hemos realizado tres exámenes ECOE a alumnos de 6.º curso en mayo de 2006, de 2007 y de 2008. El año 2006, la prueba se diseñó en colaboración con el Institut d’Estudis de la Salut (IES) de la Generalitat de Cataluña y se realizó el mismo examen a los estudiantes de último año de la Facultad de Medicina de la UCM y a las unidades docentes de las universidades de Cataluña; en el año 2007 hemos introducido pequeñas variaciones, y aunque el diseño y la preparación fue completamente autónomo, seguimos manteniendo un alto grado de la prueba en común y un apoyo logístico por parte del IES. En el año 2008 hemos continuado con la colaboración en el desarrollo de los casos, pero todo el desarrollo y preparación de la ECOE se ha realizado de forma autónoma en la UCM. La prueba ECOE desarrollada ha consistido en una fase multiestaciones con 20 estaciones clínicas, seguida otro día de un examen con 150 preguntas de elección múltiple, las 20 primeras con imágenes clínicas.

Para ello se ha creado un grupo de trabajo dentro de la facultad con la participación de distintos departamentos y profesores de los tres hospitales de la facultad (Hospital Clínico San Carlos, Hospital Universitario Gregorio Marañón y Hospital Universitario 12 de Octubre), capaz de asumir un examen de competencias que, aunque inicialmente ha tenido el carácter de voluntario, en el nuevo plan de estudios podrá servir como prueba final de conjunto. El examen ECOE en nuestra facultad se ha planteado estos tres años como una prueba voluntaria dirigida a los alumnos de los tres hospitales.

Los elementos de motivación a los profesores han sido su propia formación en metodología educativa y la participación en los proyectos de innovación docente de la facultad. Al tratarse de una evaluación formativa no obligatoria, para motivar la participación de los alumnos se ofreció la posibilidad de acudir durante el curso a un aula de habilidades donde pudieron realizar prácticas con pacientes estandarizados y maniquíes, con la presencia de monitores y la certificación de la participación de forma oficial por parte del decano de nuestra facultad.

El Comité de Prueba es un elemento básico en el diseño, organización y ejecución de una prueba ECOE. En nuestro caso, el comité está formado por los tres vicedecanos de los hospitales de la universidad, el vicedecano de Ordenación Académica y un total de diez profesores de la facultad de distintos departamentos y de los tres hospitales, además de una persona en la secretaría técnica. Los trabajos del comité ECOE se han desarrollado con reuniones mensuales desde el comienzo de cada curso. Las tareas a realizar por el comité para el diseño de la prueba se reflejan en la tabla I.

Competencias a evaluar: tabla de especificaciones

La elección del instrumento que vamos a utilizar para evaluar es clave para la validez del resultado. En un examen de competencias, para evaluar cada una de ellas tenemos que utilizar una herramienta concreta. Por tanto, el primer paso es conocer qué competencias queremos evaluar, qué ponderación queremos de cada una y cómo damos forma para estructurar el examen. En nuestro caso partimos del modelo utilizado en Cataluña para la ECOE de pregrado y que consiste en 20 estaciones clínicas de 10 minutos de duración cada una, con la distribución de casos que figura en la tabla II. Hemos utilizando ocho pacientes estandarizados, en cuatro de ellos había que realizar un informe clínico, tenemos en cuatro estaciones imágenes clínicas y preguntas de respuesta corta, utilizamos siete estaciones con maniquíes y simultáneamente un examen estructurado. A esta fase multiestaciones sigue una prueba con 150 preguntas de elección múltiple. Establecidas las competencias a evaluar es necesario ponderar cada una de ellas en relación con el examen total, localizando en qué actividad dentro del examen vamos a valorarla mejor (pacientes estandarizados, habilidades con maniquí, examen oral estructurado, preguntas de respuesta corta o prueba de elección múltiple). Todo ello configura la tabla de especificaciones que utilizamos en el año 2006 (Tabla III) y que posteriormente hemos ido perfilando año a año con ligeras modificaciones.

Selección y confección de casos clínicos

Uno de los aspectos más importantes del comité ECOE es el diseño, preparación, discusión y finalmente aceptación de los casos clínicos a utilizar. Para la realización de la ECOE 2006 contamos con casos clínicos cedidos por el IES de la Generalitat de Cataluña que fueron analizados por nuestro comité con el objetivo de adquirir la metodología necesaria para, posteriormente, abordar la confección de nuestro propio banco de pacientes estandarizados. Es necesaria la confección de una historia personal con los datos que llevan al paciente a la consulta de atención primaria o urgencias, analizando los datos relevantes negativos o positivos que configuran el cuadro clínico, y luego llevarlos a un listado que sirva al paciente estandarizado para reconocer las preguntas realizadas por el estudiante o la corrección de las maniobras de exploración física. Igualmente, las estaciones con maniquíes y con habilidades se analizan y se protocolizan para que el observador que las evalúa en todo momento actúe de forma estandarizada. Para probar la utilidad de los nuevos casos confeccionados, antes de incluirlos en el ECOE, fueron probados en el aula de habilidades con el objetivo de efectuar las correcciones a los posibles defectos que pudiéramos observar.

Selección y entrenamiento de pacientes y observadores

La utilización de pacientes estandarizados en las pruebas de evaluación de las competencias tiene ventajas en la evaluación tanto sumativa como formativa. Están disponibles en los momentos del examen y, una vez entrenados, son capaces de reproducir la situación clínica de una forma objetiva, ofreciendo siempre la misma información. Resulta muy importante resaltar la diferencia entre simulación y estandarización. Todos los casos requieren la escenificación de una historia, pero la esencia fundamental para la fiabilidad de la evaluación se centra en la estandarización de las respuestas y toda originalidad de la representación teatral resta fiabilidad. La selección de los pacientes se realizó en función de las características del caso. Tras una primera selección, el candidato siguió un entrenamiento de 8-10 horas con un monitor con el cual analizaba los aspectos de la historia personal y el cuadro clínico, y aprendía a reconocer los ítems de la anamnesis y exploración física del listado evaluativo. Hay que tener en cuenta que, en nuestro caso, el paciente estandarizado realiza simultáneamente la labor de rellenar el listado evaluativo desarrollado por el comité de prueba, de tal forma que es necesario formarlo en estos aspectos, pues una vez dentro de la estación es completamente autónomo. Tras lograr su formación, el entrenamiento concluye con la simulación de la estación con un médico residente del hospital, que desconoce que se trata de un paciente estandarizado. Los nuevos casos que aportamos y que no iban a introducirse en la ECOE ese año se probaban, como se ha indicado, en el aula de habilidades.

Los observadores de las estaciones de habilidades y donde hay preguntas de respuesta corta, también necesitan conocer los listados evaluativos y las respuestas, al objeto de dar a la estación la homogenización necesaria para que la evaluación de todos los alumnos sea similar. Esta labor también la llevó a cabo el comité ECOE.

Organización y desarrollo: logística de la prueba

La ejecución de la ECOE pone a prueba la capacidad de llevar a cabo de forma ordenada y simultánea el trabajo de meses anteriores. Las tres pruebas ECOE (de 2006 a 2008) se han desarrollado en las consultas externas del Hospital Clínico San Carlos. Se contó con la colaboración de la Gerencia, la Dirección de Enfermería y el Servicio de Asuntos Generales del Hospital Clínico para la adecuación del espacio y preparación de las consultas. Con semanas de antelación hay un trabajo imprescindible como es la preparación del material necesario para cada estación, la confección de los cuadernos de los participantes en función del lugar de inicio de su prueba, la identificación de las estaciones en cada consulta y la rotulación de las situaciones de partida de cada estación, trabajos que son de extrema importancia, para lo cual existe un protocolo detallado. Con el fin de no interferir con el normal desarrollo de la actividad asistencial, las pruebas se han desarrollado los viernes por la tarde y el sábado y domingo todo el día.

A los alumnos se les proporcionó previamente, y también el día de la prueba, información relativa a todos los aspectos de organización, material necesario, cuaderno del participante y duración y descansos. La duración total de la prueba por jornada fue de 4 horas y 45 minutos, que incluye un descanso de 25 minutos. En el momento de la ejecución tiene máxima importancia la logística. Además de los responsables del comité ECOE en ese momento, las personas encargadas de la logística (3-4 por rueda) son responsables del cumplimiento del horario y del desarrollo global de la prueba, la recogida de los cuestionarios y los cuadernos de los participantes y su custodia.

Las tres ECOE desarrolladas en nuestra facultad han tenido carácter voluntario. En el año 2006 se examinaron 100 alumnos de 6.º curso de los tres hospitales universitarios de la UCM, para lo cual utilizamos una única rueda en cinco jornadas (20 alumnos por jornada). La participación de los alumnos en 2007 fue de 160 alumnos, lo que obligó a duplicar las ruedas, examinando simultáneamente a 40 alumnos. La participación de los alumnos en 2008 ha sido de 230 alumnos, lo que ha obligado a realizar tres ruedas simultáneas, examinando a 60 alumnos en cada turno. Para ello ha sido necesario duplicar y, posteriormente, triplicar los pacientes estandarizados y observadores a los cuales hay que formar y entrenar, además de encontrar el espacio físico y los logísticos. Desde el punto de vista organizativo ha sido posible y se ha llevado a cabo sin distorsiones gracias a la magnífica colaboración del hospital y al soporte económico proporcionado por la Cátedra de Educación Médica Fundación Lilly-UCM.

 

Resultados y retroalimentación

En los tres años celebrados se realizó una encuesta sobre la opinión de los alumnos y el grado de satisfacción de haber realizado el examen, con resultados excelentes, tanto en los aspectos de la organización como en los de la propia evaluación.

El análisis de los resultados y la identificación de elementos de mejora ha permitido emprender un camino a la Facultad de Medicina de la UCM para realizar cambios sustanciales en la enseñanza de la medicina. En primer lugar, la definición del mapa de competencias, paso necesario para estructurar los diferentes programas docentes y conformar un nuevo plan de estudios. En segundo lugar, aunque la enseñanza teórica en nuestra facultad es de gran calidad, existe un gran margen de mejora en lo que se refiere a la enseñanza de competencias clínicas y habilidades (dónde se adquieren, cuándo, con qué metodología..). Este segundo escalón nos ha impulsado a introducir aspectos de metodología en la docencia como son las aulas de habilidades en cursos preclínicos y, en las primeras fases de los cursos clínicos, pacientes estandarizados, programas de resolución de problemas por ordenador y, sobre todo, la adecuación de las prácticas clínicas para permitir que el alumno se incorpore cuanto antes a la realidad de la asistencia, con un horario ininterrumpido y durante el mayor tiempo posible, para que ello le permita asumir tuteladamente determinadas responsabilidades y considerarse parte del servicio clínico.

En cualquier caso, tanto en los nuevos planes de estudio como en un previsible cambio en el examen MIR, es importante estar preparados para afrontar una prueba de este tipo, que no cabe duda de que requiere un esfuerzo económico y de preparación.

 

Bibliografía

1. Epstein RM. Assessment in medical education. N Engl J Med 2007; 356: 387-96.        [ Links ]

2. Martínez-Carretero JM. Los métodos de evaluación de la competencia profesional: la evaluación clínica objetiva y estructurada (ECOE). Educ Med 2005; 8: 18-22.        [ Links ]

3. Norcini JJ. The Mini Clinical Evaluation Exercise (mini-CEX). Clin Teach 2005; 2: 25-30.        [ Links ]

4. Shumway JM, Harden RM, Association for Medical Education in Europe. AMEE Guide n.º 25: the assessment of learning outcomes for the competent and reflective physician. Med Teach 2003; 25: 569-84.        [ Links ]