Moderador: Josep Maria Fornells Vallés
Jueves 23 de octubre - 09.00 horas
Aula Pittaluga
Sistemas de evaluación de los residentes.
Rol del tutor en los mismos.
Juan D. Tutosaus.
REDECA
Los sistemas de evaluación se pueden clasificar básicamente en dos tipos: los certificativos o sumativos y los formativos o continuados. Ambos son pilares fundamentales sobre los que se debe asentar una docencia de calidad, dado que sin ellos no podemos saber el resultado de las actuaciones formativas ni por tanto modificarlas.
]]> La evaluación sumativa se hace al final del aprendizaje y su fin es acreditar requisitos de titulación o de capacitación profesional. Trata de medir el nivel de formación alcanzado y si alcanza el nivel considerado como óptimo, al final del período formativo, lo que se puede realizar con un examen final o con una prueba de evaluación de la competencia (ECOE). La evaluación formativa, continuada, se hace durante el proceso de aprendizaje y su fin es mejorar el mismo facilitando la adquisición de conocimientos y actitudes y mejorando estas.En España el sistema MIR viene regulado por la Orden Ministerial de 1995 en la que se contempla cómo se ha de evaluar a los residentes. La evaluación a la que hace referencia es prácticamente formativa, aunque con peculiaridades que la hacen incompleta; por otro lado, la orden casi no hace alusión al sistema de evaluación sumativa por el que se podría considerar a un residente como no apto. Todo esto ha sido uno de los temas principales de las reuniones de Comisiones de Docencia regionales celebradas este mismo año en Cádiz y Barcelona (mayo) y en la nacional de Madrid (18 de junio).
En Europa, la normativa está regulada desde 1986 por el llamado Advisory Commitee on Medical Training (ACMT); en su informe de 1996 explicitó que: "Es improbable que todas las habilidades y conocimientos requeridos para un especialista puedan ser calificados solamente mediante un examen (evaluación sumativa). es preferible que la valoración de la capacidad del residente se haga de manera continuada durante todo su periódo formativo (evaluación formativa)".
El ACMT recomienda para la formación de residentes un sistema evaluativo ecléctico que incluya entrevistas personalizadas tutor-residente (feed-back o similares) y documentos instrumentales orientadores, como el "Libro del Residente" (que permita, tanto al Residente como al Tutor, guiarse en los objetivos y etapas a cumplir), las fichas de rotación y anuales e incluso exámenes convencionales para detectar objetivos determinados (por ejemplo, los programas teóricos de las distintas especialidades).
El tutor se debe implicar en el proceso de la evaluación reflexionando permanentemente y sumergiéndose en una cultura profesional de la docencia en general y de su evaluación en particular, una cultura centrada en el residente y en la evaluación como elemento primordial de mejora de la calidad profesional prestada. Al ejercitar el tutor su papel, debería tener en cuenta que la ACMT recomienda que a su vez el mismo debe estar cualificado y con un determinado grado de formación como formador.
José Mª. Martín Moreno, hoy Director General de Salud Pública, presentó hace ahora unos diez años una ponencia sobre evaluación de la investigación en este mismo lugar; entonces el estaba en el Consejo Científico del FIS y en el de la Comisión Europea; en su ponencia mostró un chiste al respecto, muy celebrado, protagonizado por wikingos que arrojaban aceite hirviendo desde las almenas y matacanes de un castillo. Uno le preguntaba al otro acerca de porqué creía que estaban haciendo eso; el otro le respondía: ¡Porque en el fondo nos gusta! También aquí, este gusto por la evaluación docente en particular y por la docencia en general, es la principal motivación con la que deben contar nuestros tutores.
En la Orden Ministerial española referida se exponen buena parte de las funciones del tutor y de las funciones específicas respecto a la evaluación. Asimismo se regula la composición de los comités de evaluación. Por tanto, el papel del tutor en la evaluación se debe situar dentro de las funciones generales del mismo, como pueden ver en el cuadro 1.
Cuadro 1
FUNCIONES DE LOS TUTORES
1. Asegurar que el MIR cumpla sus objetivos.
]]> 2. Desarrollar y utilizar habilidades pedagógicas.3. Identificar dificultades y tratarlas.
4. Proponer los planes individuales de formación.
5. Supervisar la realización de los programas.
6. Fomentar la participación en actividades docentes e investigadoras.
7. EVALUAR A LOS MIR.
8. Elaborar la Memoria anual de su especialidad.
La función de evaluación de los tutores aquí expresada está íntimamente relacionada con el aseguramiento del cumplimiento de los objetivos del residente, ya que para ello hace falta evaluarlo. Volveremos sobre estos objetivos, ya que es preciso conocerlos adecuadamente para saber como medir si se han alcanzado. Igualmente ocurre con algunas de las demás funciones generales, como la supervisión (y monitorización, habría que añadir) de los programas docentes y la realización de las actividades docentes e investigadoras. Pero para continuar centrando el tema, nos vamos a referir a las funciones propias de la evaluación que nos menciona la norma y que pueden observar en el cuadro 2.
Cuadro 2
FUNCIONES DE LOS TUTORES SOBRE LA EVALUACIÓN
]]> 1. Conocer los criterios a aplicar.2. Realizar la evaluación, cumplimentando los correspondientes documentos.
3. Controlar que las actividades (A, D, I) del residente se anoten en su Libro correspondiente.
4. Supervisar mensualmente las anotaciones del Libro.
5. Participar en los Comités de Evaluación.
6. Notificar la calificación al residente y a la C.D.
7. Controlar las rotaciones externas.
8. Evaluar la participación, en cursos, congresos y demás reuniones, del residente.
9. Actuación especial en caso de evaluación negativa.
10. Evaluación final de la residencia.
]]> Aquí ya procede realizar un análisis pormenorizado de cada una de las mismas. La primera dificultad comienza con el conocimiento de estos criterios a aplicar, ya que en sí mismos no están definidos de una manera homogénea. Por tanto, cada tutor puede entenderlos de una u otra manera y aquí ya nos va a hacer falta comentar algunos de los criterios que debe tener una evaluación, recopilados en el cuadro 3:Cuadro 3
PRINCIPIOS SOBRE LA EVALUACIÓN
1. Ética 10. Metódica
2. Continuada 11. Modificadora
3. Participativa 12. Metaevaluada
4. Corroboradora 13. Colegiada
5. Atributiva 14. Creíble
6. Entendible 15. Procesal
7. Diversificada 16. Servicial
]]> 8. Catalizadora 17. Basada en el conocimiento9. Globalizadora de lo evaluado y de la enseñanza
No está nada claro que estos requisitos conceptuales se apliquen en la práctica docente diaria en nuestros hospitales y centros de salud. Deberíamos entrar a reflexionar sobre cada uno de estos aspectos pero lo obviaremos porque vamos a ajustarnos al espacio de tiempo disponible.
Aquí, en el desarrollo de la evaluación formativa es donde yo veo el rol principal del tutor en la evaluación, no limitándose (como ocurre en la realidad diaria) a ser un mero recopilador y calculador de medias aritméticas más o menos ponderadas, de las calificaciones que los compañeros a cargo del residente en sus diversas rotaciones, le han ido asignando. Debe desempeñar un papel más activo y para ello se debe valer de los distintos instrumentos que la metodología docente pone en sus manos.
En la metodología de la evaluación continuada el tutor tiene que tener muy presente la realización de entrevistas personalizadas plasmadas en informe final de excelencia (cuando proceda), la cumplimentación del libro de residentes o documento similar (admitido por los auditores oficiales de nuestro Ministerio el formato electrónico del mismo) y de las hojas de evaluación de rotación y final. El tutor debe supervisar la documentación de todas las actividades docentes (sesiones clínicas, clases, cursos), sobre todo las activas, la documentación de tipo bibliográfico sobre la actividad investigadora realizada (proyectos, comunicaciones, ponencias, tesis, publicaciones, etc.) y no debería pasar por alto la posibilidad más que recomendable de realizar exámenes parciales, como única manera de evaluar objetivamente aspectos de los programas teóricos de las especialidades.
En toda la actividad evaluadora es fundamental que se entienda que es bidireccional, debe informar al residente de los resultados y a su vez el debe estar informado sobre los aspectos que el residente considera mejorables en la unidad docente.
El tutor debe conocer, saber manejar y utilizar realmente los medios existentes de evaluación para poder llevarla a cabo, especialmente aquellos en los que su papel es de protagonista, es decir los medios que permiten realizar una adecuada evaluación formativa. Por ello debe conocer técnicas como el Feedback, el Self-audit, el Peer-review, el Rol-playing, la observación real, etc., que se explican en los cursos para tutores y de los que la normativa y los programas docentes de las distintas especialidades no dicen nada.
El cómo hacer todo esto implica reunirse continuamente con el residente y con los tutores de rotación o especialistas del servicio a cuyo cargo directo está el residente y todo esto implica estar permanentemente comunicándose. Este rol del tutor como comunicador, debe ser algo aprendido y entrenado. Buena parte de los cursos de metodología docente contienen al menos un 50% de temas acerca de teoría y practica de la comunicación. Hay que tener presente que el 85% de los motivos de las reclamaciones de los usuarios están relacionados muy directamente con déficit de comunicación.
Especial cuidado hay que tener en que el residente no entienda esta evaluación (que pretende detectar deficiencias para corregirlas) como una crítica negativa o aún peor, como una sanción. La evaluación sumativa, esa a la que en este país y en general en los países latinos nos tienen acostumbrados desde el parvulario, es algo diferente que además debería ser realizada por otros personajes docentes y no por el tutor, aunque éste pueda y deba participar en ella. En la misma proporción en que la evaluación formativa es practicada por la misma persona que la evaluación sumativa, el discente pierde confianza en su tutor.
Yo veo la evaluación sumativa centrada en una prueba tipo ECOE o similar (realizada por expertos externos) cuyos resultados deberían incorporarse como uno más dentro de un proceso (complementando la evaluación formativa) a los comités de evaluación, en los que el tutor es un participante más, aunque con información privilegiada que puede y debe usar para matizar.
]]> El papel del tutor en la evaluación formativa debería ser de protagonista principal, teniendo poco que ver con el papel de contable y certificador que en la evaluación realiza actualmente y casi en exclusiva. Pero debe ser consciente en todo momento de que al ejercitar su papel la ACMT recomienda que a su vez el mismo debe estar cualificado y con un determinado grado de formación como formador.Recientemente hemos realizado un estudio Delphi con un panel de expertos constituido por jefes de Unidades Docentes de elite, así como sus tutores, especialistas y residentes. En su conjunto hubo una clara mayoría de inclinarse por una evaluación mixta, formativa y sumativa final, con evaluadores externos esta última.
En este estudio y respecto a esta cuestión aparecieron, lógicamente, algunas diferencias según quien opinase.
En los programas de las Comisiones Nacionales de las Especialidades (CNE) deberían incluirse criterios, indicaciones y recomendaciones sobre el proceso evaluador de sus contenidos, en especial de los conocimientos teóricos y técnicos, de las habilidades prácticas y de las actitudes (dedicación, autocrítica, ética, etc.), que ayudaran al tutor en su papel evaluador. En el estudio referido, se considera que la evaluación no se sustenta lo suficiente en los Programas Docentes y que en general hay que modificar el sistema.
También debería explicitarse, como hacen algunos decanatos de medicina, que debe haber límites a las evaluaciones excelentes, como los hay a las matrículas de honor en el pregrado y como algunas especialidades (Medicina Familiar y Comunitaria) han establecido desde sus CNE. Y es que las actividades sociales tienen distribuciones típicas, con extremos de mínimas frecuencias y un centro con la mayor proporción, `por lo que sería coherente que en las evaluaciones de los residentes dichos extremos (el "no apto" y el "excelente") se justificaran debidamente (la ausencia de "no aptos" y el exceso de "excelentes"), aunque sepamos que la población de residentes es ya un colectivo muy seleccionado.
Resumiendo, es preciso que el tutor recupere en la evaluación de residentes el papel activo que siempre debió tener y que le reconoce la normativa vigente, pero que salvo escasísimas y honrosísimas excepciones, en la realidad no practica por falta de costumbre, de conocimientos en la materia y, sobre todo, de tiempo.
El tiempo que los docentes necesitan, para dedicarlo a su propia formación primero y para aplicar con los residentes las técnicas aprendidas, es el primer objetivo que deberíamos conseguir para disponer de una docencia profesionalizada. Y quede claro que este tiempo para la dedicación a la docencia no es ningún incentivo que algún directivo, más o menos simpatizante de la formación sanitaria, pueda graciablemente conceder. El tiempo laboral es una herramienta de trabajo imprescindible para realizar una labor de profesional. Lo contrario es un engaño.
]]>