ORIGINAL

---

Experiencia en la evaluación de tutores de especialistas en formación

Experience in the evaluation of speciality training tutors

Eugenio Berlanga, Manuel Monteagudo, Valentí Pineda, Joaquim Vidiella, Gabriel Giménez-Pérez, Antoni Artigas.

Corporació Sanitària Parc Taulí. Institut Universitari Parc Taulí-UAB

 

Introducción: Exponemos nuestra experiencia en la evaluación de tutores ligada a una pauta para incentivar la acción tutorial en el programa de formación de especialistas MIR y FIR. Material y Métodos: Se han diseñado dos cuestionarios de evaluación, uno para el jefe de la unidad docente y otro para la comisión de docencia, la suma de los resultados obtenidos en cada uno de ellos sirve para calcular el porcentaje global de objetivos alcanzado. Los cuestionarios se han aplicado a 38 tutores, anualmente, en los años 2000, 2001 y 2002. Se han utilizado las pruebas de Wilcoxon y de Spearman, aplicando la corrección de Bonferroni, para valorar las diferencias interanuales y la correlación intraanual de los resultados. Resultados: Los tutores han obtenido un porcentaje medio de objetivos del 92,6% en 2000, del 89,1% en 2001 y del 89,9% en 2002. El cuestionario evaluado por la comisión de docencia no muestra diferencias interanuales, mientras que el valorado por los jefes de unidad muestra diferencias entre los años 2000 y 2002 (P<0,01). Las evaluaciones de los jefes de unidad y de la comisión de docencia no mostraron correlación significativa. Discusión: La evaluación, dentro del sistema de formación MIR, es uno de los campos en los que se debe seguir avanzando. Evaluar y reconocer la labor tutorial puede ser un mecanismo de gran utilidad para mejorar el sistema de formación especializada. De acuerdo con la metodología utilizada, los resultados de nuestro estudio muestran que los tutores cumplen sus funciones adecuadamente. La herramienta evaluadora que se ha utilizado posee suficiente estabilidad en los resultados y poder de discriminación, durante el periodo estudiado. Palabras clave: Evaluación tutores, proceso formativo, educación médica.

Introduction: We describe our experience in the evaluation of tutors associated to an incentivation scheme of the specific tutorial action in the teaching programme of medical and pharmacist specialists (MIR/FIR). Material and methods: We have designed two questionnaires, one for the evaluation by the director of the teaching programme of each medical speciality and another for the evaluation by the hospital teaching committee. We applied both questionnaires to 38 tutors yearly in 2000, 2001 and 2002. For statistical analysis we used the tests of Wilcoxon and Spearman with the Bonferrroni’s correction. Results: The tutors achieved 92.6% of their objectives in 2000, 89.1% in 2001 and 89.9% in 2002. The hospital teaching committee questionnaire didn’t show inter-year statistical differences while the evaluations by the director of the teaching programme showed differences between 2000 and 2002 (P=0,01). No correlations were observed between the teaching committee evaluations and those of the directors of the teaching programme. Discussion: The evaluation of the formative process of the MIR/FIR system, needs to be improved. The evaluation and recognition of the tutorial task could be an important tool. Our results show that, using this evaluation method, tutors develop their task correctly. The tool of evaluation shows enough stability and ability to discriminate. Key words: tutors evaluation, medical education, formative process.

---

Correspondencia:
Eugenio Berlanga
Parc Taulí, s/n
08208 Sabadell (Barcelona)
Fax 937162004
e-mail: Eberlanga@cspt.es

 

INTRODUCCIÓN

El tutor está reconocido como una pieza clave dentro del vigente modelo de formación de especialistas. Debe reunir, aparte de los requisitos profesionales, unas características específicas propias de la actividad docente tales como capacidad de relación con los especialistas en formación (EF), comunicación, motivación, etc. Es designado por la dirección del centro, a propuesta del jefe de la unidad docente (JUD) y de la comisión de docencia (CD), por un periodo igual al de la duración del programa de formación de cada especialidad.

Algunas de sus funciones vienen definidas por una Orden del Ministerio de la Presidencia de 1995¹: la propuesta a la comisión de docencia de los planes individuales de formación para cada uno de los especialistas en formación a su cargo; la supervisión directa y continuada de la realización de los programas señalados a los EF y el control de su actividad asistencial; el fomento de la participación en actividades docentes e investigadoras; la evaluación continuada de los EF, y la elaboración de una memoria anual de las actividades docentes con participación específica de los EF. No obstante, se ha reconocido que la labor tutorial debe llegar mucho más lejos².

Cada centro acreditado para la docencia designa a los tutores de cada unidad docente en función de su número de especialistas en formación según determine la CD, en nuestro caso un tutor por cada cuatro EF.

La función del tutor como referente y responsable del seguimiento de todo el proceso formativo del EF va más allá de la que, como facultativo responsable de una rotación determinada dentro del contexto global de toda la formación, debe ejercer cualquier profesional de los centros acreditados para la docencia, siendo su implicación en la detección de dificultades en el proceso de aprendizaje y la adopción de las medidas correctoras individualizadas de gran importancia para obtener los niveles de formación deseados³. Por ello, además de la acreditación y reacreditación documental por los propios centros y por los organismos suprahospitalarios competentes, la acción tutorial debe ser reconocida e incentivada específicamente⁴ y, paralelamente, es necesario establecer unos mecanismos de evaluación que permitan conocer el grado de cumplimiento de las funciones del tutor.

La evaluación en general y la de la acción tutorial en particular, es un aspecto de gran importancia que puede afectar positivamente al proceso formativo en su conjunto para el que se han descrito diferentes herramientas de evaluación^5,6,7. En esta dirección, en la Corporació Sanitària Parc Taulí se ha puesto en marcha, desde el año 2000, un sistema de evaluación de la labor de los tutores ligado a un reconocimiento específico con incentivación económica.

El objetivo de este trabajo es exponer nuestra experiencia de tres años en la aplicación de un sistema de evaluación de tutores de EF.

MATERIAL Y MÉTODOS

Se elaboraron dos cuestionarios para la valoración de la acción tutorial (anexo I) analizándose la evolución, durante los años 2000, 2001 y 2002, de las valoraciones de 38 tutores: 27 en el año 2000, 27 en 2001 y 29 en 2002; 23 han sido valorados en los años 2000 y 2001; 21 en 2001 y 2002, y 19 en los tres años. Siete tutores han sido evaluados sólo una vez.

 

Los cuestionarios de evaluación son cumplimentados por el jefe de la unidad docente y por la comisión de docencia con cinco y cuatro ítems, respectivamente, calificados de 0 a 10. Cualquier otro aspecto no considerado en éstos y que, a juicio del jefe de la unidad o de la comisión, sea de suficiente interés, se hace constar y es tenido en cuenta en la evaluación global. La comisión de docencia es la encargada de integrar en un solo informe las valoraciones del jefe de unidad y de la propia comisión y es el órgano encargado de calcular el resultado final, en forma de porcentaje global de objetivos, alcanzado por cada tutor.

Anualmente, la CD solicita a los JUD la evaluación de sus tutores y a los tutores un currículum personal y una memoria de las actividades de los EF que tutoriza. Con todos estos datos y añadiendo la evaluación que los EF realizan de sus tutores en los correspondientes cuestionarios⁸, un grupo de trabajo de la CD es el encargado de evaluar a los tutores y calcular los emolumentos que percibirán en base a los resultados.

Los criterios utilizados, dentro de cada ítem, para evaluar la función de los tutores han sido los siguientes:

1 Informe del jefe de la unidad docente

1.1 Control y supervisión de los programas de formación del EF

Se evalúa el grado de implicación del tutor en el cumplimiento de los programas docentes (reuniones con los residentes, control y seguimiento de las rotaciones, evaluación de los EF, etc.).

1.2 Motivación por la docencia

Se evalúa el grado de implicación del tutor en la actividad docente del servicio en relación con los EF (calendarios de sesiones, seminarios específicos para EF, etc.).

1.3 Relación con los EF

Se valora la función del tutor como referencia de los EF y su relación fluida con ellos (resolución de problemas que afecten a los EF, seguimiento de la labor de los EF, etc.).

1.4 Capacidad de organización de la labor de los EF

Elaboración del calendario anual de rotaciones y su supervisión, aspectos relacionados con las guardias de los EF, etc.

1.5 Relación con el jefe de la unidad docente

Relación fluida con el jefe de la unidad, comunicación, informes, etc.

2 Informe de la comisión de docencia

2.1 Elaboración de la memoria anual de la actividad docente con participación específica de los EF

Cada tutor ha de presentar una memoria de las actividades de los EF bajo su tutela al finalizar cada periodo anual de formación. La comisión de docencia hará una evaluación de esta memoria.

2.2 Publicaciones, comunicaciones, cursos de formación del tutor.

A título de ejemplo del baremo, se otorgan tres puntos por publicación y dos puntos por comunicación oral, pósters o cursos de 8 horas o más, si están debidamente acreditados.

2.3 Evaluación de la labor del tutor por los EF

Los EF hacen de sus tutores respectivos una valoración en las hojas de evaluación anuales recogidas por la comisión de docencia respecto al grado de satisfacción con la labor del tutor, la dedicación del tutor a la docencia y el número de reuniones anuales específicas entre tutor y EF.

2.4 Control y seguimiento de las rotaciones establecidas

Se valora el control del tutor sobre las rotaciones preestablecidas, el seguimiento del libro del residente, etc. Para el estudio estadístico de los datos se han utilizado las pruebas: de Kolmogorov-Smirnov para valorar la distribución normal de las curvas; la no paramétrica de Wilcoxon para la comparación interanual de los resultados, y el coeficiente de correlación de Spearman para la estudiar la correlación intraanual. Se ha aceptado un nivel de significación P < 0,05 aplicando la corrección de Bonferroni para el estudio de comparaciones múltiples.

RESULTADOS

Los resultados obtenidos al aplicar los cuestionarios de evaluación muestran una media de objetivos alcanzados del 92,6 % en el año 2000, del 89,1 % en 2001 y del 89,8% en 2002 (tabla 1). Las evaluaciones de los JUD (máximo posible 50) han sido de 47,1; 45,7 y 43,7 y las de la CD (máximo de 40) de 35,9; 34,4 y 32,3. La distribución de las curvas es normal, excepto en las evaluaciones de los JUD de 2000 y de la CD de 2001 y 2002.

 

En el estudio comparativo múltiple del periodo 2000-2001-2002, no se han encontrado diferencias interanuales estadísticamente significativas entre las evaluaciones de la CD, mientras que el porcentaje global y las evaluaciones de los JUD muestran diferencias entre 2000 y 2002 (P < 0,01).

La correlación entre las evaluaciones de la CD y los JUD no es estadísticamente significativa en ninguno de los años del estudio. El porcentaje global, como era de esperar, se correlaciona con las evaluaciones de los JUD y de la CD en los tres años.

DISCUSIÓN

La evaluación es uno de los puntos clave de cualquier sistema formativo. Está reconocido, en general, que dentro del sistema de formación MIR es uno de los puntos susceptibles de mejora ya que, si bien existen mecanismos de evaluación, éstos no están desarrollados en toda su plenitud en la mayoría de centros acreditados para la docencia. En nuestro país sólo se han presentado trabajos que inciden en la evaluación de los especialistas en formación y de las unidades docentes⁸, la valoración de la función de los tutores es un ámbito en el que todavía no hay experiencia suficiente debido, posiblemente, al insuficiente reconocimiento de la labor tutorial que implica un alto grado de amateurismo que dificulta la evaluación.

En la Corporació Sanitària Parc Taulí, se inició en el año 2000 un proceso de reconocimiento específico de la acción tutorial, ligado a la valoración realizada por los JUD y la CD, del cual exponemos la experiencia acumulada durante tres años. La herramienta de evaluación, estructurada en los cuestionarios que se exponen en el anexo I, ha sido de fácil manejo. Los datos que han aportado los JUD y los tutores han llegado a la CD con fluidez, aunque hemos encontrado, en algún caso, excesiva demora de los EF en el envío a la CD de las evaluaciones que realizan tanto de sus tutores como de las unidades docentes.

Los resultados muestran unas valoraciones excelentes de los tutores tanto en las evaluaciones que realizan los JUD como las de la CD. Hay que destacar que las evaluaciones negativas, por debajo del 50% de la media de todos los tutores, deben ser convenientemente argumentadas por parte del jefe de la unidad o del grupo de trabajo de la comisión encargado de las evaluaciones, según proceda, ante la CD. No obstante, hasta ahora, no se ha dado este caso.

No se observan diferencias interanuales estadísticamente significativas en las valoraciones de la CD, mientras que las evaluaciones de los JUD y el porcentaje global muestran diferencias estadísticamente significativas entre 2000 y 2002. Estas diferencias serían debidas fundamentalmente a la propia implementación de la herramienta evaluadora, que va adquiriendo mayor consistencia, objetividad y precisión a medida que se va adquiriendo experiencia en su utilización. Se puede considerar que, al no existir experiencia previa, los resultados de las evaluaciones del año 2000 actuarían como punto de referencia y en los años posteriores la herramienta de evaluación se ha utilizado con mayor precisión por los JUD. La ausencia de diferencias entre los resultados obtenidos de las valoraciones de la CD sugiere que los ítems utilizados en el cuestionario son mas objetivos y, por ello, más reproducibles a lo largo del periodo estudiado.

En el estudio comparativo interanual se observa que aunque estadísticamente se encuentran diferencias, a nivel práctico son de escasa relevancia debido, probablemente, a que la herramienta evaluadora aporta una estabilidad de las mediciones que es suficiente para los objetivos que se pretenden. Del mismo modo, los rangos observados en los tres años muestran un adecuado poder de discriminación que otorga mayor consistencia al sistema de evaluación ya que este aspecto es muy importante a la hora de decidir su utilización.

La escasa correlación de los resultados intraanuales entre la evaluación de la CD y los JUD se debería a la propia estructura de los cuestionarios cuyo objetivo es medir y evaluar aspectos distintos de la acción tutorial.

Es deseable que la evaluación de los tutores sea un elemento de utilización cotidiana en los centros acreditados para la docencia y, para ello, es necesario desarrollar herramientas que nos permitan poner en práctica sistemas ágiles, reproducibles y de fácil uso. Estos sistemas, considerados siempre desde un punto de vista formativo, nos servirán tanto para conocer internamente cual es el grado de preparación de nuestros tutores como para poder establecer estudios comparativos entre diferentes centros que permitan homogeneizar las evaluaciones y elaborar herramientas más sólidas y objetivas.

AGRADECIMIENTO

Agradecemos al Sr. Jordi Real su colaboración en el tratamiento estadístico de los datos.

BIBLIOGRAFÍA

1. Orden Ministerial de 22 de junio de 1995. BOE número 155, 30 de junio de 1995: 19793-9.         [ Links ]

2. III Jornada de las Comisiones de Docencia y Asesoras de Catalunya. Facultad de Farmacia, Universidad de Barcelona. Barcelona, 15 de diciembre de 1995.         [ Links ]

3. Sayer M, Chaput De Saintonge M, Evans D, Wood D. (2002). Support for students with academic difficulties. Med Educ 36(7): 634-50.         [ Links ]

4. Libro Blanco de las profesiones sanitarias en Catalunya. Departament de Sanitat i Seguretat Social. Generalitat de Catalunya. Barcelona, 2003        [ Links ]

5. Rosado P, Rendas A, Gamboa T. (2001). Tutor’s performance evaluation: a feed-back tool for the PBL learning process. Med Teach 23(3):289-294.         [ Links ]

6. Matthes J, Marxen B, Linke RM, Antepohl W, Coburge S, Christ H, Lehmacher W, Herzig S. (2002). The influence of tutor qualification on the process and outcome of learning in a problem-based course of basic medical pharmacology. Naunyn Schmiedebergs Arch Phamacol 366(1):58-63.         [ Links ]

7. Steiner IP, Franc-Law J, Kelly KD, Rowe BH. (2000). Faculty evaluation by residents in an emergency medicine program: a new evaluation instrument. Acad Emerg Med 7(9):1015-21.         [ Links ]

8. Berlanga E, Artigas A, Gutiérrez I. (2000). Impacto de un sistema de evaluación sobre los programas de postgrado. Educación Médica 3(1): 19-24.         [ Links ]