COLABORACIÓN

 

La evaluación de la formación especializada como garantía de la calidad del sistema de salud

The assessment of the specialized education as a guarantee of the quality of the health system

La planificación de la docencia, la evaluación del residente y la evaluación de centros, unidades y programas
de educación sanitaria de postgrado

IV Encuentro de tutores, Mahón, 2006

 

 

AREDA (Asociación de Redes de Comisiones de Docencia y Asesoras)

 

 

Introducción

En el marco de la Escuela de Verano de Salud Pública se celebró los días 18, 19 y 20 de septiembre de 2006 el IV Encuentro de Tutores organizado por la Agencia Laín Entralgo, la Asociación de Redes de Comisiones de docencia y asesoras , el Instituto de Estudios de la Salud y la Sociedad Española de Educación Médica. El tema central escogido para el encuentro fue "La evaluación de la formación especializada como garantía de calidad del sistema de salud". Hubo una participación amplia, aproximadamente de 60 personas, tutores en su mayoría de las diferentes redes de las comisiones de docencia o asesoras de Catalunya, Madrid, Andalucía, Comunidad Valenciana, Galicia, Euskadi, Castilla La Mancha y Castilla León y de otras comisiones de docencia y asesoras que pertenecen a comunidades que todavía no se han constituido en red; también participaron representantes de las Instituciones Organizadoras y responsables de la formación especializada de algunas Comunidades Autónomas.

Se abordaron tres aspectos concretos: "La planificación de la docencia", "la evaluación del residente" y "la evaluación de centros, unidades y programas en educación sanitaria de postgrado". La metodología escogida para el trabajo en grupos fue mixta, por una parte se organizaron tres mesas redondas, que permitieron la exposición de diferentes puntos de vista sobre cada tema y posteriormente tres grupos de discusión que partiendo de un guión previo facilitaron la discusión y consenso posterior de los participantes. A partir de las conclusiones del encuentro se han generado unos documentos que han sido analizados posteriormente en las diferentes redes de comisiones de docencia y asesoras y finalmente aprobados en la 3ª Asamblea de AREDA, celebrada el pasado día 14 de diciembre de 2006 en Sevilla.

Estos documentos recogen aspectos de gran trascendencia y repercusión para la innovación de la docencia especializada, son una reflexión de profesionales dedicados a ella y pretenden contribuir al debate originado de forma inmediata por el desarrollo de la Ley de Ordenación de las Profesiones Sanitarias.

Mati Ezquerra
(Presidenta de AREDA)

 

Planificación de la docencia

Moderador: Vicente Garrigues

Ponentes:

• Dr. Txomin Uriarte. Jefe de Docencia y Desarrollo Profesional. Dto. de Sanidad del Gobierno Vasco.

• Dr. Vicente Gil Suay. Director Hospital Universitari La Fe, Valencia

• Dra. Mª José Cerqueira Dapena. Directora de Docencia. Hospital Universitari Vall d'Hebron, Barcelona

• Dr. J. Daniel Prados Torres. Coordinador Provincial. Unidad Docente de MFyC de Málaga

• Dr. Roque Tebar Gil. Jefe de Servicio de Pediatría. Complejo Hospitalario Universitario de Albacete

Discusores:

Campelo Barcia, Encarna, Carrasco Asenjo, Miguel, Cerqueira Dapena, Mª José, Garrigues Gil, Vicente, Hernández Flix, Salvador, Martín Algarra, Salvador, Martínez Landeras, Víctor, Pereira Vega, Antonio, Prados Torres, Daniel, Romero Furones, Alfonso, Tebar Gil, Roque, Uriarte, Txomin y Vázquez Granados, Javier

En primer lugar, se definen los niveles de planificación de la formación sanitaria especializada (FSE) existentes y se identifican los principales actores implicados en esta actividad. En segundo lugar, se describen las actividades de planificación que se consideran necesarias para el adecuado desarrollo de la FSE.

NIVELES Y ACTORES DE LA PLANIFICACIÓN

Son diversas las Instituciones, Organismos y personas que deben participar como actores en el proceso de planificación de la FSE. Estos actores se estructuran en diversos niveles en los que se realiza actividades de planificación de la FSE. Cada uno de ellos suele participar con mayor o menor protagonismo en varias actividades y, a su vez, cada una de estas actividades de planificación suele ser llevada a cabo en varios de los niveles.

Administración Estatal.

Actúa a través de los Ministerios de Educación y Ciencia y de Sanidad y Consumo; y sus correspondientes Consejos y Comisiones asesoras y ejecutivas.

Sus principales tareas de planificación son: a) la determinación de las Especialidades existentes; b) la definición de los Programas Formativos para cada Especialidad; y c) el desarrollo y ejecución de los sistemas de Acreditación y Reacreditación de Centros y Unidades Docentes.

Administraciones Autonómicas.

Suelen asumir sus competencias en la FSE a través de Institutos o Agencias con diferente estructura en cada Comunidad.

Sus tareas de planificación serían: a) desarrollo de los Programas Formativos transversales de Residen-tes; b) participación en los sistemas de Acreditación y Reacreditación de Centros y Unidades; c) propuesta del número de especialistas a formar; d) Gestión de los recursos necesarios para la FSE, e) participación en los sistemas de acreditación y reacreditación de tutores, f) colaboración en la formación específica de los tutores.

Dirección de los Centros Sanitarios.

Deben participar en la planificación de la FSE a través de las siguientes acciones: a) adaptación de los Programas Formativos; b) propuesta del número de especialistas a formar; y c) gestión de los recursos necesarios para la FSE, d) propuesta de las unidades docentes a acreditar

Comisiones de Docencia y Asesoras.

Su participación en la planificación de la FSE se materializa a través de las siguientes acciones: a) adaptación de los Programas Formativos de las Especialidades a las Unidades Docentes y su individualización para cada Residente; b) colaboración en los sistemas de Acreditación y Reacreditación de Centros y Unidades Docentes; c) propuesta del número de especialistas a formar en el Centro; y d) gestión de los recursos necesarios para la FSE.

Unidades Docentes.

Todos los miembros de las Unidades Docentes, incluidos los Residentes, deben participar en la planificación de la FSE, siendo especialmente importante a este respecto la función del Jefe de la Unidad y de los Tutores de Residentes.

Participan en la planificación de la FSE mediante: a) adaptación de los Programas Formativos de las Especialidades a las Unidades Docentes y su individualización para cada Residente; b) participación en los sistemas de Acreditación y Reacreditación; c) propuesta del número de especialistas a formar en el Centro; y d) gestión de los recursos necesarios para la FSE.

ACTIVIDADES DE PLANIFICACIÓN EN LA FSE

Determinación de las especialidades existentes.

En el momento actual existen diferencias, en ocasiones importantes, en las Especialidades reconocidas en los diferentes países miembros de la Unión Europea. En línea con el desarrollo del Espacio Europeo de Educación Superior, que pretende la equiparación de las titulaciones universitarias en los países de la Unión Europea, debería también unificarse las Especialidades en Ciencias de la Salud reconocidas en estos países. Puede ser una oportunidad la aprobación de esta normativa para que mediante el desarrollo de la LOPS se avance en este tema en nuestro país.

DEFINICIÓN DE LOS PROGRAMAS FORMATIVOS.

Son varios los niveles que deben intervenir para planificar esta actividad. La Administración Estatal, a través de las Comisiones Nacionales de las Especialidades, definirá los programas básicos de formación. Las Direcciones de los Centros, las Comisiones de Docencia y Asesoras y las Unidades Docentes adaptarán estos programas básicos a las peculiaridades de cada Centro y Unidad y definir las trayectorias formativas para cada Residente, individualmente. Asimismo, estos órganos verificarán el cumplimiento de los objetivos docentes.

Es imprescindible la actualización periódica y frecuente de los Programas Formativos a los diferentes niveles. Los Programas de las diferentes especialidades debieran tener una estructura y contenido homogéneo.

Los Programas definirán claramente las competencias a alcanzar y los períodos de formación troncal y específica para cada especialidad. Se detallará también el número mínimo de procedimientos que a realizar por los residentes, como garantía cuantitativa del proceso formativo. Asimismo, se definirán las competencias trasversales para el conjunto de especialidades globalmente o por subgrupos de especialidades afines. El cumplimiento de estas competencias trasversales deberá ser garantizado por las Administraciones Autonómicas, las Direcciones de los Centros y las Comisiones de Docencia y Asesoras.

Los Programas incluirán guías sobre los sistemas de evaluación más adecuados para cada especialidad. La aplicación de estos sistemas debe ser garantizada por las Direcciones de los Centros y las Comisiones de Docencia y Asesoras.

DESARROLLO DE SISTEMAS DE ACREDITACIÓN Y REACREDITACIÓN DE CENTROS Y UNIDADES DOCENTES.

Se establecerán con claridad los criterios de acreditación y reacreditación de Centros y Unidades, dichos criterios serán hechos públicos con trasparencia.

En cada Centro y en cada Unidad deberían desarrollarse sistemas de autoevaluación, cuyo resultado fuera una pieza clave para su acreditación y reacreditación.

Otro aspecto importante es la creación de sistemas de acreditación y reacreditación para los Tutores de Residentes, a fin de garantizar la calidad de su función de organización y supervisión de la FSE.

DETERMINACIÓN DEL NÚMERO DE ESPECIALISTAS A FORMAR.

Todos los niveles de planificación enumerados anteriormente participan en la planificación de esta actividad. Los dos elementos claves a tener en cuenta para determinar el número de especialistas en formación son: las necesidades de especialistas del Sistema Sanitario y la Capacidad Docente de las Unidades.

Las necesidades del Sistema Sanitario serán definidas por las Administraciones Autonómicas en estrecha colaboración con la Administración Central, basándose en un análisis riguroso de las plantillas actuales y de los requerimientos presentes y futuros de la sociedad. Asimismo se tendrán en cuenta la movilidad de los profesionales en el Estado Español y en la Unión Europea.

La definición de la Capacidad Docente de las Unidades será competencia de las Direcciones de los Centros, de las Comisiones de Docencia y Asesoras y de las Unidades Docentes. Para definir la capacidad Docente de una Unidad se contemplarán los criterios de acreditación establecidos para cada especialidad. Estos criterios incluirán aspectos cuantitativos y cualitativos. Los cuantitativos valorarán el número de facultativos de la Unidad y el conjunto de sus actividades asistenciales. Los cualitativos valorarán el perfil curricular de los facultativos, la naturaleza de las actividades asistenciales realizadas en la Unidad y su actividad docente y de investigación.

Ambos factores, necesidad de especialistas y capacidad docente, serán tenidos en cuenta de manera independiente. Una vez determinados, ninguno de ellos debe predominar sobre el otro. Las necesidades no deben ser superadas para completar la capacidad docente; y, especialmente, la capacidad docente no puede ser superada para disponer de un número mayor de especialistas.

La determinación del número de especialistas en formación nunca puede basarse en las necesidades asistenciales de las Unidades Docentes.

Otro aspecto menor pero a nivel organizativo importante es establecer sistemas de control que garanticen que los candidatos que elijan plazas de especialista en formación completen el periodo formativo.

PLANIFICACIÓN Y GESTIÓN DE RECURSOS PARA LA FSE.

La disponibilidad de recursos humanos y materiales y su adecuada gestión es imprescindible para conseguir los objetivos docentes identificados en los Programas Formativos y, por tanto, para que los especialistas en formación alcancen con suficiencia las competencias que definen su Especialidad.

Todos los niveles de planificación identificados anteriormente participarán en la planificación y gestión de recursos. Es importante que cada uno de ellos asuma su responsabilidad de gestión a su nivel competencial. Se considera que es importante remarcar esta asunción de responsabilidades para la Administración Autonómica y las Direcciones de los Centros.

Con el fin de asegurar una trasmisión fiel de la información en sentido multidireccional, se asegurarán los cauces apropiados para la comunicación entre las Unidades Docentes y las Comisiones de Docencia y Asesoras, y entre éstas y las Adminis-traciones Autonómicas y Estatal.

La Administración Estatal creará la normativa necesaria que asegure la disponibilidad de recursos humanos y materiales en cantidad y calidad suficiente para el adecuado desarrollo de la FSE.

Las Administraciones Sanitarias Autonómicas asumirán la gestión de la FSE a su nivel competencial a través de un Servicio específico y estableciendo un presupuesto finalista.

Cada Centro Sanitario debiera asegurar la disponibilidad de los recursos necesarios y controlar su uso adecuado. Para ello debe desarrollarse un Plan Estratégico para la FSE en línea con el Plan Estratégico del Centro; el responsable máximo de Docencia estará incorporado en el organigrama directivo del Centro; y existir un presupuesto finalista para la FSE. Es asimismo importante que el contrato-programa de los Centros con sus Unidades incluya indicadores docentes con un peso suficiente.

Los recursos humanos, materiales y de espacio asignados a las Comisiones de Docencia y Asesoras serán los suficientes para el desarrollo adecuado de sus funciones, debiendo existir personal administrativo específicamente adscrito a docencia a tiempo completo.

Los Jefes de Estudio y el resto de miembros de las Comisiones de Docencia y Asesoras recibirán formación en Gestión y su función estará reconocida adecuadamente. Se definirá un perfil básico para los Jefes de Estudio, quienes dispondrán del tiempo necesario para realizar adecuadamente su función.

Es necesario profesionalizar la labor docente de los Tutores de Residentes, mediante su formación en Metodología Docente, su acreditación y reacreditación periódica, y el adecuado reconocimiento curricular, profesional y económico de su función. Para cada Unidad Docente se determinará el número adecuado de Tutores de Residentes, que dispondrán de un tiempo específico para poder organizar y supervisar adecuadamente la FSE.

PROPUESTAS DE DESARROLLO

Definir la estructura básica de los Programas Formativos de las Especialidades.

Definir la estructura básica de las Guías de Formación de las Unidades Docentes.

Definir los criterios para determinar la Capacidad Docente de las Unidades.

Definir el Programa de Formación Trasversal.

Definir el perfil básico del Jefe de Estudios y del Coordinador de Unidades Docentes de especialidades con periodo formativo extrahospitalario.

CONCLUSIONES

• Se identifican 5 niveles diferentes de planificación de la FSE: Administración Estatal; Administraciones Autonómicas; Direcciones de los Centros Sanitarios; Comisiones de Docencia y Asesoras; y Unidades Docentes.

• Unificar las Especialidades reconocidas en los países miembros de la Unión Europea.

• Los Programas Formativos de las diferentes especialidades serán homogéneos y se actualizarán periódicamente. Incluirán la definición de las competencias trasversales, troncales y específicas para cada especialidad.

• Cada Centro adaptará los Programas a sus peculiaridades y a las de sus Unidades Docentes. Éstas deben individualizar las trayectorias formativas para cada Residente.

• Los sistemas de Acreditación y Reacreditación de Centros y Unidades serán públicos y accesibles.

• Determinar el número de especialistas a formar en función de las necesidades del Sistema Sanitario y de la Capacidad Docente de las Unidades. Ambos factores se analizarán de forma rigurosa e independiente.

• La actividad docente como línea de producto independiente de la asistencia y de la investigación en los Centros Sanitarios.

• Disponer de recursos humanos y materiales y su gestión eficiente es imprescindible para el desarrollo adecuado de la FSE.

• Avanzar en la profesionalización de la FSE.

 

Evaluación del residente

Moderador: Matilde Ezquerra

Ponentes:

• Dr. Roger Ruiz Moral, Coordinador de la Unidad Docente de MFyC de Córdoba

• Dr. José Zarco Montejo, Coordinador de la Unidad Docente del Área 1 de Madrid

• Dr. Pedro Infante Cossío, Tutor de Cirugía Maxilofacial del Hospital Virgen del Rocío, Sevilla

• Dr. Josep Arnau Figueras, Coordinador del Portafolio SEMI, Técnico del IES, Barcelona

• Dr. José Galcerá, Jefe de estudios del Hospital Virgen de Arrixaca, Murcia

Discusores:

Arnau Figueras, Josep, Ayerbe García, Ruth, Blanco Sabio, Susana, Carrillo Ojeda, Patricia, Fernández Requena, Mª Eulalia, Garcia Olmos, Luis, Jorquera Plaza, Francisco, Lorenzo Martín, Mónica, Muñoz Seco, Elena, Palmer Juaneda, Rafael, Plaza Martínez, Ángel, Poza Cisneros, Gabriela, Ruiz Moral, Roger, Santos Rodríguez, Miguel y Zarco Montejo, José

VALORACIÓN FORMATIVA

Objetivos: El objetivo de esta evaluación es la valoración del progreso en el proceso de aprendizaje del residente, medir la competencia adquirida de forma progresiva en relación a los objetivos planteados e identificar las áreas susceptibles de mejora y aportar sugerencias específicas para alcanzarlos.

Condiciones necesarias previas:

• Un Programa Oficial (POE) que tenga definidas las competencias a adquirir y los estándares aceptables de actuación en la práctica, esto permitirá definir que es lo que se quiere evaluar.

• Control sobre la aplicación del programa en cada Unidad Docente: es necesario un control sobre lo que se esta enseñando desde un punto de vista práctico.

• Tutores acreditados y reacreditados con formación metodológica y una dedicación suficiente a la labor educativa.

• Centros docentes que supervisen la labor de los tutores y un mecanismo de control sobre los centros docentes.

• La aceptabilidad por parte de los protagonistas implicados (discentes y docentes incluyendo la estructura docente).

• La practicabilidad o viabilidad, diseñar un sistema adecuado a los recursos disponibles.

Características:

• Continuada, a lo largo de todo el periodo de formación.

• Debe tener como eje central la relación entre el tutor y el residente en formación.

• Se debe dar un feed-back constructivo sobre la actuación del residente de forma regular y planificar conjuntamente la estrategia docente, con el objetivo de garantizar las instrucciones y los cambios necesarios para mejorar el desarrollo de las competencias.

• Los métodos de evaluación deberían estimular un aprendizaje integrado y evaluar requerimientos prácticos predefinidos, así como también conocimientos, aptitudes y actitudes.

• Además de contar con elementos subjetivos por parte de los tutores y colaboradores docentes se deben utilizar métodos objetivos de evaluación.

• Se deben establecer mecanismos que permitan la modificación de la aplicación práctica del programa de formación en función de los resultados de la evaluación formativa.

Instrumentos posibles:

Los instrumentos que se citan a continuación no son excluyentes entre sí sino complementarios, la elección de unos u otros debería realizarse teniendo en cuenta el conocimiento que se tiene de ellos, las competencias que se quieren evaluar, la viabilidad etc...

• Video grabaciones de la práctica clínica

• Demostraciones técnicas y diagnósticas: simuladores y maniquís

• Evaluación con pacientes simulados

• Análisis de casos clínicos, casos por ordenador

• Self audits o Auditorias externas

• Evaluación mediante listas de comprobación (checklist evaluation) realizada por el tutor y/o los colaboradores docentes responsables de una estancia formativa o rotación concreta. Este informe debería contener las competencias concretas que el especialista en formación tenia que haber adquirido en ese periodo concreto a modo de check list.

• Evaluación de 360 grados: evaluación que realizan diferentes personas que tienen relación directa con el residente (superiores, iguales, subordinados o bien pacientes y sus familiares).

• Trabajos de investigación realizados por el residente.

Existen también algunos sistemas de evaluación que incluyen diferentes instrumentos y que podrían ser utilizados de forma exclusiva como serían la Evaluación Clínica Objetiva Estructurada (ECOE) o el Portafolio.

Las Entrevistas periódicas estructuradas entre el tutor y el residente serían los espacios para realizar el análisis de la valoración formativa utilizando como metodología el feedback. Estos encuentros entre el tutor y el residente deben ser acordados por ambos, fijando previamente unos objetivos concretos y con una dedicación suficiente. Deberían facilitar un feedback adecuado al especialista en formación, un análisis tutor-residente de todo el proceso y posteriormente el establecimiento de un pacto de mejora.

Propuesta de aplicación práctica:

1. En el Programa Oficial de cada especialidad deberían constar las competencias que cada residente debe adquirir a lo largo de su formación, expresado de forma concreta, precisa y una propuesta cronológica para su adquisición. La responsabilidad de la elaboración es de cada Comisión Nacional.

2. (En caso de que en los Programas de reciente aprobación no constará este listado se podría incluir en el nuevo Libro del Residente que debe elaborar cada CN al renovar su nuevo programa).

3. Cada Comisión Nacional debe elaborar el sistema de evaluación formativa que propone teniendo en cuenta su Programa Oficial y siguiendo las recomendaciones del Ministerio de Sanidad. El sistema de evaluación formativa propuesto debe incluir una estrategia de aplicación progresiva del proceso.

4. El Libro del Residente se define en la LOPS como "el registro de actividades del especialista en formación", debería cumplir dos objetivos: registrar el programa de formación que ha realizado el residente y recoger su evaluación formativa, esto nos permitirá documentar los diferentes estadios de la formación y el proceso de aprendizaje.

5. Cada especialidad o conjunto de especialidades afines debe tener un libro de residente propio siguiendo una normativa común.

6. Cada Unidad Docente debe aplicar el sistema de evaluación formativa propuesto por su CNE y presentarlo en la Comisión de Docencia anualmente, igual que hace con el Programa de Formación.

7. La aplicación de esta evaluación formativa se realiza de forma individual, por tanto debe constar un informe en el expediente personal de cada especialista en formación. Las personas responsables son en primera instancia los tutores y en un segundo nivel los jefes de estudios o coordinadores de las Unidades Docentes de MFiC/ M. Trabajo. Se puede proponer un modelo tipo de informe. Este informe evaluara la existencia de una buena dinámica de aprendizaje y el cumplimiento del sistema de valoración formativa.

8. Los mecanismos de control y de calidad de la estructura docente deben incluir este aspecto, la evaluación formativa, como indicador fundamental de la metodología utilizada en el proceso de aprendizaje de los residentes.

EVALUACIÓN SUMATIVA FINAL DE LA FORMACIÓN

Objetivos:

Constatar el grado de aprovechamiento alcanzado en relación al Programa de Formación.

Clasificar a los residentes y establecer puntos de corte que definan el grado de aprovechamiento mínimo necesario para poder superar la prueba o pruebas que la componen.

Permite certificar la aptitud o la falta de aptitud para desarrollar una actividad profesional autónoma.

Necesidad y Justificación:

• Para garantizar socialmente que los profesionales formados tienen un nivel de competencia suficiente y proteger por tanto a los pacientes de los profesionales cuyo nivel de competencia no es el adecuado.

• Para conocer el nivel de competencia de los profesionales en la fase inicial del ejercicio de su profesión.

• Para identificar los profesionales que todavía no están preparados y precisan complementar su formación.

• Como control de calidad del las estructuras docentes y de los programas de formación.

Características

• Debe haber una evaluación al final de los Programas de Formación de especialistas.

• El procedimiento debe tener unas características comunes para todos los profesionales en formación pero no ser exactamente igual, esto esta ampliamente justificado por las diferencias existentes en el contenido a evaluar.

• La evaluación sumativa debe ser común a todos los profesionales en formación de la misma especialidad.

• La clasificación de los profesionales que implicaría la evaluación sería entre aptos y no aptos. El establecer distintos niveles de calificación entre los residentes aptos sería un objetivo secundario teniendo en cuenta la diferente trascendencia social y profesional que representa, además comporta una mayor complejidad metodológica.

• El procedimiento debería contar con un mecanismo de revisión por parte del discente.

• El procedimiento debería preveer un sistema de recuperación de los no aptos (establecer el período de tiempo necesario para repetir la evaluación, los requisitos, el mecanismo para ampliar el periodo de formación etc.)

Requisitos técnicos

• Validez (grado en que el instrumento mide realmente lo que pretende medir)

• Fiabilidad (confianza en la precisión de los resultados)

• Reproductibilidad (la constancia en la obtención de los resultados)

• Practicabilidad (debe tener en cuenta los recursos disponibles, el tiempo, los costes, el número de discentes a evaluar..)

• Relevancia de lo que se evalúa respecto a los que se debería evaluar

Tipo de Prueba:

• Cada especialidad (CNE) debería definir de forma concreta y simple las competencias a evaluar al finalizar el Programa de Formación del especialista.

• La prueba propuesta sería una prueba combinada utilizando diferentes instrumentos de evaluación debiendo incluir en todos los casos el informe final del tutor basado en la metodología de evaluación mediante listas de comprobación, presentado y consensuado previamente en el comité de evaluación.

A modo de ejemplo:

Examen tipo text

Informe del tutor (evaluación mediante listas de comprobación)

Self Audit

Demostración de habilidades con maniquís y simuladores (directamente o mediante videograbaciones).

¿Quién tiene que realizar la evaluación?

La estrategia de evaluación vendría determinada por el número de especialistas a evaluar y su distribución geográfica. Teniendo en cuenta estos dos condicionantes se definirían los comités de prueba necesarios, que en alguna especialidad podrían ser a nivel nacional y en otras deberían ser a nivel autonómico.

El diseño metodológico de la evaluación sería nacional, con el fin de garantizar la igualdad de la prueba no así la aplicación y desarrollo. Los diferentes comités de prueba deberían establecer las reuniones de coordinación que considerasen necesarias.

El Comité de Prueba debería estar formado por:

• Miembros de los diferentes comités de evaluación de los centros o unidades docentes: Coordinadores de la unidad docente o Jefes de Estudios y tutores especialistas de la especialidad a evaluar

• Técnicos expertos en metodologías docentes y de evaluación

• Especialistas no tutores

• Los especialistas no tutores serían personas nombradas por los diferentes servicios de salud de las comunidades autónomas, valorando la participación de las sociedades científicas.

Repercusiones

Aprobar la evaluación final implicaría la obtención del título de especialista que le posibilita ejercer como tal.

EVALUACIÓN SUMATIVA ANUAL

En realidad anualmente no existirá un procedimiento propiamente de evaluación sino un informe a remitir al Ministerio de Sanidad y Consumo en el que se contemplaran los siguientes aspectos:

• Valoración del proceso de aprendizaje del especialista en formación, se realizaría en base al informe sobre el procedimiento de valoración formativa del residente, el aspecto a valorar no es la competencia adquirida sino el proceso de aprendizaje en si mismo. Esta valoración la realizará el comité de evaluación y deberá tener en cuenta el informe del tutor tal y como se ha expresado en el apartado de valoración formativa. Se establece de esta forma una vía excepcional de detección de insuficiencia de aprendizaje.

• Incumplimiento del programa de formación, entendiendo por esto la existencia de ausencias por un periodo superior al 25% de la dedicación anual.

• Incumplimiento de contrato: la actitud del residente: faltas reiteradas no justificadas, problemas en el cumplimiento de la normativa de la Institución, problemas de disciplina....

El informe realizado por el comité de evaluación del centro puede contemplar dos propuestas distintas: la recuperación del periodo o la propuesta de suspensión del Programa de Formación, en este caso sería la Comisión Nacional la que debería valorar los informes y pruebas remitidas y realizar una propuesta de suspensión del Programa, prueba de evaluación o prórroga.

El Comité de Evaluación de cada Centro hospitalario o de cada Unidad Docente que pude tener una composición similar a la existente actualmente tendría como objetivo:

• Aplicación y seguimiento de la valoración formativa

• Elaboración del informe de evaluación anual a remitir al Ministerio de Sanidad

• Participación en los comités de prueba para la evaluación final del periodo de formación.

 

Evaluación de centros, unidades y programas en educación sanitaria de postgrado

Moderador: Fernando Pérez

Ponentes:

• Juan David Tutosaus. Jefe Estudios H. Virgen del Rocío. Presidente de AREDA

• Inés Palanca. Asesora Técnica. Oficina de Planificación y Calidad. Agencia de Calidad, MSC

• Javier Cobo Reinoso. Jefe de Estudios H. Ramón y Cajal

• Jesús Morán. Jefe de Estudios Hospital de Cruces y Mónica Lorenzo, Residente Hospital de Cruces, Vizcaya

Discusores:

Ania Lafuente, Olinda, Borras Roselló, Isabel, Cobo Reinoso, Javier, Dorronzoro Sánchez, José, Gomez Palonés, Paco, Gordillo Urizal, Emilio, Lozano , Olivares, Jesús, Moran Barrios, Jesús, Perez Iglesias, Fernando, Sancho Izquierdo, Eva, Tortosa Sánchez, Antonio y Tutosaus Gómez, Juan David.

De una forma sintética se podría afirmar que la evaluación es una actividad de regulación que persigue mejorar la calidad.

En nuestro país, es el Estado el que ha asumido desde los años 80 la responsabilidad social del sistema de evaluación y acreditación de centros y servicios para la formación sanitaria especializada, a través de la colaboración de organismos asesores creados por el propio Estado (las Comisiones Nacionales de Especialidad), los cuales cuentan para su función con la información suministrada por evaluaciones elaboradas y desarrolladas por inspectores del Ministerio de Sanidad (Auditorias Docentes). Estos organismos asesores formulan al Gobierno la propuesta de entidades a ser acreditadas, los programas a desarrollar en las mismas y la lista de especialistas a ser habilitados.

LA ACREDITACIÓN DE CENTROS, UNIDADES Y PROGRAMAS

La Acreditación de Centros, Unidades y Programas debe basarse en un proceso ó protocolo previamente conocido, trasparente, y voluntario:

• El procedimiento de solicitud de acreditación debe ser una norma pública (publicada en el B.O.E.), similar para todos los centros del mismo nivel de formación.

• Esta norma establecerá los mínimos estructurales, de proceso y de resultados, que deben cumplir todos los centros docentes del mismo nivel de formación.

• La acreditación debe ser un proceso voluntario.

• El resultado de la auditoria debe contener un procedimiento de discrepancia y de recurso.

LA AUTOEVALUACIÓN

Desde una perspectiva de mejorar al máximo la calidad de la formación sanitaria especializada y siguiendo la tendencia internacional se considera imprescindible dar un máximo impulso a la autoevaluación en los centros sanitarios y unidades acreditadas sin que ello suponga menoscabar la evaluación externa.

Para esto estimamos que es fundamental que desde la Dirección de los propios centros acreditados y desde las administraciones, tanto estatal como autonómica, se propicie una cultura de la autoevaluación, que a nuestro entender debe perseguir una serie de características:

• La autoevaluación debe ser institucional.

• Deber ser participativa.

• Debe ser interna y debe complementarse con la evaluación externa.

• Debe ser un proceso continuo y sistemático, pasando a formar parte de la vida institucional.

• Debe tener en cuenta aspectos cualitativos y cuantitativos.

• El proceso de evaluación debe tener legitimidad política y técnica.

• La evaluación no debe tener una consecuencia punitiva para la institución.

• Debe respetar los propios objetivos y metas de cada institución.

• La autoevaluación debiera basarse en un sistema homogéneo de valoraciones, que permita comparar resultados entre distintos centros ó unidades evaluadas.

Avanzando en estas características y respetando las características de cada institución, debemos considerar que la autoevaluación es un proceso en gran parte técnico y por tanto es deseable que desde las administraciones con responsabilidades en la docencia, se establezcan normas para regular y en cierta medida homogeneizar y legitimar las actividades de autoevaluación. Esta norma debiera establecer un protocolo de mínimos, en cierta medida adaptado a los grandes capítulos docentes de la auditoría externa, y en el cual se debe realizar una reflexión interna que contenga aspectos como:

• Lugar que ocupa la Docencia en el centro (Misión).

• Estructura y recursos docentes.

• Sistemas de información de la actividad docente y comunicación interna.

• Papel de la Comisión de Docencia y actividad de la misma.

• Actividades formativas del centro.

• Actividades de evaluación y control de la docencia de los residentes.

• Sistemas de motivación e incentivos de los docentes y residentes.

Sin entrar a condicionar los distintos apartados de este posible desarrollo normativo, queremos señalar algunos aspectos que nos parecen importantes:

Consideramos que el responsable local de promover la autoevaluación debe ser la Dirección de la institución y el responsable de dirigirla y desarrollarla debe ser la Comisión de Docencia, para lo cual sus componentes deben disponer de tiempo y recursos suficientes. El apoyo de la Junta Facultativa ó Junta Técnico-Asistencial debe ser un elemento fundamental.

• La autoevaluación debe ser un proceso continuado y cambiante, en relación con la naturaleza dinámica de las necesidades de formación y con los avances de las ciencias biomédicas. Esta evaluación continuada debe ser una parte importante de las tareas cotidianas de la Comisión de Docencia. La evaluación externa debe tener una periodicidad en relación inversa con la calidad del proceso formativo.

• Entre los agentes sociales participantes en la evaluación, los residentes deben ser objetivo de participación esencial, pero no el único. Esta participación de los residentes debe tener un contenido propio (encuestas,…), y se debe extender a los distintos componentes de la evaluación y por supuesto al análisis final.

• Las Unidades de Calidad deben colaborar en el diseño y desarrollo de la autoevaluación.

• La evaluación externa debe estar precedida siempre de una evaluación interna y esta debe ser una referencia fundamental para orientar a aquella.

LA EVALUACIÓN DE UNIDADES DOCENTES Y PROGRAMAS

La autoevaluación debe alcanzar a las distintas Unidades Docentes y al desarrollo de los Programas en las mismas. Propugnamos las siguientes características para la evaluación de Programas:

• La Dirección e iniciativa principal en la evaluación de Programas debe corresponder a la Comisión de Docencia.

• En la evaluación de Programas la C.D. puede utilizar diversos recursos como son la Memoria Docente realizada por cada Unidad Docente, entrevistas con los responsables de las Unidades Acreditadas, con sus residentes, etc.

• La evaluación de los programas debe hacer énfasis en la adquisición de competencias por parte de los residentes, en los controles formativos por parte de los tutores, etc.

• Para que la evaluación de los Programas sea útil parece necesario una modificación de los contenidos de una gran parte de los Programas, los cuales deben de contener:

– Las Áreas Competenciales de formación básica médica (como referencia pueden servir los Global Minimun Essential Requerimentes in Medical Education of Institut de EM de NY. Edu. Med. 2, Vol 6 2003).

– Debe aparecer definido el perfil competencial de cada programa.

– Deben recogerse los criterios mínimos de la Guia de Formación del Ministerio de Sanidad.

– Deben contener aspectos de la Guía de Formación Común Complementaria.

EVALUACIÓN EXTERNA. AUDITORIAS DOCENTES

Las auditorias docentes, son un instrumento extraordinario de control de calidad que no tiene parangón en la administración sanitaria ni en la administración Pública española. No obstante desde el punto de vista de los docentes el sistema de evaluaciones externas podría modificarse en los siguientes aspectos:

• Debieran revisarse los contenidos de las auditorias potenciando los aspectos docentes, y relacionándolos con el resultado de las auto-evaluaciones.

• Debieran modificarse los equipos auditores, definiendo previamente el perfil del auditor e incluyendo en los mismos a tutores y jefes de estudios.

• Debe modificarse la actitud de los auditores, evitando actitudes punitivas y redefiniendo las finalidades de las auditorias en un sentido constructivo y de crítica para mejorar.

• Todos los centros y unidades docentes acreditadas deben conocer los protocolos de auditoria desde el momento mismo en que se aprueban ó se modifican.

• Debe vertirse a los centros y UU.DD. los resultados de las auditorias con prontitud para que sus resultados y recomendaciones sean operativas y puedan tener el máximo aprovechamiento.

• Debe mejorarse el contenido de la encuesta a los residentes y debe discriminarse su análisis según la procedencia de los residentes.