MESA REDONDA 2. EL CAMINO HACIA LA EVALUACIÓN OBJETIVA

 

Evaluación de los programas

 

 

Jordi Palés Argullós

Facultad de Medicina, Universitat de Barcelona. Sociedad Española de Educación Médica. Association for Medical Education in Europe. Fundación Educación Médica.
E-mail: jpales@ub.edu

 

 

La evaluación de la calidad en el contexto europeo e internacional. La necesidad de estándares de calidad

El proceso de adaptación al Espacio Europeo de Educación Superior (EEES) definido por la Declaración de Bolonia está representando o debería representar, al menos para los sistemas universitarios europeos, una oportunidad para llevar a cabo una reflexión profunda sobre la estructura y los contenidos de los currículos educativos, sobre los títulos y materias a impartir, sobre el cambio de la perspectiva enseñanza/aprendizaje, sobre la modificación de las metodologías y de los sistemas de evaluación y, sobre todo, poner en marcha un sistema de acreditación de la calidad. Uno de los objetivos claramente definidos por la Declaración de Bolonia es precisamente éste, conseguir la colaboración europea para la evaluación de la calidad.

Cuando abordamos cualquier proceso de evaluación de la calidad en cualquier ámbito, debemos siempre plantearnos una pregunta clave: ¿buena o mala calidad, en relación a qué? Y la respuesta es clara: para evaluar debemos tener estándares de calidad bien definidos para cada uno de los aspectos a evaluar.

En los últimos años, en nuestro país se han establecido agencias dependientes de la Administración central, como la Agencia Nacional Evaluadora de la Calidad y Acreditación (ANECA), o dependientes de las diferentes comunidades autónomas, con el fin de contribuir a la mejora de la calidad del sistema de educación superior mediante la evaluación, la certificación y la acreditación de las enseñanzas, del profesorado y de las instituciones de educación superior. Actualmente, la ANECA y algunas agencias autonómicas están procediendo al proceso de verificación de las propuestas de los estudios de grado y de máster elaboradas por las universidades de acuerdo con el proceso de Bolonia. Se han establecido referentes y criterios que han de ser cubiertos por las diferentes propuestas con el fin de que éstas puedan en un primer momento verificarse e implementarse. Posteriormente a esta verificación deberá llevarse a cabo en los años siguientes el correspondiente seguimiento y, al cabo de seis años, el proceso de evaluación de lo realizado y la acreditación de las enseñanzas e instituciones. Todo esto proceso ha hecho que en los últimos tiempos haya calado en el contexto universitario la cultura de la evaluación de la calidad.

El campo de la educación médica internacional no ha sido ajena al tema de la evaluación de la calidad y, como en otros muchos aspectos, ha ido siempre un paso por delante. Un claro ejemplo es que en 1999, año de inicio del proceso de Bolonia, muchos de sus principios ya se venían aplicando en muchos países en sus programas formativos, y también se había considerado el tema de la evaluación de la calidad. En este sentido, ese mismo año, la World Federation for Medical Education (WFME) publicó sus estándares para la mejora de la calidad en las tres etapas del continuo médico (grado, posgrado y/o formación especializada, y formación continua y desarrollo profesional continuo), estableciendo asimismo una guía para la evaluación de la calidad y posterior acreditación de las instituciones. Debemos recordar que dos años más tarde, en el 2001, en el congreso de la Sociedad Española de Educación Médica (SEDEM) celebrado en Granada, la misma SEDEM, las sociedades de educación médica de ámbito autonómico, las facultades de medicina españolas y las administraciones sanitaria y educativa, entre otros agentes, firmaron la denominada 'Declaración de Granada' en la que asumían los estándares de la WFME y se comprometían a aplicarlos en la evaluación de sus instituciones. Los estándares de la WFME distinguían dos niveles de calidad para cada ítem:

• Estándar básico (EB) o requerimiento mínimo: expresado con el verbo 'debe'

• Estándar para el desarrollo de la calidad (DS): expresado con el verbo 'debería'

Posteriormente, en el 2007, y en pleno desarrollo del proceso de Bolonia, la WFME reelaboró sus estándares teniendo en cuenta la Directiva 2005/36/EC, de 7 septiembre del 2005, sobre reconocimiento de las calificaciones profesionales, la Declaración y proceso de Bolonia, el Sistema Europeo de Transferencia de Créditos (ECTS) y la tradición universitaria europea, y publicó las denominadas 'especificaciones europeas a sus estándares globales', con el fin de hacerlos más útiles a las instituciones en su proceso de adaptación a Bolonia. En estas especificaciones europeas, la mayoría de estándares de desarrollo de calidad se convierten en estándares básicos.

En contraposición, no es hasta el 2005 cuando los ministros de los países miembros adoptan los 'Criterios y directrices para la garantía de calidad en el EEES', elaborados por la ENQA, y hay que esperar al 2007 a que se publique en nuestro país el Real Decreto por el que se establece la ordenación de las enseñanzas universitarias oficiales y los procedimientos y criterios para la verificación de los títulos universitarios.

Si comparamos los estándares fijados por la WFME con los fijados en el Real Decreto antes aludido, vemos que si bien presentan similitudes importantes en muchos de sus aspectos, los primeros son más específicos y más concretos y, por tanto, más adecuados para la evaluación de la calidad de los programas formativos de medicina. Los fijados por el referido decreto son generalistas para poder aplicarse a cualquier enseñanza, no sólo medicina, y en cualquier caso debemos reconocer que sólo persiguen fundamentalmente la verificación del título y por lógica deberían complementarse para proceder con la evaluación después de los seis años.

 

Evaluación de la calidad de una institución educativa y de sus programas formativos

Evaluar la calidad de una institución educativa supone evaluar tres contextos que se interrelacionan entre sí y se influyen mutuamente:

• La estructura y organización, que incluye los recursos materiales y humanos.

• El proceso educativo, que incluye el currículo, los programas formativos, las metodologías docentes y de evaluación y los resultados.

• El profesorado.

A pesar de esta mutua influencia nos circunscribiremos al segundo punto de evaluación del proceso educativo, aunque en determinados aspectos es prácticamente imposible no solaparse con aspectos de los otros contextos.

Para ello seguiremos los antes referidos estándares propuestos de la WFME y nos ceñiremos a los aspectos que de forma específica consideran la evaluación de la calidad de los programas formativos en medicina. En concreto, consideraremos dentro del programa educativo:

• Competencias y objetivos a alcanzar.

• Modelos curriculares y métodos educativos empleados, incluyendo la evaluación.

• Contenidos que se imparten.

• Estructura, composición y duración del currículo.

• Resultados del programa educativo, que va más allá de la simple evaluación de los estudiantes.

• Gestión del programa y los procedimientos de revisión de éste en función de sus resultados.

 

Competencias y objetivos

Con respecto a las competencias y objetivos, en el proceso de evaluación debe analizarse si las competencias fundamentales necesarias para que los estudiantes se gradúen se han definido bien y si guardan relación con la formación posgraduada y especializada. Así mismo, si se mantiene una relación adecuada con las necesidades existentes y emergentes de la sociedad en la que ejercerán los graduados.

En el contexto europeo, la definición de las competencias debe haber tenido en cuenta los actuales desarrollos europeos en definición de competencias, en especial la European Frame-work of Qualifications y los resultados del Tuning Medical Education del proyecto MEDINE.

Modelos curriculares y métodos educativos

En este punto deben quedar bien establecidos cuáles son los principios que guían el diseño curricular y los tipos de métodos de enseñanza utilizados para implementarlo, y si éstos se basan en las teorías modernas del aprendizaje de adultos. Debe asegurarse que los currículos se orientan de acuerdo con los principios de la educación médica basada en resultados finales. Debe comprobarse también que la metodología utilizada permite que los estudiantes asuman su responsabilidad en su proceso de aprendizaje y se preparen para el aprendizaje autónomo a lo largo de toda su vida.

Desde un punto de vista más formal y en el entorno europeo, los programas deben cumplir la Directiva 2005/36/EU sobre reconocimiento de cualificaciones profesionales y debe quedar claro qué tipo de estructura curricular ha adoptado la facultad (uno o dos 2 ciclos), de acuerdo con el proceso de Bolonia.

Contenidos

Debe valorarse que existan en el programa contenidos que inculquen los principios del método científico y de la medicina basada en la evidencia y promuevan el pensamiento analítico y crítico, y se debe indicar cuáles son las oportunidades específicas que se ofrecen a los estudiantes para adquirir formación para la investigación.

Respecto a las ciencias básicas debe valorarse cómo se integran en el currículo y el proceso por el cual se incorporan a éste los avances en las ciencias biomédicas básicas para desarrollar la práctica asistencial.

El currículo debe incorporar asimismo las ciencias sociales y del comportamiento, de la ética y de la jurisprudencia médicas, y contribuir a desarrollar una comunicación efectiva, el proceso de decisión y una práctica ética, y éstas integrarse con otros conocimientos y habilidades, y la ética médica, con las ciencias básicas y clínicas. El currículo debe incorporar asimismo la enseñanza de los atributos fundamentales del profesionalismo. Todas estas contribuciones deben adaptarse a los desarrollos actuales de la medicina, a los cambios demográficos, a los contextos culturales y las necesidades de salud de la sociedad.

En el contexto clínico deben estar claramente establecidos los resultados de aprendizaje específicos (conocimientos, habilidades y actitudes) que garanticen la competencia clínica al final del grado, y las disciplinas clínicas específicas y el nivel en que se han de cursar para adquirir las competencias exigidas. El programa debe especificar claramente cuáles son los entornos asistenciales necesarios para alcanzar la competencia exigida y ser coherentes con ello, así como dar oportunidades al estudiante para participar de forma activa en la atención del paciente y para tener un contacto precoz con éste. Deben haberse tenido en cuenta todos los entornos posibles (medio hospitalario, atención primaria, comunidad, laboratorios de simulación, etc.). Deben concretarse si existen oportunidades para que los alumnos adquieran una experiencia comunitaria relevante y para trabajar con otros profesionales de la salud. Finalmente, las habilidades clínicas deben adaptarse a cada etapa del currículo.

Estructura, composición y duración del currículo

Se debe asegurar que el programa posee una extensión y una secuencia adecuados y que asegura un balance correcto entre currículo nuclear y optativo. Asimismo, que existe una correcta integración de las ciencias básicas y las clínicas en el currículo, tanto horizontal (concurrente) como vertical (secuencial), y especificar los mecanismos que aseguran esta integración.

Desde el contexto europeo, la organización curricular debe basarse en la carga de trabajo del estudiante de acuerdo con el sistema ECTS.

Gestión y revisión del programa de acuerdo con sus resultados

Una vez diseñado el programa formativo, éste debe implementarse, gestionarse y revisarse periódicamente. Para ello debe existir un comité curricular con autoridad para resolver conflictos educativos y determinar las contribuciones al currículo de las diferentes disciplinas. Debe especificarse cuál es su mandato, la composición y la autoridad de dicho comité. En éste es indispensable al menos que participen estudiantes, egresados y responsables del posgrado.

Deben estar claramente especificados cuáles son los mecanismos de que dispone la facultad y cuáles son los recursos de que dispone el comité curricular para introducir innovaciones en la enseñanza/aprendizaje, en la evaluación de los estudiantes y en el currículo, de acuerdo con los defectos observados.

Para todo ello es indispensable que dicho comité disponga de mecanismos que le permitan obtener y utilizar información procedente de todos los agentes implicados (la comunidad y la sociedad, egresados, profesores y alumnos) para evaluar los resultados del programa. En este sentido, el feedback de los estudiantes y profesores es fundamental para la evaluación de la planificación del programa y es necesario estimular a los distintos agentes a participar en las actividades de evaluación.

El referido comité u otra estructura han de encargarse de hacer de forma independiente el seguimiento de la actuación y de los resultados y garantizar que los problemas se identifican y se corrigen, y estar claramente establecidos los mecanismos mediante los cuales se recoge, se analiza y se utiliza toda la información. Las agencias de evaluación externas deben implicarse en estos procesos de evaluación.

La facultad ha de poseer además una política o procedimientos para garantizar que sus metodologías educativas son las apropiadas para la implementación del currículo, y para ello ha de tener acceso a una unidad experta en educación médica propia o externa. La facultad debe desarrollar investigación en el campo de la educación médica.

Todo este sistema de evaluación determinará un necesario proceso de renovación continua de la institución que permitirá:

• La adaptación de la misión y los objetivos de la facultad al desarrollo científico, socioeconómico y cultural de la sociedad.

• La modificación de las competencias necesarias de los licenciados de acuerdo con las necesidades documentadas del entorno cambiante en el que ejercerán.

• La adaptación del modelo curricular y de los métodos educativos para garantizar que son apropiados y relevantes.

• La adecuación de los elementos curriculares y sus relaciones para adaptarse a los avances en las ciencias biomédicas, las ciencias del comportamiento, las ciencias sociales, las ciencias clínicas, los cambios en el perfil demográfico y del patrón salud/enfermedad de la población, y de las condiciones socioeconómicas y culturales. Esta adecuación debería garantizar la inclusión de nuevos conocimientos, conceptos y métodos relevantes, y que los obsoletos sean eliminados de los programas educativos.

• El desarrollo de principios y de los métodos evaluativos, así como el número de exámenes, debe corresponderse con los cambios en los objetivos educativos y los métodos y objetivos de aprendizaje.

• Adaptación de la política de selección del profesorado de acuerdo con las necesidades cambiantes de la facultad.

• Puesta al día de los recursos educativos de acuerdo con las necesidades cambiantes de la facultad (por ejemplo, entrada de estudiantes, cantidad y perfil del personal académico), el programa educativo y los principios educativos actuales.

• Mejora del proceso de seguimiento y evaluación de los programas educativos.

• Desarrollo de la estructura organizativa y de gestión para adaptarse a las circunstancias cambiantes y las necesidades de la facultad y, con el paso del tiempo, acomodarse a los intereses de los diferentes agentes sociales.

 

Evaluación e impacto

Cualquier proceso de evaluación de calidad no será útil si no se derivan de él unas determinadas mejoras, es decir, si no existe un impacto concreto. Un proceso de evaluación de calidad sin impacto es un proceso inútil. Una institución puede y debe evaluar la calidad de su programa de acuerdo con todos los aspectos anteriormente expuestos, es decir, en su planificación, en su desarrollo e implementación, es decir, el proceso educativo a través del feedback aportado por todos los agentes implicados y en sus resultados inmediatos en base la evaluación sumativa de los estudiantes. Sin embargo, todo esto no es suficiente. La evaluación de la calidad de los programas debe ir más allá y buscar evidencias que confirmen el grado de transferencia de los aprendizajes. Es decir, cómo se traduce en la práctica real o profesional de los egresados y, por ello, este aspecto debe ser objeto de seguimiento o evaluación y se debe disponer de instrumentos que lo faciliten.

 

A modo de conclusión

Cualquier institución educativa debe dotarse de un sistema eficaz de gestión y mejora de la calidad que permita llevar a cabo la evaluación de sus programas en todas los aspectos anteriormente definidos, siempre de acuerdo con estándares nacionales e internacionales ampliamente aceptados, y que le permita detectar deficiencias, introducir medidas correctoras y hacer un seguimiento de cómo las correcciones inciden de forma positiva en la calidad del programa.

Las instituciones educativas han de ser muy conscientes que la evaluación y la mejora de la calidad de sus programas educativos, así como de otros aspectos, inciden fundamentalmente en la calidad asistencial y éste debe ser su fin último, mejorar la atención sanitaria de la población.

 

Bibliografía

1. ANECA. Referentes utilizados para la evaluación en la verificación de grados. URL: http://www.aneca.es/actividadesevaluacion/evaluacionenseñanzas/verifica.aspx. [31.05.2010].        [ Links ]

2. ENQUA. Criterios y directrices para la garantía de calidad en el Espacio Europeo de Educación Superior. URL: http://www.enqa.net/bologna.lasso        [ Links ]

3. MEDINE. The Thematic Network on Medical Education in Europe. WFME Global Standards for Quality Improvement in Medical Education. European Specifications. Copenhagen, 2007.        [ Links ]

4. Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales. BOE n.^o 260, de 30 octubre de 2007. p. 44037-48.        [ Links ]

5. Gual A. Guía de la OMS/WFME para la acreditación de la formación médica de grado. Educ Med 2006; 9: 101-2.        [ Links ]

6. World Federation for Medical Education. Estándares globales en educación médica. Educ Med 2004; 7 (Supl 2): 5-6.        [ Links ]