Sistema de evaluación de la calidad de la docencia de la escuela de medicina de la Universidad de Chile
Program for the evaluation of the quality of teaching in the school of medicine, university of Chile.
Dr. Alberto Estévez De Vidts, Christel Hanne Altermatt, Marco Bustamante Zamorano, Eugenia Jedlicki Corbaeux,
Sergio Garrido Sánchez, Fernando Quevedo Ricardi, Eduardo Rosselot Jaramillo
Universidad de Chile.
| Se describe el Sistema de Evaluación de la Calidad de la Docencia de la Escuela de Medicina de la Universidad de Chile, que está alcanzando su etapa de madurez, al validarse después de aplicarse ya por 4 años. Se describe a la Comisión de Evaluación de la Calidad de la Docencia encargada de gestionar el Sistema y se detallan las actividades de Planificación, Ejecución de Tareas y de Socialización con Retroalimentación, entre otras, que la Comisión realiza. Se señalan los objetivos, metodologías, componentes, formas de operar y requerimientos del Sistema. Se identifican y describen los principales componentes del Sistema: Unidad objetivo de evaluación, Interlocutor oficial principal de la Comisión, Fuentes de información, Parámetros de Evaluación, Criterios de calidad, Categorías de información, Niveles de calidad, Instrumentos de recolección de información e Instrumentos para clasificar los comentarios y menciones. En relación con la forma de operar del Sistema se describen sus diagramas de flujo y cronogramas de trabajo. Finalmente se establece nuestra mirada de futuro en relación con el Sistema, el que creemos está llamado a aportar a la calidad tan demandada en nuestros tiempos. Palabras clave: Educación Médica, Calidad de la Docencia, Evaluación de la Docencia, Sistema de Evaluación | ]]>
The article describes a program for the evaluation of teaching quality at the School of Medicine of the University of Chile, which has been running now for 4 years. We explain the structure of the Teaching Quality Evaluation Committee responsible for the program, its planning activities, task implementation, networking with feedback and other aspects. The objectives, methods, components, requirements and operating systems of the Program are described. The main components of the program are: objectives of the evaluation; sources and categories of information; criteria and levels of quality; methods for information retrieval and for the evaluation and implementation of suggestions. Flow diagrams and time charts of activities for the operation of the program are provided. Finally, we discuss the future of the program and make proposals for possible innovations to ensure the continued improvement of teaching. Key Words: Medical Education, Teaching Quality, Teaching Evaluation, Evaluation Program or System
|
Correspondencia:
Alberto Estévez De Vidts
e-mail: aestevez@entelchile.net
INTRODUCCION
La evaluación debe ser un componente esencial de cualquier tarea humana, como tal debe estar contemplada en todo plan o programa de actividades.
La evaluación de la calidad es compleja, en especial porque obliga a definirla, para luego diseñar como hacerlo. En todo caso debe hacerse siempre. Pensamos que de hecho se hace, pero la mayor parte de las veces sólo en forma implícita. Quizás sea pertinente discutir porqué es así y si es bueno o necesario modificar este hábito. Sin duda que la preeminencia que han tomado, en el último tiempo, las nociones de transparencia y de rendir cuentas, sea para garantía de la fe pública o, simplemente, para lograr confiabilidad y por ende competitividad en el ámbito en que actúan las instituciones, determinan que su abierta expresión sea un requisito insoslayable 1-4.
]]> La evaluación de la calidad de la docencia es aún más compleja, en especial porque se agrega un número importante de actores con variados roles y caracteres relevantes a la calidad. Quizás por ello es que se realiza más bien en forma de apreciaciones generales, aunque también debiera tener expresión cualitativa y cuantitativa para contar con indicadores susceptibles de mejorar y poner a tono con las necesidades de proveer las competencias propias del aprendizaje 5-6.La evaluación de la calidad de la docencia universitaria agrega el hecho que esta docencia es desarrollada por personas con un muy alto nivel de autonomía, el cual pueden sentir amenazado por actividades de evaluación de su quehacer.
La evaluación de la calidad de la docencia en una Escuela de Medicina, suma a todo lo precedente la enorme trascendencia que tiene la tarea de formar médicos.
Es probable que lo anterior explique que haya sido necesario un cambio radical de currículo para que la Escuela de Medicina de la Universidad de Chile implementara la evaluación de la calidad de la docencia en forma sistemática e institucionalmente impulsada 7-8. Es así como hoy dispone de un Sistema de Evaluación de la Calidad de la Docencia, cuyas características informamos en esta comunicación.
ANTECEDENTES
El tema de la calidad y su control, ligado al de dar garantías a la fe pública, han determinado en gran medida las actividades de las instituciones chilenas de educación superior, en especial en el último decenio. De hecho, se han implementado Sistemas de Auto Evaluación Institucional y de Acreditación de Instituciones y Programas, los que están plenamente operativos en el caso de las Escuelas de Medicina pertenecientes a la Asociación de Facultades de Medicina de Chile (ASOFAMECH) 4, 5, 9. Los procesos de reconocimiento internacional de dichos Sistemas, al menos en el MERCOSUR, también están en desarrollo.
Es en este contexto que se produjo la reforma curricular en nuestra Escuela de Medicina, por lo que la natural necesidad de evaluar los cambios se vio fortalecida por un entorno preocupado del tema de la calidad y de la fe pública 4, 5, 7, 8.
El tema de la calidad lo entendemos referido tanto a su control como a sus sostenimiento en el tiempo, es esto último lo que determina la necesidad de evaluarla (y no sólo medirla), como un requisito esencial para superar o al menos mantener los niveles de calidad.
En 1997, la Unidad de Planificación de la Enseñanza Médica (UPEM) de la Facultad de Medicina de la Universidad de Chile, que tuvo un papel protagónico en la reforma curricular, nomina a dos de los autores (AE y CH) para abocarse a la tarea de identificar parámetros y criterios de evaluación de la calidad de la docencia. Posteriormente se incorporaron el resto de los autores de este trabajo constituyéndose la Comisión de Evaluación de la Calidad de la Docencia.
En el desarrollo de la tarea encomendada advertimos que además de establecer nuestros parámetros y criterios de calidad de la docencia, debíamos definir con mayor amplitud qué información necesitábamos, identificar sus fuentes, las formas de obtenerla, procesarla y analizarla para, finalmente, proceder a emitir los juicios de valor que permitieran implementar los cambios necesarios para la mejoría y perfeccionamiento de la docencia. También, nos pareció que dado lo delicado de, por lo menos, alguna parte de la información a obtener, debíamos establecer quienes podrían hacer uso de ella y cuales serían los modos de difundirla.
]]> En suma, concluimos que debíamos elaborar un Sistema de Evaluación de la Calidad de la Docencia de la Escuela de Medicina de la Universidad de Chile, que pudiera servir a su caracterización, sostén y perfeccionamiento continuado.Como este nuevo Sistema iba a ser parte del ya existente conjunto de actividades evaluadoras de la calidad de la docencia, realizadas entre otros, por los profesores y departamentos responsables y por la escuela, debía ser complementario a ellas. Es así como es el único que tiene la particularidad de ser común para todos los cursos de la carrera, que son de una tremenda variedad en cuanto a disciplinas, número y calidad de alumnos, número de docentes participantes, tipo de actividades docentes, horas programáticas, etc.
Acoger esa diversidad docente significó asumir costos, como sacrificar en algo la evaluación de lo específico en cada curso, aunque obviamente cada grupo responsable iba a poder continuar evaluando sus especificidades por métodos propios. También y para facilitar la participación lo más masiva y oportuna posible fue necesario acotar los contenidos, para permitir que los instrumentos de recolección de información, además de simples y sencillos, no ocuparan más de una página e hicieran posible recoger la información en pocos minutos.
SISTEMA
El Sistema tiene objetivos, metodologías, componentes, formas de operar y también requerimientos, el principal de los cuales es disponer de un ente que lo gestione y administre.
Gestión y Administración: Es realizada por la Comisión de Evaluación de la Calidad de la Docencia a través de diversas actividades, siendo las de Planificación, Ejecución de Tareas y de Socialización con Retroalimentación las más importantes.
a) Las actividades de planificación de la Comisión han incluido desde el establecer los objetivos del Sistema y definir sus propios requerimientos, hasta evaluar y proponer cambios al propio Sistema. También la elaboración de normas, instructivos, bases de datos, diseños de todas las estrategias necesarias, etc.
b) Las actividades de ejecución son aquellas de realización directa como lectura de datos, impresión de resultados, envío de material a los Profesores Encargados de Curso (PEC), etc. Estas actividades están entre las de mayor trascendencia, magnitud y complejidad de la tarea emprendida, y las más consideradas a la hora de rediseñar sus metodologías. Cabe mencionar que la Escuela de Medicina tiene aproximadamente 1500 estudiantes, que el Plan de estudios contempla 48 asignaturas y que el total de cursos de la Escuela es 173. Lo anterior en virtud fundamentalmente de 2 tipos de razones, la primera es que hay asignaturas equivalentes de las cuales cada estudiante debe tomar una, la segunda es que la docencia se realiza en 5 Campos Clínicos y hay asignaturas que se dictan en los 5 Campos.
c) Las actividades de socialización con retroalimentación consisten fundamentalmente en reuniones destinadas a informar, escuchar y motivar. Se realizan con los PEC, los alumnos y las autoridades.
d) Otras actividades realizadas son las de auto-educación continua en el tema de evaluación de la calidad de la docencia, organizando o participando en reuniones con expertos nacionales y extranjeros o dedicando alguna de sus reuniones ordinarias a este fin.
]]> Cronogramas y Diagramas de flujoUno de los elementos más importantes para la aplicación del Sistema ha sido la elaboración de cronogramas y diagramas de flujo, los que, siendo funcionales a los objetivos del mismo, han acogido la realidad de la Escuela. Ha sido importante para agilizar el proceso, que desde este año 2003, el portal Internet de la Facultad incluya información de la Comisión.
Normativas e Instructivos
La confección, de normas e instructivos, cortos y precisos, que han sido progresivamente perfeccionados de acuerdo a la experiencia, ha contribuido en gran medida al logro de los objetivos, en especial al disminuir las pérdidas de esfuerzo derivadas de la mala o incorrecta aplicación de los instrumentos.
Componentes del Sistema
Unidad objeto de la evaluación, Interlocutor oficial principal, Fuentes de información, Parámetros de evaluación, Criterios de calidad, Categorías de información, Niveles de calidad, Instrumentos de recolección de información e Instrumentos para clasificar los comentarios y menciones.
La Unidad objeto de la evaluación es el Curso, entendido como aquel programa docente contemplado en el Plan de Estudios de la Carrera que tiene designado un Profesor Encargado de Curso. El conjunto de todos los cursos constituye la Escuela. Puede considerarse que hay subconjuntos como son los Campos Clínicos, los Subsistemas*, los Niveles, las Disciplinas. El Sistema contempla la comparación de resultados en el tiempo, mediante análisis de tendencias para cada unidad, subconjunto y el propio conjunto.
El interlocutor oficial principal es el Profesor Encargado de Curso, y hasta el momento, aplica los instrumentos; también los procesa, parcialmente, y devuelve a la Comisión junto con sus informes. A su vez, es el destinatario fundamental y primario de los resultados de su curso y de la Escuela. Decimos que el PEC es el encargado "hasta el momento" porque estamos concientes que al aplicar los instrumentos que evalúan su curso, es juez y parte, por lo que, cuando sea posible, el proceso deberá externalizarse.
*: Subsistema: el nuevo currículo es sistémico e integrado. Contiene 5 subsistemas, entendidos como grandes áreas tem áticas tratadas en todos y cada uno de los 7 años del Plan de Estudios. Por ejemplo: Formación General, Fundamentos Prácticos de la Medicina, Bases Conceptuales de la Medicina.
Fuentes de información: Alumnos regulares del Curso, Docentes participantes y Profesores Encargados de Curso.
]]> Por docentes participantes los alumnos han comprendido a toda aquella persona que, en su percepción, ha jugado un rol docente en el desarrollo del Curso evaluado. Los PEC, en cambio, han tendido a restringir el concepto a aquellos docentes que figuran con responsabilidades docentes precisas en el Programa del Curso.Parámetros de Evaluación del Curso:
a) Docentes
b) Alumnos
c) Programa del Curso
d) Clases y otras actividades docentes
e) Evaluación, en especial de logro de objetivos del Curso
f) Evaluación de las pruebas y exámenes aplicados
g) Accesibilidad a información relevante al logro de objetivos del Curso
h) Infraestructura
]]> Criterios de calidad: referidos a los parámetros, establecen grado o nivel de:a) Cumplimiento,
b) Adecuación,
c) Utilidad,
d) Consistencia,
e) Coherencia,
f) Calidad intrínseca
g) Oportunidad.
Categorías de información:
a) Opinión: grado de acuerdo con una afirmación propuesta, expresado con una escala de Likert 10, 11.
]]> b) Menciones de docentes o alumnos destacados (positiva o negativamente). El instrumento invita a mencionarlos sin ofrecer un listado de nombres, sugiriendo el criterio de mencionar a quienes mejor satisficieron sus expectativas y a quienes menos satisficieron sus expectativas.c) Comentarios: se invita a docentes y alumnos a que expresen, en forma de comentarios adicionales, otros aspectos del Curso que estimen necesario.
d) Informes del PEC, incluyen entre otros: actas de notas, calificación cualitativa de los docentes y del equipo docente, informaciones específicas que considere relevantes, análisis, comentarios y juicios de valor.
Niveles de calidad:
La Comisión estableció para las opiniones (Likert) como satisfactorio un porcentaje de 80% o más para la suma de los porcentajes obtenidos por las opciones de acuerdo más muy de acuerdo. No está establecido y está en elaboración para los comentarios y menciones.
Es destacable que los comentarios consideran aspectos tan caros para la docencia como la idoneidad y capacidad de las personas, la empatía y calidad de la comunicación, la pertinencia e integración de los contenidos, la relación docente alumno, en especial en cuanto al respeto traducido en conductas observables, como puntualidad y asistencia de alumnos y docentes.
Instrumentos de recolección de información*:
a) Formulario de "Evaluación del Curso por los alumnos",
b) Formulario de "Evaluación del Curso por los docentes" y
c) Formulario de "Informe del Profesor Encargado de Curso"
]]> Instrumentos para clasificar los comentarios y menciones*:a) Tabla de comentarios de los alumnos
b) Tabla de docentes mencionados por los alumnos
c) Tabla de comentarios de los docentes
d) Tabla de alumnos mencionados por los docentes
*: Disponibles en; http://www.med.uchile.cl/decsa/index.htm
OPERACIÓN DEL SISTEMA
Cronograma: Establece, con fechas de inicio y término, el año docente. Fija dos periodos de un semestre de duración, para entrega y recepción de material. Fija los momentos de aplicación de los instrumentos y establece plazos máximos para que el PEC haga llegar todo el material a la Comisión. Igualmente establece fechas y plazos a la Comisión. El Curso siguiente debe programarse conociendo la evaluación del que le precedió. Finalmente fija una fecha en que debe ser recibido el informe anual por las autoridades. Finalmente establece los períodos en que se realizarán las reuniones de socialización con retroalimentación con los PEC y con las autoridades. (Ver diagrama 1).
]]> Diagramas de flujo (ver diagrama 2)
Se refieren a la información y a la distribución de materiales y establecen que la correspondencia escrita con los PEC es directa; la enviada por la Comisión puede ser con copia a los Directores de Departamento o Programa y a los Coordinadores Docentes de Pregrado. Un paso útil para la Comisión, ha sido disponer de oficina y teléfono propios, con lo que ha aumentado en forma importante y progresiva la comunicación pertinente. En cuanto al flujo formal de información con los PEC, además de las reuniones ya descritas, se envía instructivos e información escrita, de preferencia junto con el envío del material a aplicar y de sus resultados. Las reuniones con las autoridades son por solicitud de alguna de las partes, sea para evaluación de proceso, para informes de avance, para análisis de resultados, etc.
ESTADO ACTUAL
El Sistema ha entrado en fase de consolidación, al haber por tercer año consecutivo, obtenido la participación masiva de los alumnos, quienes han respondido un número superior a 6.000 instrumentos cada año sobre un universo estimado en 8.000.
El esfuerzo y desafío que lo anterior ha significado para la Comisión se ha traducido en adaptaciones para optimizar el procesamiento de tanta información y también el impacto de su propio quehacer en la docencia.
Es así como ahora los PEC deben llenar las tablas de menciones y comentarios, con lo que el Sistema asegura que la más rica e importante retroalimentación se produzca en forma inmediata, la Comisión por su parte, efectúa el control de calidad del proceso y Sistematiza la información recogida en estas tablas y la hace llegar a la autoridad para su uso institucional.
En relación con la participación de los docentes estamos avanzando y hemos diseñado estrategias para hacerla más masiva.
Los informes de los PEC, muestran un inapropiado retraso que esperamos superar en una etapa posterior. Es muy probable que debamos modificar el Formulario de Informe del PEC.
]]> Cabe mencionar que varias de las otras escuelas de pregrado de nuestra Facultad han solicitado formalmente ser incorporadas al Sistema y que la Dirección de la Escuela de Medicina ha invitado a la Comisión para discutir las formas como puede colaborar para hacer más efectivo y aumentar el impacto de su trabajo.Por último, cabe destacar que iniciativas y esfuerzos de este tipo y magnitud tienen consecuencias no siempre previstas, en este caso una muy importante y reconocida por todos, es que ahora la institución y los miembros de su comunidad conocen más y mejor la esencia de su quehacer docente, en especial en los aspectos de estructura del Plan de Estudios y de la diversidad docente de la Escuela de Medicina.
FUTURO
No tenemos dudas que la comunidad de docentes y alumnos con su participación creciente y masiva han legitimado el Sistema, que las autoridades cada día lo valoran más; de hecho, sin el decidido, concreto y sostenido apoyo institucional, no estaríamos realizando este informe.
Con esa convicción creemos que la docencia de la Escuela de Medicina seguirá mejorando su calidad, ahora en forma acelerada al contar con esta nueva fuente de información acerca de sus alumnos, docentes, programas, estructuras, etc.
Deberemos ir generando las formas de traducir en niveles de calidad los comentarios y las menciones de docentes y de alumnos. Como esto, además de muy delicado y sensible, es en gran medida intuitivo, esperaremos haber acumulado conocimientos y experiencias y tener curvas de correlación y de tendencias para empezar a hacerlo. Confiamos que el tiempo que demandará este proceso de aprendizaje se compensará con el hecho que estaremos haciendo un real aporte.
Desde otros ángulos de observación, visualizamos que: 1. Esta iniciativa dará un nuevo impulso a la revisión sistemática de los Programas de Asignatura, 2. El Sistema consolidará su validación al correlacionarse con el nivel de competencia profesional que demuestren los egresados del futuro.
Vemos la concreción de todas las innovaciones anteriores como resultado de la evolución natural del proceso iniciado. No obstante, estamos convencidos que estas innovaciones se beneficiarán y perdurarán más si se refuerzan con las observaciones efectuadas en jornadas anuales y en las auditorías de la docencia, que aspiramos constituyan una instancia sistemática y oportuna de la gestión de calidad educacional.
Desde luego creemos que la instalación de este Sistema, ha fortalecido la cultura de evaluación de nuestra comunidad, por lo que ahora resulta más natural el diálogo evaluativo entre docentes y alumnos, considerado en la perspectiva del control de los procesos, de la retroalimentación formativa y del logro de los objetivos educacionales de manera integral.
Bibliografía
]]>1. Boelen C., Heck J. E.- Definiendo y Midiendo la Capacidad de las Facultades de Medicina de Rendir Cuentas ante la Sociedad. OMS, Ginebra, 1997 [ Links ]
2. George Ch. F.- Measuring Social Responsiveness: A View from the United Kingdom. Acad. Med. 1999; 74: (8 Supp.) S54-S58. [ Links ]
3. Rosselot E.- Aseguramiento de la Calidad Profesional. Un Nuevo Marco Ético para el Ejercicio de la Medicina. Rev. Méd. Chile. 1999; 127: 1375-1383. [ Links ]
4. Rosselot E.- Acreditación de Escuelas de Medicina. Trabajando para la Calidad y la Confiabilidad Pública. Rev. Med. Chile. 2001; 129: 935-943 [ Links ]
5. Rosselot E., Norero C., Hanne C., Mateluna E.- Formación Profesional y su Acreditación en Medicina, un Paradigma en Garantía de la Fe Pública. Rev. Med. Chile 2002; 130: 585-589. [ Links ]
6. WFME Task Force on Defining International Standards in Basic Medical Education. Report of the Working Party, Copenhagen, Oct.1999. Medical Educ. 2000; 34: 665-675. [ Links ]
]]>7. Mateluna E.- Cambio Curricular en el Plan de Estudios de la Carrera de Medicina de la Universidad de Chile. Cuad. Méd. Soc. 1998; 39: 51-56 [ Links ]
8. Rosselot E.- La Reorganización Institucional Asociada a los Cambios Curriculares, en la Facultad de Medicina de la Universidad de Chile. Rev Méd. Chile. 1998; 126: 322-332. [ Links ]
9. Comisión Nacional de Acreditación de Pregrado (CNAP). Manual para el Desarrollo de Procesos de Autoevaluación. MINEDUC, Julio, 2000. [ Links ]
10. Risquerra R.- Metod. Investigación Educativa. CEAC, Barcelona, 1989 [ Links ]
11. Grant J. – A Practical Guide to Doing Research in Medical Education (Pre-Conference Workshop, Association for Medical Education in Europe, Praga, 1998). [ Links ]
]]>