MESA REDONDA 1. NUEVOS PROGRAMAS DOCENTES: LA INNOVACIÓN COMO ESTRATEGIA

 

El portafolio docente como instrumento para el discente y el docente

 

 

Ramiro Díez Lobato, Ángel López Encuentra, Alfonso Lagares Gómez-Abascal

Hospital 12 de Octubre. Facultad de Medicina. Universidad Complutense. Madrid.
E-mail: rdiez.hdoc@salud.madrid.org

 

 

Los nuevos paradigmas de la enseñanza clínica y el portafolio docente

Los nuevos currículos de medicina han desplazado su foco desde la adquisición de conocimientos al logro de la competencia clínica, entendiendo ésta como 'el uso habitual y juicioso de la comunicación, el conocimiento, las habilidades técnicas, el razonamiento clínico, las emociones y valores, y la reflexión sobre la práctica diaria en beneficio de los individuos y la comunidad' (R.M. Epstein). Ante la necesidad de desarrollar instrumentos que apoyen y guíen la adquisición de la competencia de una manera integrada y longitudinal, y de evaluar con criterios 'holísticos' en qué medida se alcanza, se recurre cada vez más al uso del portafolio en los diferentes estadios de la educación médica (entendida ésta como un continuo). En este escrito se comentan las características y funciones del portafolio, un instrumento docente-evaluador cuya génesis y utilidad se relacionan con paradigmas pedagógicos inspirados en el movimiento 'competencial' (international competency movement), el movimiento de 'autenticidad' (authenticity movement) y las teorías del aprendizaje del adulto (adult learning theory, experiential learning), que enfatizan la importancia de la enseñanza práctica y el autoaprendizaje del alumno.

El movimiento competencial preconiza la adquisición de una serie de competencias específicas y generales (no privativas éstas de nuestra profesión) de manera simultánea e integrada (todas a la vez), y progresiva (perspectiva longitudinal) a lo largo del grado, en un proceso que debe continuarse sin ruptura hasta completarse en el posgrado (continuity in medical education). Además, y ajustándonos a los principios que rigen la buena enseñanza clínica -por ejemplo, 'la evaluación dirige el aprendizaje' (assessment drives learning) y 'la evaluación mejora la enseñanza' (assessment enhances teaching)-, utilizaremos técnicas evaluadoras que valoren de manera repetitiva el nivel de competencia clínica alcanzado por el alumno, objetivando su progreso en el aprendizaje y las posibles carencias que deban corregirse; para esto se aplican diferentes tests y pruebas que 'miden' las competencias parcelares y globales, evitando en lo posible el 'reduccionismo' o la 'trivialización' en la evaluación que llevan a considerar erróneamente que el todo (la competencia) viene representado por la suma de las partes.

En la década de los años noventa se vuelve la mirada hacia la 'autenticidad' en la enseñanza de la práctica clínica, enfatizando la necesidad de realizar el aprendizaje en el contexto clínico real (ámbito intra y extrahospitalario) y de evaluar al estudiante allí donde lleva a cabo su labor, recurriendo no sólo al enfermo real, sino al paciente simulado y los maniquíes, así como a casos virtuales y otros recursos facilitados por las nuevas tecnologías informáticas. Diferentes estudios han evidenciado que el parámetro más determinante del aprendizaje clínico es justamente la observación directa del alumno por el profesor-evaluador durante sus actuaciones, seguida de un feedback constructivo. Pues bien, es ensamblando el aprendizaje de las competencias 'a pie de cama' con una evaluación realizada en el mismo contexto -pruebas de evaluación clínica objetiva estructurada (ECOE)- como se consigue la deseable congruencia entre enseñanza y evaluación, recomendada por el movimiento competencial. De este modo, la corriente del in training o work-based assessment (evaluación durante el aprendizaje) se está imponiendo en los nuevos currículos.

Por otra parte, las dos corrientes mencionadas -el aprendizaje de competencias (o su equivalente del aprendizaje basado en objetivos) y la autenticidad de las experiencias- comparten los principios pedagógicos de la teoría del 'aprendizaje del adulto', que preconiza el ejercicio constante de la reflexión y la implicación directa y activa en el aprendizaje por parte del estudiante, para quien el profesor-tutor actuará más como orientador y guía que como transmisor de una información que en gran parte deberá adquirirse de manera autónoma, favoreciendo así el hábito del autoaprendizaje.

Pues bien, es en el marco de las nuevas metodologías de enseñanza y evaluación de la práctica clínica donde el portafolio docente aparece como un instrumento guía para recoger, documentar y facilitar las actividades del aprendizaje clínico, y evaluar la adquisición de las competencias, tanto específicas como generales. Las figuras 1 y 2 muestran la interrelación de los nuevos paradigmas docentes y evaluadores que acabamos de describir, y cómo los principios en los que se basa el portafolio están en la base de la enseñanza basada en competencias, y es que tanto la enseñanza práctica como el portafolio emplean estrategias con abordajes 'holísticos'.

 

 

Al analizar las coincidencias de estos principios, comprobamos que tanto el paradigma de la enseñanza de competencias como un buen portafolio otorgan un papel clave al estudiante, ya que lo convierten en protagonista principal de su propio aprendizaje y del manejo del portafolio como instrumento para organizar y recoger sus propias actividades clínicas, y para estimular el hábito reflexivo y la interrelación con el profesor. Por otra parte, el uso del portafolio 'individualiza' al alumno como aprendiz, rescatándolo del anonimato de los grandes grupos de estudiantes que reciben enseñanzas teóricas en las aulas; cuando actúa 'a pie de cama', el estudiante realiza siempre un abordaje 'personal e intransferible' al problema clínico, en tanto en cuanto el encuentro con el enfermo generará una reflexión que, a su vez, motivará un estudio personal diseñado y ejecutado por el propio alumno con la orientación del profesor-tutor, (por ejemplo, una búsqueda en PubMed).

Como ya se dijo, las tareas en el aprendizaje clínico moderno son 'auténticas', es decir, se relacionan con 'sucesos y materiales clínicos reales', y los buenos portafolios son también 'auténticos', es decir, reflejan un conjunto de evidencias de lo que el estudiante hace realmente (competencias) y no de lo que podría hacer (o se presupone que debería hacer). Esta 'autenticidad' incrementa el valor práctico del portafolio porque establece un nexo entre el desempeño real del estudiante en el momento en que lo hace y lo que será capaz de hacer después de la residencia y en el contexto de la practica clínica autónoma. Ya apuntamos también que tanto la enseñanza por competencias como el portafolio aplicado como instrumento 'guía' de la misma, utilizan múltiples técnicas y recursos: el portafolio amalgama evidencias desde diferentes fuentes, permitiendo emitir un juicio 'holístico' sobre el nivel de competencia del estudiante al recurrir a la estrategia de la 'triangulación', que aumenta la validez y fiabilidad de la evaluación y que consiste en el empleo de varias técnicas o pruebas para medir una misma competencia, y de una misma prueba para medir diferentes competencias.

La transparencia de lo que el alumno ejecuta en su práctica está garantizada por la dinámica del trabajo clínico que realiza, pero obviamente, ésta sólo se alcanza si observamos al alumno durante sus actuaciones. Por otra parte, es obligación del alumno transferir de modo veraz y 'auténtico' al portafolio los datos y el perfil de sus actividades. Es sabido que los alumnos pueden 'inflar' o deformar su portafolio cuando saben que se utiliza para evaluación sumativa (pasa/no pasa, u otorgar una nota). Este tipo de desviación hacia el cinismo profesional, que deforma el código ético y el profesionalismo del alumno, debe evitarse a toda costa 'monitorizando' de manera prospectiva la generación del portafolio durante la rotación.

Ya hemos hablado del valor y significado de la retroalimentación como recurso docente insustituible, tanto en el aprendizaje clínico diario como en la generación y valoración del propio portafolio. La reflexión 'durante la acción' y 'después de la acción' (por ejemplo durante y después de la entrevista-exploración clínicas), si bien se da siempre en mayor o menor grado durante los encuentros habituales con el paciente, debe 'perseguirse' y sistematizarse como rutina con la ayuda del portafolio (que incluirá apartados o formularios tanto de evaluación externa como de autoevaluación); y es que la reflexión y la autoevaluación son ingredientes esenciales del progreso continuo del aprendizaje (life-long learning) y del proceso que lleva a la formación de la identidad profesional.

Entre las ventajas del portafolio, definido como 'una colección de trabajos y materiales generados y aportados por el estudiante, junto con evaluaciones diversas, reunidos durante un tiempo, que reflejan el desarrollo de su aprendizaje, y son objeto de anotaciones reflexivas acerca de cómo se aprende y de lo aprendido en términos de resultados o de objetivos alcanzados' (Davis et al), destacan:

• Facilita un abordaje integrador de la práctica y la evaluación (tanto sumativa como formativa) del aprendizaje clínico.

• Recoge la evidencia de la actividad clínica y el aprendizaje de una manera longitudinal, permitiendo estimar el progreso del estudiante en el alcance de objetivos predefinidos.

• Permite evaluar competencias difíciles o imposibles de estimar de otro modo, como la capacidad de reflexión, el pensamiento crítico y la creatividad, el autoaprendizaje, el desarrollo de la identidad profesional y el profesionalismo.

• Impulsa y mejora el autoaprendizaje, al propiciar un aprendizaje más activo y en profundidad, potenciando la autorreflexión y la autoevaluación.

• Favorece la comunicación e interacción directa entre el alumno y el profesor, recordando a ambos que la evaluación ideal es un proceso 'de ida y vuelta'.

• Permite detectar antes a los poor performers y reconducirlos en su aprendizaje.

• Proporciona evidencia directa e indirecta acerca de la dedicación docente del profesor y del funcionamiento del programa docente.

La reflexión sobre el propio aprendizaje por parte del estudiante, junto con su interacción con el tutor, son las marcas distintivas entre un log-book (mera colección de materiales) y el verdadero portafolio, que desde el punto de vista de su estructura debe incluir materiales clínicos generados por el alumno y los resultados de la evaluación (componentes cuantitativos), por un lado, y aportaciones personales de tipo narrativo, tales como ejercicios de reflexión, autoevaluación o comentarios libres (componentes cualitativos), por otro. La figura 3 resume las ventajas esenciales del portafolio.

 

Implementación del portafolio y condicionantes de su eficacia

Entre las sugerencias apuntadas por diferentes autores para facilitar la implementación del portafolio docente destacan:

• Definir con claridad su propósito. ¿Va a utilizarse con propósito formativo, sumativo o ambos? ¿Cuál es la relación entre el portafolio y las restantes evaluaciones que se aplican en el curso o el currículo?

• Definir bien los 'contenidos' (estructura clara), así como los resultados (objetivos docentes) que van a evaluarse; de hecho, unos y otros constituyen el blue-print con el que se diseñará este instrumento.

• Detallar la estrategia de la interrelación alumno-profesor durante la generación-evaluación del portafolio, y de los procedimientos de retro-alimentación.

• Desarrollar un sistema de calificación-evaluación (criterios de validez y fiabilidad del portafolio), que sirva para la mayor parte -si no todos- de sus componentes-contenidos (los materiales cuantitativos son más fáciles de evaluar que los cualitativos) y guíe las evaluaciones sumativas.

• Planificar la evaluación determinando el tiempo, los evaluadores (número, selección y entrenamiento apropiados) y el soporte administrativo necesario para realizarla.

• Orientar al estudiante con sesiones de 'inducción' (encuentro inicial explicativo) y guías escritas para informarle sobre la estructura y manejo del portafolio, así como acerca del proceso de evaluación al que va a someterse, aliviando su ansiedad.

 

Factores que determinan la eficacia del portafolio

Entre estos factores aparece en primer lugar el grado de estructuración; el portafolio ha de construirse guardando un balance entre la rigidez y la flexibilidad, pues una estructura demasiado rígida inhibe la expresión espontánea del aprendiz, limitando las aportaciones derivadas de su iniciativa personal (materiales 'narrativos' y de otros tipos) y, por tanto, la amplitud y representatividad de la muestra global del portafolio. Sin embargo, una estructura demasiado laxa o abierta puede desorientar al estudiante, que 'no sabe bien qué debe aportar' y dificulta considerablemente la evaluación con propósito sumativo (mayor disparidad de materiales, algunos de los cuales requieren además métodos de análisis cualitativos).

Quizá el factor más influyente en la eficacia del portafolio es la calidad de la interrelación alumno-profesor (tutorización), no sólo a la hora de consensuar el diseño del portafolio, sino durante el aprendizaje. Se da por supuesto que el alumno y el profesor conocen al detalle el diseño, los contenidos y el propósito del portafolio, pero además deberán mantener entrevistas repetidas durante las rotaciones (al menos una de iniciación, otra u otras intermedias y una final). En la primera se acordarán los objetivos y la estrategia de aprendizaje, resolviendo posibles dudas iniciales; en las entrevistas periódicas el tutor calibrará el desarrollo del proceso formativo y resolverá dificultades y dudas que pueda plantear el alumno (reconducción del aprendizaje), y en la entrevista final o de cierre de la rotación, el tutor comprobará y validará las aportaciones del alumno en el portafolio y comentará con él la experiencia vivida, recabando su opinión sobre la calidad de la enseñanza recibida y detectando las posibles deficiencias y limitaciones personales que deberán corregirse en las siguientes rotaciones.

La evaluación del portafolio es el tercer factor determinante de su eficacia. La complejidad potencial de los contenidos, algunos de los cuales son además de tipo 'narrativo' (cuyo perfil no se presta a abordajes psicométricos y requiere otros cualitativos), hacen que la evaluación del portafolio no resulte una tarea fácil. El grado de estructuración del propio portafolio, ya comentado, y el entrenamiento de los observadores influyen claramente sobre la fiabilidad de la evaluación, cuyos coeficientes llegan a ser aceptables si la muestra de los contenidos a evaluar es amplia y transversalmente representativa. Igualmente, la validez exige contemplar de la manera más completa posible el área o materia a evaluar (content o direct validity) y una muestra adecuada de contenidos, contextos, observadores e instrumentos usados para la mejora. En todo caso, la fiabilidad del portafolio viene condicionada por las características psicométricas de los instrumentos de evaluación utilizados, que a su vez se relacionan con el perfil (cuantitativo frente a cualitativo) de los contenidos sobre los que se aplican. Se ha dicho que el componente evaluativo del portafolio será tan bueno como lo sean los instrumentos de evaluación incluidos en él, que han de poseer unas mínimas características psicométricas si van usarse con un propósito sumativo.

Aparte de la propia estructura, el otro factor determinante de la calidad de la evaluación de un portafolio son los observadores. Es obvio que aumentando su número mejorará la fiabilidad de la evaluación (sobre todo si se han adiestrado previamente y se han establecido criterios homogéneos). Diferentes estudios demuestran que los índices kappa se incrementan progresivamente al aumentar el número de observadores, pero no hay que olvidar que el examen de un portafolio de calidad requiere un tiempo considerable, y existe evidencia de que un observador bien entrenado garantiza niveles aceptables de fiabilidad.

 

El portafolio del Hospital 12 de Octubre

En nuestro hospital, los alumnos de los tres últimos cursos del grado (de 4.^o a 6.^o) realizan rotaciones clínicas en régimen de 'internalización' (un cuatrimestre por curso), generando un portafolio por rotación. Dado que cada alumno lleva a cabo durante los tres cursos consecutivos un total de tres rotaciones por Medicina, tres por Cirugía, una o dos por Pediatría y una por Ginecología-Obstetricia, durante el último curso académico 2009-2010 se recogieron un total de 820 portafolios. La presentación del portafolio bien cumplimentado es condición necesaria para superar las asignaturas, en cuyas calificaciones finales se ha venido repercutiendo, no sin dificultades, la nota obtenida con el portafolio (con la excepción de Pediatría).

En la figura 4 se reflejan la estructura y contenidos actuales de nuestro portafolio, que dispone de una hoja inicial de identificación, otra de objetivos y de instrucciones y logística de manejo, una serie de formularios para comunicar las actividades clínicas y narrativas (desde historias clínicas hasta los comentarios libres), y las pruebas de ECOE, más una sección de apéndices. La mayoría de los contenidos son del tipo objetivo-cuantitativo, y a éstos se otorga un 70% del peso total en la evaluación-calificación del portafolio, mientras que a los componentes de tipo cualitativo se les otorga el 30% restante. Las aportaciones voluntarias de materiales extracurriculares (no requeridos formalmente en el currículo) pueden decantarse del lado de los componentes de tipo objetivo-cuantitativo o del tipo narrativo-cualitativo.

 

Actualmente, las pruebas de ECOE en el contexto clínico (se pasaron más de 1.600 a 300 alumnos durante el curso académico 2009-2010, entre mini-CEX, discusión basada en un caso y observaciones directas de procedimientos prácticos) se utilizan con un propósito exclusivamente formativo, pero en el futuro inmediato, cuando sistematicemos su aplicación (administración de un número fijo de pruebas por candidato) y se alcance un grado adecuado de homogeneidad entre evaluadores, se usarán también como criterio sumativo (para determinar la nota global adjudicada al portafolio).

La aportación por nuestros alumnos de materiales relacionados con las diferentes actividades clínicas, por un lado, y de componentes 'narrativos', por otro, se ha valorado como buena-excelente en la gran mayoría de casos, y se está analizando para su publicación. Para la evaluación del portafolio venimos recurriendo al menos a un observador 'universal' que examina todos los portafolios de una rotación determinada. Pero si en el momento actual podemos considerar definitivamente implantado el portafolio en nuestra unidad docente, su mejora exige una atención y esfuerzo continuados, siendo el reto más importante a corto plazo estandarizar tanto la interacción alumno-supervisor docente en la generación del portafolio (tutorización), como el proceso de evaluación de éste.

Las dificultades más serias encontradas para la implantación del portafolio se relacionan con el desequilibrio persistente en nuestros currículos a favor de la enseñanza-aprendizaje teóricos, y con la presencia de la prueba MIR, que para nada favorecen el reconocimiento de la relevancia real de la práctica clínica por parte de alumnos y profesores. El excesivo peso de la carga teórica y la abundancia de exámenes todavía presentes en nuestro ámbito usurpan tiempo y esfuerzo que deberían dedicarse a la práctica clínica. La actitud, a veces 'evasiva', del alumno (a quien lo que 'más le gusta' y satisface realmente es ver enfermos, 'hacer cosas por sí mismo' y pasar el tiempo a pie de cama y fuera de las aulas) hacia el portafolio está motivada además por la escasa valoración del esfuerzo que realiza para cumplimentarlo, el cual no es adecuadamente reconocido en sus calificaciones, ni resulta de utilidad a la hora de superar el examen MIR, que sigue siendo de tipo teórico.

Esperamos que la introducción de la nueva asignatura de Práctica Clínica en el nuevo plan de estudios de nuestra facultad solvente en gran parte el efecto disuasorio que una estructura curricular anticuada ejerce sobre la motivación del alumno para el ejercicio de la práctica clínica. Aunque no podemos todavía determinar en qué medida el empleo del portafolio mejora el nivel de competencia clínica de nuestros alumnos -sólo hemos podido evidenciar una buena validez concurrente (concurrent validity) entre las puntuaciones obtenidas por los alumnos de 4.^o curso con el portafolio, una prueba ECOE multiestación y los exámenes teóricos de Patología Médica y Quirúrgica-, estamos convencidos de que el empleo del portafolio mejora definitivamente el aprendizaje del alumno (face validity). En todo caso, en nuestra experiencia, el portafolio docente se revela como un recurso útil para cambiar la 'cultura docente' de alumnos y profesores y propiciar la mejora curricular 'desde dentro'.