Puntos clave
La Atención Farmacéutica es una práctica clínica y asistencial que requiere una formación y evaluación intensiva en la Universidad, en la que el estudiante adquiera un papel activo en su proceso de enseñanza-aprendizaje.
El presente trabajo describe en detalle el desarrollo de una herramienta novedosa, la Evaluación Clínica Objetiva Estructurada (ECOE), como complemento adecuado para la enseñanza de Atención Farmacéutica y que permite evaluar si los estudiantes alcanzan las competencias asistenciales que precisan para su desarrollo profesional.
La Evaluación Clínica Objetiva Estructurada es un tipo de evaluación necesario y novedoso en Farmacia, con beneficios destacables para los estudiantes, el profesorado y la propia facultad que lo implante.
Introducción
El desarrollo profesional de la Farmacia está cambiando hacia un enfoque asistencial, exigiendo cada vez más una formación universitaria en competencias que permita el adecuado ejercicio laboral. La Atención Farmacéutica (AF) engloba todas las actividades que realiza el farmacéutico orientadas al paciente con el objetivo de conseguir el máximo beneficio posible en su salud1. La prestación de Servicios Profesionales Farmacéuticos Asistenciales2 implica la necesidad de adquirir nuevos conocimientos y habilidades indispensables para su práctica, que deben ser transmitidos desde los primeros pasos de la formación de los futuros farmacéuticos. Así, las competencias de AF están incluidas dentro del mapa de competencias propuesto por diferentes sociedades y organizaciones profesionales3.
La educación superior universitaria necesita adaptarse sin demora a esta demanda, formando profesionales capacitados para desarrollar su trabajo de una manera efectiva y real4. Sin embargo, la implantación de estos programas de educación basado en competencias no es sencilla y para que se lleve a cabo con éxito debe realizarse de manera coordinada y estructurada5.
El análisis de necesidades académicas y profesionales refleja que es preciso modificar el enfoque de los docentes y estudiantes universitarios, asignando una mayor importancia a la metodología práctica como complemento irremplazable a la formación teórica6. Esta forma de educación dista del modelo tradicional en la que los alumnos únicamente actúan como receptores de información, para pasar a un modelo combinado donde los estudiantes se sitúan como participantes activos y creativos en su aprendizaje y evaluación7. La formación impartida no puede limitarse a asegurar unos conocimientos teóricos óptimos para la realización de un trabajo, sino que deben ser entrenadas las actitudes y habilidades necesarias para su desempeño, comprendiendo todo ello las competencias de cada materia8.
Este enfoque requiere modificar el modelo clásico de evaluación e innovar en los métodos e instrumentos evaluativos para que el estudiante participe activamente en su proceso de evaluación9. Lo que interesa al evaluar una materia es conocer cómo se va a comportar un estudiante cuando desarrolle su actividad profesional. La pirámide de Miller descrita en 199010, define cuatro niveles de evaluación (saber, saber cómo, demostrar cómo y hacer), de manera que cuanto más alto sea el nivel alcanzado mayor similitud habrá con el comportamiento profesional real. Entre los diferentes métodos de evaluación11, la Evaluación Clínica Objetiva Estructurada (ECOE) es una de las herramientas más novedosas y con mejores resultados en la evaluación de competencias clínicas12.
La prueba ECOE fue descrita por Harden en 1975 como alternativa a los métodos clásicos de evaluación clínica13. Se trata de un tipo de examen donde se combinan diferentes instrumentos evaluativos que abarcan los tres primeros niveles de la pirámide de Miller. Se desarrolla a lo largo de varias estaciones situadas en circuito o rueda en las que se simulan situaciones clínicas habituales, de manera que posibilita acercar la evaluación de la formación a la práctica real a la que tenga que enfrentarse los alumnos en su futuro profesional. La observación de la resolución de cada estación permite al evaluador aproximarse a una imagen bastante fiable de las competencias adquiridas, asignando una calificación en función de diferentes criterios y ponderaciones específicas14-16.
El objetivo de este estudio fue realizar el diseño, puesta en práctica y pilotaje de una prueba ECOE para evaluar las competencias de AF adquiridas por los estudiantes de Farmacia (en adelante, ECOE en AF).
Métodos
El estudio se estructuró en dos fases secuenciales, de acuerdo con la cronología y actividades realizadas (Figura 1). Durante todo el proceso de implantación, se siguieron las pautas recomendadas en la bibliografía12-17.
1. Fase de preparación: que comprende a su vez dos etapas:
1.1. Diseño teórico de la Prueba ECOE:
Se identificaron tres componentes clave para el diseño de la ECOE, que se adaptaron a las características concretas de la docencia en Farmacia y AF.
• Comité Coordinador de la prueba:
Se constituyó un Comité Coordinador como órgano responsable de la prueba ECOE. Sus funciones principales fueron: diseñar el mapa de competencias, elaborar la tabla de especificaciones, planear las situaciones clínicas y sus criterios, seleccionar los casos e instrumentos evaluativos y acordar la toma de decisiones sobre el desarrollo de la prueba. Los miembros del Comité se distribuyeron en equipos y responsables de cada estación.
• Mapa de competencias y Tabla de especificaciones
Se consensuaron y definieron las competencias básicas de AF, desagregándolas en componentes competenciales y ponderando su relevancia en porcentaje. Posteriormente se seleccionaron las competencias que iban a ser evaluadas en el ECOE.
Se construyó la tabla de especificaciones, como documento básico de trabajo, donde se relacionaron las áreas a evaluar con los componentes competenciales evaluados y su ponderación. Las competencias fueron distribuidas de manera que cada componente competencial era evaluado por varios casos y cada estación evaluaba varias competencias.
• Selección de casos y diseño de estaciones
Los casos constituyeron el contenido de la ECOE y debían reflejar situaciones clínicas habituales, respetando criterios de prevalencia, relevancia, globalidad, amplitud de componentes, factibilidad y facilidad de evaluación. Los casos se materializaron en las estaciones, que podían ser dinámicas (o de paciente estandarizado) y estáticas (o escritas).
1.2. Planificación práctica de la Prueba ECOE:
Durante esta segunda etapa, los miembros del Comité, mediante reuniones periódicas presenciales, llevaron a cabo las siguientes actividades:
Elaboración, revisión y archivo de la documentación de cada estación (ficha de estación, situación de partida, checklist evaluativo, guion de paciente-evaluador y material de apoyo).
Preparación de las estaciones, escenificación y entorno de cada servicio evaluado.
Listado, valoración y adquisición de recursos materiales, humanos y económicos.
Selección y entrenamiento de pacientes y evaluadores.
Organización de sesiones de promoción, información y formación de los estudiantes acerca de la nueva metodología ECOE propuesta.
2. Fase de ejecución:
Esta fase incluyó la convocatoria a estudiantes, el montaje de la prueba y su celebración, así como la recogida posterior. Las estaciones se dispusieron en un circuito en rueda, de manera que varios alumnos pudieran realizar las estaciones de manera simultánea en un tiempo limitado.
Al finalizar la prueba, se recogieron los listados de verificación puntuados por los evaluadores de cada estación y se registraron y analizaron los datos en Excel®. Se diseñó un cuestionario de opinión ad hoc con 18 ítems puntuados mediante una escala Likert de 5 puntos, siendo 1 la valoración más negativa posible (deficiente o muy poco) y 5 la valoración más positiva posible (excelente o mucho).
Ámbito de realización
El estudio piloto se desarrolló durante el curso académico 2018/2019, en la Facultad de Farmacia de la Universidad de Granada, España.
Población de estudio y participantes
La población de estudio fueron estudiantes de grado de la asignatura de AF y estudiantes de Máster de AF que aceptaron voluntariamente participar en el pilotaje. Todos los estudiantes fueron informados en dos sesiones previas acerca de las características de la prueba y las implicaciones de su participación.
En el piloto participaron profesores y colaboradores en la docencia de AF, cuyas funciones y actividades se distribuyeron en equipos, actuando como coordinadores y evaluadores de la Prueba. Asimismo, se contó con actrices que representaron el papel de paciente simulado en tres estaciones.
Aspectos éticos
Este estudio fue aprobado como Proyecto de Innovación Docente Avanzado del Área de Calidad, Innovación y Unidad de Prospectiva de la Universidad de Granada, España dentro de la convocatoria del Plan FIDO 2018-2020, siendo FMM Coordinador y MIVM, MJZ, MGG, MFR, NAF y AU miembros del equipo participante.
Resultados
Diseño teórico de la prueba ECOE en AF
Se constituyó el Comité Coordinador de la Prueba compuesto por 12 expertos en la materia de AF, liderados por un Coordinador general. El Comité celebró 6 reuniones periódicas mensuales en 6 meses, en las que se definieron sus funciones y se distribuyeron sus miembros en equipos de estación. Todas las reuniones fueron dirigidas por un responsable y se levantó acta de cada una de ellas. El Comité mantuvo una comunicación fluida a través de email.
Se consensuaron y ponderaron 7 competencias específicas de AF, de las cuales 5 de ellas se evaluaron en la ECOE diseñada: Clínicas, Técnicas, Servicios Farmacéuticos Asistenciales, Habilidades de comunicación y Actividades educativas y preventivas (Tabla 1).
Competencias AF (definidas) | Ponderación | Competencias AF (evaluadas) | Ponderación |
---|---|---|---|
1, Farmacia Asistencial | 10% | --- | --- |
2. Competencias clínicas básicas en AF | 20% | 1. Competencias clínicas | 25% |
3. Competencias técnicas básicas en AF | 15% | 2. Competencias técnicas | 20% |
4. Servicios Farmacéuticos Asistenciales | 30% | 3. Servicios Farmacéuticos Asistenciales | 30% |
5. Comunicación y colaboración en AF | 15% | 4. Comunicación farmacéutico-paciente | 20% |
6. Desarrollo profesional en AF | 5% | --- | --- |
7. Actividades educativas preventivas | 5% | 5. Actividades educativas y preventivas | 5% |
TOTAL | 100% | TOTAL | 100% |
AF: Atención Farmacéutica
El Comité Coordinador construyó la tabla de especificaciones en la que se relacionaron las estaciones, los instrumentos evaluativos y los componentes competenciales. Las 5 estaciones se correspondieron a Servicios Farmacéuticos Asistenciales o actividades de farmacia comunitaria: Dispensación, Indicación Farmacéutica, Seguimiento Farmacoterapéutico, Adherencia y Análisis de registros de dispensaciones. Los instrumentos evaluativos utilizados fueron 3 pacientes simulados estandarizados (interacción del estudiante con el paciente) y 2 de evaluación escrita (documento y preguntas para completar). Cada estación evaluó 2-3 competencias, de forma que la puntuación total fue 100%.
Para la selección de casos, se plantearon diferentes situaciones clínicas y profesionales habituales que cumplían los criterios definidos, y posteriormente cada equipo de estación fue el encargado de desarrollar el caso, diseñar la estación completa y elaborar la documentación. Con el fin de evitar el efecto copia entre estudiantes de diferente rueda, se elaboraron 3 variantes de cada uno de los casos.
Planificación práctica de la prueba ECOE en AF
El desarrollo práctico de la prueba supuso la utilización de una gran cantidad de recursos materiales, humanos y económicos, así como la organización de la documentación, espacio y tiempo disponible. (Figura 2).
Se dispuso el entorno de la prueba en una galería de la Facultad de Farmacia, diferenciando el espacio entre estaciones mediante paneles. Cada estación fue escenificada como una Farmacia Comunitaria, en la zona de mostrador (2 estaciones) o en la zona de atención personalizada (3 estaciones). Los materiales utilizados estuvieron relacionados con cartelería y papelería, y simulación del escenario (mobiliario, cajas de medicamentos etc.). Los recursos económicos y el coste asociado al diseño, montaje y puesta en marcha fueron divididos en varias partidas según se refirieron a gastos relacionados con compras y materiales, participación de colaboradores, evaluadores y actrices, y otros gastos de gestión y coordinación.
Respecto a recursos humanos, se contó con la participación de 3 actrices entrenadas, 5 evaluadores y 3 coordinadores generales. Las actrices interpretaron el papel de paciente en las estaciones dinámicas, a partir de los guiones previamente elaborados. Los evaluadores fueron instruidos en su papel como observadores, no pudiendo interaccionar con el estudiante. Ambos, actrices y evaluadores, fueron entrenados por los responsables de cada estación en dos sesiones presenciales.
Montaje y ejecución de la prueba ECOE en AF (piloto)
La ECOE diseñada estuvo compuesta por 5 estaciones basadas en casos clínicos prácticos, de las cuales 3 fueron estaciones dinámicas y 2 estaciones estáticas, situadas alternativamente en forma de circuito o rueda (Figura 3). Todos los participantes, tanto estudiantes como evaluadores, estuvieron correctamente identificados mediante etiquetas identificativas. Los estudiantes contaron con la información de la situación de partida y otros documentos de apoyo para su consulta dentro de la estación. Los evaluadores dispusieron de una lista de verificación con diferentes ítems ponderados donde marcaron la puntuación obtenida por cada estudiante.
El piloto se llevó a cabo con 33 estudiantes de Grado y 14 estudiantes de Máster durante dos días consecutivos en junio de 2019. Cada grupo de 5 estudiantes fue recibido por el coordinador en un área de bienvenida en la cual se les recordó las condiciones y los tiempos establecidos. Por cada estación, los estudiantes contaron con 2 minutos para la lectura de la situación de partida y 8 minutos para el desarrollo dentro de la estación. Los avisos de cambio de estación y tiempos se realizaron mediante un sistema de megafonía y timbre. Cada rueda de la ECOE permitió evaluar a 5 estudiantes a la vez, por lo que la duración de la prueba para cada estudiante fue de 50 minutos, manteniendo un descanso de 10 minutos entre las ruedas. Se realizaron diez ruedas, distribuidas en horario de mañana y tarde, con una duración total de 10 horas para evaluar a 47 estudiantes. Al finalizar la prueba, los estudiantes pasaron a un área de despedida donde completaron de manera anónima el cuestionario de opinión.
Discusión y conclusiones
La actual educación superior está experimentando un movimiento hacia la formación integral, cuya finalidad es formar y evaluar en competencias18, y para ello debe contarse con herramientas que permitan la resolución práctica simulada lo más semejante posible a la experiencia real. Las actividades asistenciales de la práctica profesional farmacéutica requieren la aplicación de nuevos métodos de docencia y evaluación ajustados a esta realidad.
La utilización de la ECOE en disciplinas sanitarias ha supuesto un avance en la evaluación universitaria de grado y posgrado. Sin embargo, mientras que médicos19-20 y enfermeros21-22, ven con relativa naturalidad esta evaluación al finalizar sus periodos universitarios o especializados, su implantación en Farmacia aún dista de ser una práctica normalizada en nuestro país. Aunque a nivel internacional se han dado pasos importantes en las últimas décadas, el panorama español muestra ciertas diferencias con otros países23, por lo que es destacable la condición innovadora de esta propuesta en el ámbito de los estudios universitarios españoles de Farmacia. Además, la utilización de la prueba ECOE en AF viene sustentada por tres aspectos:
Primero, por la doble necesidad detectada tanto en la profesión como en el entorno universitario de una docencia y evaluación de competencias clínicas y asistenciales24. Así, se evidencia que éste debe ser el siguiente paso en la evolución educativa y asistencial, y que ambas deben caminar conjunta y complementariamente.
En segundo lugar, la fundamentación normativa afirma este cambio de orientación en las competencias farmacéuticas. En la Orden CIN/2137/2008, de 3 de julio25, se definen las competencias que los estudiantes del Grado de Farmacia deben adquirir, entre otras “llevar a cabo las actividades de farmacia clínica y social, siguiendo el ciclo de atención farmacéutica” y “desarrollar habilidades de comunicación e información, tanto orales como escritas, para tratar con pacientes”. Además, dentro de los planes de estudios de Graduado en Farmacia, la asignatura de AF está incluida en mayor o menor extensión o categoría académica26. El grupo de trabajo Foro de AF en Farmacia Comunitaria en 2017 publicó un documento de consenso “Propuesta de contenidos específicos en Atención Farmacéutica” donde aparece la ECOE como método de evaluación de sus contenidos27.
Por último, está apoyado por el fundamento psicopedagógico de este tipo de metodología. La ECOE proporciona un contexto de aprendizaje donde se proponen actividades de evaluación que ayudan al estudiante a pensar y experimentar por sí mismo cómo actuaría para la resolución de la situación clínica planteada. Se fomenta la autonomía al tener que tomar decisiones propias, la búsqueda de conocimientos para lograr sus objetivos y el enfrentamiento ante dificultades28. Además, existe un papel claramente relacional en la ECOE, especialmente manifiesto en aquellas estaciones con interacción con paciente simulado29. A través de los casos clínicos, promueve el desarrollo de habilidades de comunicación personales y sociales y permiten la evaluación de comportamientos aprendidos con la práctica y la experiencia.
Sin duda, la implantación de la ECOE supone un desafío para toda la comunidad universitaria, que debe adaptar su forma de trabajar y evaluar a la nueva metodología. De manera concordante a otros estudios30-32, este estudio piloto muestra que la utilidad esperada de esta herramienta evaluativa y su potencial se pone de manifiesto en los beneficios observados en cada uno de los agentes implicados.
Por un lado, a los estudiantes les permite demostrar los conocimientos, habilidades y actitudes adquiridas de manera práctica y experimental, haciendo de la ECOE una opción muy atractiva y positiva de cara a su preparación para el mundo profesional33.
En la ECOE, el rol del evaluador también cambia, dejando de ser un calificador numérico para actuar como observador de comportamientos, lo que le permite evaluar si los conocimientos impartidos son comprendidos, retenidos y aplicados por los estudiantes. Además, permite identificar fortalezas y áreas de mejora en la docencia, actuando como auto-evaluación periódica de la enseñanza de cada curso académico18. En este sentido, este piloto ha mostrado que el aprendizaje de Servicios Farmacéuticos Asistenciales ha sido positivamente valorado, mientras que debe profundizarse en otras actividades como los análisis de documentación escrita y la educación sanitaria al paciente. Por ello, la prueba ECOE supone un beneficio para el profesorado de la asignatura y sirve como motivación para alcanzar nuevos retos docentes.
La ECOE es un reto y una oportunidad para la propia facultad que lo implanta. Por un lado, le permite determinar si dentro del plan docente general los conocimientos enseñados son útiles y cercanos a la práctica profesional y los estudiantes están listos para salir al entorno laboral, respondiendo al diálogo comenzado entre universidad-profesión. Por otro lado, constituye una mejora de los métodos de evaluación existentes, mostrando que la evaluación práctica en competencias mejora el aprendizaje de los alumnos y la evaluación de la enseñanza por parte del profesorado34-35.
Finalmente, la ECOE diseñada y pilotada puede servir de modelo e impulso para su aplicación en otras áreas o asignaturas, por otros equipos o departamentos, o bien liderado por el Decanato para su implantación como prueba final del Grado en Farmacia.