ORIGINAL

 

Evaluación sumativa de los residentes mediante simulación: utilidad de los simuladores a escala real

Simulation summative assessment of the residents: usefulness of high fidelity simulators

 

 

Antonio M. González, Angelina R. Caballero

Servicio de Anestesiología y Reanimación. Hospital Universitario Marqués de Valdecilla. Santander, Cantabria, España.

Dirección para correspondencia

 

 

---

RESUMEN

Introducción: La determinación de las competencias clínicas de los residentes es un elemento importante en su proceso de aprendizaje. Para determinar efectivamente esta adquisición, debemos realizar evaluaciones tanto formativas como sumativas. Mientras que la utilidad de los simuladores a escala real en la evaluación formativa está claramente establecida, queda por determinar esa utilidad en la evaluación sumativa.
Objetivo: Determinar la validez y fiabilidad de los simuladores a escala real como herramienta en la evaluación sumativa de la residencia en anestesiología.
Sujetos y métodos: Se determinaron un conjunto de competencias fundamentales de la residencia, susceptibles de evaluarse mediante simulación, que se incorporaron en escenarios simulados utilizando un simulador a escala real. Para su evaluación, se establecieron un conjunto de acciones clave, en la resolución de cada escenario, atribuidas en función de su realización o no. Participaron nuestros seis residentes de cuarto año, que tenían experiencia previa en simulación, y fueron evaluados por dos revisores independientes.
Resultados: Los porcentajes medios de aciertos del conjunto de residentes, en los escenarios evaluados fueron muy homogéneos, sin capacidad de discriminar a los residentes ni predecir su comportamiento en los escenarios siguientes. La capacidad de discriminación de los escenarios propuestos obtuvo una fiabilidad de r = 0,44, y la concordancia de los resultados, frente a la evaluación mediante observación directa de procedimientos (DOPS), una baja correlación (r = 0,22).
Conclusión: Es necesario todavía un desarrollo metodológico importante para considerar la posibilidad de utilizar la simulación en la evaluación sumativa de la residencia.

Palabras clave: Educación médica. Evaluación sumativa. Simuladores a escala real.

---

SUMMARY

Introduction: The assessment of residents' clinical skills is an important element of their training. To successfully promote effective learning, this assessment should be both formative and summative. The usefulness of high-fidelity medical simulation on formative education is very well established, but it's unclear the role of simulation in the summative process.
Aim: To use the anesthesia high fidelity simulator to evaluate anesthesia residents, checking the construct-related validity and criterion-related validity.
Subjects and methods: Several clinical conditions that residents should handle competitively were developed and, incorporated into a scenario using high fidelity simulator. To asses the performance in each scenario, we addressed a checklist according a rigid format, on the basic of 'done/not done'. Our six fourth degree residents participated in the program. They had previous experience in simulation and were evaluated for two independent examiners.
Results: The global performance on the residents were very similar. We did not found neither possibility of discriminate between resident nor we be able to predict the performance in the next scenario. Scenario discrimination showed up a global coefficient (r = 0.44). Assessing the reliability of the scores we found a poor correlation (r = 0.22) against Direct Procedural Observation Score (DOPS).
Conclusion: Further improvements are necessary before simulation-based clinical examination is used for summative evaluation.

Key words: High fidelity simulators. Medical education. Summative assessment.

---

 

Introducción

Para promover y facilitar el aprendizaje efectivo del residente, así como asegurar su competencia profesional, nuestro sistema MIR incorpora la realización de evaluaciones formativas y sumativas durante el periodo de especialización [1].

En nuestro sistema docente, la evaluación sumativa, tanto anual como final, se basa en una hoja de registro del Ministerio de Educación y Ciencia (MEC), de contenido común para todas las especialidades -médicas y quirúrgicas-, lo que determina importantes limitaciones a la hora de evaluar la competencia profesional [2].

Si entendemos la evaluación de las competencias como comportamientos resultantes, entonces deberemos considerar diversas herramientas docentes que examinen los diferentes dominios incluidos en el profesionalismo médico [3]: conocimientos, habilidades técnicas, razonamiento crítico, comunicación, manejo de información y gestión de recursos.

Siguiendo los conceptos de aprendizaje de Miller [4], este proceso progresivo puede estructurarse en diferentes niveles, con cuatro dominios: 'sabe', 'sabe cómo', 'muestra cómo' y 'hace', cada uno de los cuales es susceptible de evaluarse con distintas herramientas [5].

En función de la naturaleza formativa o sumativa de la evaluación, sin embargo, los requerimientos psicométricos exigibles a la herramienta difieren sustancialmente. En la evaluación formativa, el objetivo es valorar el progreso del proceso de aprendizaje, identificar déficits o áreas de mejora e introducir medidas correctoras, por lo que las características del instrumento de evaluación no tienen que ser muy precisas, sino que interesa un instrumento que proporcione una visión continuada del proceso y sea capaz de proporcionar elementos para un feedback constructivo sobre la progresión del residente. En este campo, la simulación en general -y los simuladores a escala real en particular- tiene un alto impacto educativo, tanto en el aprendizaje como en la evaluación formativa, donde el debriefing [6] adquiere un valor fundamental para un feedback constructivo sobre la progresión del residente. Por el contrario, cuando la finalidad es sumativa -cuando precisamos acreditar, calificar o certificar al residente-, entonces el instrumento de evaluación precisa más requisitos técnicos en cuanto a validez (mide lo que realmente pretende medir), fiabilidad (precisión de la medida), reproductibilidad (constancia en los resultados), 'practicabilidad', aceptación, impacto educativo y eficiencia [7]. En este contexto, los simuladores a escala real pueden ser una interesante herramienta para verificar la competencia en los dominios superiores: 'muestra cómo' y 'hace' (Fig. 1).

 

 

Nuestro objetivo ha sido estudiar la validez, fiabilidad y concordancia de la simulación clínica mediante simuladores a escala real, en la evaluación sumativa de nuestros residentes.

 

Sujetos y métodos

Para incorporar los simuladores a escala real en la metodología de la evaluación, se requiere un importante trabajo previo, desarrollado en nuestro caso por un grupo de trabajo compuesto por los tutores de residentes y expertos en simulación clínica de Valdecilla Virtual (VdV), adoptando una sistemática de trabajo ya descrita por Newble [8] y que puede resumirse en:

Determinación de competencias a evaluar: contenido

Se realizó por consenso, en base a la experiencia del grupo de trabajo, tomando en consideración fundamentalmente el programa formativo de la especialidad y el programa docente de la tutoría del servicio, así como el programa de integración de la simulación clínica del Hospital Universitario Marqués de Valdecilla.

Se determinaron inicialmente 25 competencias clínicas que consideramos que el residente debería haber adquirido en su proceso formativo, las cuales, siguiendo una metodología tipo Delphi [9], se redujeron a nueve competencias finales, de las cuales seis correspondían a habilidades técnicas: manejo del tromboembolismo pulmonar (TEP), de la parada cardiorrespiratoria (RCP), del infarto intraoperatorio (IAM), de la evaluación y tratamiento del dolor (DOLOR), de la hipoxemia/broncoespasmo (HIPOX) y de una vía aérea difícil (VAD). A estas habilidades se añadieron tres habilidades 'no técnicas', que incluían la recogida de información (historia clínica), el trabajo en equipo y habilidades en la comunicación.

Definición de escenarios para las competencias: casos

Determinadas las competencias, el grupo de trabajo preparó la realización de los escenarios simulados específicos para cada competencia a evaluar, mediante la elaboración de un guión del escenario. Se consideraron, además del propósito de la prueba, el nivel de conocimientos y habilidades del cual partimos, así como el contexto específico de la prueba, para poder situar el caso clínico al nivel del residente que se pretende evaluar [10]. Con estas premisas, se prepararon escenarios simulados del entorno del área quirúrgica o reanimación, con un alto grado de realismo, en el que se situaba el simulador a escala real (METI, Gainesville, EE. UU.): Se interactuaba además con un miembro de enfermería, que asistía a cada uno de los evaluados introduciendo el escenario y la historia clínica básica necesaria para iniciar el caso, de 10 minutos de duración.

Desarrollo de sistemas de medida: checklists

Entre las diferentes posibilidades de calificación de las habilidades técnicas [11], las técnicas de puntuación explícita parecen las más apropiadas porque generan mayor consenso en su construcción, sobre todo si existen guías prácticas de actuación que sirvan de referencia de actuaciones previas. Para las habilidades 'no técnicas' se ha utilizado la escala ANTS [12] como posible método de cuantificación. A partir de estas premisas, procedimos a la creación de unas checklists específicas para cada escenario objeto de la competencia a testar (Fig. 2).

 

 

Organización operativa: simulación

Completada esta fase de diseño, se procedió a la realización del ejercicio, para lo cual los seis residentes de cuarto año (R4) fueron invitados a participar, con carácter voluntario y sin efectos académicos, en los escenarios diseñados para evaluar sus competencias cognitivas y habilidades psicomotoras en el manejo del TEP, RCP, IAM, HIPOX, DOLOR y VAD, y las habilidades 'no técnicas' señaladas.

Se diseñó un organigrama horario que posibilitaba la realización de los distintos escenarios e impedía la transferencia de información entre los miembros. Cada escenario era introducido por un miembro de enfermería que proporcionaba los elementos básicos iniciales de la historia clínica y asistía al residente en su realización, proporcionando la ayuda precisa, a indicación del instructor, cuando las limitaciones propias de la simulación lo requerían (sudoración, eritema, calidad de los sonidos respiratorios...).

Calificación de la simulación: revisores

Cada escenario fue calificado conjuntamente por dos revisores, ambos con experiencia en simulación, de los cuales, uno había participado en el desarrollo de las checklists propias del escenario, pero no el otro. Los evaluadores se situaban en el área de control y realizaban la calificación en directo, asignando el criterio de 'efectuado/no efectuado' según la lista de acciones diseñada al efecto. El resultado final se expresó como el porcentaje de las acciones correctamente ejecutadas sobre el porcentaje total de acciones posibles.

Calificación de residentes en su programa de residencia mediante DOPS

Con objeto de comprobar la concordancia de la evaluación sumativa mediante simuladores a escala real, realizamos igualmente una evaluación psicométrica de nuestro sistema de evaluación sumativa, basado en la observación directa de procedimientos (DOPS). Básicamente, nuestra DOPS se realiza a partir de la hoja de evaluación de la competencia profesional del MEC, a la que hemos introducido dos importantes modificaciones; por un lado, establecimos definidores de lo que significaba cada elemento de la ficha y le otorgamos un valor numérico prefijado (Fig. 3), al tiempo que extendimos la valoración al resto de miembros de las diferentes secciones que componen nuestro servicio, por las que rotan los residentes, con un promedio de 36-50 valoraciones anuales individuales para cada residente. Los datos proporcionados por los tres años de rotación en el servicio nos ha permitido evaluar esta herramienta y utilizarla como referencia para el análisis de concordancia.

 

 

El análisis estadístico se realizó mediante el programa SPSS v. 11.5. Se determinaron las medias ± desviaciones estándares y los intervalos de confianza al 95% (IC 95%) de cada residente en cada escenario. Mediante ANOVA se analizaron las diferencias entre los residentes en función del escenario. La discriminación entre escenarios se realizó mediante la correlación de Spearman entre la media global de cada escenario y el resultado individual de cada residente en ese escenario. Finalmente, la consistencia del procedimiento se analizó mediante la correlación entre los resultados obtenidos mediante DOPS y los valores obtenidos con simuladores a escala real para cada residente en cada escenario.

 

Resultados

A continuación se exponen los resultados de la evaluación de las habilidades técnicas de nuestros residentes en el manejo de cinco de los seis escenarios previstos (TEP, RCP, IAM, DOLOR y VAD). Se excluyeron del análisis el escenario HIPOX para evitar sesgos, ya que fue el escenario y checklist realizado por los autores, así como las habilidades 'no técnicas', por la insuficiencia práctica de la escala ANTS utilizada.

Análisis de los resultados en función del residente (Tabla I)

 

 

Aunque los porcentajes medios de aciertos del conjunto de residentes, en los escenarios evaluados, fueron muy homogéneos (62 ± 3%; IC 95% = 59-66), se observa una variación importante en los resultados individuales en función del escenario propuesto, que posiblemente se relacionan con el distinto nivel competencial de nuestros residentes. Se aprecia que una buena actuación en un escenario no presupone la correcta actuación en otro diferente.

Análisis de los resultados en función de los escenarios (Tabla II)

 

 

El porcentaje medio de aciertos para cada escenario evaluado fue: TEP, 56 ± 3% (IC 95% = 52-59); RCP, 56 ± 18% (IC 95% = 36-76); IAM, 85 ± 8% (IC 95% = 57-98); DOLOR, 56 ± 14% (IC 95% = 33-75); y VAD, 61 ± 12% (IC 95% = 50-76). Sólo fue significativa la diferencia (p < 0,05) entre el IAM respecto del resto de escenarios. Podemos comprobar que para cada escenario propuesto la actuación individual resulta diferente, con unos amplios márgenes en los IC 95%, incluso en escenarios a priori muy estandarizados, como la RCP, lo que parece implicar un distinto nivel competencial de nuestros residentes.

Análisis de discriminación de escenarios: fiabilidad

Los valores medios de discriminación entre escenarios (Tabla III) fueron de r = 0,44 (IC 95% = 0,18-0,70), obteniendo el mejor coeficiente de determinación el TEP (r = 0,66), y el peor, la RCP (r = 0,10), que resulta lógico si consideramos que la actuación ante la RCP está muy protocolizada, mientras que esta premisa no sucede en otros escenarios.

 

 

Análisis sobre la consistencia: concordancia

La consistencia de la simulación se determinó comparando las calificaciones individuales durante la residencia, evaluadas por la tutoría mediante DOPS, y los resultados obtenidos por cada residente en cada escenario mediante simuladores a escala real. Se alcanzó una correlación media de r = 0,22 (IC 95% = 0,14-0,54) (Tabla IV), que resulta bastante inferior a la obtenida mediante DOPS en este mismo grupo de residentes: r = 0,82 ± 0,11 (IC 95% = 0,70-0,94).

 

 

Discusión

Antes de interpretar estos resultados, debemos señalar algunas importantes limitaciones. El diseño de escenarios y las condiciones del 'paciente' tienen limitaciones incluso con la tecnología más avanzada, lo que puede inducir a confusión al residente, sometido a un tiempo de realización muy reducido. Los sesgos propios del modelo, como el de observación, son importantes, estimándose que es preciso incorporar de 8 a 12 ensayos previos para minimizar su impacto [13,14]. La utilización de checklists plantea notables controversias sobre su construcción. Es difícil considerar tiempos y secuencias en su evaluación y promueven un tipo de respuesta mecánica no razonada. La evaluación de las habilidades no técnicas resultó muy difícil, al no incorporar grabación del proceso, por lo limitado de participantes en el escenario y por la dificultad inherente a evaluar el carácter multidimensional del trabajo en equipo y de la comunicación al tiempo que se controlaba el escenario. Finalmente, el reducido número de participantes supone una importante limitación, pero serían precisos 104 residentes para obtener unos valores estadísticamente consistentes, lo cual queda fuera de nuestra disponibilidad temporal y logística actual.

Sin embargo, creemos que estos resultados son interesantes por cuanto son consistentes con la mayoría de datos publicados sobre el mismo tema [15,16] y permiten plantear toda una serie de interrogantes.

Analizando el porcentaje medio de aciertos del conjunto de residentes, encontramos valores muy homogéneos, al mismo tiempo que se observan notables diferencias individuales en función del escenario propuesto [12]. ¿Cuál es el punto de corte en la evaluación? No lo sabemos, pero si consideramos el criterio de Berkenstadt et al [17] sería preciso un 70% para superar la evaluación sumativa. En este supuesto, nuestros resultados plantean algunos interrogantes, ya que nuestros residentes se sitúan en el rango intermedio en la adquisición de las competencias propuestas, pero con un nivel medio inferior al mismo. ¿Es ésta una valoración real de nuestros residentes o se debe a un problema de diseño de escenarios?

Si analizamos los resultados medios en función del escenario propuesto, se comprueba que hay diferencias importantes en las actuaciones individuales, como resultaba previsible, y que es muy difícil predecir los resultados de un residente a partir de su actuación en el escenario previo, o dicho de otro modo, la actuación en un escenario no presupone similar actuación en otro diferente [18,19].

¿Es un problema de diseño de escenarios o, por el contrario, se trata de la cualificación real de las competencias adquiridas por nuestros residentes? Cuando estudiamos la capacidad de discriminación de nuestros escenarios, obtenemos un valor medio de r = 0,44, lastrado por el escaso poder del escenario de la RCP (r = 0,10), obteniendo el resto valores similares a los publicados (r = 0,56) [13,15,19]; por tanto, no parece un problema de diseño global de nuestros escenarios, independientemente de que tengan una correlación muy modesta en general.

Entonces, ¿este resultado mediante simuladores a escala real expresa correctamente la capacitación de nuestro grupo de residentes? No nos parece, porque las calificaciones individuales de este grupo de residentes durante los cuatro años de residencia, evaluadas por la tutoría mediante DOPS, con una consistencia de r = 0,82 (IC 95% = 0,70-0,94), indican que sí existen diferencias significativas en sus calificaciones, y difieren notablemente de las obtenidas mediante simuladores a escala real. Cuando comparamos las calificaciones obtenidas mediante ambos métodos, esto es, mediante DOPS y simuladores a escala real, el estudio de la concordancia indica una pobre correlación (r = 0,22), similar a las publicadas por otros autores cuando comparan simuladores a escala real frente a modalidades de evaluación de residentes (r = 0,19-0,04) [9,16]. ¿Cuál es la razón de esta diferencia tan importante? Tampoco lo sabemos, pero la respuesta puede estar en el diferente concepto evaluado. Mediante simuladores a escala real podemos evaluar competencias, es decir, lo que demostramos en condiciones controladas (simulación), mientras que mediante la observación directa de procedimientos (DOPS) se evalúa la actuación, lo que hacemos en la práctica clínica, que es el resultado de nuestra competencia, pero también de otros factores del sistema (medios y organización) e individuales (empatía, fatiga, humor...). Por otro lado, el método de cuantificación (checklist) beneficia a modelos de respuesta básicos, caracterizados por la estricta adhesión a protocolos, mientras que penaliza modelos de respuesta más elaborados, con actuaciones guiadas por objetivos finales y no por aspectos parciales, lo cual plantea una importante controversia acerca de la precisión del sistema de medida y, en consecuencia, de la herramienta de evaluación.

En conclusión, aunque nuestros datos son muy limitados, esta experiencia inicial coincide con la mayoría de publicaciones en que es necesario todavía un desarrollo metodológico importante para considerar la posibilidad de utilizar simuladores a escala real en la evaluación sumativa de los residentes. Al igual que otros autores [12,15,16], nuestros valores de fiabilidad (r = 0,44) y consistencia (r = 0,22) son actualmente inferiores a los que pueden considerarse aceptables para una prueba de certificación [19], sin entrar a considerar otros factores como 'practicabilidad', aceptación, impacto educativo y eficiencia, muy importantes igualmente a la hora de tener en cuenta la extensión de los simuladores a escala real como herramienta para la evaluación sumativa de los residentes.

 

Agradecimientos

A los residentes de Anestesiología del HUMV, que hicieron posible con su colaboración este proyecto. A nuestros compañeros integrantes del equipo de simulación de Valdecilla Virtual (VdV), J.M. Maestre, J.L. Rábago, R. Sancho e I. del Moral, por su colaboración en este proyecto. A los enfermeros V. Hoz, A.J. Felpete y A. Martínez, por su participación en los escenarios. A F.J. Burón, integrante del Aula de Simulación de la Universidad de Cantabria, y a S. Maldonado, miembro de la Unidad del Dolor del Servicio de Anestesia, por su desinteresada labor. A los impulsores del proyecto, desde sus direcciones, J.M. Carceller y M.J. Rodríguez.

 

Bibliografía

1. Real Decreto 183/2008, por el que se determinan y clasifican las especialidades en Ciencias de la Salud y se desarrollan determinados aspectos del sistema de formación sanitaria especializada. Boletín Oficial del Estado, 21.02.2008, n.^o 45; 3176. p. 10020-35.         [ Links ]

2. Documentos de Trabajo III. Evaluación del residente: propuesta de evaluación de las rotaciones. VI Encuentro de Tutores y Jefes de Estudio. Asociación de Redes Docentes y Asesoras (AREDA). Barcelona, septiembre de 2008.         [ Links ]

3. Epsein RM, Hundert EM. Defining and assessing professional competence. JAMA 2002; 287: 226-35.         [ Links ]

4. Miller G. The assessment of clinical skills/competence/performance. Acad Med 1990; 65: 563-7.         [ Links ]

5. Sáez A, Calvo JM, Olmos M, Sistac JM. Metodología de trabajo para la actualización del programa formativo de la especialidad de Anestesiología y Reanimación. Una propuesta desde la sección de Docencia y Formación de la SEDAR. Rev Esp Anestesiol Reanim 2010; 57: 28-40.         [ Links ]

6. Fanning RM, Gaba DM. The role of debriefing in simulation-based learning. Sim Healthcare 2007; 2: 115-25.         [ Links ]

7. Janssen JJ, Scherphier AJ, Metz JC, Groll RP, Van der Vleuten CP, Rethans JJ. Performance-based assessment in continuing medical education for general practitioners: construct validity. Med Educ 1996; 30: 339-44.         [ Links ]

8. Newble D. Techniques for measuring clinical competence: objective structured clinical examinations. Med Educ 2004; 38: 199-204.         [ Links ]

9. Schwid HA, Rooke A, Carline J, Steadman RH, Murray WB, Olympio M, et al. Evaluation of anesthesia residents using mannequin-based simulation. Anesthesiology 2002; 97: 1434-44.         [ Links ]

10. Boulet JR, Murray DJ. Simulation-based assessment in anesthesiology. Anesthesiology 2010; 112: 1041-52.         [ Links ]

11. Morgan PJ, Cleave-Hogg D. Evaluation of medical student's performance using the anesthesia simulator. Med Educ 2002; 34: 42-5.         [ Links ]

12. Flin R, Patey R, Glavin R, Maran N. Anaesthetists' non-technical skills. Br J Anaesth 2010; 105: 38-44.         [ Links ]

13. Murray DJ, Boulet JR, Avidan M, Kras JF, Henrichs B, Woodhouse J, et al. Performance of resident and anaesthesiologist in a simulation-based skill assessment. Anesthesiology 2007; 107: 705-13.         [ Links ]

14. Weller JM, Robinson BJ, Jolly B, Watterson LM, Joseph M, Bajenov S, et al. Psychometric characteristics of simulation based assessment in anesthesia and accuracy of self-assessed scores. Anesthesia 2005; 60: 245-50.         [ Links ]

15. Henrichs BM, Avidan MS, Murray DJ, Boulet JR, Kras J, Krause B, et al. Performance of certified registered nurse anesthetists and anesthesiologist in a simulation-based skills assessment. Anesthesiology 2009; 108: 255-62.         [ Links ]

16. Murray DJ, Boulet JR, Kras JF, Woodhouse JA, Cox T, McAllister JD. Acute care skills in anesthesia practice. A simulation-based resident performance assessment. Anesthesiology 2004; 101: 1084-95.         [ Links ]

17. Berkenstadt H, Amitai Z, Gafni N, Sidi A. Incorporating simulation-based objective structured clinical examination into the Israeli National Board Examination in Anesthesiology. Anesth Analg 2006; 102: 853-8.         [ Links ]

18. Weinger MW. Experience it's not equal to expertise. Anesthesiology 2007; 107: 691-4.         [ Links ]

19. Fehr JJ, Boulet JR, Waldrop WB, Snider R, Brockel M, Murray DJ. Simulation-based assessment of pediatric anesthesia skills. Anesthesiology 2011; 115: 1308-15.         [ Links ]

 

 

Dirección para correspondencia:
Dr. Antonio M. González
Servicio de Anestesiología y Reanimación
Hospital Universitario Marqués de Valdecilla
Avda Valdecilla, s/n.
E-39008 Santander (Cantabria)
E-mail: anrgga@humv.es

Conflicto de intereses: No declarado.