Introducción
A pesar de los avances en el aprendizaje tradicional, la metodología impartida es insuficiente para modificar el comportamiento del alumno. Con la simulación se producen cambios de comportamiento demostrables [1].
En el contexto de la aplicación en las ciencias de la salud, la simulación se considera una técnica que pretende recrear experiencias del mundo real con la finalidad de enseñar, adquirir y evaluar conocimientos, habilidades y actitudes [2,3]. Las actividades pueden ser predecibles, consistentes, estandarizadas, seguras y reproducibles [4].
Para un mayor aprendizaje a través de la simulación, es fundamental un diseño exhaustivo de ésta [5], que debe tener en cuenta los objetivos de aprendizaje, definidos como lo que queremos enseñar específicamente y lo que creemos que los participantes deberían haber aprendido al finalizar [6,7].
La evaluación es imprescindible en el proceso de aprendizaje [8] y constituye un instrumento de mejora de la calidad de formación [9,10]. Ésta debe ser válida, precisa, viable, transparente, aceptada, con impacto educativo, continuada, con retroalimentación, estandarizada y con resultados publicados [11].
Existen muchas herramientas para evaluar los objetivos de la simulación a través de la evaluación de las competencias médicas [12]. La competencia en medicina es el uso habitual y juicioso de la comunicación, el conocimiento, las habilidades técnicas, el razonamiento clínico, la toma de decisiones de manera deliberada, las emociones y los valores, que se reflejan en la práctica diaria para el beneficio de los pacientes y de la sociedad [1,6].
Para alcanzar el mayor grado de competencias médicas a través de la simulación y la mayor adquisición de los objetivos de aprendizaje con la simulación, existen unos objetivos docentes hay queque desarrollar durante su escenario.
El objetivo de nuestro trabajo es analizar el logro de los objetivos docentes desarrollados durante el escenario de los casos de simulación en estudiantes de tercer curso del grado de Medicina a través de la valoración del profesor, los participantes observadores y los participantes que realizan la propia simulación.
Sujetos y métodos
Es un estudio observacional, prospectivo, descriptivo y unicéntrico, realizado entre 2019 y 2021, en estudiantes de tercer curso del grado de Medicina.
Los estudiantes incluidos no han realizado prácticas clínicas hospitalarias previas ni simulación clínica. Durante el curso actual, desarrollarán por primera vez simulación y prácticas con enfermos reales en la asignatura Bases de la cirugía.
Cada alumno realiza una sesión de simulación clínica, formada por un máximo de 10 alumnos por sesión. En cada sesión se desarrollan cinco casos clínicos de pacientes con patologías integradas en el capítulo quirúrgico de abdomen agudo (apendicitis aguda, colecistitis aguda, perforación gástrica, pancreatitis aguda y diverticulitis aguda) u oclusión (hernia incarcerada, neoplasia de colon oclusiva, íleo biliar y oclusión por bridas). Previamente se entrega documentación, que los estudiantes deben estudiar antes de asistir a la sesión de simulación clínica.
Los escenarios de simulación se desarrollan en un aula ambientada en un consultorio médico donde un actor simula una patología dentro del capítulo de abdomen agudo u oclusión, y dos estudiantes ejercen el papel de médico. Se dispone de un maniquí para ayudar al actor, si el realismo de la exploración física lo precisa. En otra sala, se retransmite en directo lo que sucede en el escenario, donde están observando el resto de los estudiantes del grupo y el profesor. Después del encuentro clínico simulado, se realiza una sesión de debriefing entre los estudiantes que han desarrollado el escenario, los estudiantes que han observado el caso y el facilitador (profesor observador). Cada sesión de simulación dura 2,5 horas, con 10 minutos de escenario y 20 minutos de debriefing por caso.
El estudio se inició unos meses antes de la pandemia por COVID-19. Las sesiones de simulación se realizaron durante el mes de octubre del curso académico, por lo que la primera se realizó antes de la pandemia y la segunda cuando se reanudó el curso con las medidas de seguridad pertinentes, lo que no nos impidió mantener activo el proyecto.
Las competencias que se desean alcanzar con la simulación van dirigidas a la adquisición de la información, exploración física, profesionalismo, diagnóstico, habilidades comunicativas, organización, manejo terapéutico y valoración global. Para alcanzar estas competencias se desarrollan unos objetivos docentes durante el escenario de la simulación que se clasifican en cuatro dominios: anamnesis, exploración física, relación médico-paciente y orientación diagnóstica.
Tras el desarrollo del escenario de simulación, se realiza una evaluación de los objetivos docentes para cada caso clínico simulado (cinco casos por cada sesión), estableciendo dos minutos de evaluación tras cada debriefing. Cada dominio evaluado tiene un descriptivo para homogeneizar la evaluación. Los objetivos se clasifican cada uno de ellos en evaluación alcanzada, parcialmente alcanzada o no alcanzada. Los diferentes dominios de los objetivos también se evalúan mediante una escala numérica del 0 al 10 del tipo escala visual analógica. Existen tres tipos de participantes que valoran los dominios de los objetivos para cada caso clínico de la simulación: estudiantes que realizan la simulación, estudiantes observadores y profesor. Los profesores que realizan las clases de simulación y las evaluaciones de los objetivos son cirujanos generales que tienen experiencia y formación específica en simulación. En cada sesión hay dos profesores: uno participa en el escenario como actor, y el otro hace de observador y conduce el debriefing. El análisis de los objetivos para cada caso lo evalúa el profesor observador que facilita el debriefing previo del caso.
En cada caso clínico también se evalúan las emociones de los alumnos que realizan la simulación durante su desarrollo. Los tres participantes puntúan el estado nervioso y de comodidad a través de una escala numérica del 0 al 10 del tipo escala visual analógica.
Análisis estadístico
Las variables cuantitativas se describen como medias e intervalos de confianza al 95% y las variables cualitativas se describen como porcentajes. Las comparaciones entre las diferentes medias se han realizado mediante la t de Student. Las comparaciones entre los diferentes porcentajes se han realizado mediante la χ2, y las variables categóricas mediante la prueba de Mantel-Haenszel. En todos los casos se ha utilizado un valor α de 0,05.
El estudio fue aprobado por el comité ético de investigación de nuestro hospital universitario (Referencia 2020/512) y registrado en el Clinical Trials (NCT05269576). Se ha obtenido el consentimiento informado de todos los participantes tras recibir la pertinente información al respecto tanto oral como en hoja informativa. La realización de las clases de simulación es voluntaria para los alumnos y las evaluaciones realizadas no forman parte de la calificación de la asignatura; para tal efecto hay un examen final teórico y práctico.
Resultados
Se han analizado 24 clases de simulación con 4-5 casos en cada una de ellas. Cada caso se ha evaluado a través de los dos alumnos que realizaron la simulación, los ocho alumnos observadores del caso y el profesor observador que dirigía el debriefing posteriormente. De este modo, se ha registrado la valoración de los objetivos realizada por 929 participantes: 641 alumnos observadores, 191 alumnos que realizan la simulación y 97 profesores.
La media de la valoración para cada uno de los objetivos (anamnesis, exploración física, relación médico-paciente y orientación diagnóstica) es superior a 7 (Tabla I).
Anamnesis | Exploración física | Relación médico- paciente | Orientación diagnóstica | Nerviosismo | Comodidad | |
---|---|---|---|---|---|---|
| ||||||
Alumno observador | 7,6 (7,4-7,8) | 7,7 (7,6-7,9) | 8 (7,9-8,2) | 7,8 (7,6-8) | 4 (3,8-4,2) | 6,8 (6,7-7) |
| ||||||
Alumno participante en la simulación | 7,1 (6,8-7,5) | 7,3 (7,1-7,6) | 7,7 (7,4-7,9) | 7,8 (7,4-8,1) | 4,8 (4,4-5,2) | 6,8 (6,5-7,1) |
| ||||||
Profesor | 7 (6,6-7,5) | 6,9 (6,5-7,4) | 7,3 (6,9-7,7) | 7,4 (7-7,8) | 4,8 (4,3-5,4) | 6,9 (6,5-7,4) |
Todos los evaluadores han considerado un logro de los objetivos en más del 50% de los alumnos, que llega incluso a ser superior al 70% para la relación médico-paciente y la orientación diagnóstica. Sólo entre el 0,6 y el 7,8% de los estudiantes no logran conseguir los objetivos en la evaluación (Tabla II).
¿Quién realiza la evaluación? | Conseguido | Parcialmente conseguido | No conseguido | |
---|---|---|---|---|
| ||||
Anamnesis | Alumno observador | 472 (74,1%) | 140 (22%) | 25 (3,9%) |
| ||||
Alumno participante en la simulación | 112 (59,6%) | 66 (35,1%) | 10 (5,3%) | |
| ||||
Profesor | 52 (56,5%) | 36 (39,1%) | 4 (4,3%) | |
| ||||
Exploración física | Alumno observador | 483 (75,8%) | 150 (23,5%) | 4 (0,6%) |
| ||||
Alumno participante en la simulación | 132 (70,2%) | 54 (28,7%) | 2 (1,1%) | |
| ||||
Profesor | 46 (51,1%) | 37 (41,1%) | 7 (7,8%) | |
| ||||
Relación médico-paciente | Alumno observador | 536 (84,3%) | 91 (14,3%) | 9 (1,4%) |
| ||||
Alumno participante en la simulación | 146 (78,1%) | 37 (19,8%) | 4 (2,1%) | |
| ||||
Profesor | 65 (72,2%) | 22 (24,4%) | 3 (3,3%) | |
| ||||
Orientación diagnóstica | Alumno observador | 479 (77%) | 123 (19,8%) | 20 (3,2%) |
| ||||
Alumno participante en la simulación | 138 (74,2%) | 38 (20,4%) | 10 (5,4%) | |
| ||||
Profesor | 63 (73,3%) | 20 (23,3%) | 3 (3,5%) |
El alumno observador es el que mejor califica los cuatro dominios de los objetivos (7,6, 7,7, 8 y 7,8). Por el contrario, el profesor siempre puntúa levemente por debajo del propio observador y del alumno que hace la simulación (7, 6,9, 7,3 y 7,4). En cualquier caso, la diferencia no supone ningún tipo de relevancia clínica en ninguno de los cuatro objetivos (Tabla I).
El profesor siempre evalúa los objetivos conseguidos en un porcentaje menor de los estudiantes, y existe una diferencia aproximada del 20% para la anamnesis y la exploración física (el 56,5 frente al 74,1% y el 51,1 frente al 75,8%), del 10% para la relación médico-paciente (el 72,2 frente al 84,3%) y es prácticamente igual para la orientación diagnóstica (el 73,3 frente al 77%), en comparación con los estudiantes observadores, que son los que puntúan el porcentaje de logro de una forma mayor (p = 0) (Tabla II). Los objetivos no se han conseguido en menos del 5,5% de los estudiantes, independientemente del evaluador. Sólo se hallan diferencias significativas en el campo de la exploración física, en la que los observadores describen un 0,6% de participantes que no consigue los objetivos; los estudiantes que realizan la simulación, un 1,1%; y los profesores, un 7,8% (p = 0) (Tabla II).
La puntuación media del caso uno al quinto presenta una diferencia alrededor de 1,5-2 puntos en todos los objetivos estudiados (p = 0) (Tabla III).
Número de caso en la sesión de simulación | Media (DE) | Conseguido | Parcialmente conseguido | No conseguido | |
---|---|---|---|---|---|
| |||||
Anamnesis | Caso 1 | 6,2 (5,8-6,5) | 96 (44,4%) | 90 (41,7%) | 30 (13,9%) |
| |||||
Caso 2 | 7,7 (7,5-8) | 169 (78,6%) | 45 (20,9%) | 1 (0,5%) | |
| |||||
Caso 3 | 7,9 (7,6-8,1) | 166 (77,2%) | 48 (22,3%) | 1 (0,5%) | |
| |||||
Caso 4 | 7,7 (7,5-8) | 141 (73,1%) | 45 (23,3%) | 7 (3,6%) | |
| |||||
Caso 5 | 8,2 (7,8-8,5) | 64 (82,1%) | 14 (17,9%) | 0 (0%) | |
| |||||
Exploración física | Caso 1 | 6,8 (6,5-7,1) | 114 (53,3%) | 94 (43,9%) | 6 (2,8%) |
| |||||
Caso 2 | 7,4 (7,2-7,6) | 143 (66,5%) | 70 (32,6%) | 2 (0,9%) | |
| |||||
Caso 3 | 7,8 (7,6-8,1) | 170 (78,7%) | 42 (19,4%) | 4 (1,9%) | |
| |||||
Caso 4 | 8,1 (7,9-9) | 165 (85,9%) | 26 (13,5%) | 1 (0,5%) | |
| |||||
Caso 5 | 8,3 (8-8,7) | 69 (88,5%) | 9 (11,5%) | 0 (0%) | |
| |||||
Relación médico-paciente | Caso 1 | 6,9 (6,6-7,3) | 127 (59,6%) | 75 (35,2%) | 11 (5,2%) |
| |||||
Caso 2 | 8,2 (8-8,4) | 196 (91,2%) | 19 (8,8%) | 0 (0%) | |
| |||||
Caso 3 | 8,2 (8-8,4) | 193 (89,4%) | 22 (10,2%) | 1 (0,5%) | |
| |||||
Caso 4 | 8,1 (7,9-8,4) | 158 (82,7%) | 29 (15,2%) | 4 (2,1%) | |
| |||||
Caso 5 | 8,5 (8,2-8,8) | 73 (93,6%) | 5 (6,4%) | 0 (0%) | |
| |||||
Orientación diagnóstica | Caso 1 | 7,2 (6,8-7,5) | 140 (65,7%) | 55 (25,8%) | 18 (8,5%) |
| |||||
Caso 2 | 7,8 (7,5-8) | 160 (76,6%) | 46 (22%) | 3 (1,4%) | |
| |||||
Caso 3 | 7,8 (7,5-8) | 161 (77%) | 42 (20,1%) | 6 (2,9%) | |
| |||||
Caso 4 | 7,9 (7,6-8,2) | 150 (80,2%) | 31 (16,6%) | 6 (3,2%) | |
| |||||
Caso 5 | 8,7 (8,3-9,1) | 69 (90,8%) | 7 (9,2%) | 0 (0%) | |
| |||||
Nerviosismo | Caso 1 | 4,9 (4,6-5,3) | – | ||
| |||||
Caso 2 | 4,3 (3,9-4,7) | ||||
| |||||
Caso 3 | 4,4 (4,1-4,8) | ||||
| |||||
Caso 4 | 4 (3,6-4,4) | ||||
| |||||
Caso 5 | 4,4 (3,7-5) | ||||
| |||||
Comodidad | Caso 1 | 6,1 (5,7-6,4) | |||
| |||||
Caso 2 | 7 (6,8-7,3) | ||||
| |||||
Caso 3 | 7,1 (6,8-7,3) | ||||
| |||||
Caso 4 | 7 (6,6-7,3) | ||||
| |||||
Caso 5 | 6,6 (6-7,1) |
Existe una importante diferencia en el porcentaje de estudiantes que consigue los objetivos docentes entre el primer caso y el último, tanto para la anamnesis (44,4-82%) como para la exploración física (53,3-88,5%), que es mucho más llamativa para la relación médico-paciente (59,6-93,6%) y la orientación diagnostica (65,7-90,8%) (p = 0). No hay ningún alumno que no haya conseguido de forma total o parcial los objetivos en el caso 5 (Tabla III).
Respecto a las emociones, se ha descrito un estado de nervios alrededor de 4,5 y una comodidad alrededor de 7 (Tabla I). La percepción del estado de nervios que el profesor aprecia sobre el alumno que realiza la simulación es parecida a la que aprecia el propio estudiante que desarrolla la simulación, y los estudiantes observadores perciben un estado de nervios algo inferior, mientras que la comodidad es igual valorada por los tres participantes (Tabla I).
El estado emocional no guarda relación con el logro de los objetivos a medida que se suceden los diferentes casos clínicos de la simulación (Tabla III). En la gráfica de dispersión simple no existe relación lineal entre el estado emocional y el logro de los objetivos docentes.
Discusión
Todos los objetivos docentes de la simulación se han conseguido de forma notable, de forma total o parcial en más del 92% de los casos. La preparación previa facilitando al alumno la información teórica de los temas que se van a tratar en la simulación es relevante para el aprendizaje y el logro de unos resultados positivos [13,14]. El diseño y la información proporcionada durante el prebriefing refuerzan la consistencia de los resultados y fortalecen el valor general de la simulación [7].
Comparando la autoevaluación del alumno que realiza la simulación con la evaluación del profesor, así como la de los estudiantes observadores, sobre el logro de los objetivos, las diferencias son mínimas. Antes de la realización de nuestro estudio, podíamos pensar que la evaluación del profesor sería más exigente que la de los estudiantes. En nuestros resultados hallamos esta diferencia esperable, pero es tan pequeña que no tiene ninguna trascendencia destacable. Watts et al [15] describen que la media de las evaluaciones de los profesores (7,8) es ligeramente superior a la de los alumnos (7,6), sin que esta diferencia sea significativa, hallazgos exactamente iguales a los que suceden en nuestro estudio. Esta carencia de diferencias muestra la consolidación y la fortaleza del sistema de evaluación implantando.
Discernir cuándo los objetivos se han conseguido de forma parcial y completa puede ser realmente complejo y subjetivo. Dividiendo los objetivos entre conseguidos (de forma parcial o completa) y no conseguidos, no existen diferencias entre evaluadores, excepto en la exploración física, en la que el profesor es más exigente que los alumnos, considerando que el 7,7% no logra los objetivos frente el 0,6 y 1,1% de los estudiantes. Estas diferencias halladas en la exploración física probablemente se deban a que los estudiantes que participan en nuestro estudio son de tercer curso de Medicina, de modo que los conocimientos acerca de la exploración física son aún más acotados que en el resto de objetivos.
Existe una diferencia de 1,5 a 2 puntos entre el primer caso y el último, sin hallar ningún alumno que no haya conseguido de forma total o parcial los objetivos (el 0% en el último caso) (p = 0). Esta mejoría significativa refleja la importancia del debriefing en el aprendizaje [16,17], representando el componente que puede hacer cambiar el desarrollo y la consolidación de conceptos críticos [2,5,18]. En nuestro estudio, se realiza un debriefing tras la ejecución de cada caso clínico que facilita que el logro de los objetivos mejore significativamente desde el caso 1 al caso 5.
La ansiedad puede interferir en el proceso de aprendizaje. Preparar a los estudiantes para la simulación reduce la ansiedad y mejora el éxito del aprendizaje [19]. En nuestro estudio hemos creado un ambiente de seguridad que hace sentir a los participantes confortables y las emociones no influyen en el logro de los objetivos.
El estudio se ha realizado mediante un diseño prospectivo, metodológicamente correcto. El grado de validez permite extrapolar los resultados a estudiantes de otras facultades de Medicina. Se ha podido realizar con un tamaño muestral considerable y una evaluación de un gran número de objetivos docentes, que refuerzan la consistencia de los resultados. Ha sido francamente enriquecedor tener la posibilidad de conducir un estudio que combina la parte clínica y docente. Su principal limitación es que el estudio se ha desarrollado en una única facultad de Medicina. El efecto de esta limitación se ha podido minimizar a expensas del notable número de participantes.
A partir de los resultados de nuestro estudio, éste se podría ampliar a otras facultades de Medicina para magnificar la potencia de los resultados. También se abren varias posibles vías de investigación, una de ellas acerca de la influencia que puede tener el estado emocional en el logro de los objetivos docentes para el aprendizaje. Se podría estudiar con más profundidad a través de estudios diseñados específicamente para tal efecto.
Como conclusiones, el logro de los objetivos en nuestro trabajo se consigue de forma notable, posiblemente gracias a una correcta preparación previa mediante el prebriefing-briefing. Entre el primer caso y el último de un escenario de simulación, existe una importante y significativa diferencia en el grado de obtención de los objetivos, probablemente asociado a la trascendencia que tiene el debriefing en la consolidación del aprendizaje. No existe una relación entre el estado emocional de los participantes y la consecución de los objetivos.