ORIGINAL

 

Nivel de correlación en la evaluación de la intubación traqueal efectuada por anestesiólogos docentes y residentes de anestesiología

Level of correlation in the assessment of tracheal intubation between anaesthesiology staff and residents

 

 

Alejandro Delfino, Fernando Altermatt, Marcia Corvetto y Ghislaine Echeverria

División de Anestesiología; Pontificia Universidad Católica de Chile; Santiago, Chile (A. Delfino, F. Altermatt, M. Corvetto).
Department of Anaesthesia; New York University; School of Medicine; Nueva York, Estados Unidos (G. Echeverria).

Dirección para correspondencia

 

 

---

RESUMEN

Introducción. La educación médica ha experimentado numerosos cambios. Uno de éstos es el uso de la autoevaluación para establecer la progresión de los estudiantes. Hasta donde sabemos, en la realidad chilena no existen hasta el momento estudios sobre la validez y confiabilidad del uso de la autoevaluación en el proceso educacional.
Sujetos y métodos. Las intubaciones traqueales efectuadas durante cuatro meses por los residentes de anestesia de la Pontificia Universidad Católica de Chile se evaluaron utilizando el instrumento 'observación directa de procedimientos y habilidades' (DOPS). Una vez intubado el paciente, el anestesiólogo a cargo efectuó la evaluación inmediata de la técnica de intubación del residente. A su vez, empleando el mismo instrumento, el residente efectuó una autoevaluación del mismo procedimiento. El nivel de acuerdo entre anestesiólogo y residente se estableció mediante el índice de correlación intraclase (ICC). Se realizó una encuesta de opinión sobre el método entre los participantes.
Resultados. Se evaluaron 585 intubaciones. Participaron 31 residentes y 30 anestesiólogos. El ICC general fue 0,423. Éste disminuyó a medida que aumentaba el nivel de experiencia de los estudiantes, y alcanzó el nivel más bajo en los residentes de tercer año, con un ICC de 0,39. Anestesiólogos y residentes manifestaron satisfacción con el método, pero poca experiencia previa.
Conclusiones. El nivel de concordancia entre las evaluaciones y autoevaluaciones fue bajo. La falta de experiencia previa de los participantes pudo influir en los resultados. Para utilizar adecuadamente instrumentos de autoevaluación, éstos deberían implementarse desde etapas tempranas de la formación.

Palabras clave: Autoevaluación. DOPS. Educación médica. Intubación traqueal. Residentes de anestesiología.

---

ABSTRACT

Introduction. The medical education has experienced numerous changes. One of these is the use of self-assessment to establish students' progress, even with summative purposes. As far as we know, in our setting there are not studies about the validity and reliability of the use of self-assessment in the educational process.
Subjects and methods. The intubations performed during four months by anesthesia residents at Pontificia Universidad Católica de Chile were assessed using the instrument Direct Observation of Procedural Skills (DOPS). Once the patient was intubated, the anesthesia staff in charge of patient's care carried out the resident's assessment and each student performed a self-assessment of the procedure using the same instrument. The level of agreement between staffs and students was established using intraclass correlation (ICC). An opinion survey among the participants about the method was performed.
Results. 585 intubations were assessed. 31 students and 30 staff participated in the study. The general ICC was 0.423. The ICC decreased according to the residents' student year reaching the bottom at third year residents with 0.39. All participants were satisfied with the method but they pointed out the lack of previous experience.
Conclusions. The agreement between staffs' assessments and students' self-assessment was poor. The lack of participants' experience could affect the results. To properly use self-assessment instruments, they should be implemented in early stages of educational process.

Key words: Anesthesia residents. DOPS. Medical education. Self-assessment. Tracheal intubation.

---

 

Introducción

Una de las características fundamentales que definen la anestesiología como especialidad, aparte del profundo conocimiento fisiopatológico de los diversos estados y procesos que pueden afectar la homeóstasis, es la necesidad de ser competente en la ejecución de una amplia gama de procedimientos. Con objeto de poder establecer el nivel de competencia en la ejecución de procedimientos de los futuros anestesiólogos, se han empleado diversas herramientas de evaluación, dentro de las cuales destacan las listas de cotejo y rúbricas como las más frecuentemente empleadas, y otros instrumentos tienen una participación paulatinamente creciente, como el portafolio y la simulación.

Por otra parte, los mecanismos tradicionales de evaluación presentan algunos defectos relevantes, dentro de los cuales el más importante es el hecho de generar una motivación errónea en los estudiantes, en cuanto pone su énfasis en la recompensa o castigo externo (aprobar o reprobar), en vez de propiciar el deseo de aprender, estimular la superación, autoformación y capacidad de reflexión, todos puntos indispensables en la formación médica de hoy y de mañana [1-3]. Dado lo argumentado previamente, cada vez ha ido tomando más relevancia el desarrollo y estímulo de la autoevaluación. Entendido desde este punto de vista, varios programas de posgrado han transferido a la autoevaluación efectuada por parte de los estudiantes una importante cuota de responsabilidad en la toma de decisiones en cuanto a la progresión de los alumnos [4-7]. Para que lo anterior pueda efectuarse de forma adecuada se requiere indispensablemente una 'cultura crítica' y una madurez apropiada por parte de los estudiantes para así poder determinar por sí mismos, y de la manera más objetiva posible, si logran cumplir con los estándares apropiados [8-11].

En el ámbito de la enseñanza anestésica existen escasos estudios y comunicaciones del uso de la autoevaluación por parte de los residentes [12,13], mientras que en lo que respecta a la realidad en la enseñanza anestesiológica en Chile, así como en el resto de la educación a nivel de pregrado y posgrado en el país, no existen comunicaciones ni experiencia sobre el uso de la autoevaluación, paso que resulta crucial para poder asignar mayores responsabilidades a nuestros estudiantes en su proceso formativo.

En relación con el uso de instrumentos de evaluación en el sitio de trabajo, en Chile solamente existe una publicación en que se procedió a adaptar y validar una herramienta genérica, previamente diseñada para evaluar procedimientos en el Reino Unido, a la realidad anestesiológica chilena, el instrumento 'observación directa de procedimientos y habilidades' (DOPS) [14]. Los autores demostraron que se trata de una herramienta válida y fiable, y que facilita la entrega de feedback a los residentes y el proceso de docencia-aprendizaje.

El objetivo de este trabajo es establecer el nivel de correlación existente entre la evaluación efectuada por un docente y la autoevaluación efectuada por los residentes de anestesiología, del procedimiento intubación traqueal, mediante el uso de DOPS.

 

Sujetos y métodos

Previa aprobación por parte del comité de ética de la Pontificia Universidad Católica de Chile, durante un período de cuatro meses se evaluaron una vez al día, dos veces por semana, las intubaciones traqueales efectuadas por todos los residentes de anestesiología que estuvieran trabajando en el Hospital Clínico de la Pontificia Universidad Católica de Chile, empleando la versión chilena de la DOPS [14] (Tablas I y II). Antes del inicio de las evaluaciones, tanto los anestesiólogos como los residentes de anestesia recibieron un detallado instructivo escrito que explicaba la forma en la cual debía utilizarse el instrumento. En la sala de operaciones, tras finalizar cada intubación, el anestesiólogo a cargo del paciente, así como el residente que había efectuado el procedimiento, procedían a evaluar éste, de manera independiente, mediante la aplicación del instrumento. Finalmente, con objeto de evaluar la satisfacción de los usuarios con el instrumento, así como con la aplicación de éste en formato de autoevaluación, se envió una encuesta electrónica a todos los participantes del estudio (Tabla III).

 

 

 

 

El análisis estadístico se realizó utilizando el programa R, v. 3.1.2. El grado de concordancia entre las observaciones efectuadas por los anestesiólogos y los residentes fue establecido mediante el índice de correlación intraclase (ICC). La t de Student no pareada se empleó para efectuar comparaciones entre estudiantes de distintos niveles. Se consideró significativo un valor de p < 0,05.

 

Resultados

Un total de 31 residentes (11 de primer año y 10 de segundo y tercer año, respectivamente) y 30 anestesiólogos participaron en el estudio. Se evaluaron 585 intubaciones, 230 (39%) en residentes de primer año, 161 (28%) de segundo año y 194 (33%) de tercer año, con un promedio de 18,84 ± 1,63 por estudiante. Los anestesiólogos efectuaron una media de 19,5 ± 6,42 evaluaciones. Del total de evaluaciones de cada estudiante, una media de 9,6 ± 1,2 evaluaciones fue efectuada por el mismo anestesiólogo.

Los resultados globales obtenidos por los residentes de segundo y tercer año fueron mejores que los de primer año, tanto en las evaluaciones efectuadas por los anestesiólogos (p = 0,039) como en las autoevaluaciones (p = 0,043). No hubo diferencias en los resultados, tanto en las evaluaciones efectuadas por los anestesiólogos como en las autoevaluaciones, entre los residentes de segundo y tercer año.

El nivel de concordancia global entre las evaluaciones de anestesiólogos y residentes fue de 0,423. Al analizar el nivel de concordancia entre anestesiólogos y residentes según el respectivo año de estudio, ésta fue de 0,67, 0,48 y 0,39 para los estudiantes de primer, segundo y tercer año, respectivamente. En cuanto al nivel de concordancia existente entre los residentes y el anestesiólogo que efectuó preferentemente las evaluaciones de cada estudiante, no existieron diferencias significativas al ser comparado con los resultados globales (Tabla IV). Finalmente, en la tabla V puede identificarse el nivel de concordancia para cada uno de los ítems de la DOPS y el respectivo año de residencia.

 

 

 

Treinta residentes (96%) y 21 anestesiólogos (70%) contestaron la encuesta de satisfacción. El 85% de los anestesiólogos consideró que la DOPS fue útil para evaluar la intubación traqueal, que sus criterios son adecuados a la realidad y que permite identificar errores en la técnica de intubación. Además, el 80% consideró que la autoevaluación puede ser una forma adecuada de evaluar competencias, y de éstos el 90% incorporaría la DOPS para evaluar otros procedimientos. En relación con la provisión de feedback, más del 75% de los anestesiólogos reconoció que efectuarlo es difícil. El 40% señaló que normalmente no otorga feedback, y aludió como razones para ello la falta de tiempo, confianza y conocimiento, con un 72, 40 y 36%, respectivamente. Finalmente, más del 70% considera que la DOPS facilita la entrega de feedback.

En relación con los residentes, sólo un 45% señaló recibir feedback regularmente (definido arbitrariamente como más de un 60% de las veces); sin embargo, cuando está presente, sobre el 90% lo consideró como muy útil. En relación con esto, el 80% de los residentes estimó que la DOPS es una herramienta útil en la entrega de feedback.

Adicionalmente, el 90% de los residentes consideró que la DOPS permite identificar problemas en la técnica de intubación y que la autoevaluación permite evaluar adecuadamente competencias; de hecho, la totalidad de los residentes incorporaría la DOPS para autoevaluar otras competencias.

 

Discusión

El nivel de concordancia global obtenido entre las evaluaciones efectuadas por anestesiólogos y residentes fue bajo. Una de las explicaciones que pueden dar cuenta de este fenómeno es la falta de preparación y experiencia por parte de nuestros estudiantes en el proceso de autoevaluación. En términos generales, nuestras escuelas de medicina, tanto de pregrado como de posgrado, no tienen contemplada la autoevaluación dentro de sus estructuras curriculares; por tanto, resulta difícil que nuestros alumnos desarrollen una actitud crítica objetiva con respecto a su propio desempeño. Difiere de esta postura lo que ocurre en otras escuelas de medicina y programas, donde el uso de la autoevaluación constituye una parte integral del proceso de formación y evaluación, y se considera actualmente una parte integral del proceso de certificación y recertificación de especialidades [15].

Escapa al análisis anterior la concordancia obtenida entre las evaluaciones de los anestesiólogos y los residentes de primer año, que puede ser catalogada de buena o apropiada. Esto contrasta con lo notificado por otros autores, que señalan que los residentes de primer año no tienen una apropiada comprensión de lo que implica el proceso de autoevaluación, lo que mejora con la progresión de la formación [10].

Dentro de las explicaciones que pueden dar cuenta de este hallazgo se encuentra el cambio que experimentan los procesos cognitivos, de análisis y manejo de información en el proceso de transición desde los estadios de novato a experto, donde sujetos con mayor nivel de experiencia van perdiendo la atención a los detalles de los procesos y acciones por ellos desarrolladas, y el resultado final global importa más que los pasos para poder llegar a éste [16]. En este caso, las principales diferencias observadas entre los residentes novatos y los de cursos superiores estuvo a nivel de la preparación del procedimiento, técnica aséptica y manejo posprocedimiento, que, si bien son importantes en el momento de evaluar de manera estricta un accionar médico, no son indispensables para lograr el éxito del procedimiento propiamente tal, en este caso la intubación traqueal. Esto se encuentra en línea con las teorías cognitivas del aprendizaje, donde el experto presenta una estructuración del aprendizaje diferente, orientado a la resolución del problema, y puede omitir en esto algunas secuencias que pueden considerarse o evaluarse en pautas de aprendizaje. En este sentido, residentes de segundo y tercer año de anestesiología pueden ser considerados expertos en intubación, de modo que tanto la atención al proceso como la capacidad de autoevaluación y reflexión sobre éste se ven afectadas [17-19].

Las diferencias observadas en el rendimiento global entre los residentes de primer año con los de segundo y tercero no hacen otra cosa sino comprobar la validez de constructo del instrumento [20-22]. La ausencia de diferencias en el rendimiento entre residentes de segundo y tercer año puede explicarse por la curva de aprendizaje de intubación, donde se alcanza un éxito de alrededor del 90% de las ocasiones después de haber estado expuesto a 60 casos [23]. En el caso de la formación en anestesia, esta exposición se ha alcanzado con creces en el segundo año de residencia, de modo que, al menos en este procedimiento, ya se ha alcanzado la maestría. Por el contrario, es esperable que durante el primer año de formación la tasa de fracasos o errores en el procedimiento sea mayor que en los años siguientes, lo que da cuenta del menor resultado alcanzado.

Una elevada proporción de anestesiólogos y residentes consideró el instrumento como muy útil, por cuanto ayudaría a mejorar la técnica de intubación; sin embargo, en cuanto a lo que provisión de feedback se refiere, la presencia de éste es baja. Estos resultados no son diferentes a los obtenidos con otros instrumentos de evaluación en el sitio de trabajo [24-26] y no hacen otra cosa sino reforzar la necesidad de implementar instancias de capacitación docente efectivas, por cuanto se ha demostrado que la provisión de feedback tiene un profundo impacto en el proceso de aprendizaje [3,27].

Dentro de las limitaciones que tiene nuestro trabajo se encuentra la forma en que se efectuó la capacitación de los residentes en el uso de la DOPS. Emplear un instructivo escrito, si bien fue detallado, podría dejar interrogantes no resueltas en los alumnos, y afectar la aplicación del instrumento. Si bien los docentes también recibieron este instructivo, desestimamos en ellos algún problema, pues todos los docentes de nuestro departamento están familiarizados con el uso de la DOPS como instrumento evaluativo. Otra de las limitaciones de nuestro estudio se encuentra dada por los problemas propios de las rúbricas, como son la tendencia central o el efecto halo, cuales no podemos descartar [28].

A la luz de nuestros resultados resulta evidente que debe hacerse un gran esfuerzo por todos los involucrados en el proceso de docencia-aprendizaje. Clave resultará para la adaptación a los procesos modernos de evaluación la incorporación y capacitación de nuestros estudiantes en lo que implica el proceso autoevaluativo, lo que sin lugar a dudas constituye uno de los pilares fundamentales del proceso de educación y formación continua, objetivo que debe formar parte de todo programa universitario que se aprecie como tal.

 

Bibliografía

1. Lyons N. Clinical competence: a review of methods used to assess competence and proposals for a realistic future strategy. Educ Prim Care 2002; 13: 326-35.         [ Links ]

2. Rethans JJ, Norcini JJ, Barón-Maldonado M, Blackmore D, Jolly BC, LaDuca T, et al. The relationship between competence and performance: implications for assessing practice performance. Med Educ 2002; 36: 901-9.         [ Links ]

3. Schartel SA, Metro DG. Evaluation: measuring performance, ensuring competence, achieving long-term excellence. Anesthesiology 2010; 112: 519-20.         [ Links ]

4. Biernat K, Simpson D, Duthie E, Bragg D, London R. Primary care residents self assessment skills in dementia. Adv Health Sci Educ Theory Pract 2003; 8: 105-10.         [ Links ]

5. Silver I, Campbell C, Marlow B, Sargeant J. Self-assessment and continuing professional development: the Canadian perspective. J Contin Educ Health Prof 2008; 28: 25-31.         [ Links ]

6. ACGME. Anesthesiology Program Requirements 2008. URL: http://www.acgme.org/acWebsite/RRC_040/040_prIndex.asp. (21.12.2010).         [ Links ]

7. Stanford Medicine. Anesthesiology, Perioperative and Pain Medicine. URL: http://med.stanford.edu/anesthesia/. (09.04.2014).         [ Links ]

8. Davis DA, Mazmanian PE, Fordis M, Van Harrison R, Thorpe KE, Perrier L. Accuracy of physician self-assessment compared with observed measures of competence: a systematic review. JAMA 2006; 296: 1094-102.         [ Links ]

9. Galbraith RM, Hawkins RE, Holmboe ES. Making self-assessment more effective. J Contin Educ Health Prof 2008; 28: 20-4.         [ Links ]

10. Li STT, Favreau MA, West DC. Pediatric resident and faculty attitudes toward self-assessment and self-directed learning: a cross-sectional study. BMC Med Educ 2009; 9: 16.         [ Links ]

11. Tracey JM, Arroll B, Richmond DE, Barham PM. The validity of general practitioners' self assessment of knowledge: cross sectional study. BMJ 1997; 315: 1426-8.         [ Links ]

12. Weller JM, Robinson BJ, Jolly B, Watterson LM, Joseph M, Bajenov S, et al. Psychometric characteristics of simulation-based assessment in anaesthesia and accuracy of self-assessed scores. Anaesthesia 2005; 60: 245-50.         [ Links ]

13. Parbrook GD, Davis PD, Parbrook EO. The microcomputer in self-assessment for examinations in anaesthesia. Anaesthesia 1981; 36: 1136-7.         [ Links ]

14. Delfino AE, Chandratilake M, Altermatt FR, Echevarria G. Validation and piloting of direct observation of practical skills tool to assess intubation in the Chilean context. Med Teach 2013; 35: 231-6.         [ Links ]

15. ACGME. Common Program Requirements 2015. URL: https://www.acgme.org/acgmeweb/tabid/429/ProgramandInstitutionalAccreditation/CommonProgramRequirements.aspx.         [ Links ]

16. Govaerts MJB, Schuwirth LWT, Van der Vleuten CPM, Muijtjens AMM. Workplace-based assessment: effects of rater expertise. Adv Health Sci Educ Theory Pract 2011; 16: 151-65.         [ Links ]

17. Ilgen JS, Humbert AJ, Kuhn G, Hansen ML, Norman GR, Eva KW, et al. Assessing diagnostic reasoning: a consensus statement summarizing theory, practice, and future needs. Acad Emerg Med 2012; 19: 1454-61.         [ Links ]

18. Gabriel A, Violato C. Problem-solving strategies in psychiatry: differences between experts and novices in diagnostic accuracy and reasoning. Adv Med Educ Pract 2013; 4: 11-6.         [ Links ]

19. Coderre S, Mandin H, Harasym PH, Fick GH. Diagnostic reasoning strategies and diagnostic success. Med Educ 2003; 37: 695-703.         [ Links ]

20. Crossley J, Johnson G, Booth J, Wade W. Good questions, good answers: construct alignment improves the performance of workplace-based assessment scales. Med Educ 2011; 45: 560-9.         [ Links ]

21. Downing SM. Validity: on meaningful interpretation of assessment data. Med Educ 2003; 37: 830-7.         [ Links ]

22. Holmboe ES, Huot S, Chung J, Norcini J, Hawkins RE. Construct validity of the miniclinical evaluation exercise (miniCEX). Acad Med 2003; 78: 826-30.         [ Links ]

23. Konrad C, Schüpfer G, Wietlisbach M, Gerber H. Learning manual skills in anesthesiology: Is there a recommended number of cases for anesthetic procedures? Anesth Analg 1998; 86: 635-9.         [ Links ]

24. Brukner H. Giving effective feedback to medical students: a workshop for faculty and house staff. Med Teach 1999; 21: 161-5.         [ Links ]

25. Ende J. Feedback in clinical medical education. JAMA 1983; 250: 777-81.         [ Links ]

26. Hewson M, Little M. Giving feedback in medical education: verification of recommended techniques. J Gen Intern Med 1998; 13: 111-6.         [ Links ]

27. Hattie J, Timperley H. The power of feedback. Rev Educ Res 2007; 77: 81-112.         [ Links ]

28. Williams RG, Klamen DA, McGaghie WC. Cognitive, social and environmental sources of bias in clinical performance ratings. Teach Learn Med 2003; 15: 270-92.         [ Links ]

 

 

Dirección para correspondencia:
Dr. Alejandro Delfino.
División de Anestesiología.
Pontificia Universidad Católica de Chile.
Marcoleta, 367, 3^er. piso. Santiago, Chile.
E-mail: aedelfin@med.puc.cl

Conflicto de intereses: No declarado.

Recibido: 02.09.15.
Aceptado: 05.10.15.