El ABC del Mini-CEX
The ABC of Mini-CEX
J.M. Fornells-Vallés
Institut d’Estudis de la Salut. Barcelona, España.
Cuestionario de acreditación: www.educmed.net
Dirección para correspondencia
]]>
Introducción
El Mini Clinical Evaluation Exercise (Mini-CEX) tiene su origen en Estados Unidos en la década de 1990 y fue desarrollado inicialmente por el American Board of Internal Medicine (ABIM).
En 1972, el American Board of Internal Medicine modificó su sistema de evaluación de los residentes de medicina interna y adoptó el Clinical Evaluation Exercise (CEX), dirigido, fundamentalmente, a residentes (R1) y que consistía en un examen oral en la cabecera del paciente con el objetivo de valorar la competencia clínica del residente.
En 1995 aparece una investigación preliminar de Norcini et al [1] acerca del Mini-CEX, experiencia realizada en cinco programas de medicina interna del estado de Pennsylvania. En este estudio se abordan aspectos relacionados con la validez, la fiabilidad y la factibilidad del instrumento.
En 2003, Norcini et al [2] publican los resultados de un estudio observacional y de análisis psicométrico del Mini-CEX. Este estudio está basado en 21 programas de medicina interna en los que se recogen 1.228 encuentros clínicos en los que han participado 421 residentes y 316 observadores/evaluadores [3].
A partir de dicho estudio se empieza a generalizar el uso del Mini-CEX como instrumento de evaluación de la competencia clínica, esencialmente en los países de cultura anglosajona [4-6]. En 2006, en Cataluña se empieza a formar a tutores de especialistas en formación en la metodología del Mini-CEX con el nombre de Observación Estructurada de la Práctica Clínica (OEPC), si bien su utilización aún es minoritaria. Hasta diciembre de 2008 se realizaron 22 ediciones de un taller de cuatro horas y se formaron 353 tutores.
Descripción
]]> En el último cuarto del siglo XX, los instrumentos de evaluación asociados al tercer peldaño de la pirámide de Miller tuvieron un desarrollo importante, especialmente, la evaluación clínica objetiva estructurada. Desde hace unos años existe una preocupación creciente por desarrollar sistemas de evaluación de la práctica profesional real que se sitúan ya en el vértice de la pirámide. En este contexto, en paralelo al Mini-CEX, se están desarrollando otros instrumentos como el portafolio, el feedback 360º y las videograbaciones, entre otros (Figura).
El Mini-CEX se puede definir como un método de observación directa de la práctica profesional con evaluación estructurada mediante un formulario de ésta (Tabla I) y posterior provisión de feedback al residente/estudiante (Tabla II).
El Mini-CEX está indicado para evaluar los componentes competenciales siguientes:
• Habilidades de entrevista clínica.
• Habilidades de exploración física.
• Profesionalismo. ]]> • Juicio clínico.
• Habilidades comunicativas.
• Organización/eficiencia.
Las características del Mini-CEX se podrían sintetizar como sigue:
• Es un instrumento adecuado para las habilidades clínicas y para dar un feedback inmediato al evaluado.
• Se basa en casos clínicos con pacientes reales y distintos observadores para cada caso.
• Los casos clínicos son de tipología y complejidad diferentes, y observados en distintos entornos.
• Disponemos de una ficha estructurada para recoger la información.
• El tiempo promedio aconsejado es de 30 minutos (observación + feedback).
Las diferencias entre el CEX y el Mini-CEX se detallan en la tabla III.
]]>
Cada una de las competencias que se deben valorar tiene unos descriptores que han de facilitar la homogeneidad de los observadores a la hora de evaluar a los residentes. La definición y el consenso alrededor de estos descriptores es uno de los elementos clave del Mini-CEX (Tabla IV).
Es importante que los descriptores se discutan y consensúen por parte de los distintos observadores/evaluadores y que, de vez en cuando, haya una discusión sobre casos concretos. Esto nos llevará a disminuir la variabilidad interobservador.
Características psicométricas
Los aspectos que fundamentalmente se estudian en este apartado son la validez y la fiabilidad del instrumento. Por otra parte, sabemos que en el análisis de estos aspectos tendremos en cuenta si la evaluación que llevamos a cabo tiene una finalidad formativa, sumativa o ambas.
Las características propias del Mini-CEX, como son su realización en pacientes reales, en entornos diferentes, en casos de distinta complejidad, etc., parecen otorgarle la validez suficiente para ser utilizado tanto en la evaluación formativa como sumativa. Nos remitimos a los estudios de Holmboe [7] y Norcini [1,2], entre otros.
Sabemos que en el uso sumativo de un instrumento, la fiabilidad es un elemento crítico y podría pensarse que, al no haber una estandarización, podría ser un punto débil del Mini-CEX. Los estudios de Nair [8] y de Norcini [2] señalan que puede haber una fiabilidad adecuada (coeficiente por encima de 0,80) sobre la base de unos seis encuentros clínicos por año valorados por observadores distintos.
Asimismo, Cook ha estudiado la formación de los evaluadores y su incidencia en la fiabilidad interevaluadores con resultados no significativos [9].
]]>Desarrollo
Los pasos siguientes deben contemplarse en la implementación del Mini-CEX:
• El residente conoce sus objetivos de aprendizaje para un período concreto.
• El observador también los conoce.
• En la opción 1, el residente considera que asume los objetivos: pide al observador que observe y valore la entrevista clínica.
• En la opción 2, el tutor coordina con el residente y el observador la sesión de observación.
• El observador rellena el formulario de valoración y proporciona feedback inmediatamente.
• El residente valora el feedback en la ficha. ]]> • Copia de la ficha para el residente, el observador y el tutor.
Algunos aspectos prácticos que se deben tener en cuenta son los siguientes:
• Presentación al paciente, si fuera necesario.
• Posición del observador: a) ángulo de visión; b) sin interferir.
• Conocimiento por parte del observador del nivel esperado-exigible del residente/estudiante.
• Familiarización con la ficha y los aspectos valorados (descriptores de las competencias).
• Concentración y atención del observador.
Información que se recoge en el Mini-CEX:
• Entorno clínico: es decir, los distintos espacios en los que se desarrolla la práctica profesional. Algunas especialidades podrían contemplar espacios específicos como, por ejemplo, la visita domiciliaria en el caso de medicina de familia. Otros elementos del entorno podrían ser consultas externas, urgencias o planta, entre otros.
]]>• Características del paciente: se recogen la edad, el género y si el paciente es ya conocido.
• Asunto principal en que se centra la consulta: puede ser uno o varios de los siguientes, anamnesis, diagnóstico, tratamiento, consejo sanitario y control.
• Complejidad del caso que establecemos: baja, media o alta.
• Características del observador: según sea tutor del residente, tutor de otros residentes de la misma especialidad, tutor de diferente especialidad, adjunto no tutor u otros.
• Número de observaciones de casos clínicos previas del observador.
Esta información es vital para cerciorarnos de que se efectúan una variedad de encuentros clínicos realmente representativos de las situaciones en las que se van a encontrar en la práctica real.
En nuestro contexto, el mayor potencial de aplicación del Mini-CEX lo vemos como instrumento de evaluación en la formación especializada, ya que el aprendizaje de los residentes se fundamenta precisamente en una práctica profesional real supervisada.
Diversos estudios [10,11] han valorado la factibilidad de este instrumento para la evaluación, por lo general formativa, de residentes/estudiantes.
]]> Provisión de feedback
En el Mini-CEX, el feedback se basa en el retorno de información a quien está aprendiendo, en función de un acto clínico acabado de ejecutar y tomando como referentes los objetivos de aprendizaje o competencias, conocidas por las dos partes: evaluado y evaluador.
El feedback debe ser interactivo y, durante éste, el evaluador debe procurar:
• Facilitar la autoevaluación del residente y así permitir desarrollar sus capacidades reflexivas.
• Reforzar positivamente aquellos aspectos reali-zados de manera correcta durante la entrevista.
• Asegurarse de que los aspectos mejorables se plantean de modo constructivo.
• Que hayan unas conclusiones con un plan de acción.
Al plantearnos el desarrollo de un Mini-CEX debemos dar tanta importancia a la parte evaluadora de éste como al feedback subsiguiente, de este modo se convierte en una pieza im-portante de una estrategia de evaluación formativa.
Las características del feedback en este contexto se han estudiado, entre otros, por Holmboe [12], Hauer [13] y Fernando [14].
]]>Ventajas y limitaciones
Las principales ventajas o beneficios del Mini-CEX son los siguientes:
• Representativo de la realidad, distintos casos en entornos diferentes. Validez.
• Varios observadores y observaciones inciden en la fiabilidad.
• Feedback posterior más potente.
• Autorresponsabilidad del residente: en algunos casos, él decide cuándo es observado.
• Valoración de la OEPC por quien es observado.
• Es eficiente.
]]> • Fácilmente aplicable, factible.• Satisfacción del evaluado/evaluador.
• Flexible en su diseño y ejecución.
• Medible.
Por otra parte, las principales limitaciones serían:
• Necesidad de contar con la colaboración de otros docentes/tutores.
• Necesidad de recopilación y seguimiento de las distintas sesiones.
• Creación de un consenso entre los observadores.
• Necesidad de contar con residentes activos.
]]> • Posible conflicto de intereses cuando el evaluador es al mismo tiempo formador, especialmente en el contexto de un Mini-CEX con finalidad sumativa.
Conclusiones
El Mini-CEX parece ser un instrumento válido, fiable y factible para la evaluación de la competencia clínica [15-17]. Se ha utilizado en distintos entornos, para especialidades diferentes y, mayoritariamente, con una finalidad formativa, aunque sus propiedades psicométricas parecen indicar asimismo su uso dentro de un sistema sumativo.
Bibliografía
1. Norcini JJ, Blank LL, Arnold GK, Kimball HR. The Mini-CEX (Clinical Evaluation Exercise): a preliminary investigation. Ann Intern Med 1995; 123: 795-9. [ Links ]
2. Norcini JJ, Blank LL, Duffy D, Fortna GS. The Mini-CEX: a method for assessing clinical skills. Ann Intern Med 2003; 138: 476-81. [ Links ]
3. The Mini-CEX. A quality tool in evaluation. American Board of internal Medicine Clinical Competence Program. URL: http://www.abim.org. [ Links ]
4. Carr S. The Foundation Programme assessment tools: an opportunity to enhance feedback to trainees? Postgrad Med J 2006; 82: 576-9. [ Links ]
5. Mini-CEX full background communication March 2008. Assessment Unit, Education Deanery, The Royal Australasian College of Physicians. URL: http://www.racp.edu.au. [ Links ]
6. Alves de Lima AE. Devolución constructiva. Una estrategia para mejorar el aprendizaje. Medicina 2008; 68: 88-92. [ Links ]
7. Holmboe ES, Huot SJ, Chung J, Norcini JJ, Hawkins RE. Construct validity of the mini-clinical evaluation exercise (mini-CEX). Acad Med 2003; 78: 826-30. [ Links ]
8. Nair BR, Alexander HG, McGrath BP, Parvathy MS, Kilsby EC, Wenzel J, et al. The mini clinical evaluation exercise (mini-CEX) for assessing clinical performance of international medical graduates. MJA 2008; 189: 159-61. [ Links ]
9. Cook DA, Dupras DM, Beckman TJ, Thomas KG, Pankratz VS. Effect of rater training on reliability and accuracy of mini-CEX scores: a randomized, controlled trial. J Gen Intern Med 2009; 24: 74-9. [ Links ]
10. Torre DM, Simpson DE, Elnicki DM, Sebastian JL, Holm-boe ES. Feasibility, reliability and user satisfaction with a PDA-based mini-CEX to evaluate the clinical skills of third-year medical students. Teach Learn Med 2007; 19: 271-7. [ Links ]
11. Kogan JR, Bellini LM, Shea JA. Implementation of the mini-CEX to evaluate medical students’ clinical skills. Acad Med 2002; 77: 1156-7. [ Links ]
12. Holmboe ES, Yepes M, Williams F, Huot SJ. Feedback and the Mini Clinical Evaluation Exercise. J Gen Intern Med 2004; 19: 558-61. [ Links ]
13. Hauer KE. Enhancing feedback to students using the Mini-CEX (Clinical Evaluation Exercise). Acad Med 2000; 75: 524. [ Links ]
14. Fernando N, Cleland J, McKenzie H, Cassar K. Identifying the factors that determine feedback given to undergraduate medical students following formative Mini-CEX assessments. Med Educ 2008; 42: 89-95. [ Links ]
15. Alves de Lima A, Barrero C, Baratta S, Castillo-Costa Y, Bortman G, Carabajales J, et al. Validity, reliability, feasibility and satisfaction of the Mini-Clinical Evaluation Exercise (Mini-CEX) for cardiology residency training. Med Teach 2007; 29: 785-90. [ Links ]
16. Donato AA, Pangaro L, Smith C, Rencic J, Díaz Y, Men-singer J, et al. Evaluation of a novel assessment form for observing medical residents: a randomised, controlled trial. Med Educ 2008; 42: 1234-42. [ Links ]
17. Kogan JR, Hauer KE. Use of the Mini-Clinical Evaluation Exercise in internal medicine core clerkships. J Gen Intern Med 2006; 21: 501-2. [ Links ]
Dirección para correspondencia:
Dr. Josep M. Fornells Vallés.
Institut d’Estudis de la Salut.
Roc Boronat, 81-95. ]]>
E-08005 Barcelona
E-mail: joma.fornells@gencat.net