REVISIÓN

 

La utilización del Mini Clinical Evaluation Exercise (mini-CEX) en estudiantes de medicina

Use of Mini Clinical Evaluation Exercise (mini-CEX) in medical students

 

 

Josep E. Baños, Carmen Gomar-Sancho, Elena Guardiola, Jordi Palés-Argullós

Departamento de Ciencias Experimentales y de la Salud; Universitat Pompeu Fabra (J.E. Baños, E. Guardiola). Departamento de Cirugía y Especialidades Quirúrgicas (C. Gomar-Sancho); Departamento de Ciencias Fisiológicas (J. Palés-Argullós); Universitat de Barcelona. Barcelona, España.

Dirección para correspondencia

 

 

---

RESUMEN

En los últimos años se recomienda el uso de instrumentos que evalúen la adquisición de habilidades clínicas en el contexto de la práctica clínica. Entre los instrumentos más recomendados se encuentra el Mini Clinical Evaluation Exercise (mini-CEX), desarrollado inicialmente para la evaluación de médicos residentes, y que ha demostrado una buena fiabilidad y validez. Aunque se ha utilizado en estudiantes de medicina, no se dispone de un análisis completo de la experiencia acumulada. Para la presente revisión se realizó en septiembre de 2014 la búsqueda de los artículos indizados en Medline, Embase, Biosis Previews y Current Contents. Se seleccionaron aquellos artículos que incluían los términos 'mini clinical evaluation exercise', 'mini-CEX' o 'mcex'. Tras la eliminación de los duplicados se obtuvo un total de 168 artículos. Se revisaron los que se referían al uso del mini-CEX en estudiantes de medicina (n = 34) y se analizaron a fondo aquellos que contenían datos empíricos (n = 21). Los estudios llevados a cabo en estudiantes de medicina confirman que el mini-CEX es un instrumento útil y factible para evaluar las habilidades clínicas de los estudiantes de medicina y que posee propiedades psicométricas adecuadas en términos de validez y fiabilidad. Asimismo, es bien aceptado por estudiantes y tutores y puede ser usado tanto con finalidades formativas como sumativas. La importancia de dar un feedback adecuado y la concordancia de las puntuaciones de los tutores son los puntos más críticos en la implementación del mini-CEX en estudiantes de grado.

Palabras clave: Estudiantes de medicina. Instrumentos de evaluación. Mini-CEX.

---

SUMMARY

In recent years the use of work-based assessments has been increasingly recommended to evaluate clinical skills, as they allow for the evaluation of performance in the context of clinical practice. Among these tools, one of the most recommended is the Mini Clinical Evaluation Exercise (mini-CEX). This method was developed to be used in physicians-in-training and has good reliability and validity properties. Even when mini-CEX has also been used in medical students, a review of its value in undergraduates is lacking. This review is mainly based on a search of the articles indexed in Medline, Embase, Biosis Previews or Current Contents databases in September 2014. References were selected for articles which included the following terms: 'mini clinical evaluation exercise', 'mini-CEX' or 'mcex'. Duplicates between databases were eliminated; as a result, a total of 168 articles were retrieved. Articles that dealt with the use of mini-CEX in medical students were reviewed (n = 34) and those that included empirical data were further analysed (n = 21). These studies confirm that this tool is useful and feasible to assess medical students and has adequate psychometric properties in different domains of validity and reliability. It is also well-accepted by students and tutors and may be used both in formative and summative evaluations. The present review shows that mini-CEX is also a good tool to assess clinical skills of medical students. The importance of giving adequate feedback and the alignment in the scores of tutors are the most critical points to be considered in the implementation of mini-CEX in undergraduate students.

Key words: Assessment tools. Medical students. Mini-CEX.

---

 

Antecedentes históricos

La historia del Mini Clinical Evaluation Exercise (mini-CEX) empieza a principios de los años setenta, cuando la American Board of Internal Medicine (ABIM) estaba buscando una alternativa a las tradicionales evaluaciones orales de los residentes [1], como consecuencia de los problemas logísticos y de las limitadas propiedades psicométricas de este ti-po de evaluaciones. La ABIM organizó un grupo de trabajo cuyo principal objetivo era diseñar un nuevo instrumento que permitiera la adecuada evaluación de las habilidades clínicas más importantes [1]. El grupo propuso el Clinical Evaluation Exercise (CEX), que fue adoptado por la ABIM para la evaluación de los residentes [2]. El CEX se basaba en la observación directa del trabajo del residente por un tutor. Sin embargo, poco después se consideró inadecuado, especialmente por la baja fiabilidad entre evaluadores [1]. Para superar estas limitaciones se construyó un nuevo instrumento, denominado 'mini-CEX', que fue adoptado y recomendado por la ABIM [3].

El mini-CEX es esencialmente una variación del tradicional CEX [1,4]. Fue ideado para evaluar las principales habilidades que los residentes utilizan en su trabajo clínico diario. De forma resumida, consiste en un profesor o tutor que observa la actividad del residente mientras hace la historia clínica de un paciente y realiza la exploración física. El mini-CEX evalúa siete dominios competenciales: habilidades de comunicación, actitudes/profesionalismo, valores humanísticos, juicio clínico, habilidades de asesoramiento, organización/eficiencia y competencia clínica global. Un observador/tutor valora los diferentes dominios de 1 a 9 y da un feedback inmediato al examinando después de la observación [5].

Para incrementar la fiabilidad del mini-CEX, éste debe repetirse varias veces con pacientes y evaluadores diferentes. Cuando se ha usado en residentes ha demostrado una buena fiabilidad si se realiza un número suficiente de evaluaciones [1]. También ha demostrado una buena validez en una misma población al compararlo con otras medidas de la competencia clínica [6]. El CEX tradicional dura cerca de dos horas, mientras que para el mini-CEX son necesarios 20 minutos [1]. Además, cada residente puede ser evaluado varias veces con varios pacientes y por diferentes evaluadores, a diferencia de lo que ocurre con el CEX [4]. El feedback inmediato dado por los examinadores permite que el mini-CEX se use en evaluaciones formativas y sumativas.

Scott et al [7] han resumido las ventajas y los inconvenientes del mini-CEX. Entre las primeras incluyen el uso de plantillas de evaluación estandarizadas, la posibilidad de repetición en diferentes entornos o contextos, la capacidad de evaluar diferentes atributos profesionales y el feedback inmediato. Entre los segundos, la posibilidad de un 'efecto Hawthorne', la necesidad de realizar de seis a diez ejercicios para generar resultados consistentes (da-da la variabilidad entre evaluadores), la limitada especificidad de contenido y el tiempo necesario para completarlo.

Numerosos artículos describen la utilidad de las evaluaciones en el lugar de trabajo en los residentes de diferentes especialidades, entre las cuales se incluye el mini-CEX [8]. Más de 20 estudios han demostrado que el mini-CEX posee buena fiabilidad y validez y que es útil en la evaluación de médicos [1,4]. Por su parte, Kogan et al [9] realizaron una revisión de 55 instrumentos utilizados para la observación directa y la evaluación de las habilidades clínicas de los estudiantes de grado. Concluyeron que el mini-CEX demuestra poseer la mejor evidencia respecto a su validez. Sin embargo, no existe un análisis detallado de su utilización en estudiantes de medicina.

En este artículo describimos los resultados de una revisión bibliográfica sobre el uso del mini-CEX, así como las principales conclusiones alcanzadas desde el primer estudio piloto de Hauer [10]. La revisión se basa en los artículos indizados en Medline, Embase, Biosis Previews y Current Contents, que se recuperaron mediante búsquedas realizadas en septiembre de 2014. Los artículos seleccionados fueron aquellos que incluían los términos 'mini clinical evaluation exercise', 'mini-CEX' o 'mcex'. Tras la eliminación de los duplicados entre bases de datos se obtuvo un total de 168 artículos. Uno de los autores revisó todas las referencias y seleccionó los artículos que se referían al uso de mini-CEX en estudiantes de medicina (n = 34), y se analizaron con detalle aquellos que contenían datos empíricos (n = 21). La tabla recoge las características de los estudios revisados.

 

 

Factibilidad y propiedades psicométricas en la evaluación de residentes y profesionales

Se acepta de forma general que el mini-CEX es válido y fiable cuando se usa en médicos en formación [5,6,11]. El primer estudio que analizó sus propiedades se publicó en 1995 [1]. Se realizó en residentes de medicina interna y sus principales conclusiones fueron que el procedimiento duraba 25 minutos, que ofrecía la posibilidad de evaluar residentes en un amplio abanico de situaciones clínicas, que tenía mejor reproducibilidad que el CEX y que el feedback repetido de los evaluadores era especialmente apreciado por los residentes. El principal problema era de tipo logístico: la necesidad de establecer múltiples encuentros para cada residente. La variabilidad entre evaluadores u observadores fue considerada posteriormente por Norcini et al [12], quienes concluyeron que no apreciaban grandes diferencias entre las puntuaciones de los observadores y que éstos no evaluaban de forma diferente en los distintos entornos sanitarios. Estos resultados permitieron concluir que el instrumento era fiable, que su reproducibilidad era mayor que la del CEX y que era recomendable su uso para la evaluación de las habilidades clínicas de los residentes.

Uno de los puntos críticos del uso del mini-CEX era que tuviera suficiente fiabilidad y ello requería diversos encuentros (i. e. número de observaciones). Norcini y Burch [13] sugerían que alrededor de cuatro encuentros eran suficientes en la mayoría de las situaciones clínicas, incluso aunque se requirieran 12-14 encuentros para alcanzar coeficientes de fiabilidad de 0,8 [1,4,11]. Otro estudio, sin embargo, concluyó que una alineación de constructo de la escala del mini-CEX puede reducir significativamente el número de evaluadores requerido para conseguir una buena fiabilidad [14]. Este enfoque puede reducir de seis a tres el número de evaluadores para alcanzar un coeficiente de generalización igual o superior a 0,7. En lo que se refiere a la validez, los valores del mini-CEX se correlacionan con los resultados de un examen escrito [6] y con los resul-tados de los exámenes orales del Royal College of Physicians and Surgeons de Canadá [15]. Por su parte, Al Ansari et al [16] analizaron la validez de constructo y de criterio del mini-CEX en 11 estudios que incluían datos empíricos de estas propiedades: ocho de ellos se referían a estudiantes posgraduados, y los otros tres, a estudiantes de medicina [17-19]. Concluyeron que hasta ahora el mini-CEX es útil en la evaluación del entrenamiento clínico, con clara evidencia de su validez de constructo y de criterio.

Aunque el mini-CEX se considera un instrumento útil de evaluación no debe ser el único que se utilice para evaluar el desarrollo de las habilidades clínicas de los médicos en formación. Otros métodos fiables y válidos pueden usarse conjuntamente con el mini-CEX en la evaluación de las habilidades clínicas para superar la limitación que supone el uso de una sola medida [16].

 

Utilización del mini-CEX en estudiantes de medicina

Una vez establecidas la validez y la fiabilidad del mini-CEX en la formación posgraduada médica, se consideró que podía ser una herramienta prometedora también para la evaluación de los estudiantes de medicina. Además de sus probadas propiedades psicométricas, el mini-CEX también es eficiente en relación al tiempo empleado si se compara con otros métodos de evaluación utilizados en educación médica para valorar habilidades clínicas en estudiantes de medicina [20].

Para evaluar la adquisición de habilidades clínicas en las rotaciones clínicas de los estudiantes de medicina se utilizan habitualmente exámenes escritos y evaluaciones sumativas por parte del profesorado [21]. Sin embargo, las puntuaciones de los estudiantes con estos métodos no se correlacionan necesariamente con la adquisición de habilidades clínicas y, cuando se utilizan en evaluaciones sumativas, no les proporcionan el feedback oportuno para que los estudiantes mejoren su rendimiento [22]. Para contrarrestar estas limitaciones se han sugerido otras alternativas, como la evaluación clínica objetiva estructurada (ECOE) y la evaluación con pacientes estandarizados, pero son demasiado caras y requieren demasiado tiempo para utilizarlas como una valoración habitual en estudiantes de medicina [17]. Algunos profesores de medicina consideraron la posibilidad de utilizar el mini-CEX también en estudiantes siguiendo el modelo que se había aplicado en residentes. En el año 2004, según Kogan y Hauer [23], el mini-CEX ya se estaba utilizando en alrededor del 28% de las rotaciones clínicas en medicina interna en Estados Unidos, más co-mo evaluación formativa (68%) que sumativa (11%). En cambio, en una encuesta sobre las modalidades educativas en las prácticas clínicas de medicina interna de cuarto curso, sólo el 2% de las facultades de medicina estadounidenses dijeron que utilizaban el mini-CEX, aunque el 59% manifestaron estar interesadas en su utilización [24].

Hauer [10] proporcionó la primera evidencia empírica de la utilización del mini-CEX en estudiantes de medicina. Utilizó la herramienta en 22 estudiantes durante la primera mitad de su rotación clínica en la asignatura de medicina interna. La experiencia demostró que el tiempo empleado fue de alrededor de 30 minutos para la observación, más 15 minutos para el feedback. La satisfacción con la experiencia fue mayor en los estudiantes que en los evaluadores. Hauer concluyó que el mini-CEX era útil para incrementar la evaluación de una amplia gama de habilidades y aseguraba el feedback por parte de los tutores. Sin embargo, no obtuvo datos sobre la fiabilidad debido a que en este estudio sólo se llevó a cabo un encuentro. Dos años más tarde, Kogan et al [25] analizaron la fiabilidad del mini-CEX utilizando evaluaciones múltiples durante las prácticas clínicas de medicina interna. En este estudio, la observación y el feedback se realizaron en 21 y 8 minutos, respectivamente, y la satisfacción de estudiantes y evaluadores fue buena, siendo ligeramente mayor en los segundos. Tampoco esta vez se proporcionaron datos sobre validez o fiabilidad. Posteriormente, el mismo grupo estudió la fiabilidad y validez concurrente del mini-CEX en una muestra grande de estudiantes [17]. Los resultados demostraron que su utilización era factible, presentaba un buen coeficiente de reproducibilidad y las puntuaciones obtenidas en los mini-CEX se correlacionaban significativamente con las puntuaciones de los exámenes dedicados a aspectos de pacientes tanto ingresados como de consulta externa y con las puntuaciones del examen final. Los autores concluyeron que el mini-CEX era una herramienta factible, fiable y válida para aplicarse en la evaluación de habilidades clínicas de las prácticas clínicas de los estudiantes. Este fue el primer estudio que proporcionó información sobre las propiedades psicométricas del mini-CEX en estudiantes de medicina. El estudio no respondió a la pregunta de cuántas evaluaciones se requerían para lograr fiabilidad y efectividad razonables en otras prácticas clínicas. En ese momento, este tipo de preguntas eran especialmente importantes.

Sobre el aspecto de la validez, Kogan et al [23,25] establecieron que el rendimiento en el mini-CEX se correlacionaba con otros métodos de evaluación en los estudiantes de medicina. En 2009, Kogan et al [9] revisaron varios estudios que analizaban la estructura interna del mini-CEX mediante el coeficiente de fiabilidad alfa de Cronbach [17,18], la correlación ítem-total [17], la validez concurrente y la relación con el nivel del estudiante [17,25].

Estos primeros estudios demostraron que el mini-CEX mostraba propiedades psicométricas adecuadas y su utilización era factible en estudiantes de medicina. Sin embargo, se precisaban todavía pruebas de su aplicación como una herramienta habitual de evaluación. En este sentido, Hill y Kendall [26] publicaron su experiencia en la Universidad de Southampton. Resulta muy interesante la descripción de cómo se organizó el proceso de introducción del mini-CEX y de los recelos iniciales mostrados por estudiantes y profesores, así como de las medidas que los autores tomaron para contrarrestar la resistencia inicial al nuevo método de evaluación. Sus principales conclusiones fueron que se logró vencer el escepticismo inicial y que casi todos los participantes se mostraron satisfechos con el mini-CEX y lo preferían a los métodos tradicionales para la evaluación sumativa. Dos años más tarde, los mismos autores publicaron datos sobre validez y fiabilidad del mini-CEX [27]. Como consecuencia de estos estudios modificaron la escala de nueve puntos de-sarrollada por la ABIM y la redujeron a una de seis puntos. Estos autores, a diferencia de las experiencias previas con estudiantes de medicina, no sólo incluyeron las prácticas clínicas de medicina interna, sino también las de cirugía, pediatría y obstetricia-ginecología [27]. Concluyeron que las principales fortalezas del mini-CEX consistían en su fidelidad, muestreo amplio, validez percibida y evaluación formativa. Señalaron también que deben tenerse en cuenta algunos aspectos que invitan a la cautela; así, la fiabilidad del mini-CEX para valorar las habilidades clínicas puede estar limitada por la variabilidad en el rigor del examinador y la validez puede estar influida por algunas variables de confusión [27].

Todavía quedaban por aclarar algunos aspectos, uno de los más importantes, la calidad del feedback proporcionado por los observadores. Esta fase del mini-CEX se considera un aspecto crítico para asegurar que alcance su valor pleno. Fernando et al [20] realizaron un estudio piloto en Aberdeen y concluyeron que la provisión del feedback era deficiente. La mitad de los informes de las evaluaciones no señalaba ningún plan de acción y en casi la tercera parte de los casos no se aportaban sugerencias para el desarrollo del estudiante. En esta línea de pensamiento, Harvey et al [28] han analizado recientemente el modo en que los tutores clínicos construyen el feedback escrito del rendimiento y los objetivos de aprendizaje de los estudiantes de medicina. Tras revisar los registros de 1.000 mini-CEX realizados en estudiantes de medicina, encontraron que el 40% contenía comentarios de feedback específicos y el 80%, comentarios referidos al rendimiento del estudiante. Sin embargo, sólo el 16% contenía objetivos de aprendizaje para el alumno dirigidos a mejorar sus habilidades clínicas a lo largo del tiempo y muy pocos identificaban las siguientes metas del aprendizaje. Estos resultados son importantes porque demostrarían que muy pocas veces existe un feedback escrito adecuado y no se considera la posibilidad de hacer comentarios verbales al estudiante.

Según Ney et al [19], se carecía de información sobre la validez predecible del mini-CEX, así que llevaron a cabo un estudio que comparó las puntuaciones del mini-CEX con el rendimiento subsiguiente en la exploración de pacientes estandarizados. Encontraron correlaciones modestas que explicaron por el entrenamiento de los observadores y por el hecho de que el mini-CEX se utilizó principalmente para evaluación formativa. Estos autores sugieren que, aun cuando el mini-CEX puede ser útil para proporcionar feedback, los evaluadores deberían estar más entrenados para mejorar la valoración y maximizar los efectos del feedback en los estudiantes.

Ogunbanjo [29] abordó la cuestión de la fiabilidad entre evaluadores. Dado que observaba grandes diferencias entre examinadores en las ECOE que incluían dos pares de pacientes estandarizados similares, se preguntó si la razón para ello residía en la indulgencia o rigor de los examinadores o en las características del instrumento en sí. Utilizó una modificación del mini-CEX, que iba de siete a cinco dominios (anamnesis, habilidades de comunicación, juicio clínico, profesionalismo y planificación del tratamiento), y entrenó a los examinadores para proporcionar feedback a los estudiantes en múltiples ocasiones durante su rotación por medicina de familia. La experiencia consistió en grabar en video el rendimiento del estudiante en cada estación de la ECOE. Los resultados demostraron que las puntuaciones entre evaluadores mejoraban en un par y empeoraban en el otro par. El estudio tenía la limitación del pequeño tamaño de la muestra, pero sugería que ese planteamiento puede ser útil siempre y cuando, como mínimo, se proporcione más entrenamiento a los evaluadores.

En los últimos cinco años, varios autores han utilizado el mini-CEX como herramienta para valorar el período rotatorio de los estudiantes de medicina [30,31]. Playford et al [30] encuestaron a estudiantes de medicina durante más de tres cursos académicos como feedback continuo de todas las materias y de todos los contextos de aprendizaje. En lo que se refiere a la validez, las valoraciones fueron inversamente proporcionales a la categoría profesional del médico evaluador y las puntuaciones más bajas se dieron en aquellos que tenían mayor nivel de especialización. Las calificaciones también estaban influidas por la dificultad del encuentro del mini-CEX (a mayor dificultad, mejor calificación) y por las diferentes materias clínicas, de modo que aquellas con relativamente menos horas de enseñanza (cirugía, oncología, oftalmología) tuvieron mejores calificaciones que las materias con mayor representación. Respecto a la fiabilidad, la relación entre las puntuaciones del mini-CEX y el expediente académico definitivo mostró un nivel de consistencia razonable. Las puntuaciones del mini-CEX aumentaban significativamente a lo largo del tiempo y las de los primeros meses eran significativamente más bajas que las de las fases posteriores del año académico. La principal conclusión del estudio fue que los estudiantes de medicina pueden adquirir la mayoría de habilidades durante los primeros meses (periodo formativo del aprendizaje).

Un segundo estudio llevado a cabo por Bates et al [31] valoró las percepciones de estudiantes de medicina sobre la evaluación y feedback durante el rotatorio clínico. Estos autores publicaron que los estudiantes percibían la evaluación hecha por los tutores de prácticas como más auténtica porque se llevaba a cabo en la práctica clínica diaria con pacientes y era más constructiva porque tenía lugar en el contexto de un entorno que favorece la relación de aprendizaje. Los autores de este estudio no se manifestaban excesivamente entusiastas del mini-CEX porque consideraban que 'aunque se implante el mini-CEX y el estudiante sea observado, el feedback posterior carece con frecuencia o bien de contenido, como es la formulación de un plan de acción, o de dialogo entre el estudiante y el tutor, componentes que son necesarios para que un feedback sea efectivo' [31].

Hasta hace poco, la mayoría de las revisiones sobre mini-CEX se han llevado a cabo en la evaluación de estudiantes de medicina en el contexto de las prácticas clínicas de medicina interna, pero también existen experiencias en otras especialidades. Pernar et al [5] publicaron los primeros resultados en una rotación clínica de cirugía. Estos autores concluyeron que el mini-CEX puede incorporarse en la evaluación de las prácticas clínicas de cirugía y da la oportunidad de proporcionar un feedback crítico y positivo a los estudiantes. Wang et al [32] también compararon el mini-CEX con los exámenes tipo test de elección múltiple y con la evaluación con pacientes estandarizados en estudiantes de medicina durante su rotación clínica en psiquiatría. Encontraron una correlación baja, en el mejor de los casos, entre los diferentes métodos de evaluación. Este no fue un hallazgo inesperado, tal como se había descrito previamente con el mini-CEX en otros estudiantes de medicina [17]. Sus resultados sugieren que cada uno de los métodos de evaluación analiza aspectos diferentes de una competencia clínica. Ergin et al [33] estudiaron el valor del mini-CEX en la evaluación de las prácticas clínicas de dermatología de estudiantes de medicina. El nivel de satisfacción fue elevado en estudiantes y tutores, sin diferencias estadísticamente significativas entre las puntuaciones de los dos grupos. Las puntuaciones más altas se situaron en el dominio de las cualidades humanísticas/profesionalismo, mientras que las más bajas se encontraron en las habilidades de juicio clínico. Jabeen [34] comparó la efectividad de utilizar pacientes simulados con pacientes reales en las prácticas clínicas de obstetricia y ginecología utilizando la evaluación con el mini-CEX. No observaron diferencias en los resultados obtenidos con ambos procedimientos. Sin embargo, la mayoría de los estudiantes prefería los pacientes simulados a los pacientes reales para aprender habilidades de comunicación. Este fue el primer estudio que publicó la utilización del mini-CEX en obstetricia y ginecología.

El mini-CEX también se ha utilizado para comprobar la efectividad de intervenciones formativas en estudiantes de medicina. Zaidi et al [35] analizaron el efecto del marco conceptual de desviación positiva de seis fases (six-step positive deviance conceptual framework) para mejorar el rendimiento clínico de sus estudiantes. Concluyeron que el marco conceptual de desviación positiva era efectivo y demostraron que los resultados del mini-CEX mostraban mejorías sólo en algunas dimensiones, mientras que las puntuaciones de la evaluación de 360^o mejoraban en todas las dimensiones. El mini-CEX también fue utilizado por Okubo et al [36] para demostrar la efectividad de una estrategia de formación en estudiantes de medicina. Esta estrategia consistió en una rotación clínica que exponía a los estudiantes en un contexto de consulta externa que les proporcionaba la posibilidad de explorar a un nuevo paciente para entrenar su práctica reflexiva y mejorar sus capacidades de razonamiento clínico. El mini-CEX se utilizó principalmente para evaluación formativa, mientras que para la evaluación sumativa se prefirió el test de concordancia de Scripts.

En lo que se refiere a la aceptación del método, Dewi y Achmad [37] publicaron un estudio piloto en el que estudiantes y tutores estuvieron de acuerdo en que el mini-CEX refleja de forma válida la competencia de los estudiantes. Los tutores y estudiantes también estuvieron de acuerdo en que el feedback que facilita este método es más útil que el que proporcionan las herramientas de evaluación utilizadas previamente. Sin embargo, mostraron desacuerdo en la posibilidad de que el método se implementara en su facultad: más de la mitad de los estudiantes rechazaba esta posibilidad, mientras que ninguno de los tutores lo hacía.

Finalmente, el uso del mini-CEX puede estar influido por el clima cultural y por contextos locales, como pasa en cualquier implementación universal [38]. Por esta razón, Suhoyo et al [39] llevaron a cabo un proceso de implementación del mini-CEX en una facultad de medicina de Indonesia. Aplicaron al instrumento varias adaptaciones para que encajara con las características culturales del país mientras que se mantenía la filosofía de la herramienta. La principal diferencia fue la necesidad de que el feedback fuera dado siempre por especialistas y no por residentes.

 

Aplicación de la tecnología y otros ejemplos de mejoras en el empleo del mini-CEX en estudiantes de medicina

Una de las limitaciones para el uso del mini-CEX en estudiantes de medicina podría ser la incomodidad que supone la utilización de formularios en papel; algunos autores han sugerido que el empleo de medios tecnológicos podría resolver este problema [18]. En esta dirección, varios estudios han analizado el uso alternativo de agendas digitales personales -personal digital assistants (PDA)-- en vez de los formularios impresos en estudiantes de medicina. En el primero de ellos, Torre et al [18] mostraron que el uso de estos instrumentos facilita el registro de la información. No obstante, Norman et al [40] no tuvieron éxito siguiendo la misma estrategia; explicaron esta discrepancia por el hecho de que en la experiencia de Torre et al [18], el empleo de las PDA fue obligatorio y los estudiantes sólo completaron dos evaluaciones en cada rotación. Como este número parece insuficiente para obtener una fiabilidad adecuada, parecía que la PDA no tenía una adecuada fiabilidad en este contexto. En un estudio posterior, Torre et al [41] compararon la fiabilidad, la factibilidad y la satisfacción del usuario con el mini-CEX en papel y la PDA reformulada. Sus conclusiones fueron que ambos métodos permitían alcanzar una fiabilidad elevada, pero la satisfacción del evaluador y el tiempo de observación y de feedback diferían. Así, las puntuaciones de satisfacción de los profesores fue menor, mientras que el tiempo de observación y de feedback aumentó con el empleo de la PDA.

Ferenchick et al [42] también describieron su experiencia con el empleo de la PDA para mostrar los listados de competencias en el mini-CEX con el objeto de facilitar la observación directa y la evaluación de los estudiantes de medicina. Su principal conclusión fue que el método es factible y tiene un impacto positivo en la capacidad del evaluador para proporcionar feedback y para realizar la valoración. Sin embargo, las cuestiones técnicas podían limitar la eficacia global de la PDA. En un estudio posterior, Ferenchick et al [43] exploraron la eficacia de la tecnología móvil para la evaluación clínica, específicamente una aplicación para teléfono móvil en el mini-CEX. Analizaron la factibilidad y la aceptación para guiar y registrar las observaciones de los estudiantes y de los tutores. La aplicación también permitía grabar el tiempo, tanto de la observación como del feedback, así como la satisfacción global. La fiabilidad interobservador y la validez se evaluaron mediante la grabación en video de cada uno de los encuentros de los estudiantes con los pacientes y se calculó la correlación entre las puntuaciones del mini-CEX y los resultados en una ECOE. Señalaron que el tiempo necesario para completar el mini-CEX fue inferior a 15 minutos en el 72% de los estudiantes y que el tiempo del feedback fue menor de 10 minutos en el 69% de los casos. La mayoría de los observadores mostró su satisfacción con el mini-CEX. La variabilidad media interobservador fue de 0,69 en los encuentros grabados con video; los observadores eran capaces de discriminar entre los encuentros adecuados e inadecuados, una característica que establecía la validez del método. Los autores concluyeron que el empleo de la aplicación en los teléfonos inteligentes y en otros instrumentos activados mediante Internet puede ayudar en la evaluación del mini-CEX.

Varios autores han estudiado las características de diversos instrumentos inspirados en el mini-CEX. Cruess et al [44] desarrollaron una variación del mini-CEX para evaluar las conductas profesionales en estudiantes de medicina, el Professional Mini-Evaluation Exercise (P-MEX). Este instrumento tiene validez de contenido y de constructo y el análisis exploratorio de factores reveló cuatro factores: técnicas de relación médico-paciente, habilidades reflexivas, gestión del tiempo y técnicas de relación interprofesional. Los intervalos de confianza demostraron que con sólo 4-6 cuestionarios era suficiente para muchos propósitos empleando el P-MEX [44]. Olupeliyawa et al [45] han desarrollado el Teamwork Mini-Clinical Evaluation Exercise (T-MEX) para la evaluación en el ámbito laboral de las competencias clave necesarias para trabajar en equipos de salud. El T-MEX tiene validez de constructo y ocho encuentros son suficientes para los propósitos planteados. Finalmente, el tiempo necesario para la observación y el feedback, así como las percepciones de los participantes, establecieron la eficacia del instrumento en el feedback y también su factibilidad en los ámbitos clínicos [45]. La mayoría de los evaluadores y de los estudiantes calificaron el T-MEX como útil y factible. El mismo equipo de investigadores evaluó más tarde el mecanismo por el que este instrumento facilitaba el aprendizaje en estudiantes de medicina y destacó el eficaz proceso de feedback estructurado, el apoyo para el aprendizaje, la facilitación del aprendizaje a través de la evaluación y la facilitación de la autovaloración informada [46].

 

Recomendaciones y desarrollos futuros

Los estudios realizados confirman que el mini-CEX es útil y factible para evaluar a los estudiantes de medicina y que tiene propiedades psicométricas adecuadas en diversos ámbitos de la validez y la fiabilidad. Ha sido bien aceptado por los estudiantes y los tutores y puede emplearse en las evaluaciones formativas y sumativas. No obstante, Hill et al [27] han sugerido que aún deben mejorarse algunos aspectos, especialmente la fiabilidad interobservador. Por ejemplo, el número de encuentros necesarios para conseguir una fiabilidad aceptable oscila entre 8 y 15 en los estudios iniciales [4]. La mayoría de los centros consideran que este número es demasiado elevado y constituye una dificultad insuperable para implementar el mini-CEX como método habitual de evaluación. La formación adecuada de los observadores puede reducir el número de encuentros al disminuir la variabilidad de las puntuaciones.

Un segundo aspecto a considerar en las investigaciones futuras es la necesidad de estudios que comparen directamente el mini-CEX con otros instrumentos de evaluación a fin de establecer el valor relativo de estos instrumentos y de constatar si miden realmente dimensiones iguales o distintas [27]. Esta línea de investigación debería incluir asimismo las necesidades de cualquier institución a fin de que se pueda alinear su empleo con la estrategia global de evaluación de cada una de ellas. No debe olvidarse tampoco la importancia de controlar todas las variables que pueden influir en las medidas, co-mo la calificación profesional del observador, la complejidad de la situación, el sexo del paciente, el elemento principal del caso, el tipo de paciente y el ámbito hospitalario frente al ambulatorio.

Como se ha visto en el apartado anterior, diversos comentarios se han centrado en la importancia del feedback, ya que constituye un elemento crítico del uso del mini-CEX. Los responsables de su implementación deberían revisar periódicamente los comentarios de los observadores en los formularios escritos o electrónicos y recabar información directamente de los estudiantes para confirmar que este aspecto se trata adecuadamente. En caso contrario, el método puede perder gran parte de su eficacia docente.

Una cuestión final, que aún no está resuelta, es la estabilidad o la mejora de las puntuaciones del mini-CEX a lo largo del tiempo. Este aspecto se refiere a si los estudiantes mejoran realmente su confianza y competencias clínicas como resultado del aprendizaje generado en el proceso de feedback [37]. Este hecho es especialmente relevante porque permite asegurar la eficacia del instrumento a lo largo del tiempo, sobre todo si va a utilizarse como un método de evaluación durante años y no sólo en una asignatura. El mini-CEX puede contribuir de forma importante a reconocer, corregir y erradicar los déficits de formación. Si estas recomendaciones se tienen en cuenta al principio y durante su implementación, se puede estar relativamente seguro de que los estudiantes mejorarán sus competencias clínicas gracias a este instrumento.

 

Bibliografía

1. Norcini JJ, Blank LL, Arnold GK, Kimball HR. The mini-CEX (clinical evaluation exercise): a preliminary investigation. Ann Intern Med 1995; 123: 795-9.         [ Links ]

2. Day SC, Grosso LG, Norcini JJ Jr, Blank LL, Swanson DB, Horne MH. Resident's perceptions of evaluation procedures used by their training program. J Gen Intern Med 1990; 5: 421-6.         [ Links ]

3. American Board of Internal Medicine. Guide to evaluation of residents in internal medicine-a systems approach. Philadelphia: ABIM; 1994.         [ Links ]

4. Norcini JJ, Blank LL, Duffy D, Fortna GS. The mini-CEX: a method for assessing clinical skills. Ann Intern Med 2003; 138: 476-81.         [ Links ]

5. Pernar LIM, Peyre SE, Warren LEG, Gu X, Lipsitz S, Alexander EK, et al. Mini-clinical evaluation exercise as a student assessment tool in a surgery clerkship: lessons learned from a 5-year experience. Surgery 2011; 150: 272-7.         [ Links ]

6. Durning SJ, Cation LJ, Markert RJ, Pangaro LN. Assessing the reliability and validity of the mini-clinical evaluation exercise for internal medicine residency training. Acad Med 2002; 77: 900-4.         [ Links ]

7. Scott IA, Phelphs G, Brand C. Assessing individual clinical performance: a primer for physicians. Intern Med J 2011; 41: 144-55.         [ Links ]

8. Kogan JR, Holmboe E. Realizing the promise and importance of performance-based assessment. Teach Learn Med 2013; 25: 268-74.         [ Links ]

9. Kogan JR, Holmboe ES, Hauer KE. Tools for direct observation and assessment of clinical skills of medical trainees. A systematic review. JAMA 2009; 302: 1316-26.         [ Links ]

10. Hauer KE. Enhancing feedback to students using the mini-CEX (Clinical Evaluation Exercise). Acad Med 2000; 75: 524.         [ Links ]

11. Holmboe ES, Huot SJ, Chung J, Norcini JJ, Hawkins RE. Construct validity of the miniclinical evaluation exercise (miniCEX). Acad Med 2003; 78: 826-30.         [ Links ]

12. Norcini JJ, Blank LL, Arnold GK, Kimball HR. Examiner differences in the mini-CEX. Adv Health Sci Educ Theory Pract 1997; 2: 27-33.         [ Links ]

13. Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide no. 31. Med Teach 2007; 29: 855-71.         [ Links ]

14. Crossley J, Johnson G, Booth J, Wade W. Good questions, good answers: construct alignment improves the performance of workplace-based assessment scales. Med Educ 2011; 45: 560-9.         [ Links ]

15. Hatala R, Ainslie M, Kassen BO, Mackie I, Roberts JM. Assessing the mini-Clinical Evaluation Exercise in comparison to a national specialty examination. Med Educ 2006; 40: 950-6.         [ Links ]

16. Al Ansari A, Ali SK, Donnon T. The construct and criterion validity of the mini-CEX: a meta-analysis of the published research. Acad Med 2013; 88: 413-20.         [ Links ]

17. Kogan JR, Bellini LM, Shea JA. Feasibility, reliability, and validity of the mini-clinical evaluation exercise (mini-CEX) in a medicine core clerkship. Acad Med 2003; 78 (Suppl 10): S33-5.         [ Links ]

18. Torre DM, Simpson DE, Elnicki DM, Sebastian JL, Holmboe ES. Feasibility, reliability and user satisfaction with a PDA-based mini-CEX to evaluate the clinical skills of third-year medical students. Teach Learn Med 2007; 19: 271-7.         [ Links ]

19. Ney EM, Shea JA, Kogan JR. Predictive validity of the mini-Clinical Evaluation Exercise (mini-CEX): do medical students' mini-CEX ratings correlate with future clinical exam performance? Acad Med 2009; 84: S17-20.         [ Links ]

20. Fernando N, Cleland J, McKenzie H, Cassar K. Identifying the factors that determine feedback given to undergraduate medical students following formative mini-CEX assessments. Med Educ 2008; 42: 89-95.         [ Links ]

21. Kassebaum DG, Eaglen RH. Shortcomings in the evaluation of students' clinical skills and behaviors in medical school. Acad Med 1999; 74: 842-9.         [ Links ]

22. Stillman PL, Regan MB, Swanson DB, Case S, McCahan J, Feinblatt J, et al. An assessment of the clinical skills of fourth-year students at four New England medical schools. Acad Med 1990; 65: 320-6.         [ Links ]

23. Kogan JR, Hauer KE. Use of mini-clinical evaluation exercise in internal medicine core clerkships. J Gen Intern Med 2006; 21: 501-2.         [ Links ]

24. Aiyer MK, Vu TR, Ledford C, Fischer M, Durning SJ. The subinternship curriculum in internal medicine: a national survey of clerkship directors. Teach Learn Med 2008; 20: 151-6.         [ Links ]

25. Kogan JR, Bellini LM, Shea JA. Implementation of the mini-CEX to evaluate medical students' clinical skills. Acad Med 2002; 77: 1156-7.         [ Links ]

26. Hill F, Kendall K. Adopting and adapting the mini-CEX as an undergraduate assessment and learning tool. Clin Teach 2007; 4: 244-8.         [ Links ]

27. Hill F, Kendall K, Galbraith K, Crossley J. Implementing the undergraduate mini-CEX: a tailored approach at Southampton University. Med Educ 2009; 43: 326-34.         [ Links ]

28. Harvey P, Radomski N, O'Connor D. Written feedback and continuity of learning in a geographically distributed medical education program. Med Teach 2013; 35: 1009-13.         [ Links ]

29. Ogunbanjo GA. Adapting mini-CEX scoring to improve inter-rater reliability. Med Educ 2009; 43: 484-5.         [ Links ]

30. Playford D, Kirke A, Maley M, Worthington R. Longitudinal assessment in an undergraduate longitudinal integrated clerkship: the mini Clinical Evaluation Exercise (mini-CEX) profile. Med Teach 2013; 35: e1416-21.         [ Links ]

31. Bates J, Konkin J, Suddards C, Dobson S, Pratt D. Student perceptions of assessment and feedback in longitudinal integrated clerkships. Med Educ 2013; 47: 362-74.         [ Links ]

32. Wang PW, Cheng CC, Chou FH, Tsang HY, Chang YS, Huang MF, et al. Using multiple assessments to evaluate medical students' clinical ability in psychiatric clerkships. Acad Psychiatry 2011; 35: 307-11.         [ Links ]

33. Ergin S, Özdemir S, Büke AS, Kara CO, Kaçar N. Mini clinical evaluation exercise in undergraduate dermatovenereology education: an experience of the University of Pamukkale, Medical Faculty. Türkderm-Arch Turk Dermatol Venereol 2013; 47: 54-8.         [ Links ]

34. Jabeen D. Use of simulated patients for assessment of communication skills in undergraduate medical education in Obstetrics and Gynaecology. J Coll Physicians Surg Pak 2013; 23: 16-9.         [ Links ]

35. Zaidi Z, Jaffery T, Shahid A, Moin S, Gilani A, Burdick W. Change in action: using positive deviance to improve student clinical performance. Adv Health Sci Educ Theory Pract 2012; 17: 95-105.         [ Links ]

36. Okubo Y, Nomura K, Saito H, Saito N, Yoshioka T. Reflection and feedback in ambulatory education. Clin Teach 2014; 11: 355-60.         [ Links ]

37. Dewi SP, Achmad TH. Optimizing feedback using the mini-CEX during the final semester programme. Med Educ 2010; 44: 509.         [ Links ]

38. Das Carlo M, Swadi H, Mpofu D. Medical student perception of factors affecting productivity of problem-based learning tutorial groups: does culture influence the outcome? Teach Learn Med 2003; 15: 59-64.         [ Links ]

39. Suhoyo Y, Schönrock-Adema J, Rahayu GR, Kuks JBM, Cohen-Schotanus J. Meeting international standards: a cultural approach in implementing the mini-CEX effectively in Indonesian clerkships. Med Teach 2014; 36: 894-902.         [ Links ]

40. Norman G, Keane D, Oppenheimer L. Compliance of medical students with voluntary use of personal data assistants for clerkship assessments. Teach Learn Med 2008; 20: 295-301.         [ Links ]

41. Torre DM, Treat R, Durning S, Elnicki M. Comparing PDA- and paper-based evaluation of the clinical skills of third-year students. WMJ 2011; 110: 9-13.         [ Links ]

42. Ferenchick GS, Foreback J, Towfiq B, Kavanaugh K, Solomon D, Mohmand A. The implementation of a mobile problem-specific electronic CEX for assessing directly observed student-patient encounters. Med Educ Online 2010; 15: 4276.         [ Links ]

43. Ferenchick GS, Solomon D, Foreback J, Towfiq B, Kavanaugh K, Warbasse L, et al. Mobile technology for the facilitation of direct observation and assessment of student performance. Teach Learn Med 2013; 25: 292-9.         [ Links ]

44. Cruess R, McIlroy JH, Cruess S, Ginsburg S, Steinert Y. The Professionalism Mini-Evaluation Exercise: a preliminary investigation. Acad Med 2006; 81: S74-8.         [ Links ]

45. Olupeliyawa AM, O'Sullivan AJ, Hughes C, Balasooriya CD. The Teamwork Mini-Clinical Evaluation Exercise (T-MEX): a workplace-based assessment focusing on collaborative competencies in health care. Acad Med 2014; 89: 359-65.         [ Links ]

46. Olupeliyawa AM, Balasooriya CD, Hughes C, O'Sullivan AJ. Educational impact of an assessment of medical students' collaboration in health care teams. Med Educ 2014; 48: 146-56.         [ Links ]

 

 

Dirección para correspondencia:
Dr. Josep Eladi Baños.
Departamento de Ciencias Experimentales y de la Salud.
Universitat Pompeu Fabra.
Doctor Aiguader, 88.
E-08003 Barcelona.
E-mail: josepeladi.banos@upf.edu

Conflicto de intereses: No declarado.