SciELO - Scientific Electronic Library Online

 
vol.24 número1Cuestionario de percepción de la formación pedagógica: estructura factorial y confiabilidad en académicos de la salud chilenos índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Compartilhar


FEM: Revista de la Fundación Educación Médica

versão On-line ISSN 2014-9840versão impressa ISSN 2014-9832

FEM (Ed. impresa) vol.24 no.1 Barcelona Fev. 2021  Epub 31-Maio-2021

https://dx.doi.org/10.33588/fem.241.1112 

EDITORIAL

Consenso de expertos sobre evaluación de estudiantes y residentes a partir de la Ottawa Conference 2020

Expert consensus on student and resident assessment from the 2020 Ottawa Conference

Jordi Palés-Argullós1  , Amando Martín-Zurro1 

1Fundación Educación Médica

En 2011, la revista Medical Teacher publicaba un documento que exponía un consenso de expertos sobre la evaluación del rendimiento de estudiantes y residentes de Medicina generado en el seno de la Ottawa Conference [1], foro dedicado fundamentalmente a discutir sobre la evaluación en educación médica. Nueve años más tarde, se ha publicado también en Medical Teacher un nuevo artículo, titulado ‘Performance assessment: consensus statement and recommendations from the 2020 Ottawa Conference' [2], en el que se revisa el documento de 2011, analizando los aspectos que no se han resuelto de forma totalmente satisfactoria en este período de tiempo y poniendo el foco en dos temas concretos, las evaluaciones clínicas objetivas estructuradas (ECOE) y la evaluación del desempeño en el lugar de trabajo. A partir del documento inicial de 2011, y a la vista de los desarrollos surgidos en evaluación en estos últimos 10 años, los expertos exponen una serie de recomendaciones para establecer buenas prácticas en el uso de estos dos instrumentos.

Dado que todas nuestras facultades de medicina están utilizando las ECOE de forma generalizada para evaluar a sus estudiantes y que se ha hablado en ocasiones de una futura utilización en el examen de acceso a la formación especializada, quisiéramos, en este editorial, centrar nuestra atención en dicho instrumento, comentando brevemente las recomendaciones que este grupo de expertos aporta para facilitar su buen uso en la práctica. El artículo aborda tres aspectos principales: la necesidad de que se definan con claridad los objetivos y propósitos de su utilización, de que haya evidencias significativas para apoyar y justificar las decisiones tomadas a partir de los resultados obtenidos en la ECOE y, finalmente, de que existan suficientes argumentos o justificaciones para defender las decisiones tomadas en función de los resultados obtenidos.

En el primer aspecto se señala que el propósito de la ECOE debería explicitarse a todas las partes interesadas, como, por ejemplo, profesores, candidatos, examinadores, empleadores, reguladores, organismos y el público.

En el segundo aspecto, el más extensamente desarrollado, los autores hacen hincapié en diferentes puntos: en el contenido de la ECOE (asegurar que dicho contenido evalúe adecuadamente lo que se pretende evaluar), en la planificación de una ECOE en función de los objetivos de aprendizaje para que realmente nos permita evaluar aquello para lo que está pensada, es decir, habilidades clínicas, de comunicación, de procedimientos técnicos y de razonamiento clínico; en este sentido, nos recuerdan que no se deben incluir en una ECOE exámenes de conocimientos en diferentes formatos, ya que ello amenazaría la validez de la prueba. También se refieren a los requerimientos de la estructura interna que debe cumplir una ECOE, como tener el número adecuado de estaciones (no menos de 12) y su duración (no menos de 150 minutos); disponer de un número adecuado de observadores y de un amplio y diverso mapa de situaciones (recordemos que la competencia no es genérica, sino especifica); tener un sistema de puntuación adecuado (listas de comprobación frente a escalas globales de valoración); establecer adecuadamente los niveles de superación del examen utilizando los mejores métodos para ello; y realizar un análisis psicométrico adecuado para asegurar la confiabilidad de la prueba. Además, reflexionan sobre si es necesario adoptar medidas de seguridad para evitar que los examinandos conozcan con antelación las tareas que se les van a solicitar y sobre la necesidad de comparar los resultados de las ECOE con los de otras pruebas mediante una triangulación de los datos obtenidos.

Los expertos abogan también por incluir las ECOE en un enfoque programático de la evaluación, al considerar que las decisiones deberían tomarse no después de cada episodio de evaluación, sino por dominio o competencia en lugar de por instrumento de evaluación. Es decir, defienden la necesidad de combinar la ECOE con el uso de diferentes instrumentos de evaluación que valoren la competencia desde diferentes perspectivas. Finalmente, en este apartado, insisten en la necesidad inexcusable de que las decisiones que se tomen según los resultados del examen sean sólidas, justas y defendibles, lo que exige que los criterios de superación de éste se establezcan utilizando los métodos mejor evidenciados y facilitando obligatoriamente un feedback al estudiante con el fin de incrementar su motivación y aprendizaje.

En el tercer apartado, los expertos ven indispensable recopilar todas las fuentes de evidencia de validez para justificar cualquier decisión tomada basándose en los resultados de la prueba.

A modo de resumen, el artículo finaliza con unas recomendaciones que enumeramos a continuación: 1) diseñar las ECOE en el contexto de un sistema de evaluación más global; 2) adherirse a los criterios de validez; 3) definir el propósito de la ECOE y hacerlo explícito a las partes interesadas; 4) asegurar la correspondencia entre lo que evaluamos y los resultados del aprendizaje; 5) planificar un muestreo adecuado con suficientes estaciones y tiempo de prueba; 6) utilizar la configuración estándar basada en criterios pertinentes; 7) generar estudios psicométricos para asegurar la confiabilidad global y de estación; 8) valorar la diversidad de los examinadores y centrar su formación en la conducta, los comportamientos y los prejuicios; 9) manejar la seguridad de las pruebas con el diseño de tareas y de circuitos para agrupar estaciones; y 10) triangular los datos del desempeño de la ECOE con otras evaluaciones o resultados para informar de la toma final de decisiones.

El artículo analiza también la evaluación del desempeño en el lugar de trabajo y las diferentes connotaciones que adquiere según su objetivo sea la valoración formativa o la evaluación sumativa, esencialmente en lo que se refiere al feedback y a la interacción con los tutores del aprendizaje. Los métodos para la evaluación del desempeño en el lugar de trabajo incluyen diferentes instrumentos centrados en el análisis de encuentros directos o indirectos con uno o más pacientes y deben usarse de forma prudente, intentando minimizar los problemas de interpretación que, sobre todo en el campo psicométrico, pueden aparecer al utilizarlos desde la perspectiva de la evaluación sumativa.

Analizar con detenimiento estas recomendaciones tiene, en nuestra opinión, una gran importancia en España, sobre todo en un momento como el actual, en el que se están planteando cambios relevantes en la formación de estudiantes y residentes. Asumir que las ECOE pueden ser un instrumento nuclear para evaluar el período de grado y para contribuir a definir criterios para la transición con el posgrado necesita la implicación decidida de todos los actores implicados en la corrección de los problemas que pueden tener en su concepción y desarrollo actuales. Las instituciones y organismos responsables de los procesos de formación graduada y posgraduada, con especial referencia a nuestras facultades de medicina, han de analizar críticamente y, en su caso, aplicar las recomendaciones apuntadas para avanzar en el diseño del mejor sistema de evaluación posible de nuestros estudiantes y residentes.

Bibliografía / References

1. Boursicot K, Etheridge L, Setna Z, Sturrock A, Ker J, Smee S, et al. Performance in assessment:consensus statement and recommendations from the Ottawa conference. Med Teach 2011;33:370-83. [ Links ]

2. Boursicot K, Kemp S, Wilkinson T, Findyartini A, Canning C, Cilliers F, et al. Performance assessment:Consensus statement and recommendations from the 2020 Ottawa Conference. Med Teach 2021;43:58-67. [ Links ]

E-mail: jpales@ub.edu

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons