REVISIÓN EN FORMACIÓN MÉDICA CONTINUADA

 

La evaluación cualitativa en la formación médica continuada

Qualitative evaluation in continuing medical education

 

 

V. Mahtani-Chugani^a, E. Sanz-Álvarez^b

^a Servicio de Evaluación. SCS Gerencia de Atención Primaria de Tenerife. CIBER Epidemiología y Salud Pública (CIBERESP). Santa Cruz de Tenerife.
^b Departamento de Farmacología Clínica. Facultad de Medicina. Universidad de La Laguna. La Laguna, Tenerife, España.

Cuestionario de acreditación: www.educmed.net

Dirección para correspondencia

 

 

---

RESUMEN

Los métodos semicualitativos y cualitativos permiten realizar una evaluación de los programas de formación médica continuada de una forma más profunda. Dichos métodos son de utilidad para responder a preguntas evaluativas del cómo y por qué de los fenómenos. Las técnicas de recogidas de datos más frecuentemente utilizadas son la observación, la entrevista, los grupos focales de discusión, el análisis de documentos y las encuestas. En la bibliografía se han publicado múltiples estudios en los que se ha utilizado una o varias de las técnicas enumeradas con el fin de evaluar el proceso, el impacto, las necesidades o las barreras de un programa de formación médica continuada.

Palabras clave: Educación médica. Evaluación. Formación médica continuada. Investigación cualitativa.

---

ABSTRACT

Semi-qualitative and qualitative methods make it possible to carry out a more thorough evaluation of continuing medical education programmes. These methods are useful to answer evaluative questions about how and why phenomena take place. The most commonly used data collection techniques are observation, interviews, focus group discussions, document analysis and surveys. The literature offers many examples of studies in which one or several of the above-mentioned techniques have been used to evaluate the process, the impact, the needs or the hindrances of a continuing medical education programme.

Key words: Continuing medical education. Evaluation. Medical education. Qualitative research.

---

 

Reflexiones iniciales

La evaluación de la formación médica continuada tiene dos aspectos diferentes: la evaluación de los objetivos docentes obtenidos por los participantes en un programa, por un lado, y, por el otro, la evaluación de esos mismos programas en términos de pertinencia o de eficacia a la hora de alcanzar sus objetivos. En el primer caso se trata de una evaluación personal, y en el segundo de una evaluación grupal o institucional.

Cada programa formativo debe contemplar un proceso de evaluación de sus participantes, bien definido desde el principio y acorde con la estructura y contenido de ese mismo programa. En este caso la evaluación suele ser cuantificable: el participante supera o no las expectativas de formación, y en su caso las supera con un grado mayor o menor.

Sin embargo, es necesario, y es menos frecuente, evaluar la propia pertinencia y el efecto en la sociedad y en su ámbito de aplicación, de un programa formativo diseñado para alcanzar unos objetivos concretos. ¿Responde ese programa formativo a una necesidad real? ¿Es esa necesidad formativa percibida de igual manera por los "candidatos" o los participantes que por los que diseñan el programa? ¿La realización del programa formativo cambia de una forma positiva la actividad de los participantes y de su entorno? ¿Qué habría que modificar para adecuar mejor los programas formativos a las necesidades reales de los implicados? Estas preguntas requieren respuestas y evaluaciones, pero difícilmente son cuantificables, entre otras razones porque inicialmente no se sabe ni siquiera qué preguntas concretas hay que responder - aparte de esa necesidad de evaluación- o no se saben con certeza las "variables" que se deben incluir en el análisis.

En este contexto, la aplicación de técnicas cualitativas de investigación, propias del campo de la Antropología Social y, más en general, de las Ciencias Sociales, puede ayudar a plantear estrategias de evaluación de esos programas educativos más adecuadas. En pocos casos se podrá obtener una respuesta numérica o cuantificable que informe del grado de pertinencia o de efectividad de la formación. Sin embargo, la investigación cualitativa permite explorar los valores, las percepciones y las expectativas de todos los actores implicados: los que desarrollan el programa, los que los siguen e incluso los que serán sujetos pacientes de sus resultados.

La investigación cualitativa no es una investigación sobre la "calidad de vida", o sobre la "calidad" de los programas. Responde a un paradigma científico diferente al de la evaluación estadística o epidemiológica, tiene sus propios métodos y condiciones y da un tipo de información distinta que requiere un cierto conocimiento previo de las técnicas para su interpretación. Sin embargo, es extraordinariamente útil para generar hipótesis, explorar situaciones y problemas y profundizar en los condicionantes profundos asociados a la actividad humana, también la actividad formativa.

En este breve trabajo se pretenden exponer algunos rudimentos sobre las técnicas de recogida y análisis de datos, y algunos ejemplos del tipo de estudios llevados a cabo en este campo.

 

Métodos semicualitativos

En el grupo de métodos semicualitativos se incluyen técnicas que resultan más familiares a la investigación médica. Por su frecuencia de uso es imprescindible hacer referencia a las encuestas que incluyen preguntas abiertas. Este tipo de encuestas son una forma de evaluar semicualitativamente. La diferencia más importante con los métodos cualitativos puros es que incluyen alguna forma de cuantificación y/o ponderación, aunque permiten una evaluación más completa que la que se centra en la mera cuantificación. La inclusión de preguntas abiertas y la realización de un análisis de contenidos de dichas preguntas puede ser una forma más sencilla pero menos profunda que la que ofrecen los métodos cualitativos puros. En educación médica no es raro encontrar esta técnica de recogida de información y con frecuencia se denomina evaluación cualitativa. Sin embargo, hay que tener en cuenta que el tipo de resultados que se obtiene es muy descriptivo y pocas veces permite un análisis profundo de los programas que se evalúan. Un ejemplo es el publicado por Knight et al [1], en el que realizan una encuesta a profesionales sanitarios para analizar el impacto de los programas de desarrollo en el que participaban los profesionales para realizar la docencia. Otro ejemplo es el de Celenza y Rogers [2], que llevaron a cabo una encuesta con preguntas abiertas sobre un programa estructurado de formación en asistencia en urgencias con el fin de evaluar el programa.

 

Métodos cualitativos

Los métodos cualitativos tienden, esencialmente, a averiguar lo que la gente hace, piensa y sabe y, al aplicarlo al ámbito de la educación médica, es útil para responder al ¿qué? ¿cómo? y ¿por qué? de las diferentes formas de hacer educación médica.

Las aportaciones principales de la investigación cualitativa son: el estudio del contexto, la posibilidad de incluir las "voces" de los actores implicados en el problema que se estudia, la realización de la investigación en el mundo real, la generación de teorías y la detección de fenómenos.

Según Patton [3], los métodos cualitativos se utilizan frecuentemente en la evaluación, porque informan de lo que ocurrió, cuándo, a quién y cuáles fueron las consecuencias del programa. Comprender los programas y las historias de los participantes es útil para entender tanto los procesos como los resultados, con el fin de tomar decisiones para su mejora.

En la bibliografía es posible encontrar diferentes formas de afrontar la clasificación de estudios cualitativos: según los métodos utilizados, las técnicas de recogida de datos o los métodos de análisis [4-6]. Sin embargo, el nexo común de los métodos cualitativos es el enfoque inductivo de los estudios.

En este artículo se ha optado por la clasificación relacionada con las técnicas de recogida de datos más utilizadas en el ámbito de los cuidados de salud [6]. A continuación, se describen las más relevantes:

• Técnicas de observación (etnografía, observación participante, observación no participante). Esta técnica tiene como principal fortaleza permitir llegar al conocimiento de los fenómenos en sí (por ejemplo, un determinado comportamiento), así como acercarse a los relatos de las personas involucradas. Algunos autores consideran estas técnicas como gold standard en investigación cualitativa, ya que dan acceso a conocer tanto lo que la gente hace, como lo que dice que hace [6].

• Técnicas individuales (entrevistas). Las entrevistas son la forma más común de recoger datos en investigación cualitativa en salud. La fortaleza principal de las entrevistas es dar forma a la realidad desde la comunicación, permitiendo conocer lo que "dicen" las personas. Su indicación viene dada por el tema a tratar o el tipo de persona a entrevistar. Es decir, hay determinados temas que por su sensibilidad o confidencialidad deben abordarse de manera individual, ya que puede resultar difícil tratarlos en grupo. Se pueden clasificar según el nivel en el que se dirigen, siendo las más utilizadas las entrevistas semiestructuradas y las entrevistas en profundidad [7].

• Técnicas grupales (grupos focales, paneles de consenso, grupos naturales, entrevistas comunitarias). Su principal ventaja es la de permitir obtener la información no solamente desde la perspectiva de un individuo, sino de cómo se produce y reproduce la información en situaciones sociales como consecuencia de la interacción entre los individuos. Al igual que hay temas y situaciones que se abordan más fácilmente desde el punto de vista individual, hay temas y situaciones que es mejor enfocar desde un punto de vista grupal [6].

• Análisis de documentos. No siempre es necesario recoger datos primarios nuevos para investigar un determinado tema, sino que puede ser una estrategia eficiente utilizar documentos preexistentes. Entre ellos se incluyen publicaciones, información de los medios de comunicación, fotografías, informes públicos, diarios, cartas, etc. Las ventajas que ofrece su uso es la abundancia y la facilidad de acceso en la mayoría de casos. Otra de sus ventajas es que hay situaciones en las que no se dispone de otra información para responder a una pregunta, salvo de documentos escritos. Esto suele ocurrir cuando es necesario realizar un análisis histórico para explicar determinadas situaciones. En ocasiones, simplemente se trata de una elección personal del investigador que encuentra más fácil tratar datos que personas, ya que hay que tener en cuenta que en investigación cualitativa hay que desarrollar una serie de habilidades para realizar el trabajo de campo [6].

 

Investigación en acción

Las técnicas de recogida de datos descritas previamente se refieren a la posibilidad que ofrece la investigación cualitativa de "estudiar a los participantes". Sin embargo, en determinadas situaciones puede ser importante un cambio de enfoque como es la investigación "con" los participantes. En este sentido, mención especial merece la investigación en acción (action research). Este es un término que se está utilizando cada vez más en la investigación en salud. El elemento distintivo es que su diseño tiene como objetivo no sólo estudiar la situación, sino realizar un cambio sobre ella. Históricamente se ha desarrollado en proyectos comunitarios, donde la cuestión surge de un problema social concreto. Sin embargo, cada vez más ha demostrado su utilidad en los casos en los que se desea mejorar una práctica determinada o cambiar la organización de un sistema. Este es el caso de la formación continuada, donde se ofrece una vía potencial de mejora de métodos educativos. La "investigación en acción" involucra a los participantes, y se orienta a un problema concreto donde la investigación, la acción y la evaluación están enlazadas en un único proceso. Los hallazgos de los estudios se comparten con los participantes durante todo el proceso del estudio, con lo que la discusión que se realiza informa sobre el paso siguiente. Esto deriva en un diseño de investigación cíclica donde la planificación, la observación y la reflexión alimentan el siguiente paso [6]. Este proceso contribuye al conocimiento de la situación y, a la vez, a realizar cambios dependiendo de la evolución del proceso. Por todo ello, su utilidad en la evaluación cualitativa de programas de formación médica continuada está claramente justificada.

Es importante tener en cuenta que la investigación cualitativa tiene sus propios criterios de cientificidad y que existen una serie de técnicas que permiten mejorar el rigor del estudio.

Se han publicado diversos tipos de criterios para alcanzar fiabilidad y rigor en investigación cualitativa. Algunos utilizan los mismos términos que se utilizan en investigación positivista y cuantitativista, como son la validez interna, la validez externa, la fiabilidad y la objetividad. Otros, como Lincoln y Guba [8], prefieren utilizar términos diferentes que tienen significado similar al utilizado en el paradigma cuantitativo y, de este modo, evitar la posible confusión en el uso de términos para situaciones diferentes. Estos términos son: credibilidad, transferabilidad, dependencia, y confiabilidad (credibility, transferability, dependability y confirmability) Y, finalmente, otros buscan términos y definiciones completamente diferentes, como los que propone Morse et al y que denomina estrategias de verificación [9].

Desde nuestra perspectiva es fundamental conocer los criterios recomendados por Lincoln y Guba, que son ampliamente aceptados, como es la triangulación, o la técnica del muestreo teórico, entre otros. La triangulación se refiere a la utilización de una variedad de fuentes de datos, diferentes investigadores, diferentes perspectivas y diferentes técnicas que se enfrentan unos a otros con el fin de contrastar datos e interpretaciones. Y el muestreo teórico a aquel que se dirige mediante conocimientos que surgen progresivamente sobre lo qué es importante o relevante del fenómeno que se estudia [8].

 

Ejemplos prácticos de evaluación cualitativa de la formación médica continuada

Es difícil exponer en un breve artículo de revisión las características y los condicionantes de la investigación cualitativa en este campo. Sin embargo, existen algunos ejemplos muy relevantes que pueden ser de extraordinaria utilidad para hacerse una idea del tipo de estudios al que nos hemos referido. Hemos seleccionado algunos ejemplos ilustrativos.

Por un lado, se encuentran las evaluaciones cualitativas de proceso de una intervención. De este modo, Allen et al [10] publican los resultados de un estudio de evaluación cualitativa sobre la eficacia de una forma de educación médica continuada, que consiste en visitas realizadas por un profesional sanitario (médico o farmacéutico) a otros médicos en sus consultas con el fin de trasladar información basada en la evidencia. Para realizar dicha evaluación utilizaron un cuestionario y entrevistas telefónicas semiestructuradas a médicos que participaban en este programa, con el fin de profundizar en el valor de dichas visitas para la mejora de la práctica médica. Esta forma de evaluación permitió identificar, además del valor de esta forma de educación médica, las barreras que impedían su aplicación, como por ejemplo la valoración negativa de dichas visitas en horario de consultas; ello hizo a los autores considerar que quizá había que modificar el formato del programa que proponían. Con relación al mismo tema, Dalsgaard y Rosendal [11] publicaron un estudio que evaluaba cualitativamente el mismo tipo de visitas, pero en esta ocasión relacionadas con la atención a pacientes con demencia. Realizaron entrevistas, grupos focales y recogieron datos de observación para estudiar la perspectiva de los médicos de atención primaria y los docentes sobre el programa. Los resultados del estudio permitieron identificar las barreras que se debían tener en cuenta para que el programa fuera efectivo.

De forma similar, Shuval et al [12] realizaron un estudio cuyo objetivo era profundizar en el comportamiento y la actitud de los médicos de atención primaria ante una intervención multifacética de educación de medicina basada en la evidencia. Para alcanzar dicho objetivo se planteó un estudio cualitativo con médicos de atención primaria y docentes utilizando grupos focales de discusión y entrevistas. Los resultados de este estudio permitieron identificar la perspectiva de los participantes y la complejidad de las barreras que dificultan la incorporación de una cultura para la realización de una práctica basada en la evidencia y que va más allá de la simple adquisición de conocimientos, y que involucra a la propia organización del sistema sanitario. Este tipo de evaluación permitió tener en cuenta las recomendaciones realizadas por los propios participantes para intentar mejorar las intervenciones educativas para que se desarrolle una actividad asistencial basada en la evidencia con mayor éxito.

Otro estudio, más innovador, es el publicado por Mclean et al [13], en el cual hacen referencia al uso de técnicas artísticas, como es el dibujo, para evaluar una intervención educativa basada en el aprendizaje enfocado a la técnica de resolución de problemas. Una de las técnicas utilizadas para la evaluación de dicha intervención educativa fue solicitar a los alumnos que realizaran un dibujo de cómo se veían a sí mismos antes y después de participar en el programa de formación. Se realizó un análisis cualitativo de los dibujos que incluían comentarios explicativos realizados por los alumnos, ofreciendo una forma profunda de valorar el mundo interno del alumno y sus percepciones del programa de formación.

En cuanto a evaluaciones cualitativas del impacto de los programas de formación médica continuada, también son útiles y enriquecedores los métodos cualitativos. Un ejemplo claro es el publicado por Niroshan et al [14]. En este estudio se plantean como objetivo la evaluación del impacto de una intervención educativa en diabetes. Se realizaron entrevistas a médicos que habían participado en un programa educativo sobre el tratamiento de la diabetes. La evaluación cualitativa permitió identificar los factores involucrados en el cambio de la práctica asistencial y el valor del programa educativo en el que participaron, así como las barreras para aplicar los conocimientos adquiridos.

Otro aspecto de la evaluación cualitativa en educación médica es el uso de estrategias para examinar las habilidades y competencias de los alumnos. Por ejemplo, Matsell et al [15] utilizan las técnicas de evaluación cualitativa para examinar a los médicos en formación especializada pediátrica y obtienen como resultados una herramienta que denominan OSCE (examen clínico objetivo estructurado), como forma de evaluación de los conocimientos y las habilidades alcanzadas para el tratamiento de los pacientes, con el fin de identificar las debilidades y fortalezas del profesional en áreas específicas de competencia clínica. Aunque finalmente se ha desarrollado una herramienta semicualitativa, se generó a través de métodos cualitativos.

Otro aspecto interesante es la realización de evaluaciones cualitativas para identificar las necesidades de aprendizaje con el fin de desarrollar programas específicos. Por ejemplo, Wang y Bakken [16] publicaron un estudio cualitativo realizado con el fin de identificar las necesidades de formación de lengua inglesa para profesionales investigadores cuyo primer idioma no era el inglés y que por necesidades profesionales de publicar artículos científicos podían requerir formación específica. Para ello, realizaron un estudio que utilizaba preguntas semiestructuradas y notas de campo con un análisis basado en el método de la comparación constante. Mediante este estudio se desarrolló una guía para elaborar programas de formación de inglés para escribir artículos científicos.

 

Reflexiones finales

Las técnicas de investigación cualitativa y semicualitativa permiten responder de forma no numérica a preguntas del tipo: ¿Cómo elaborar un programa de educación médica para un determinado grupo de profesionales? ¿Cuál debe ser su contenido? ¿Qué método es el más apropiado para transmitir el mensaje? ¿Sirve de algo el programa educativo que se ha realizado? ¿Cómo se puede mejorar la aplicación de los conocimientos adquiridos en un programa de formación médica continuada? Si este es el tipo de preguntas que necesita obtener, es requisito fundamental acudir a las técnicas de investigación cualitativa para responderlas.

"Si en aquella ocasión los profesores hubieran tenido en cuenta la entrevista personal y no solamente las notas de 5.º de Medicina, yo hubiera podido irme con una beca Erasmus. Sin embargo, le concedieron la beca a mi compañera de facultad, que tenía mejores notas que yo; ella se marchó, y al mes se volvió. Al final no pude disfrutar de aquella oportunidad, que fue desperdiciada. Creo que si hubieran valorado los aspectos personales, eso no habría ocurrido. Ya es tarde, pero para mí fue otro ejemplo de los errores que se pueden cometer cuando sólo valoramos las calificaciones numéricas, y no las cualidades y capacidades de las personas." (V. MAHTANI-CHUGANI)

 

Bibliografía

1. Knight AM, Carrese JA, Wright SM. Qualitative assessment of the long-term impact of a faculty development programme in teaching skills. Med Educ 2007; 41: 592-600.        [ Links ]

2. Celenza A, Rogers IR. Qualitative evaluation of a formal bedside clinical teaching programme in an emergency department. Emerg Med J 2006; 23: 769-73.        [ Links ]

3. Patton MQ. Qualitative research and evaluation methods. London: Sage Publications; 2001.        [ Links ]

4. Murphy E, Dingwall R, Greatbatch D, Parker S, Watson P. Qualitative research methods in health technology assessment: a review of the literature. Health Technol Assess 1998; 2; 89-163.        [ Links ]

5. Morse J, Richards L. Readme first for a user´s guide to qualitative methods. Thousand Oaks: Sage Publications; 2002.        [ Links ]

6. Green J, Thorogood N. Qualitative methods for health research. London: Sage Publications; 2004.        [ Links ]

7. Pope C, Mays N. Qualitative research in health care. London: BMJ Books; 1999.        [ Links ]

8. Lincoln YS, Guba EG. Naturalistic inquiry. Beverly Hills: Sage Publications; 1985.        [ Links ]

9. Morse J, Barret M, Mayan M, Olson K y Spiers J. Verification strategies for establishing reliability and validity in qualitative research. International Journal of Qualitative Methods 2002; 1: Article 2. URL: http://www.ualberta.ca/~ijqm. [19.03.08].        [ Links ]

10. Allen M, Ferrier S, O"Connor N, Fleming I. Family physicians´perceptions of academic detailing: a quantitativeand qualitative study. BMC Med Educ 2007; 7: 36.        [ Links ]

11. Dalsgaard T, Rosendal M. Motivation and barriers to the use of facilitator visits in general practice. Ugeskr Laeger 2008; 170: 731-5.        [ Links ]

12. Shuval K, Shachak A, Linn S, Brezis M, Feder-Bubis P, Reis S. The impact of an evidence-based medicine educational intervention of primary care physicians: a qualitative study. Society of General Internal Medicine 2007; 22: 327-31.        [ Links ]

13. McLean M, Henson Q, Hiles L. The possible contribution of student drawings to evaluation in a new problem-based learning medical programme: a pilot study. Med Educ 2003; 37: 895-906.        [ Links ]

14. Niroshan-Siriwardena A, Middlemass JB, Ward K, Wilkinson C. Drivers for change in primary care of diabetes following a protected learning time educational event: interview study of practitioners. BMC Med Educ 2008; 8: 4.        [ Links ]

15. Matsell DG, Wolfish NM, Hsu E. Reliability and validity of the objective structured clinical examination in paediatrics. Med Educ 1991; 25: 293-9.        [ Links ]

16. Wang MF, Bakken LL. An academic writing needs assessment of English as a second language clinical investigators. J Contin Educ Health Prof 2004; 24: 181-9.        [ Links ]

 

 

Dirección para correspondencia:
Vinita Mahtani Chugani.
Servicio de Evaluación.
Servicio Canario de Salud.
Pérez de Rozas, 5, 4.º
E-38004 Santa Cruz de Tenerife.
E-mail: vmahtani@canarias.org