ORIGINAL

 

Evaluación de un programa de educación médica continua: ¿en qué medida los médicos incorporaron en su práctica clínica las conductas recomendadas?

Continuing medical education programme evaluation: did doctors incorporate recommended behaviors in their clinical practice?

 

 

Amanda Galli, M. Luisa Ageitos

Sociedad Argentina de Pediatría. Buenos Aires, Argentina.

Dirección para correspondencia

 

 

---

RESUMEN

Introducción. La Sociedad Argentina de Pediatría desarrolla desde 1992 un programa de actualización con modalidad de educación a distancia (PRONAP). Todos los años se publican temas nuevos y se implementa un cuestionario para explorar el grado de satisfacción de los participantes y recoger opiniones sobre cada uno de los componentes del programa. El propósito de este trabajo es conocer si los médicos están utilizando en su práctica clínica las conductas o recomendaciones promovidas por el PRONAP.
Sujetos y métodos. En los cuestionarios de 2008, 2009 y 2010 se incluyó una pregunta de autoevaluación, con cuatro opciones de respuesta, para indagar en qué medida se estaban aplicando en la práctica clínica 24 conductas específicas vinculadas a los temas desarrollados en el programa.
Resultados. Se remitieron 22.899 cuestionarios y se recibieron 19.721 respuestas (86%). Los profesionales decían haber incorporado frecuentemente las siguientes conductas: observar en los lactantes pequeños la capacidad de establecer contacto visual (48,8%) e indagar regularmente si a sus pacientes se les habían realizado las pruebas de cribado para hipoacusia (48%). Respecto a las conductas más novedosas, menos del 10% de los profesionales decían que ya las practicaban, y resultaron ser la inclusión del tema de tatuajes y piercings en toda entrevista con adolescentes (6,8%) y la indicación de ácido fólico a todas las adolescentes (6,5%).
Conclusiones. Los resultados permitirían afirmar que el PRONAP está influyendo en la práctica clínica, pero es sabido que al utilizar encuestas de opinión autoadministradas o preguntas de autoevaluación, siempre queda la duda sobre la autenticidad de las respuestas.

Palabras clave: Conocimiento y práctica clínica. Educación médica continuada. Evaluación de resultados.

---

ABSTRACT

Introduction. Since 1992, Argentina Society of Pediatrics develops an update program (PRONAP) distance education mode. Every year new issues are published. At the end of each year implements a survey to explore the degree of satisfaction of the participants and their assessment of each of the components of the program. The purpose of this work was to do an evaluation of results of the PRONAP.
Subjects and methods. Questionnaires from 2008, 2009 and 2010 included a question of self-assessment to investigate the application of 24 recommended behaviors.
Results. 22,899 questionnaires were sent and are receiving 19,721 responses (86%). The behaviors that the professionals say that they added frequently, almost always, in clinical practice are: in small infants observe the capacity to establish eye contact (48.8%), and regularly inquire if their patients the tests conducted of screening for hearing loss (48%). Most innovative behaviour, less than 10% of professionals already practicing it, they were: to include the topic of tattoos and piercing in interviews with adolescents (6.8%), and to indicate folic acid to all young woman (6.5%).
Conclusions. The results would claim that the PRONAP is influencing clinical practice but it is well known that in self-managed questionnaires always have doubt about the authenticity of the answers.

Key words: Continuing medical education. Knowledge and clinical practice. Outcomes evaluation.

---

 

Introducción

La educación médica continuada (EMC) se define como toda actividad que realiza el médico para seguir aprendiendo una vez finalizada su formación universitaria. También se refiere al conjunto de acciones y recursos dirigidos a cambiar la conducta de los profesionales para mejorar los resultados de su actuación con los pacientes. El propósito fundamental de la EMC es el mantenimiento y la mejora del desempeño profesional [1].

La Sociedad Argentina de Pediatría desarrolla desde 1992 un programa de actualización con modalidad de educación a distancia (PRONAP) [2]. Cada año se ofrecen 12 temas nuevos que se presentan en cuatro módulos impresos distribuidos por correo postal; aprobar un examen final escrito es requisito para obtener la certificación. Los encuentros presenciales o virtuales son opcionales. Anualmente se implementa un cuestionario para explorar el grado de satisfacción de los participantes y recoger opiniones sobre cada componente del programa.

Distintas actividades de EMC se han evaluado con el propósito de identificar en qué medida contribuyen al cambio de la conducta profesional [3,4]. A partir de la década de los ochenta se ha generado un movimiento que se dedica a estudiar específicamente los factores que condicionan la aplicación en la práctica clínica del conocimiento científico disponible. Este tema del enlace del conocimiento científico y la práctica clínica se designa como 'medicina traslacional' [5].

Una de las acciones para disminuir la brecha que existe entre el conocimiento científico disponible (evidencias) y la práctica clínica es identificar qué estrategias y recursos de la EMC resultan más efectivos [6-8]. La evaluación de programas de EMC, particularmente la evaluación de resultados, es incipiente en Argentina. El propósito de este trabajo es realizar una evaluación de resultados del PRONAP: ¿han incorporado en la práctica clínica las recomendaciones del PRONAP?

 

Sujetos y métodos

Una metodología reconocida y empleada para evaluar los resultados de la capacitación es la de Donald Kirkpatrick [9,10], quien propone cuatro niveles de evaluación que son complementarios:

- Nivel 1: reacción. Explora el grado de satisfacción de los participantes y recoge opiniones y valoraciones sobre los distintos componentes. Se utilizan encuestas o cuestionarios.

- Nivel 2: aprendizaje. Evalúa la adquisición de conocimientos y habilidades. Se utilizan exámenes de distinto tipo.

- Nivel 3: comportamiento. Indaga la aplicación de los conocimientos adquiridos a través de la observación directa del desempeño en el lugar de trabajo y también con cuestionarios y entrevistas.

- Nivel 4: impacto. Se trata de establecer en qué medida la capacitación de los recursos humanos ha impactado en la calidad del servicio, en la satisfacción de los pacientes, o ha modificado los indicadores de salud.

Para evaluar la aplicación de las conductas promovidas por el PRONAP se utilizaron cuestionarios, lo que corresponde al nivel 3 de Kirkpatrick.

En 2008, 2009 y 2010 se distribuyeron a todos los profesionales inscritos en el PRONAP encuestas de opinión de 40 preguntas para evaluar todos y cada uno de los componentes del programa. El cuestionario impreso y un formulario óptico para registrar las respuestas fueron enviados por correo postal.

Una de las preguntas del cuestionario exploraba la aplicación en la práctica clínica de los conocimientos adquiridos. Se utilizó una pregunta de autoevaluación ('¿en qué medida ha incorporado las siguientes conductas en su práctica clínica?') con cuatro opciones de respuesta:

a) Muy frecuentemente, casi siempre.
b) Con cierta frecuencia, a veces.
c) No corresponde a mi práctica profesional.
d) Es una conducta que ya practicaba.

Las opciones 'c' y 'd' dan por supuesto que la conducta propuesta no ha sido adoptada y con estas dos opciones se intenta identificar el motivo por el cual no se ha puesto en práctica.

Las conductas exploradas corresponden a los temas desarrollados en el PRONAP en dichos años (Tabla I).

 

Al ser un estudio descriptivo, los resultados se han expresado en porcentaje de respuestas acumuladas en cada una de las opciones, en cada una de las conductas.

Se consideraron conductas más aceptadas las que tuvieron un 40% y más de respuestas en la opción 'a', y conductas más novedosas, las que tuvieron un 10% y menos de respuestas en la opción 'd'.

 

Resultados

En 2008 se enviaron 7.763 encuestas y se recibieron 6.873 respuestas (88%). En 2009 se enviaron 7.611 encuestas y se recibieron 6.661 respuestas (88%). En 2010 se enviaron 7.525 encuestas y se recibieron 6.187 respuestas (82%). Cerca del 80% de las respuestas corresponden a mujeres (Tabla II).

 

Las conductas con más alto porcentaje de respuestas en 'a' figuran en la tabla III.

 

 

Las siguientes conductas fueron adoptadas 'a veces':

- Considerar, en la consulta con púberes y adolescentes, el consumo de sustancias como hipótesis diagnóstica (50% de respuestas en 'b').

- Incluir, en la consulta habitual, recomendaciones para optimizar la masa ósea (51,9% de respuestas en 'b').

- Considerar los trastornos psicomotores entre sus hipótesis diagnósticas (49,1% de respuestas en 'b').

Tres conductas son señaladas como 'no corresponden a mi campo profesional':

- Realizar la vigilancia estricta de la dieta de los pacientes renales (20% de respuestas en opción 'c').

- Identificar a los niños que están en situación de trabajo para contribuir a la erradicación del trabajo infantil (15,6% de respuestas en opción 'c').

- Considerar la hipótesis diagnóstica de contaminación hídrica ante determinados síntomas, como cianosis, hiperhidrosis, hiperqueratosis o cabello quebradizo (12,7% de respuestas en opción 'c').

Las conductas más novedosas, con menor porcentaje de respuestas en 'd', figuran en la tabla IV.

 

 

Discusión

El instrumento utilizado en este estudio ha sido una pregunta con cuatro opciones de respuestas. En la misma pregunta se indagaba si adoptó determinada conducta (opciones 'a' y 'b') y también por qué no la adoptó (opciones 'c' y 'd'). La idea de explorar los motivos por los que no se adopta determinada práctica se tomó de Skinner [11], quien, en un trabajo sobre la adopción de conductas vinculadas al conocimiento enseñado sobre diabetes, afirmaba: 'es importante llegar a las razones por las que no se adoptan las innovaciones que han sido difundidas. Entonces se agregaron preguntas especialmente dirigidas a los que no adoptaron'. En este sentido es que se ofrecieron las opciones 'c' y 'd'.

Esta manera de preguntar dos cosas diferentes en una misma pregunta generó dificultades en la interpretación de los datos. En realidad, los profesionales que respondieron 'c' y 'd' constituyen un grupo diferente de participantes que no tenían la posibilidad de adoptar las conductas propuestas porque no atienden ese tipo de pacientes (adolescentes), porque ese problema no existe en su región (arsenicismo) o simplemente porque ya lo practicaba. Queda claro, entonces, que se debería haber ofrecido la opción de respuesta 'no incorporé' y se deberían haber explorado los motivos de la no adopción sólo en ese grupo. Si se tomara en cuenta este criterio de excluir a los profesionales que responden 'c' y 'd', el porcentaje de sujetos que incorporaron 'frecuentemente, casi siempre' las conductas recomendadas sería mucho más alto. De cualquier forma, los resultados muestran que cerca de 3.000 profesionales dicen, en cada uno de los años, haber incorporado las prácticas recomendadas.

Los resultados muestran un alto grado de adecuación de los contenidos del PRONAP a las necesidades de los profesionales que participan: el porcentaje de respuestas en la opción 'c' ha sido mínimo.

Parece oportuno recordar aquí que la posibilidad de aplicar en la práctica lo aprendido depende de muchos factores y no solamente del conocimiento adquirido. Cochrane et al [12] encontraron que las principales barreras en la aplicación clínica del conocimiento científico disponible se deben a razones tales como la falta de percepción de la necesidad de cambiar, la deficiencia en la gestión de los servicios de salud, la presión asistencial y también la actitud de los pacientes que demandan determinadas prestaciones.

Por otro lado, las encuestas de opinión autoadministradas y las preguntas de autoevaluación siempre generan dudas sobre la autenticidad de las respuestas [13]. A pesar de esta debilidad son instrumentos que se utilizan con frecuencia y se considera que un cuestionario bien diseñado puede ayudar a recopilar información sobre la calidad y los resultados de una intervención educativa [14,15].

En relación a las limitaciones de la autoevaluación, cabe recordar que uno de los objetivos de la educación médica es formar profesionales capaces de juzgar la calidad de su propio trabajo y de organizar su propia EMC [16].

Los resultados, de ser ciertos, serían muy alentadores y se podría afirmar que el PRONAP está influyendo en la práctica clínica. Como han señalado Mazmanian et al [17] y otros autores, es necesario realizar estudios que permitan establecer, con mayor grado de validez y fiabilidad, las relaciones entre educación, desempeño de los profesionales y resultados en la clínica.

 

Agradecimientos

Dra. Marina Khoury, por su asistencia técnica y supervisión.

 

Bibliografía

1. Davis D, Bordage G, Moores L, Bennett N, Marinopoulos S, Mazmanian P, et al. The science of continuing medical education: terms, tools and gaps. Chest 2009; 135 (Suppl): S8-16.         [ Links ]

2. Lejarraga H, Ageitos ML, Galli A, Castro C. A countrywide programme of continuing professional development in Argentina. Arch Dis Child 1998; 78: 562-6.         [ Links ]

3. Davis D, Thomson MA, Oxman A, Haynes RB. Changing physician performance: a systematic review of the effect of continuing medical education strategies. JAMA 1995; 274: 700-5.         [ Links ]

4. Cantillon P, Jones R. Does continuing medical education in general practice make a difference? BMJ 1999; 318: 1276-9.         [ Links ]

5. Lean MEJ, Mann J, Hoek J, Elliot RM, Schofield G. Translational research: from evidence-based medicine to sustainable solutions for public health problems. BMJ 2008; 337: a863.         [ Links ]

6. Bauchner H, Simpson L, Chessare J. Changing physician behaviour. Arch Dis Child 2001; 84: 459-62.         [ Links ]

7. Marinopoulos S, Dorman T, Ratanawongsa N, Wilson L, Ashar BH, Magaziner J, et al. Effectiveness of continuing medical education. Evid Rep Technol Assess 2007; 149: 1-69.         [ Links ]

8. Reed D, Price EG, Windish DM, Wright SM, Gozu A, Hsu EB, et al. Challenges in systematic reviews of educational intervention studies. Ann Intern Med 2005; 142: 1080-9.         [ Links ]

9. Worldbank. Módulo 6. Evaluación de actividades. URL: http://info.worldbank.org/etools/GDLNtoolkit_sp/GDLNToolkit/files/module06/module6-sec7.pdf. (30.06.2012).         [ Links ]

10. Triviño X, Sirhan M, Moore P, Montero L. Impacto de un programa de formación en docencia en una escuela de medicina. Rev Med Chile 2011; 139: 1508-15.         [ Links ]

11. Skinner K. Developing a tool to measure knowledge exchange outcomes. Canadian Journal of Program Evaluation 2007; 22: 49-73.         [ Links ]

12. Cochrane LJ, Olson C, Murray S, Dupuis M, Tooman T, Hayes S. Gaps between knowing and doing: understanding and assessing the barriers to optimal health care. J Contin Educ Health Prof 2007; 27: 94-102.         [ Links ]

13. Thorndike RL, Hagen EP. Medición y evaluación en psicología y en educación. 2 ed. México DF: Trillas; 1996.         [ Links ]

14. Gordon MJ. A review of the validity and accuracy of self-assessments in health professions training. Acad Med 1991; 66: 762-9.         [ Links ]

15. Sáez S, Serrano J, Martínez M, Revuelta S, Roca B, Suros E. Elaboración de un cuestionario destinado a la autoevaluación en la formación práctica en enfermería comunitaria. Educ Med 1998; 1: 111-5.         [ Links ]

16. Murdoch ED. Reflective practice skills in undergraduates. Acad Med 2002; 77: 734.         [ Links ]

17. Mazmanian P, Davis D, Galbraith R. Continuing medical education effect on clinical outcomes. Chest 2009; 135 (Suppl): S49-55.         [ Links ]

 

 

Dirección para correspondencia:
Lic. Amanda Galli.
Sociedad Argentina de Pediatría.
Coronel Díaz, 1971.
1425 Buenos Aires, Argentina.
E-mail: amandaelisagalli@gmail.com

Conflicto de intereses: No declarado.