Validación de un instrumento para la evaluación de la interpretación de los resultados de estudios de investigación en los residentes de un hospital universitario

Validation of an instrument to assess research critical appraisal skills in residents in a university hospital

Rodolfo Pizarro, Alfredo Eymann, Fernando Rubinstein, César Belziti, Marcelo Figari, Osvaldo Blanco, Eduardo Durante

Comité de Investigación en Educación Médica (R. Pizarro, A. Eymann, C. Belziti, M. Figari, O. Blanco, E. Durante). Comité de Investigación Clínica (F. Rubinstein). Hospital Italiano de Buenos Aires. Buenos Aires, Argentina.

Dirección para correspondencia

RESUMEN

Objetivo. Validar por el método de grupos extremos un instrumento para evaluar la interpretación de las pruebas estadísticas más utilizadas en residentes de un hospital universitario.
Sujetos y métodos. Respondieron 272 residentes. La media de respuestas correctas fue del 45%.
Resultados. No hubo diferencias entre género, especialidad ni años de formación. La fiabilidad fue aceptable (alfa = 0,83) y la diferencia entre grupos extremos fue significativa (0,45 frente a 0,91).
Conclusiones. Los residentes mostraron déficits en interpretación crítica de estudios de investigación, hallazgo que es consistente con otros centros internacionales.

Palabras clave: Educación médica. Estadística. Internado. Interpretación de datos. Residencia.

ABSTRACT

Aim. To validate an instrument to assess research critical appraisal skills in residents in a university hospital by the extreme groups method.
Subjects and methods. 272 residents completed the questionnaire. The mean of correct answers was 45%. ]]> Results. No significant differences between gender, specialty or post-graduate year were found. Reliability (alpha = 0.83) was acceptable and difference between extreme groups was significant (0.45 vs. 0.91).
Conclusions. Residents showed poor skills to interpret typical results of clinical studies, finding consistent with other countries.

Key words: Data interpretation. Internship. Medical education. Residency. Statistical.

Introducción

La información médica que hoy en día se publica en revistas de interés científico es abundante. En este contexto, la habilidad para interpretar críticamente los estudios de investigación resulta ser esencial con el objeto de ofrecer a los pacientes una atención médica de alta calidad [1,2].

Evaluar adecuadamente lo relevante de esta información requiere que el médico sea capaz de reconocer los distintos diseños de investigación, interpretar las pruebas estadísticas más frecuentemente utilizadas y comprender cómo se informan los resultados.

Un estudio [1] realizado en 11 programas de residencias de Medicina Interna en Connecticut (EE. UU.) y otro en Dinamarca [3], ambos utilizando una prueba de elección de opciones múltiples, han demostrado que los médicos sin entrenamiento formal en epidemiología y estadística presentaban una pobre comprensión de las pruebas estadísticas más utilizadas y una interpretación limitada de los resultados de las investigaciones. Sólo el 21% de los médicos era capaz de analizar correctamente los artículos de investigación presentados. A partir de estos estudios y de una encuesta realizada a los directores de programa de residencias en EE.UU. [4] surge una fuerte recomendación de tener en cuenta un entrenamiento más efectivo en este campo en el diseño de los programas de formación del médico residente.

En este escenario nos hemos propuesto desarrollar y validar un instrumento que permita conocer la situación actual de los médicos residentes del Hospital Italiano, un hospital universitario de la Ciudad de Buenos Aires, con respecto a esta cuestión.

- Principal: diseñar y validar un instrumento que permita evaluar la habilidad de los médicos residentes para interpretar los resultados de estudios de investigación.

- Secundario: evaluar con dicho instrumento la habilidad de los médicos residentes para interpretar los resultados de estudios de investigación publicados en revistas científicas.

Sujetos y métodos

Muestra

Médicos residentes del Hospital Italiano de Buenos Aires, Argentina.

Diseño del instrumento

Para conocer el nivel de formación previo en epidemiología y bioestadística de los médicos residentes se administró una encuesta anónima diseñada a tal fin.

Para evaluar el nivel actual de conocimientos de los médicos residentes se diseñó un examen de preguntas con múltiples opciones de respuesta. Con la finalidad de dar 'validez de contenido' al examen se llevó a cabo una consulta a expertos de diferentes especialidades para identificar las revistas más importantes de cada especialidad (New England Journal of Medicine, Lancet, JAMA, Annals of Internal Medicine, American Journal of Surgery, Circulation, Obstetrics and Gynecology, Pediatrics). Luego, con esta información, dos expertos en epidemiología revisaron de forma independiente 30 artículos publicados en el último año en las revistas sugeridas, clasificando los diseños de los estudios y los métodos estadísticos (Tabla I) utilizados con mayor frecuencia para así construir una tabla de especificaciones. De acuerdo con esta tabla, se elaboró un examen tipo cuestionario que incluyó finalmente 5 ítems con cuatro opciones de respuesta sobre los siguientes aspectos: diseño de estudios, informe de medidas de efecto e impacto, estadística descriptiva -media ± desviación estándar, tipos de datos, interpretación de intervalos de confianza (IC), etc.-, sensibilidad y especificidad de pruebas diagnósticas e interpretación de comunicaciones de análisis multivariable y sobrevida. Posteriormente, expertos en educación analizaron el instrumento y sugirieron cambios en algunos de los ítems. Por último, se realizó una prueba piloto en una población semejante (n = 24) al grupo de residentes a investigar, que permitió realizar los ajustes finales.

Para asegurar la validez de constructo, se utilizó el método de grupos extremos [5]. Se definió como grupo extremo a licenciados de una Maestría de Efectividad Clínica, que incluye en su programa una intensa formación en estadística y epidemiología.

Se adjuntan la encuesta (anexo 1) y el examen (anexo 2).

Implementación del proceso de evaluación

El Departamento de Docencia e Investigación, a través de los responsables de los programas de residencia de cada especialidad, invitó a participar en el estudio a los médicos residentes. El examen se realizó de forma presencial en días optativos y fue administrado por los respectivos jefes de residentes o responsables de los programas formativos durante el transcurso de una semana. Tanto la encuesta como el examen fueron anónimos.

Análisis de los datos

Se analizaron las siguientes variables de la encuesta: sexo, edad, año de graduación, universidad de origen (universidad pública o privada), tipo de especialidad (clínica, quirúrgica u otra), año de residencia, formación previa en epidemiología, experiencia en investigación clínica, dedicación a la lectura de revistas científicas, percepción de la importancia y autoevaluación de conocimientos sobre estadística.

En el examen de conocimientos, cada participante obtuvo una puntuación resultante de la suma de las respuestas correctas del examen. La puntuación final obtenida se expresó como porcentaje de respuestas correctas, cada una de ellas con igual ponderación. Los datos faltantes (ausencia de respuesta) se contabilizaron como respuestas incorrectas.

En relación a los ítems sobre epidemiología y bioestadística del examen de conocimientos, estos se agruparon en tres dominios (diseño, estadística y efecto/impacto) para facilitar el análisis estadístico.

Con el fin de evaluar la fiabilidad de los resultados de la prueba se utilizó el coeficiente α de Cron-bach y las correlaciones ítem-total.

Para el análisis estadístico se empleó el programa estadístico Stata v. 8.0, y para controlar el sesgo de contaminación (copia entre los residentes) de los resultados, el programa Acinonyx [6].

Resultados

Durante la primera semana de junio de 2009, 272 residentes del Hospital Italiano (90,6% del total de residentes) respondieron la encuesta y realizaron el examen. Las características de los residentes y los resultados de la encuesta se muestran en la tabla II.

Se encontraron diferencias significativas en el porcentaje de respuestas correctas al comparar la categoría 'diseño de estudios' con la de 'estadística y efecto/impacto': 0,65 ± 0,26 frente a 0,37 ± 0,21 (p < 0,01) y frente a 0,43 ± 0,24 (p < 0,02), respectivamente. No se hallaron diferencias significativas en la proporción de respuestas correctas en relación al género, la universidad de origen, entre los que participaron o no en cursos de medicina basada en la evidencia (MBE) o entre quienes decían dedicar más de dos horas semanales de lectura. Tampoco se encontraron diferencias entre los distintos años de formación, ni entre especialidades: clínicas, 41,6%; quirúrgicas, 47,3 %; otras, 47,2% (Tabla III).

Cuando se evaluó al grupo extremo (n = 24), compuesto de licenciados del programa de efectividad clínica (edad promedio: 45 ± 9 años; 83% de sexo masculino; 62.5% con cinco o más años de graduación), el porcentaje de respuestas correctas fue de 0,91 ± 0,07 (IC 95% = 0,78-0,97). Al compararlo con el porcentaje de respuestas del grupo de los residentes se encontró una diferencia significativa.

Doscientos treinta y un residentes (85%) consideraron que era importante aprender bioestadística, pero no comprendían de forma adecuada los términos estadísticos hallados en la bibliografía médica.

Al evaluar la fiabilidad del examen, el coeficiente α de Cronbach fue de 0,83 y en todos los ítems la correlación ítem-total fue mayor de 0,20.

Con el programa Acinonyx no se identificaron pruebas con resultados correctos similares, sugestivos de copia entre los residentes.

Los resultados de esta investigación evidencian que nuestro instrumento es válido y fiable. La validez de contenido fue asegurada por la selección sistemática de los métodos estadísticos utilizados más frecuentemente por las revistas consultadas. La validez de constructo quedó demostrada por la diferencia de puntuación entre los residentes, uno de los grupos extremos y los expertos de estadística del otro grupo extremo.

La fiabilidad resulta aceptable porque el coeficiente α de Cronbach fue superior a 0,8 y la correlación ítem-total, superior a 0,20. Nuestro instrumento es equivalente al norteamericano [1], que mostró un alfa de Cronbach de 0,81 y una validez discriminativa entre grupos extremos similar a la hallada en nuestro estudio.

No hubo contaminación, ya que el programa Acinonyx no detectó parejas de residentes cuyos resultados en el examen tuvieran una coincidencia más allá del azar.

En este estudio, el 75% de los residentes encuestados piensa que es importante aprender conceptos de epidemiología y bioestadística. Sin embargo, sólo el 20% cree estar capacitado para comprender los términos estadísticos.

La media de aciertos de la prueba del grupo de residentes fue del 45%, comparable con los resultados del estudio norteamericano [1], que mostró un porcentaje de aciertos de 41,4%, y del estudio danés, que reflejó un 46,7% de aciertos [3]. En nuestro grupo de residentes, no hubo diferencias en relación al género ni otras características como la edad y universidad a la que concurrieron. Los residentes que comunicaron una formación previa en cursos de estadística, epidemiología o MBE no obtuvieron puntuaciones en la prueba con diferencias estadísticamente significativos respecto de aquellos que no comunicaron una formación previa. A diferencia de nuestro estudio, en el de Connecticut [1] se demostraron diferencias en el porcentaje de respuestas correctas en relación al género y la formación previa en estadística y epidemiología. Este hallazgo puede relacionarse con el hecho de que este estudio se realizó en 11 programas de residencia de una sola especialidad (medicina interna) y no consideró la diversidad de especialidades.

Entre las limitaciones del presente estudio debe considerarse, en primer lugar, el limitado espectro de exploración de conocimientos de epidemiología y estadística. En segundo lugar, este trabajo se limita a residentes que cumplen un programa de formación clínica o quirúrgica y no puede generalizarse a los médicos con mayor experiencia del mismo centro asistencial.

Estos resultados invitan a desarrollar un programa de formación dirigido a los médicos residentes con el fin de que adquieran las competencias necesarias para la lectura crítica de la bibliografía. Ya existen experiencias de formación en MBE en Argentina con metodologías docentes probadas, como los talleres CASP (Critical Appraisal Skill Programme) o los cursos de MBE y bioestadística del Instituto Universitario del Hospital Italiano de Buenos Aires.

Agradecimientos:

Bibliografía

1. Windish DM, Huot SJ, Green ML. Medicine residents' understanding of the biostatistics and results in the medical literature. JAMA 2007; 298: 1010-22.         [ Links ]

2. Horton NJ, Switzer SS. Statistical methods in the journal. N Engl J Med 2005; 353: 1977-9.         [ Links ]

3. Green ML. Evidence-based medicine training in internal medicine residency programs: a national survey. J Gen Intern Med 2000; 15: 129-33.         [ Links ]

4. Wulff HR, Andersen B, Branderhoff P, Guttier F. What do doctors know about statistics? Stat Med 987; 6: 3-10.         [ Links ]

5. Streiner DL, Norman GR. Health measurement scales: a practical guide to their development and use. 4 ed. London: Oxford University Press; 2008.         [ Links ]

6. McManus IC, Lissauer T, Williams SE. Detecting cheating in written medical examinations by statistical analysis of similarity of answers: pilot study. BMJ 2005; 330: 1064-6.         [ Links ]

Dirección para correspondencia:
Dr. Eduardo Durante.
Comité de Investigación en Educación Médica. ]]> Hospital Italiano de Buenos Aires.
Gascón, 450. 1181 Buenos Aires, Argentina.
E-mail: eduardo.durante@hospitalitaliano.org.ar