ARTÍCULO ESPECIAL

 

Evaluación mediante una herramienta piloto de la calidad metodológica de una muestra de artículos de investigación publicados en la revista ENE en el periodo 2009-2013

 

 

Enrique Castro-Sánchez (1), Vicente Gea-Caballero (2) y Raúl Juárez-Vela (3)

1. Lead Research Nurse, NIHR Health Protection Research Unit in Healthcare Associated Infection and Antimicrobial Resistance, Imperial College London, Londres, Reino Unido.
2. Profesor Adjunto Universidad Europea de Valencia. Enfermero Comunitario CA Quatretonda (València, España).
3. Doctor en enfermería. Universidad San Jorge, Aragón.

 

 

---

RESUMEN

El aumento de la actividad investigadora liderada y conducida por enfermeras es un hecho sin duda positivo. Sin embargo, es pertinente evaluar la calidad metodológica de las investigaciones publicadas, a fin de identificar áreas susceptibles de progreso, como parte de un proceso de calidad continua, y para justificar de manera transparente el beneficio disciplinar, en los usuarios/comunidades y la sociedad en general, de los resultados de dicha investigación. Para efectuar dicha evaluación se propone el uso de una herramienta piloto que integra diferentes escalas validadas. Los resultados identifican aspectos formales a mejorar en la muestra de estudios evaluada.

Palabras clave: Enfermería, metodología, investigación, calidad, evaluación.

---

ABSTRACT

The increase of research led and managed by nurses is, without a doubt, a positive development. However, it is appropriate to evaluate the methodological quality of the published papers, with a view to identify areas with room for improvement, as part of quality measures, and to openly justify any benefits for the profession, patients and society at large. In order to carry out that evaluation, we propose the use of a novel tool which integrates diverse validated scales. The results suggest different areas related to reporting and conduct of studies which can be improved.

Key words: Nursing, methodology, research, quality, evaluation.

---

 

Introducción

El aumento de la producción científica acerca de la Enfermería llevada a cabo por enfermeras (1) es un hecho a elogiar que refleja la consolidación de este aspecto y roles de la profesión. Además, la consecución de estudios de investigación se perfila como parte esencial de trabajos académicos, desde grado, a maestría y lógicamente doctorado. El desarrollo y culmen de dichas actividades investigadoras se propone a fin de facilitar la puesta en práctica de habilidades adquiridas durante los itinerarios formativos, exponiendo a los alumnos a la experimentación como productores del conocimiento y pruebas científicas, en lugar de ser meros consumidores de dicho conocimiento. Tal experimentación, además, permite apreciar diversas dificultades logísticas, éticas y prácticas que frecuentemente aparecen durante el proceso de investigación.

Sin embargo, la mera consecución de la actividad investigadora, e incluso su difusión a través de publicaciones científicas como ENE, no es o debiera ser suficiente para considerar que la calidad metodológica o exactitud en los elementos formales de las experiencias descritas es suficiente. Algunos manuscritos publicados exhibirán defectos formales, debilidades conceptuales, sesgos en el tratamiento estadístico de los resultados o incluso la presentación de dichos resultados (2-7).

Por tanto, mientras que un número importante y creciente de enfermeras desea, debe o tiene que liderar y participar en el desarrollo de experiencias de investigación, también se hace necesario valorar la calidad de metodológica del producto conseguido. Este aspecto no solo es necesario desde un punto de vista "industrial" (referente a la productividad), relacionado con la idoneidad actual de involucrarse en el proceso continuo de mejora de la calidad de la labor enfermera, sino también como aspecto ético esencial, por tanto que la mayoría de los salarios recibidos por dichas enfermeras provienen del erario público, siendo por tanto legitimo escudriñar la calidad de la investigación producida por las enfermeras.

La evaluación de la calidad metodológica de diversos diseños de investigación se encuentra firmemente enmarcada dentro de la enfermería basada en la evidencia (8). Ya que existen críticas, no sin fundamento (9), sobre la primacía a la hora de considerar los resultados de ciertos abordajes sobre otros, es necesario considerar pues los resultados de investigación en relación al valor que aportan a la hora de responder a la pregunta de investigación deseada. Es posible, lógicamente, que ciertas preguntas de investigación puedan resolverse haciendo uso de metodologías únicas y bien definidas (p. ej. "¿Es el tratamiento A más efectivo que el medicamento B a la hora de reducir la carga viral del VIH?"). Sin embargo, quizás sea más probable hacer uso de diferentes desarrollos de investigación para poder ofrecer respuestas que incorporen aspectos como las preferencias de los pacientes, o los resultados de importancia para ellos ("patient-reported outcomes") (10-14).

Tal necesidad de considerar diversas fuentes de evidencia presentan un dilema para los investigadores, clínicos y decisores en salud que pueden no estar familiarizados, o ser expertos, con la multitud de diseños de investigación y sus correspondientes escalas de calidad o listados de verificación de calidad (15). Ante tal tesitura, se hace recomendable el proponer la utilización de herramientas que permitan, de manera simple y eficiente, valorar la calidad metodológica de diversos tipos de estudios, a fin de considerar la validez de sus resultados y el impacto relativo de fortalezas y debilidades en los resultados ofrecidos por dichos estudios. Lógicamente, tales herramientas serán de menor interés o utilidad para los investigadores muy experimentados en el diseño, preparación, ejecución o evaluación de estudios de investigación.

Por todo lo anterior, llevamos a cabo una evaluación de la calidad metodológica de los artículos de investigación publicados en la revista de enfermería ENE, utilizando una herramienta piloto que aglutina diferentes listados de verificación sobre calidad metodológica y riesgo de sesgo, llamada ICROMS (16).

 

Metodología

Se realizó un estudio descriptivo de la calidad metodológica de una muestra de estudios de investigación publicados en la revista ENE.

Como estudios de investigación consideramos aquellos estudios identificados por Martínez-Casas y cols. (2014) (17) en su estudio bibliométrico de la producción enfermera publicada en la revista de enfermería ENE durante el periodo 2009-2013. La metodología utilizada para la identificación de dichos estudios se encuentra descrita en detalle en el manuscrito referido. En resumen, para la incorporación de artículos en el estudio original, estos debían haber sido publicados en la revista ENE en el periodo comprendido entre Enero 2009 y Diciembre de 2013. Además, debían haber sido metodológicamente definidos como artículos de investigación. Una vez identificados, los artículos fueron descargados de la página web de ENE (http://ene-enfermeria.org/ojs), y examinados tal cual aparecen publicados.

Respecto a la herramienta utilizada para valorar la calidad metodológica y riesgo de sesgo de los artículos, se utilizó ICROMS (REF de lo que significa), empleada por el autor con anterioridad y en otros artículos (18-20) (Anexo I). La herramienta aglutina diferentes herramientas de calidad y sesgo metodológico en un único documento, permitiendo la selección y evaluación de manera rápida y eficaz de diferentes aspectos e indicadores de la calidad metodológica.

 

 

Una vez obtenidos los artículos de investigación, se seleccionaron aquellos estudios para los que existen indicadores de calidad incluidos en la herramienta ICROMS (a saber, estudio aleatorizado, estudio "antes-después" controlado, estudio "antes-después" no controlado, serie temporal interrumpida controlada, serie temporal interrumpida no controlada, estudio prospectivo de cohortes, y estudio cualitativo), y se procedió a su evaluación por parte de 3 enfermeros con experiencia de investigación (2 doctorandos y 1 doctor) y evaluación de la calidad metodológica. Tras este segundo cribado, se efectuó una selección aleatoria de estudios para la evaluación final.

La extracción de datos relevantes se llevo a cabo mediante un formulario electrónico enlazado con una base de datos electrónica. La respuesta para cada ítem se otorgó en base a las etiquetas y definiciones presentes en ICROMS, e incluidas en las tablas 3, 4 y 5. Se calificó como "confuso" el hallazgo de información insuficiente en caso de no cumplir criterios de "información no presente" (en las tablas descritos como "No").

Los resultados se describen de manera narrativa debido a la heterogeneidad de abordajes metodológicos encontrados.

 

Resultados

La tabla 2 muestra la distribución metodológica de los artículos de investigación susceptibles de inclusión en el presente análisis. Tal y como se ha indicado, de tal distribución se eliminaron todos aquellos diseños para los que la herramienta ICROMS en su versión actual no incorpora criterios de calidad y/o riesgo de sesgo.

 

 

Tras el sorteo aleatorio, se obtuvieron 11 estudios (11/40, 27.5% del total de estudios de investigación), descritos como 1 estudio antes-después no controlado, 1 estudio tipo serie temporal interrumpida no controlada, y 9 estudios cualitativos.

Las tablas 3, 4, y 5 presentan las puntuaciones obtenidas por los estudios seleccionados para revisión, de acuerdo a los criterios establecidos en la herramienta ICROMS.

 

Discusión

El análisis descriptivo de la calidad metodológica de una muestra aleatoria de estudios de investigación publicados en la revista de enfermería ENE usando una herramienta piloto de integración de la evidencia, sugiere ciertas áreas de mejora en la conducta o descripción de las experiencias de investigación.

Como limitación inicial de este estudio piloto, la muestra examinada es modesta, considerado el número de manuscritos tipificados como estudios de investigación. Sin embargo, nuestra experiencia se basaba en el uso de una herramienta de valoración de calidad metodológica que aglutina escalas y listados de verificación reconocidos. Por ello, no nos fue posible evaluar la calidad de diseños experimentales para los que no existen indicadores o listados validados o ampliamente utilizados. Al mismo tiempo, este grupo de estudios (mayormente estudios descriptivos transversales) representó la mayor parte de los artículos publicados por la revista, reduciendo el volumen elegible de artículos. Algunos de estos artículos descartados quizás podrían haberse examinado bajo el prisma de las guías de evaluación de estudios observacionales, aunque tal abordaje hubiese requerido la introducción de escalas no integradas en ICROMS, debilitando el objetivo primordial de nuestra herramienta y cuyo fin es facilitar la evaluación metodológica y de riesgo de sesgo para aquellos investigadores noveles no familiarizados con todos los posibles diseños de investigación.

Asimismo, y a pesar de que la herramienta ICROMS ya se ha utilizado como adyuvante en varias revisiones sistemáticas y metanálisis publicados en revistas de alto factor de impacto, admitimos que su utilización aún no se ha extendido globalmente y por tanto requiere de una cantidad mayor de experiencias de uso para consolidar su rendimiento, no sólo a la hora de identificar estudios apropiados sino también para establecer la rigurosidad de los encabezados de definición utilizados.

En cuanto a los resultados obtenidos, el estudio antes-después no controlado parece adolecer de mecanismos de prevención o protección frente a sesgos metodológicos que pudiesen deteriorar las conclusiones basadas en los resultados obtenidos. Particularmente para un estudio antes-después, parece preocupante la falta de claridad respecto a las mediciones temporales, fuera de las recomendaciones establecidas en los criterios.

De igual manera, la serie temporal interrumpida no controlada se ve penalizada por la falta de protección frente a diferentes sesgos. Dicha fragilidad metodológica se ve potenciada, además, por la falta de detalles indicando el proceso de selección de la muestra en particular, o la obtención de robustas medidas basales iniciales. Cada una de estas amenazas resulta en una incertidumbre importante sobre la solidez de los resultados obtenidos, el potencial de replicabilidad de dichos resultados y su aplicabilidad en otros entornos.

Respecto a las metodologías cualitativas, que han resultado ser el grueso de nuestro análisis, obtenemos una perspectiva mixta. Por un lado, los aspectos formales de los estudios se encuentran bien, y apropiadamente identificados y descritos, particularmente los elementos referidos a la justificación del abordaje metodológico y el diseño final de investigación seleccionado. Sin embargo, los aspectos interpretativos como la solidez de la interpretación del resultado, los análisis, la presencia de reflexividad y/o la descripción selectiva de resultados, se hallaban peor representados. Uno de nuestros inesperados hallazgos hizo referencia a la laxitud de las descripciones de los aspectos éticos de los estudios. Dicha reflexión no es una crítica, por otro lado, a la conducta o desarrollo ético de los estudios, tan solo que tal elemento se encuentra descrito de manera limitada, si acaso presente, en las experiencias examinadas.

Entre las razones que pudieran explicar los hallazgos, es posible que limitaciones editoriales, en cuanto a limitaciones de palabras para cada manuscrito, temáticas preferidas o diseños de investigación favoritos para la revista empujen a los autores a dejar fuera de sus artículos los elementos considerados a priori menos importantes, para centrar sus esfuerzos en describir los resultados de investigación. Las limitaciones de espacio parecen menos acuciantes, sin embargo, en publicaciones electrónicas como ENE que teóricamente no se encuentran circunscritas a un número determinado de páginas.

Por otro lado, y como apuntado por Martínez-Casas y cols. (2014) (op.cit), la revisión de la actividad investigadora de ENE puede sugerir un ímpetu por publicar a pesar de dificultades logísticas, embarcándose en diseños de investigación complejo que requieren apoyo. Por otro lado, y como hemos comentado, la ausencia de una variedad de estudios sugiere que quizás los autores opten por revistas de mayor tradición o impacto a la hora de publicar los resultados de dichas investigaciones.

En definitiva, evaluar la calidad metodológica de investigaciones publicadas en la revista ENE a través del uso de una herramienta piloto permite apreciar áreas tanto formales como conceptuales susceptibles de mejora en los diseños de investigación descritos, contribuyendo con dicha actividad a incrementar la validez de los resultados de dichas investigaciones, y con el resultado final esperado de resolver, de manera más fehaciente, a las preguntas de investigación originales.

 

Referencias

1. ISCIII. Nursing Research In Europe Scoping Report. Disponible en http://www.isciii.es/ISCIII/es/contenidos/fd-el-instituto/fd-organizacion/fd-estructura-directiva/fd-subdireccion-general-redes-centros-investigacion2/fd-centros-unidades2/fd-investen-isciii-2/docus/investen_NursingResearchInEurope.pdf.         [ Links ]

2. Saini, P., Loke, Y.K., Gamble, C., Altman, D.G., Williamson, P.R., Kirkham, J.J. Selective reporting bias of harm outcomes within studies: findings from a cohort of systematic reviews. BMJ 2014;21;349:g6501.         [ Links ]

3. France, E.F., Ring, N., Thomas, R., Noyes, J., Maxwell, M., Jepson, R. A methodological systematic review of what's wrong with meta-ethnography reporting. BMC Med Res Methodol 2014; 19;14(1):119.         [ Links ]

4. Page, M.J., McKenzie, J.E., Kirkham, J., Dwan, K., Kramer, S., Green, S., Forbes, A. Bias due to selective inclusion and reporting of outcomes and analyses in systematic reviews of randomised trials of healthcare interventions. Cochrane Database Syst Rev 2014;10:MR000035. doi: 10.1002/14651858.MR000035.pub2.         [ Links ]

5. Partridge, S.R., Juan, S.J., McGeechan, K., Bauman, A., Allman-Farinelli, M. Poor quality of external validity reporting limits generalizability of overweight and/or obesity lifestyle prevention interventions in young adults: a systematic review. Obes Rev2014 Nov 18. doi: 10.1111/obr.12233.         [ Links ]

6. Vähänikkilä, H., Tjäderhane, L., Nieminen, P. The statistical reporting quality of articles published in 2010 in five dental journals. Acta Odontol Scand 2014;1-5.         [ Links ]

7. Guo, J.W., Iribarren, S.J. Reporting quality for abstracts of randomized controlled trials in cancer nursing research. Cancer Nurs 2014; Nov-Dec;37(6):436-44. doi: 10.1097/NCC.0000000000000112.         [ Links ]

8. Jovell, AJ., Navarro-Rubio, MD. Evaluación de la evidencia científica. Med Clin (Barc). 1995; 105:740-743.         [ Links ]

9. Trisha Greenhalgh, T., Howick, J., Maskrey, N. Evidence based medicine: a movement in crisis?. BMJ 2014;348:g3725.         [ Links ]

10. Scoggins, J.F., Patrick, D.L. The use of patient-reported outcomes instruments in registered clinical trials: evidence from ClinicalTrials.gov. Contemp Clin Trials 2009; 30(4):289-92.doi:10.1016/j.cct.2009.02.005.         [ Links ]

11. Varagunam, M., Hutchings, A., Black, N. Do patient-reported outcomes offer a more sensitive method for comparing the outcomes of consultants than mortality? A multilevel analysis of routine data. BMJ Qual Saf 2014;bmjqs-2014-003551. doi: 10.1136/bmjqs-2014-003551.         [ Links ]

12. Lewis, M.A., Bann, C.M., Karns, S.A., Hobbs, C.L., Holt, S., Brenner, J., Fleming, N., Johnson, P., Langwell, K., Peek, M.E., Burton, J.A., Hoerger, T.J., Clark, N.M., Kamerow, D.B. Cross-site evaluation of the alliance to reduce disparities in diabetes: clinical and patient-reported outcomes. Health Promot Pract 2014;15(Suppl 2):92S-102S.doi: 10.1177/1524839914545168.         [ Links ]

13. Tucker, C.A., Escorpizo, R., Cieza, A., Lai, J.S., Stucki, G., Ustun, T.B., Kostanjsek, N., Cella, D., Forrest C.B. Mapping the content of the Patient-Reported Outcomes Measurement Information System (PROMIS^®) using the International Classification of Functioning, Health and Disability. Qual Life Res 2014;23(9):2431-8. doi: 10.1007/s11136-014-0691-y.         [ Links ]

14. Bylicki, O., Gan, H.K., Joly, F., Maillet, D., You, B., Péron, J. Poor patient-reported outcomes reporting according to CONSORT guidelines in randomized clinical trials evaluating systemic cancer therapy. Ann Oncol 2014; Oct 29. pii: mdu489.         [ Links ]

15. Higgins, J.P.T., Green, S. Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0. Disponible en www.cochrane-handbook.org.         [ Links ]

16. Zingg, W., Castro-Sánchez, E., Secci, F., Edwards, R., Drumright, L.D., Sevdalis, N., Holmes, A.H. Innovative tools for quality assessment: Integrated Quality Criteria for Review of Multiple Study Designs (ICROMS). Public Health (en prensa).         [ Links ]

17. Martínez Casas, J.M, Castro-Sánchez, E, Medina García, J. Análisis de la producción científica de la revista de enfermería ENE en los años 2009-2013. Rev ENE Enferm 2014;8(3) Disponible en http://eneenfermeria.org/ojs.         [ Links ]

18. Edwards, R., Charani, E., Sevdalis, N., Alexandrou, B., Sibley, E., Mullett, D., Loveday, H., Drumright, L., Holmes, A. Optimisation of infection prevention and control in acute; health care by use of behaviour change: a systematic review. Lancet Inf Dis 2012; 12(4): 318-329.         [ Links ]

19. Charani, E., Edwards, R., Sevdalis, N., Alexandrou, B., Sibley, E., Mullett, D., Dean Franklin, B., Holmes, A. Behavior change strategies to influence antimicrobial prescribing in acute; care: a systematic review. Clin Infect Dis 2011 Oct;53(7):651-62.         [ Links ]

20. Walter Zingg, W., Holmes, A., Dettenkofer, M., Goetting, T., Secci, F., Clack, L., Allegranzi, B., Magiorakos, A.P., Pittet, D. Hospital organisation, management, and structure for prevention of health-care-associated infection: a systematic review and expert consensus. Lancet Inf Diseases 2014 doi:10.1016/S1473-3099(14)70854-0.         [ Links ]