NOTA METODOLÓGICA

 

Instrumento para la lectura crítica y la evaluación de estudios epidemiológicos transversales

Aroot for the critical appraisal of epidemiological cross-sectional studies

 

 

Silvina Berra^a,b, Josep Maria Elorza-Ricart^c, Maria-Dolors Estrada^a,b, Emilia Sánchez^a,b

^aAgència d'Avaluació de Tecnologia i Recerca Mèdiques (AATRM), Barcelona, España.
^bCIBER Epidemiología y Salud Pública (CIBERESP), España
^cEAP Gòtic, Institut Català de la Salut, Barcelona, España.

Dirección para correspondencia

 

 

---

RESUMEN

El objetivo de este trabajo fue desarrollar un instrumento para la evaluación de la calidad de los estudios epidemiológicos transversales. Se tuvieron en cuenta diferentes recomendaciones e instrumentos de valoración de estudios observacionales, como los de la Agency for Healthcare Research and Quality, el Scottish Intercollegiate Guidelines Group, el Osteba (Servicio de Evaluación de Tecnologías Sanitarias del País Vasco) y la iniciativa STROBE. El instrumento consta de 27 ítems para evaluar: pregunta u objetivo de investigación, participantes, comparabilidad entre los grupos estudiados, definición y medición de las variables principales, análisis y confusión, resultados, conclusiones, validez externa y aplicabilidad de los resultados, y conflicto de interés. Este instrumento puede utilizarse para la lectura crítica de artículos originales o en la elaboración de revisiones sistemáticas de la evidencia científica.

Palabras clave: Lectura crítica. Estudios transversales. Revisión sistemática.

---

ABSTRACT

The aim was to develop a tool for the critical appraisal of epidemiological cross-sectional studies. Several recommendations or guidelines for assessing the strength of scientific evidence provided by observational studies were reviewed, like those from the Agency for Healthcare Research and Quality, the Scottish Intercollegiate Guidelines Group, the Osteba (Basque Office for Health Technology Assessment), and the STROBE Initiative. The tool has 27 items to assess: study question or objective, participants, comparability between groups, definition and measure of main variables; analysis and confusion, results, conclusions, external validity and applicability, and conflict of interest. This tool can be used to critically appraise research papers or to rate evidence during the elaboration of systematic reviews.

Key words: Critical appraisal. Cross-sectional studies. Systematic review.

---

 

Introducción

La evaluación y la síntesis del mejor conocimiento disponible sobre un tema forma parte actualmente de la práctica profesional habitual. Éste es un aspecto primordial del método empleado en la elaboración de una revisión sistemática de la evidencia científica (RSEC). El propósito de la lectura y la evaluación crítica de la literatura (critical appraisal) es clasificar la evidencia proporcionada por cada una de las publicaciones, según niveles jerárquicos, considerando tanto el diseño como el rigor metodológico del estudio.

Así, en investigaciones sobre la eficacia de una determinada intervención, un estudio clínico aleatorizado ofrece una evidencia superior a un estudio de casos y controles. De igual manera, un estudio clínico con baja probabilidad de sesgos debe proporcionar un mayor nivel de evidencia respecto a uno mal diseñado y que podría mostrar resultados no válidos.

Si tenemos en cuenta que la toma de decisiones se basa en los resultados de los diferentes estudios, o en las conclusiones de las RSEC o los metaanálisis que las incluyen, salta a la vista la importancia de disponer de instrumentos que evalúen y permitan clasificar de forma adecuada la evidencia. Por ello, se han ido desarrollando numerosos sistemas e instrumentos con el objetivo de evaluar la calidad de la evidencia¹. Los instrumentos (cheklists) incluyen ítems o preguntas para guiar la lectura crítica y analizar la validez interna, los resultados y la validez externa de los estudios.

Por su génesis en la necesidad de contribuir a la toma de decisiones en la práctica clínica, estos instrumentos se han dirigido a estudios de carácter analítico, como los estudios clínicos aleatorizados, los estudios de cohortes y los estudios de casos y controles, así como también a estudios de pruebas diagnósticas, evaluaciones económicas y series de casos, además de a las mismas revisiones sistemáticas¹. En cambio, para otros tipos de diseños epidemiológicos, como los transversales, no se han desarrollado instrumentos de evaluación tan sistematizados.

Muchos problemas de interés en el campo de la salud pública, como conocer la frecuencia de un determinado estado de salud en la población, las desigualdades sociales en salud, el acceso a los servicios sanitarios o la evaluación de intervenciones preventivas, se abordan, a menudo, mediante estudios epidemiológicos descriptivos transversales. En este sentido, se han señalado las limitaciones de los estudios aleatorizados² y se ha indicado la necesidad de evaluar la credibilidad y el impacto de ciertas intervenciones mediante estudios con grupo de comparación y buen control de la confusión³. Por otra parte, algunos estudios transversales podrían tratarse como analíticos (cohortes o casos y controles) si plantean una asociación de determinación entre variables⁴. Por ejemplo, algunas variables, como la clase social o la migración, pueden considerarse determinantes de la salud o del acceso a los servicios sanitarios en una investigación de diseño transversal.

El objetivo de este trabajo fue desarrollar un instrumento para la evaluación de la calidad de estudios epidemiológicos transversales. El instrumento debe facilitar la lectura crítica y la valoración de los elementos respecto a la validez interna, la precisión y la utilidad de sus resultados.

 

Métodos

Se definen como epidemiológicos transversales los estudios en que las mediciones de las variables de interés se realizan en un mismo momento para las unidades de estudio incluidas^5,6. Habitualmente, estos estudios tienen la finalidad de estimar la frecuencia (prevalencia) de un estado o situación, o una medida de asociación (odds ratio, o razón de prevalencias) entre una exposición y un resultado, aunque no se disponga de seguimientos temporales⁶.

En la elaboración de este instrumento se tuvieron en cuenta las recomendaciones para la evaluación de la fuerza de la evidencia proveniente de estudios observacionales, según las conclusiones de la Agency for Healthcare Research and Quality¹ y los ítems incluidos en otros instrumentos de uso más frecuente en España, como los del Scottish Intercollegiate Guidelines Group⁷ y Osteba (Servicio de Evaluación de Tecnologías Sanitarias del País Vasco)⁸. Además, se tuvieron en consideración las recomendaciones para procesos editoriales de revisión de artículos epidemiológicos de la iniciativa STROBE^6,9. Los criterios considerados importantes se formularon como enunciados afirmativos.

 

Aplicación práctica y discusión

El instrumento tiene en total 27 ítems en las siguientes dimensiones de la evaluación de la evidencia científica (tabla 1): a) pregunta u objetivo de investigación (1 ítem); b) participantes (5 ítems); c) comparabilidad entre los grupos estudiados (4 ítems); d) definición y medición de las variables principales (4 ítems); e) análisis estadístico y confusión (4 ítems); f) resultados (4 ítems); g) conclusiones, validez externa y aplicabilidad de los resultados (4 ítems), y h) conflicto de intereses (1 ítem).

Sobre cada ítem el lector anota en qué medida se cumple tal criterio («muy bien», «bien», «regular» o «mal»), o si este aspecto «no está informado» o «no aplica» para el estudio en cuestión. Además, se ha confeccionado un enunciado resumen para cada dimensión y un enunciado para la evaluación global sobre la validez interna del estudio, que comprende las dimensiones «b» a «e». Finalmente, a partir de los enunciados resumen, el evaluador puede hacer una calificación global de la calidad del estudio. Para ello, se recomienda tener en cuenta las siguientes premisas: la calidad del estudio es «alta» si la mayoría de los enunciados resumen se responden como «muy bien» o «bien»; «media» si la validez interna es calificada como «regular» o la mayoría de los enunciados resumen se responden como «bien» o «regular»; y «baja» si la validez interna es calificada como «mal» o la mayoría de los enunciados resumen se responden como «regular» o «mal». Esta clasificación global puede utilizarse para decidir la inclusión o exclusión de artículos en una RSEC, quizás descartando los considerados de «baja» calidad.

En el futuro debe llevarse a cabo un análisis de la validez de criterio del instrumento, especialmente para recomendar su utilización y excluir los artículos de baja calidad, así como también su fiabilidad intra/interobservador. Por el momento, este desconocimiento es una limitación importante del presente trabajo.

Inicialmente este instrumento se desarrolló con la finalidad de cubrir la necesidad de evaluar artículos originales sobre la salud, el acceso y el uso de los servicios sanitarios de la población inmigrante respecto a la población autóctona, pero se concibió genéricamente, de manera que pueda ser útil para leer de forma crítica artículos originales de estudios epidemiológicos transversales sobre otros temas. Asimismo, se podría avanzar, mediante algunas adaptaciones, en el diseño de un instrumento similar para estudios descriptivos longitudinales (p. ej., series de casos) o estudios casi experimentales (p. ej., estudios antes-después o ensayos comunitarios no aleatorizados).

 

Agradecimientos

Este trabajo se ha realizado en el marco de colaboración previsto en el Plan de Calidad para el Sistema Nacional de Salud, al amparo del convenio de colaboración suscrito por el Instituto de Salud Carlos III, organismo dependiente del Ministerio de Sanidad y Consumo, y la Agència d'Avaluació de Tecnologia i Recerca Mèdiques (AATRM). Proyecto: «Salud y uso de los servicios sanitarios de inmigrantes en España. Revisión sistemática de la evidencia científica».

 

Bibliografía

1. West S, King V, Carey TS, et al. Systems to rate the strength of scientific evidence. Evidence report/technology assessment Nº 47 (prepared by the Research Triangle Institute-University of North Carolina Evidence-based Practice Center under Contract N.º 290-97-0011). AHRQ Publication N.º 02-E016. Rockville: Agency for Healthcare Research and Quality; 2002.        [ Links ]

2. Victora CG, Habicht JP, Bryce J. Evidence-based public health: moving beyond randomized trials. Am J Public Health. 2004;94:400-5.        [ Links ]

3. Habicht JP, Victora CG, Vaughan JP. Evaluation designs for adequacy, plausibility and probability of public health programme performance and impact. Int J Epidemiol. 1999;28:10-8.        [ Links ]

4. Vandenbroucke JP, Von Elm E, Altman DG, Gøtzsche PC, Mulrow CD, Pocock SJ, et al, for the STROBE Initiative. Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): explanation and elaboration. PLoS Med. 2007; 4:e297.        [ Links ]

5. Last JM, editor. A dictionary of epidemiology. 4th ed. New York: Oxford University Press; 2001.        [ Links ]

6. Von Elm E, Altman DG, Egger M, Pocock SJ, Gøtzsche PC, Vandenbroucke JP, en nombre de la Iniciativa STROBE. Declaración de la Iniciativa STROBE (Strengthening the Reporting of Observational Studies in Epidemiology): directrices para la comunicación de estudios observacionales. Gac Sanit. 2008:22:144-50.        [ Links ]

7. Scottish Intercollegiate Guidelines Group. A guideline developers' handbook. Edinburgh: SIGN; 2001. Publication N.º 50.        [ Links ]

8. López de Argumedo M, Rico R, Andrio E, Reviriego E, Hurtado de Saracho I, Asua J. OstFLCritica. Fichas de lectura crítica de la literatura científica. Vitoria-Gasteiz: Osteba-Servicio de Evaluación de Tecnologías Sanitarias. Departamento de Sanidad. Gobierno Vasco; 2006.        [ Links ]

9. Fernández E, Cobo E, Guablar-Castillón P. La declaración STROBE o cómo mejorar la presentación de los estudios observacionales. Gac Sanit. 2008;22:87-9.        [ Links ]

 

 

Dirección para correspondencia:
Silvina Berra.
Agència d'Avaluació de Tecnologia i Recerca Mèdiques (AATRM).
Roc Boronat, 81-95, 2ª planta.
08005 Barcelona. España.
Correo electrónico: sberra@aatrm.catsalut.net

Recibido: 28 de diciembre de 2007.
Aceptado: 4 de febrero de 2008.