COLABORACIÓN ESPECIAL

Aportaciones de la revisión sistemática y del metaanálisis a la salud pública

Contributions of Systematic Review and Meta-Analysis to Public Health

Miguel Delgado Rodríguez y Silvia Palma Pérez

Área de Medicina Preventiva y Salud Pública. Universidad de Jaén.

Dirección para correspondencia:

RESUMEN

El metaanálisis tiene precedentes, incluso en Confucio (siglo VI AC) se puede apreciar una frase relativa a la síntesis del conocimiento. El metaanálisis es fruto del paradigma inductista de investigación que nos gobierna. Dentro de él nos ofrece un análisis del principio de consistencia para una asociación causal (2º principio de Hill). Ha motivado el desarrollo de cuestionarios y protocolos de evaluación de diferentes tipos de diseños, principalmente de ensayos clínicos. Todo esto fue uno de los detonantes de lo que se ha dado en llamar medicina basada en la «evidencia» (mejor «pruebas» en castellano). Ha impulsado la creación de agencias de evaluación de tecnologías sanitarias y favorecido el reconocimiento de los profesionales de salud pública más conocedores del método de investigación. Sus contribuciones a la salud pública no se pueden separar de las realizadas en otras especialidades, pero en el campo de la metodología de investigación ha contribuido de manera decisiva al estudio del sesgo de publicación y la búsqueda de variables que influyen en la heterogeneidad, la existencia de discrepancia entre los estudios individuales.

Palabras clave: Metaanálisis. Revisiones sistemáticas.

ABSTRACT

Meta-analysis has several precedents; even in Confucius (VI BC) one can found a sentence about the synthesis of knowledge. Meta-analysis is a consequence of the paradigm of induction. Within this paradigm of research, meta-analysis gives an analysis of the principle of consistency of a causal association (2^nd principle of Hill). It has promoted the development of evaluation questionnaires and protocols for different designs, mainly clinical trials. It favoured the movement of evidence-based medicine, which is behind the creation of agencies for the evaluation of health technologies, and the recognition of public health professionals dedicated to research methods (mainly epidemiologists). The contributions of meta-analysis to public health are not distinguishable from others made to other specialties, although in the field of research methods it has contributed to the study of publication bias and to the search of determinants of heterogeneity, the lack of consistency among the individual studies.

Key words: Meta-analysis, systematic reviews.

Introducción

Los epidemiólogos, dentro de los salubristas, son los más inclinados a importar o crear nuevos métodos de investigación que intenten arrojar algo más de luz al estudio de los determinantes de la enfermedad. Uno de esos procedimientos traídos a la salud pública por los epidemiólogos ha sido el metaanálisis. El metaanálisis no fue una técnica originada en el seno de la salud pública. El término fue acuñado por Glass en 1976, un psicólogo de la educación¹.

Desde esa fecha muchos han querido ver precedentes de este procedimiento en autores de prestigio. En diferentes artículos y libros se ha ido retrocediendo cada vez más en el tiempo. Primero fue un trabajo de MacMahon y Hutchison, en el que exponían una tabla comparativa de diferentes estudios que habían valorado el riesgo de cáncer infantil producido por los rayos X recibidos in utero². Con posterioridad fue un trabajo pionero de Goldberger en 1907, el investigador de la pelagra, sobre infección urinaria en la fiebre tifoidea³. Egger et al⁴ escriben que el primer texto de combinación de evidencias fue realizado por un astrónomo inglés, George Biddell Airy, en 1861. Los mismos autores refieren el trabajo en 1904 del estadístico inglés Karl Pearson, que agrupó las estadísticas de las instalaciones militares y médicas de Sudáfrica y la India y concluyó que la vacunación contra la fiebre intestinal no era lo suficientemente eficaz para recomendar su uso. Más tarde, en los años veinte, el genetista y estadístico inglés Ronald Fisher aplicó un análisis estadístico a los diferentes experimentos realizados durante sesenta años en la estación experimental de agricultura de Rothamstead. Iain Chalmers, en una conferencia pronunciada el 10-9-2004 en un curso de medicina basada en la evidencia en Oxford, ve precedentes del metaanálisis en dos obras relevantes del siglo XVIII. Una es el tratado del escorbuto de James Lind en 1754 en el que afirmaba «As it is no easy matter to root out prejudices, .... it became requisite to exhibit a full and impartial view of what had hitherto been published on the scurvy...» («como no es tarea fácil desenraizar los prejuicios,... ha llegado a ser un requisito el mostrar una visión completa e imparcial de lo que se ha publicado hasta ahora sobre el escorbuto...»). La 2ª es la obra «Introduction à la connaissance de l'esprit humain, suivie de réflexions et de maximes» de 1746 por Luc de Clapiers, Marqués de Vauvenarques (1715-47), ensayista y moralista francés, cuando afirmó en una máxima «Il est plus aisé de dire des choses nouvelles que de concilier celles qui ont étés dites» ('Es más fácil decir algo nuevo que reconciliar lo que ya se ha dicho').

Nosotros hemos encontrado también un precedente claramente metaanalista en alguien muy anterior, el filósofo chino Confucio (551-479 AC). Dentro de sus Analectas, en el libro Wèi Líng Gong se puede leer «Confucio dijo: "Zîgòng, ¿piensas tú que yo estudio y aprendo un sinnúmero de cosas diversas?". Zîgòng respondió: "Así es, ¿acaso no lo hacéis?". Confucio dijo: "No, lo que hago es unificarlas con lo que a todas ellas une"»⁵.

Lo anterior simplemente pone de manifiesto que la idea de sintetizar hechos es tan antigua como la propia humanidad. Los científicos y los filósofos han entendido siempre que el progreso pasa por la digestión adecuada de las contribuciones del pasado, pero no fue hasta el siglo XX cuando se aplicó de manera sistematizada la idea de buscar todo lo existente e intentar resumirlo mediante procedimientos estadísticos. A ello ha contribuido la explosión de publicaciones científicas, fruto de la mayor densidad de investigadores que hoy existe, impensable en épocas anteriores.

Ubicación de la revisión sistemática y del metaanálisis en el contexto científico 

Muchos consideran al metaanálisis como un subproducto, una investigación de menor calidad, parasitaria de los estudios originales en los que se basa. Sin necesidad de hacer un panegírico, conviene recordar que el paradigma científico que gobierna la ciencia es esencialmente inductista. Bajo este modelo de pensamiento, es necesario repetir un estudio y confirmar sus resultados antes de que sus conclusiones sean aceptadas por la comunidad científica. La repetición de las investigaciones da entrada a la variabilidad en los resultados, y si ésta es excesiva ocasiona nuevos estudios que intentan clarificar el tema. Lo anterior se puede ilustrar con la estreptoquinasa intravenosa en el tratamiento del infarto de miocardio y la mortalidad en las primeras cinco semanas de la enfermedad⁶. El primer estudio se publicó en 1958 sobre 23 pacientes y obtuvo una OR no significativa de 0.2; el segundo, cinco años después, dio una OR de 0.5, tampoco significativa. Estos ensayos motivaron que se realizaran varios estudios multicéntricos europeos, en los que en uno de ellos se observó una reducción significativa de la mortalidad, mucho menor que los estudios previos y en el otro nada. La polémica estaba servida y no se resolvió hasta que se publicó en 1988 el ISIS-2, con más de 17000 pacientes.

Si se recuerdan los criterios de causalidad de Hill⁷, el segundo de ellos era la consistencia, la coincidencia en las conclusiones de diferentes estudios realizados en diferentes poblaciones y lugares. Es un criterio que reconoce el carácter inductista de nuestra forma de proceder en la toma de decisiones. Pues bien, la revisión sistemática y el metaanálisis los podemos entender como un análisis sistemático del 2º principio de la causalidad. En este sentido, es un tipo de investigación relevante que intenta arrojar luz sobre asociaciones controvertidas en el mundo científico.

¿Es la revisión sistemática y el metaanálisis un procedimiento exclusivo de la salud?

La búsqueda de procedimientos eficaces y coste-eficientes ha motivado que la administración sanitaria pública cree agencias de evaluación de tecnologías, en las que se utiliza de manera rutinaria la revisión sistemática. Es claramente una finalidad de salud pública, en las que se someten a escrutinio procedimientos diagnósticos, terapéuticos y de prevención, con vista a la emisión de informes en los que se recomiende lo más acertado según la información existente hasta el momento. Esto ha sido una consecuencia positiva de la difusión de las técnicas de revisión sistemática.

Pero si atendemos a las publicaciones de revisión sistemática y metaanálisis, la mayoría no están realizadas por profesionales de la salud pública. En una revisión de metaanálisis sobre enfermedades cardiovasculares, tan solo en el 36% aparecían profesionales de la salud pública⁸. Esto indica que el metaanálisis es una técnica utilizada por todo tipo de profesionales y que su uso no es vinculante con el campo de la salud pública. De hecho, la existencia de organizaciones, como la colaboración Cochrane, centrada en los ensayos clínicos, favorece que la mayor parte de los metaanálisis que se publiquen no tengan repercusión directa sobre la salud pública, sino sobre el terreno asistencial, en los que es mucho más habitual la realización de estudios experimentales. Al proceder así eliminan la posibilidad de aplicar el procedimiento al que se ha considerado el fin más noble de la epidemiología, la búsqueda de las causas, en la que priman los estudios de observación.

Es innegable que muchos salubristas ven al metaanálisis como una técnica cercana e incluso propia. Esto está producido por su formación epidemiológica. En ninguna otra especialidad se estudia el procedimiento científico con tanto detalle como en salud pública. Los diseños de investigación incorporan sutilezas que pasan con frecuencia desapercibidas para otros profesionales. Con un conocimiento detallado de cómo se realiza una investigación es mucho más fácil de realizar una evaluación adecuada de los estudios originales que se incluyen en una revisión sistemática. Esta familiaridad con la evaluación del método de investigación es la que ocasiona esa proximidad entre epidemiología y metaanálisis.

Aportaciones del metaanálisis

Es posible que algún lector critique la referencia en este texto siempre al metaanálisis y no a la revisión sistemática. Esto está producido por el hecho histórico de que primero surgió el concepto de metaanálisis y luego el de revisión sistemática. De hecho, cuando a principios de 1990 tan solo se hablaba de metaanálisis, se daba por supuesto que cualquier síntesis cuantitativa de estudios debería basarse en una búsqueda exhaustiva de toda la información disponible, y que debería incluir una valoración del sesgo de publicación, como evaluación crítica de la información disponible y de su representatividad de lo publicado^9,10. A mediados de los 1990 se impone, con un criterio acertado, el término global de revisión sistemática para definir el procedimiento y se reserva el término metaanálisis para la síntesis estadística de los estudios. No obstante, muchos de los hechos que mencionaremos a continuación fueron motivados por la idea primitiva de metaanálisis, que incorporaba en sí a la revisión sistemática.

Contribución a la evaluación y comunicación de estudios

Los primeros metaanálisis se centraron en ensayos clínicos y algunos de ellos fueron realizados por el grupo de Thomas Chalmers, entonces en el Hospital Monte Sinaí de Nueva York¹¹. La gran variabilidad en la comunicación de resultados de los ensayos clínicos hacía difícil el hacerse una idea de si el estudio se había realizado correctamente o no. Ello influyó en que el grupo de Chalmers publicara el primer cuestionario de evaluación de un ensayo clínico en 1981¹², con un doble objetivo: valorar la calidad (para decidir si era digno de ser incluido en un metaanálisis) y homogeneizar la forma en que se redactaban los ensayos clínicos para su publicación. Esto era muy importante. Se querían combinar ensayos clínicos, pero de alguna manera se querían seleccionar sólo los que cumplieran ciertos criterios de calidad (aleatorización, ciego, etc.). Para ello había que intentar, por un lado que los que realizaran ensayos dieran todos los detalles metodológicos pertinentes para una correcta evaluación, y por otra parte, tener una herramienta adecuada para esa evaluación. Desde el cuestionario de Chalmers de 1981 se publicaron más de 60 y al final se adoptó el CONSORT (Consolidated Standards for Reporting Trials, ver http://www.consortstatement.com) que forma parte de los criterios que muchas revistas en la actualidad exigen a los autores, y que se siguen sin cumplir porque los evaluadores no los conocen con detalle.

Por lo tanto, el metaanálisis ha sido uno de los impulsores de la evaluación de los ensayos clínicos. Ya había un tipo de diseño valorado. Por otra parte, con una cierta frecuencia, los metaanalistas de la década de 1980 encontraron que a la hora de sintetizar diferentes estudios había diseños no experimentales que también analizaban el problema de interés. Por lo tanto, de alguna forma fue necesario establecer prioridades entre los diferentes diseños y múltiples sociedades científicas y organizaciones ordenaron los diseños en lo que se dio en llamar «niveles de evidencia». A la par, ante la abundancia de literatura científica existente y la falta de criterio en gran parte de los lectores usuarios de la misma, por no haber recibido formación para ello, a principios de los años 1990 se empezaron a publicar directrices para apreciar la calidad de un estudio en diferentes ámbitos. El exponente más claro fue la serie de artículos aparecida en la revista JAMA, que constituyeron el embrión de la Guía JAMA de medicina basada en la «evidencia» (MBE)¹³. (El entrecomillado de la palabra «evidencia» está causado porque «evidencia» en castellano es lo que no necesita demostración y a lo que se refiere el término inglés «evidence» es a «pruebas».). El metaanálisis ha sido pues uno de los que han estado detrás de la MBE, término luego aplicado a diferentes áreas, como salud pública basada en la «evidencia» y enfermería basada en la «evidencia». Uno de los colofones de la MBE ha sido la creación en nuestro país y en otros de las agencias de evaluación de tecnologías sanitarias, a las que hicimos antes referencia.

Fruto de los logros alcanzados con la declaración CONSORT, esta metodología se ha extendido a otros temas como el propio metaanálisis (declaraciones QUOROM y MOOSE), a las pruebas diagnósticas (declaración STARD) y a los estudios de observación (declaración STROBE). Todos estos protocolos se pueden descargar gratuitamente en la misma página web del CONSORT antes mencionada.

Otra consecuencia del alto valor que se concede a la MBE en la época actual, acelerada por el metaanálisis, ha sido un mayor reconocimiento a los profesionales conocedores de los diseños de investigación, sobre todo los epidemiólogos. Ha sido un beneficio indirecto, pero muy claro, para un grupo de especialistas con frecuencia no bien entendidos ni apreciados por otros profesionales sanitarios.

Con independencia de lo anterior, cuando se intentan combinar estudios diferentes surgen una serie de preocupaciones que ya existían antes de que el metaanálisis existiera como tal, pero que no han sido analizados de forma sistemática hasta que el metaanálisis se implantó como un procedimiento rutinario en el mundo científico. Nos referimos al sesgo de publicación y al análisis de la heterogeneidad.

Contribución al estudio del sesgo de publicación

La conciencia de sesgo de publicación comenzó en 1956 cuando el director de la revista Journal of Abnormal Social Psychology señaló que los estudios negativos tenían menos probabilidades de publicarse en su revista¹⁴. En 1959 se observó en cuatro revistas de psicología que se publicaban muy pocos resultados negativos, un hallazgo que sugirió la presencia de sesgo de publicación¹⁵; sin embargo, la cuantificación del problema no se consideró hasta 1964.16 La revisión sistemática, al intentar localizar todos los estudios sobre una pregunta de investigación, ofrece una magnífica oportunidad para valorar si lo que se publica refleja lo que se investiga. Para poder estudiar el sesgo de publicación tiene que haber metaanálisis, porque la mayor parte de los procedimientos existentes exigen la síntesis cuantitativa de los estudios, asignando un peso a cada uno de ellos.

Casi todos los trabajos sobre sus determinantes y los procedimientos para detectarlo se han suscitado dentro del metaanálisis, a partir de 1980. La constatación de que con frecuencia los estudios incluidos en un metaanálisis no suponían una muestra representativa de lo que aparecía en las revistas fue el determinante de la búsqueda de los factores que lo causaban y así poder neutralizarlos. Con anterioridad al metaanálisis, la preocupación de si lo publicado representaba adecuadamente lo investigado había sido excepcional. La constatación de que existe ese sesgo ha impulsado iniciativas de registro de todos los estudios en marcha, sobre todo ensayos clínicos, como la base de datos de ensayos clínicos en el periodo perinatal de la Universidad de Oxford.

El sesgo de publicación puede tener una trascendencia enorme, porque puede distorsionar todo, desde el propio aprendizaje hasta la aplicación de los resultados de la propia investigación, si lo que se publica no responde a la realidad. A pesar de estas posibles consecuencias catastróficas, no se ha publicado ningún trabajo en el que se haya comprobado que por la presencia de un sesgo de publicación se haya cometido un error grave. Las expectativas surgidas por este error han sido pues minimizadas en la práctica. La razón detrás de esto radica en que la comunidad científica adopta reglas que palian este error. El sesgo de publicación afecta sobre todo a los estudios pequeños. Cuando unos investigadores encuentran algo llamativo en un estudio pequeño, la filosofía inductista que nos rige motiva que aparezcan otros estudios que intentan replicar ese resultado. Cuando los resultados de los nuevos estudios son discordantes, al final se realizan uno o más estudios grandes, que son la base de la decisión futura.

Por lo tanto, el sesgo de publicación en la práctica queda más como una explicación de la forma en que se producen y publican los resultados científicos, que como una justificación de errores en la toma de decisiones.

Contribución al estudio de la heterogeneidad

Ya hemos afirmado que el propio pensamiento inductista motiva la repetición de estudios. Si todos coinciden, el proceso de investigación sobre un tema se detiene. Cuando se prolonga es porque los resultados no son consistentes. Esto es la heterogeneidad, la falta de coincidencia en las conclusiones de diferentes estudios que tratan de responder a la misma pregunta de investigación. El estudio para ver si una asociación es causal obliga a realizar un análisis del principio de consistencia. El metaanálisis (con revisión sistemática) ofrece una gran oportunidad para estudiar la falta de consistencia al reunir toda la información disponible sobre un tema.

Muchos sitúan al metaanálisis en la cúspide de la MBE. Esto es solo así si se cumplen una serie de requisitos, entre los que está el que no haya heterogeneidad entre los estudios primarios que se combinan. El metaanálisis lo que intenta es sacar una media ponderando diferentes estudios; cualquier ponderación debe ir acompañada de una prueba que valore la heterogeneidad. Si ésta existe, se constata estadísticamente que hay diferencias apreciables entre los estudios que se intentan promediar. La presencia de heterogeneidad es una señal de alerta, tanto para el investigador como para el lector, de que se está intentando sacar una media, cuando en realidad es posible que haya más de una.

Muchos investigadores consideran que la existencia de heterogeneidad es un inconveniente en un metaanálisis, cuando en realidad no debiera ser así. Constatar heterogeneidad es simplemente justificar el porqué abunda la información sobre un tema. Justificar la heterogeneidad es algo que tiene una gran importancia, porque permite identificar las razones del porqué de las discordancias y da elementos clave de información para la realización de los futuros estudios. Todo metaanálisis tiene que realizar un análisis de la heterogeneidad. La razón es doble, de índole metodológica (no se pueden combinar estudios heterogéneos) y biológica, ya que es posible que haya una justificación causal para la heterogeneidad.

No es éste el lugar para exponer todos los factores que pueden producir heterogeneidad, se pueden encontrar en revisiones al respecto^17,18. Es fácil de entender para muchos que una asociación puede cambiar si la población es distinta, si el efecto no es el mismo o la exposición es diferente. Quizá lo más interesante para los investigadores, y la propia MBE, es que el método en sí también introduce variabilidad: no coinciden los diferentes diseños entre sí (casos y controles frente a cohortes), características de control de errores (tipo de aleatorización, ciego) también introducen variabilidad y lo mismo sucede con la forma en que se recoge la información. Esto supone una gran riqueza de información para las personas interesadas en el método de investigación, como sucede con los epidemiólogos.

Algo que se echa en falta en el estudio de la heterogeneidad es una aproximación sistemática en la delimitación de los factores que pueden influir en su presencia. La información existente sobre determinantes de heterogeneidad se encuentra dispersa en distintos metaanálisis, que han hecho un esfuerzo por delimitar las razones de la falta de coincidencia. Para ofrecer una visión global, y no fragmentada por los resultados de metaanálisis individuales que utilizan técnicas muy diversas, se requeriría una revisión sistemática de metaanálisis, con obtención de información de los estudios primarios que la componen¹⁹.

Corolario final

El metaanálisis, denostado por algunos, propició el proceso de la MBE y lo que de ella se ha derivado, como son las agencias de evaluación de tecnologías sanitarias. Los beneficios para la salud pública no son diferentes de los percibidos por otras disciplinas médicas, salvo el mayor reconocimiento de los salubristas dedicados al método, como son los epidemiólogos. En un contexto científico, el metaanálisis es fruto del paradigma inductista de investigación que nos gobierna, en el que ofrece un análisis sistemático del principio de consistencia. Consecuencias de este análisis son la profundización en el sesgo de publicación y en las razones que motivan las discrepancias entre los estudios individuales que tratan la misma pregunta de investigación.

Bibliografía

1. Glass GV. Primary, secondary, and meta-analysis of research. Educ Res 1976; 5: 3-9.         [ Links ]

2. MacMahon B, Hutchison GB. Prenatal X-rays and childhood cancer: a review. Int J Cancer 1964; 20: 1172-4.         [ Links ]

3. Winkelstein W Jr. The first meta-analysis? Am J Epidemiol 1998; 147: 717.         [ Links ]

4. Egger M, Smith GD, Altman D. Systematic reviews in health care. Meta-analysis in context. Londres: BMJ Books; 2001.         [ Links ]

5. Confucio. Mencio. Los Cuatro Libros. Madrid: Alfaguara; 1982.         [ Links ]

6. Lau J, Animan EM, Jimenez-Silva J, Kupelnick B, Mosteller F, Chalmers TC. Cumulative meta-analysis of therapeutic trials for myocardial infarction. N Engl J Med 1992; 327: 248-54.         [ Links ]

7. Hill AB. The environment and disease: association or causation? Proc Royal Soc Med 1965; 58: 295-300.         [ Links ]

8. Palma S, Delgado-Rodríguez M. Assessment of publication bias in meta-analyses of cardiovascular diseases. J Epidemiol Commun Health 2005: 59: 864-9.         [ Links ]

9. Delgado Rodríguez M, Sillero Arenas M, Gálvez Vargas R. Metaanálisis en epidemiología. (Primera parte) características generales. Gac Sanit 1991; 5: 265-72.         [ Links ]

10. Delgado Rodríguez M, Sillero Arenas M, Gálvez Vargas R. Metaanálisis en epidemiología. (Segunda parte) métodos cuantitativos. Gac Sanit 1992; 6: 30-9.         [ Links ]

11. Sacks H, Kupfer S, Chalmers TC. Are uncontrolled clinical studies ever justified? N Engl J Med. 1980; 303: 1067.         [ Links ]

12. Chalmers TC, Smith H Jr, Blackburn B, Silverman B, Schroeder B, Reitman D, Ambroz A. A method for assessing the quality of a randomized control trial. Control Clin Trials 1981; 2: 31-49.         [ Links ]

13. Guyatt G, Oxmann R, Hayward D. User's Guide to the Medical Literature. American Medical Association, 2002.         [ Links ]

14. Smith MB. Editorial. J Abnorm Social Psychol 1956; 52: 1-4.         [ Links ]

15. Sterling RJ. Publication decisions and their possible effects on inferences drawn from test of significance or viceversa. J Am Stat Assoc 1959; 54: 30-4.         [ Links ]

16. Smart RG. The importance of negative results in psychological research. Can Psychol 1964; 5:225-32.         [ Links ]

17. Petitti DB. Approaches to heterogeneity in meta-analysis. Stat Med 2001; 20: 3625-33.         [ Links ]

18. Delgado Rodríguez M. Revisión sistemática de estudios: metaanálisis. Barcelona: Ed. Signo SA; 2005.        [ Links ]

19. Delgado-Rodríguez M. Systematic reviews of meta-analyses: applications and limitations (editorial). J Epidemiol Commun Health 2006: 60: 90-92.        [ Links ]

Correspondencia:
Miguel Delgado Rodríguez
Catedrático de Medicina Preventiva y Salud Pública
Universidad de Jaén
Edificio B-3
23071-Jaén
mdelgado@ujaen.es