MEJORA DE LA CALIDAD DE LOS INFORMES DE LOS METAANÁLISIS DE LOS ENSAYOS CLÍNICOS CONTROLADOS: EL ACUERDO QUOROM (*)

 

David Moher (1), Deborah J Cook (2), Susan Eastwood (3), Ingram Olkin (4), Drummond Rennie (5), Donna F Stroup (6), por el Grupo QUOROM*
(1)Universidad de Ottawa. Canadá
(2) Universidad McMaster. Hamilton.
(3) Universidad de California. San Francisco
(4) Universidad de Stanford. Stanford
(5) JAMA. Chicago.
(6) Centro para el Control y Prevención de las enfermedades. Atlanta.
(*)Lancet 1999; 354: 1896-900

Correspondencia
David Moher
Thomas C Chalmers Center for Systematic Reviews
Children´s Hospital of Eastern Ontario Research Institute
401 Smyth Road
Ottawa
Ontario K1h 8L1. Canadá
Correo electrónico: dmoher@uottawa.ca

---

RESUMEN La Conferencia sobre Calidad de Elaboración de los Informes de los Metaanálisis (QUOROM) se convocó con el fin de abordar la mejora de la calidad de la elaboración de los informes de los metaanálisis de los ensayos clínicos controlados (ECC). El Grupo QUOROM estuvo integrado por 30 personas, entre epidemiólogos clínicos, estadísticos, editores e investigadores. Durante la conferencia se pidió al grupo que identificase aquellos elementos que, en su opinión, se deberían incluir en un protocolo de control de calidad por niveles. En la medida de lo posible, la elección de los elementos de dicho protocolo se guió por la evidencia científica, que sugería que el incumplimiento del elemento propuesto se podría traducir en resultados sesgados. Se utilizó una técnica Delphi modificada para valorar los elementos seleccionados a priori como parte del protocolo. La conferencia se tradujo en la declaración QUOROM, un protocolo de control de calidad y un diagrama de flujo. El protocolo de control de calidad describe la que creemos es la mejor forma de presentar el resumen, la introducción, los métodos, los resultados y la discusión del informe de un metaanálisis. Está organizada en 21 categorías y subcategorías relativas a búsquedas, selección, evaluación de la validez, análisis de los datos, características del estudio y síntesis de los datos cuantitativos, y en los resultados de "flujo de pruebas"; se identificó la documentación de la investigación con 18 elementos. El diagrama de flujo proporciona información tanto sobre el número de ensayos clínicos controlados identificados, incluidos y excluidos, como sobre las razones de su exclusión. Esperamos que este trabajo genere un mayor grado de reflexión sobre cómo mejorar la calidad de los informes de los metaanálisis de los ensayos clínicos controlados, y que los lectores, revisores, investigadores y editores utilicen la declaración QUOROM y generen ideas destinadas a su mejora.

ABSTRACT Improving the Quality of Reports of Meta-analyses of randomised Controlled Trials: The QUOROM Statement Background: The Quality of Reporting of Meta-analyses (QUOROM) Conference was convened to address standards for improving the quality of reporting of meta-analyses of clinical randomised controlled trials (RCTs). Methods: The QUOROM group consists of 30 clinical epidemiologists, clinicians, statisticians, editors, and researchers. In conference, the group was asked to identify items they thought should be included in a checklist of standards. Whenever possible, checklist items were guided by research evidence suggesting that failure to adhere to the item proposed could lead to biased results. A modified Delphi technique was used in assessing candidate items. Results: The conference resulted in the QUOROM statement, a checklist, and a flow diagram. The checklist describes our preferred way to present the abstract, introduction, methods, results, and discussion sections of a report of a meta- analysis. it is organized into 21 headings and subheadings regarding searches, selection, validity assessment, data abstraction, study characteristics, and quantitative data synthesis, and in the results with 'trial flow', study characteristics, and quantitative data synthesis; research documentation was identified for eight of the 18 items. The flow diagram provides information about both the numbers of RCTs identified, included, and excluded and the reasons for exclusion of trials. Interpretation: We hope this report will generate further thought about ways to improve the quality of reports of meta- analyses of RCTs and that interested readers, reviewers, researchers, and editors will use the QUOROM statement and generate ideas for its improvement.

---

 

INTRODUCCIÓN

Los proveedores de servicios sanitarios y otros responsables en la toma de decisiones disponen ahora, entre sus recursos, de un informe clínico denominado metaanálisis^1-4, revisión en la cual se ha reducido el sesgo mediante la identificación sistemática, evaluación, síntesis y, en su caso, agregación estadística de todos los estudios relacionados con un tema concreto, conforme a un método predeterminado y explícito³. El número de metaanálisis publicados ha aumentado considerablemente en la última década⁵. Estas revisiones pueden ser de utilidad para las decisiones clínicas pudiendo, asimismo, servir de base a la política que rige las directrices aplicables a las prácticas basadas en la evidencia, las evaluaciones económicas y los planes futuros de investigación. El valor del metaanálisis es evidente en el trabajo de la Colaboración Internacional Cochrane^6-7, cuyo objetivo principal consiste en generar y difundir revisiones sistemáticas de alta calidad de las intervenciones sanitarias.

A semejanza de cualquier investigación y especialmente en el caso de las observacionales, el metaanálisis de evidencia se puede invalidar. En consecuencia, el proceso mediante el cual se realizan los metaanálisis ha sido sometido a un estudio minucioso. Una encuesta realizada en 1987 sobre 86 metaanálisis en inglés⁸ evaluó cada uno de ellos con 23 ítems, a partir de seis áreas consideradas importantes para la realización y elaboración de los informes de los metaanálisis de ensayos clínicos controlados (ECC): diseño del estudio, control de sesgos, combinabilidad, análisis estadístico, análisis de sensibilidad y problemas de aplicabilidad. Los resultados de esta encuesta demostraron que solamente 24 (28%) de los 86 metaanálisis informaban que se habían abordado las seis áreas de contenido. La encuesta actualizada, que incluye metaanálisis publicados más recientemente, demostró una escasa mejora en el rigor de la elaboración de los informes⁹.

Varias publicaciones han descrito la ciencia de la revisión de la investigación¹, las diferencias entre las revisiones narrativas, las revisiones sistemáticas y los metaanálisis², y cómo se lleva a cabo^3,4,10 una valoración crítica^11-15 y se aplican los metaanálisis¹⁶ en la práctica. El incremento del número de metaanálisis publicados ha puesto de manifiesto cuestiones como la existencia de metaanálisis discordantes sobre el mismo tema¹⁷, y metaanálisis discordantes con los resultados de ensayos clínicos sobre la misma cuestión¹⁸.

Una consideración importante, a la hora de interpretar y utilizar los metaanálisis, consiste en determinar si los investigadores que lo han realizado han informado no solo explícitamente sobre los métodos utilizados para analizar los artículos que revisaron, sino también sobre los métodos utilizados en los propios artículos analizados. El método de revisión para el metaanálisis podría no estar incluido al remitir un trabajo sobre el mismo para su publicación; incluso, a pesar de incluirlo, existen otros factores, como la limitación del número de páginas, la revisión por pares y las decisiones editoriales, pueden cambiar el contenido y el formato del informe antes de su publicación.

Varios investigadores han sugerido directrices destinadas a la elaboración de los informes de los metaanálisis^3,19. Sin embargo, no se ha desarrollado un consenso interdisciplinario. Después de la iniciativa destinada a mejorar la calidad de la elaboración de los informes de los ECC^20-22, organizamos la conferencia sobre la Calidad de la Elaboración de los Informes de los Metaanálisis (QUOROM), con el fin de abordar la relación que existe entre estas cuestiones y los metaanálisis de los ECC. Este trabajo resume los procedimientos de dicha conferencia. Las cuestiones que se discuten podrían ser también útiles para la elaboración de los informes de las revisiones sistemáticas (es decir, los metaanálisis arriba definidos, sin agregación estadística), en particular, de los ECC.

 

MÉTODOS

El comité organizador de QUOROM comenzó con una revisión exhaustiva de las publicaciones relativas a la realización y a la elaboración de los informes de los metaanálisis. Las bases de datos en las cuales se llevó a cabo la búsqueda incluyeron Medline y la Biblioteca Cochrane²³, compuesta por la Base de Datos Cochrane de Revisiones Sistemáticas, el Registro de Ensayos Clínicos, la Base de Datos York de Extractos de Revisiones de Eficacia y la Base de Datos Cochrane de Metodología de Revisión. Examinamos las referencias bibliográficas de los artículos revisados y los ficheros personales. El comité organizador de QUOROM seleccionó y evaluó críticamente los artículos de potencial relevancia. Generó un cronograma para la conferencia, que incluía seis áreas que exigían discusión y debate. Los contenidos de las áreas se modificaron ligeramente durante las discusiones preliminares, siendo presentadas como: búsqueda de la evidencia; toma de decisiones sobre qué evidencia incluir; descripción de las características de los estudios primarios; síntesis de datos cuantitativos; fiabilidad y cuestiones relacionadas con la validez (o calidad) interna; y las implicaciones clínicas relacionadas con la validez externa.

Al planificar la conferencia QUOROM, el comité organizador seleccionó a diferentes epidemiólogos clínicos, médicos asistenciales, estadísticos e investigadores que realizan metaanálisis, así como a editores del Reino Unido y Norteamérica que estuviesen interesados en este tema. Se cursó una invitación a treinta individuos para que asistiesen a una conferencia que se celebraría en Chicago del 2 al 3 de octubre. Antes de la reunión, se llevó a cabo una encuesta en la cual se solicitaba a los participantes que emitiesen su opinión con respecto a los niveles actuales de la elaboración de los informes de los metaanálisis, y si éstos debían mejorar. Adicionalmente, se envió a los participantes las referencias relevantes a efectos de revisión, y se les pidió que indicasen en cuál de los seis grupos deseaban participar.

La conferencia incluyó sesiones en pequeños grupos y sesiones plenarias. Cada grupo tenía un moderador, miembro del comité organizador, responsable de garantizar la discusión de tantas cuestiones relevantes como fuesen posibles en relación al tema específico de cada grupo. Cada grupo tenía un responsable de registrar y documentar los puntos principales y el consenso sobre cada cuestión discutida durante cada sesión, y de presentar el consenso de su grupo en las sesiones plenarias. Durante estas últimas, un relator elegido en cada grupo fue el responsable de recoger los principales puntos relevantes de dicho grupo para presentarlos durante la discusión plenaria.

Se pidió a los participantes de cada grupo que identificasen los elementos que en su opinión se deberían incluir en un protocolo de control de calidad de niveles que pudiese ser útil para los investigadores, los editores de revistas científicas y los revisores de artículos. Se solicitó que, en la medida de lo posible, los elementos incluidos en el protocolo se guiaran por la evidencia científica que sugiriese que el incumplimiento de aquel punto en concreto se podría traducir en resultados sesgados. Por ejemplo, es evidente una carencia considerable de sensibilidad y especificidad en las búsquedas Medline²⁴. De esta manera, el protocolo sugiere que los investigadores describan explícitamente todas las estrategias de búsqueda utilizadas para localizar los artículos incluidos en un metaanálisis. Al considerar si los ítems preseleccionados eran esenciales, cada subgrupo utilizó una técnica Delphi modificada²⁵, que se repitió en las sesiones plenarias.

 

RESULTADOS

La conferencia se tradujo en la declaración QUOROM: un protocolo de control de calidad (tabla 1) y un diagrama de flujo (figura 1). El protocolo de elaboración de los informes de los metaanálisis describe la forma de presentar el resumen, la introducción, los métodos, los resultados y la discusión del informe de un metaanálisis. Está organizada en 21 categorías y subcategorías destinadas a animar a los autores a que proporcionen a los lectores información sobre búsquedas, selección, evaluación de la validez, análisis de datos, características del estudio, síntesis de datos cuantitativos y flujo de pruebas. Se pide a los autores que presenten un diagrama de flujo (figura 1) que suministrando información sobre el número de ECC identificados, incluidos y excluidos, y sobre las razones para su exclusión¹⁰.

 

Tabla 1
Protocolo de control de calidad en la presentación de resultados de metaanálisis

 

 

Figura 1
Progreso a lo largo de las etapas de un metaanálisis de Ensayos Clínicos Controlados (ECC)

 

Pretest

Después de desarrollar el protocolo y el diagrama de flujo, dos miembros del comité organizador (DM, DJC) realizaron un pretest con postgraduados en epidemiología dedicados al estudio del metaanálisis, con médicos residentes de medicina interna participantes en un seminario del Centro Cochrane, y con profesores de medicina, epidemiología y bioestadística. Un grupo de estudiantes de un máster en epidemiología utilizó el protocolo y el diagrama de flujo para elaborar los informes de sus metaanálisis, como si dicho trabajo se fuera a presentar para su publicación. La información obtenida de estos cuatro grupos fue positiva, indicando que la mayoría de los usuarios consideraba probable que el protocolo y el diagrama de flujo mejorasen la elaboración de los informes. Tras estas pruebas, se incorporaron modificaciones al protocolo (por ejemplo, la inclusión de una declaración sobre los hallazgos más importantes), y al diagrama de flujo (haciéndolo más detallado).

 

DISCUSIÓN

Al desarrollar el protocolo, identificamos evidencia científica solamente en relación con ocho de los 18 elementos destinados a guiar la elaboración de los informes de los metaanálisis de los ECC^26-39. Alguna de estas evidencias eran indirectas. Por ejemplo, pedimos a los autores que utilizasen un resumen estructurado. La evidencia comprobatoria relacionada con este elemento se recopiló mediante el examen de los resúmenes de informes originales de estudios individuales²⁷, no siendo necesario que tuviese que ver de manera específica con la elaboración de los informes de metaanálisis. Sin embargo, el grupo QUOROM juzgó que éste era un enfoque razonable por analogía con otros tipos de informes sobre investigaciones, quedando pendiente la evidencia sobre las ventajas de los resúmenes estructurados en los informes de los metaanálisis.

Pedimos a los autores que aclarasen los criterios utilizados para evaluar la "calidad" de las pruebas incluidas en los metaanálisis en la elaboración de sus informes, así como el resultado de dicha evaluación. Existe evidencia directa y convincente que apoya las recomendaciones relativas a la elaboración de los informes sobre la calidad de los ECC incluidos en un metaanálisis. Una base de datos metaanalítica de 255 ECC sobre obstetricia proporcionó evidencia de que las pruebas que daban información inadecuada sobre el encubrimiento de las asignaciones (es decir, manteniendo las asignaciones de la intervención ocultas a todos los participantes en la prueba hasta el momento de la asignación) sobrestimaban el efecto de la intervención en un 30%, en comparación con las pruebas en las cuales la información se proporcionaba normalmente³³. Se han notificado resultados similares en relación con varias categorías de enfermedad y métodos de evaluación de la calidad³⁴. Estos hallazgos sugieren que es probable que la inclusión de informes de ECC de baja calidad, altere las medidas de resumen del efecto de la intervención en los metaanálisis.

También pedimos a los autores que fuesen explícitos al informar sobre la evaluación del sesgo de publicación, y recomendamos que la discusión incluyese comentarios que aclararan si dicho sesgo podía haber influido en los resultados obtenidos. El sesgo de publicación se deriva de la publicación selectiva de estudios con resultados estadísticamente significativos, o con resultados positivos^40-42, pudiendo llevar a sobrestimaciones de la eficacia de los metaanálisis. Por ejemplo, se realizaron pruebas de agentes alquilantes simples versus quimioterapia citotóxica con múltiples agentes en el tratamiento del cáncer de ovario³⁹. Las pruebas publicadas arrojaron resultados significativos a favor de la terapia con agentes múltiples, pero dicho hallazgo no se ratificó cuando se analizaron los resultados de todas las pruebas, tanto de las publicadas como de las registradas pero no publicadas.

La declaración QUOROM pide a los autores que sean explícitos sobre la situación de la publicación de los informes incluidos en un metaanálisis. Tan sólo un tercio aproximadamente de los metaanálisis publicados informan sobre la inclusión de datos no publicados^29,43. Mientras que un estudio llegó a la conclusión de que no existían diferencias sustanciales en las dimensiones de la calidad de los estudios entre la investigación clínica publicada y no publicada⁴², otro estudio ha sugerido que los efectos de las intervenciones sobre las que se ha informado en publicaciones especializadas son un 33% superiores a aquellas sobre los que se informa en las tesis doctorales⁴⁴. El papel de la "literatura gris" (difícil de localizar o recuperar) se examinó en 39 metaanálisis que incluían 467 ECC, 102 de los cuales eran literatura gris²⁹. En comparación con aquéllos que incluían literatura tanto publicada como gris, los metaanálisis limitados a pruebas publicadas sobrestimaban el efecto del tratamiento en un promedio del 12%. Editores e investigadores siguen debatiendo la importancia de incluir datos no publicados en los metaanálisis^43.

Solicitamos a los autores que fuesen explícitos al informar si habían utilizado restricciones de las publicaciones en función del idioma. Aproximadamente un tercio de los metaanálisis publicados tienen alguna restricción por el idioma como parte de los criterios de elegibilidad a efectos de la inclusión en ECC³⁰. La razón de dichas restricciones no está clara, puesto que no hay evidencia que apoye la existencia de diferencias en la calidad de los estudios, pero sí de que las restricciones basadas en el idioma se pueden traducir en un resultado sesgado.

Los informes de 127 ECC escritos en inglés, en comparación con aquéllos redactados en otros cuatro idiomas diferentes del inglés, mostraron poca o ninguna diferencia en varias características metodológicas importantes⁴⁵. Se ha informado sobre resultados similares en otro documento³¹. El papel de las exclusiones por idioma se estudió en 211 ECC incluidos en 18 metaanálisis, en los cuales las pruebas publicadas en otros idiomas distintos al inglés se incluyeron en el resumen cuantitativo³⁰. Los metaanálisis con restricciones de idioma sobrestimaban el efecto del tratamiento en tan sólo un 2% como promedio, en comparación con los metaanálisis con inclusión de otro idioma. Sin embargo, estos últimos eran más precisos³⁰.

La probabilidad de ser publicados en inglés los informes de los ECC con resultados estadísticamente positivos es mayor que la de los informes de ECC con resultados negativos³¹. De la misma manera, existe evidencia que sugiere que los informes de los ECC de determinados países tienen en su mayoría resultados positivos⁴⁶.

Utilizamos varios métodos para desarrollar el protocolo de control de calidad y el diagrama de flujo: una revisión sistemática de la elaboración de los informes de los metaanálisis, grupos de discusión del comité organizador; y una técnica Delphi modificada durante la conferencia. Pese a que no intervinieron determinados usuarios de metaanálisis (responsables directos de las políticas sanitarias o de los pacientes), sometimos este documento a comprobación formal previa por parte de los representantes de diferentes instancias, para que utilizaran las recomendaciones e introdujeran las modificaciones oportunas.

El grupo QUOROM discutió, asimismo, el formato del informe de un metaanálisis, cómo evaluar mejor el impacto de la declaración QUOROM, y cómo difundirla mejor. El formato que recomendamos incluye 15 subcategorías que reflejan las fases secuenciales de realización de los metaanálisis dentro del informe. El protocolo incluido en la declaración se puede utilizar tanto durante la planificación, realización y elaboración del informe de un metaanálisis, como durante su revisión por pares después de su presentación para publicación.

Retrasamos la publicación de la declaración QUOROM hasta que hubiese sido evaluado su impacto en el proceso editorial. Organizamos un ensayo controlado que involucró a ocho publicaciones médicas, con el fin de evaluar el impacto del uso de los criterios QUOROM sobre la revisión por pares. La recopilación está completa, siendo nuestra intención comunicar los resultados de esta prueba en otro documento.

Después de unas cinco semanas de consultas por correo electrónico, recibimos cinco comentarios de investigadores, a quienes agradecemos sus reflexivas consideraciones sobre la declaración. Varias cuestiones, en particular relacionadas con la terminología, no se pueden abordar en la declaración por el momento. El grupo QUOROM está de acuerdo en la importancia de introducir cambios en el protocolo a la luz de la evidencia documentada, debiendo resistirse a aquellos cambios que se basen en opiniónes o evidencias anecdóticas, a menos que existan fundamentos convincentes para proceder al contrario. No obstante, se ha tomado nota de las cuestiones planteadas, para su consideración y discusión en el futuro.

Varias consultas abordaron la distinción entre el metaanálisis y la revisión sistemática. Tal como hemos indicado en la introducción, y a lo largo de la declaración, el grupo QUOROM acordó respetar la diferencia definida en la consulta Postdam sobre el metaanálisis³.

También se nos solicitó que clarificásemos el elemento del protocolo que solicita a los investigadores que interpreten sus resultados a la luz de la totalidad de la evidencia. Cada vez más, se presentan informes sobre varios metaanálisis relativos al mismo tema^47-49. Si otros estudios similares están disponibles, los autores deberían discutir la relación que existe entre sus resultados y los anteriores.

Para que la declaración QUOROM sea útil, es necesario que se siga basando en la evidencia y que se mantenga actualizada. Es necesario que los miembros del grupo QUOROM estudien continuamente la literatura para mantenerse informados sobre la evidencia que vaya surgiendo en relación con la elaboración de los informes de los metaanálisis. Esta información se debe cotejar y presentar anualmente con dos objetivos. El primero se refiere a las decisiones a adoptar en relación con los elementos del protocolo que se debieran conservar, suprimir o añadir; estas decisiones se pueden adoptar de manera similar a aquellas relativas a la selección de los elementos originales. El segundo fin se refiere a la preparación de un resumen actualizado sobre la elaboración de los informes de los metaanálisis. Estos esfuerzos están siendo coordinados a través de un sitio Web, con un enfoque similar al de la iniciativa CONSORT.

En resumen, nuestra elección de los elementos a incluir en el informe de un metaanálisis se basó, en la medida de lo posible, en la evidencia científica, lo cual supone la necesidad de incluir elementos que puedan ejercer una influencia sistemática en las estimaciones de los efectos de un tratamiento. En este momento, no tenemos una comprensión detallada de todos los factores que conducen a un sesgo en el resultado de un metaanálisis. Está claro que se necesita que la investigación contribuya a mejorar la calidad de la elaboración de los informes de los metaanálisis. Dicha evidencia puede actuar asimismo como catalizador en la mejora de los métodos de realización de los metaanálisis.

El protocolo y el diagrama de flujo QUOROM están disponibles en la página Web de The Lancet [www.thelancet.com]. Esperamos que este documento genere un mayor interés en el campo del metaanálisis y que, a semejanza de la iniciativa CONSORT, la declaración QUOROM esté disponible en varios idiomas y localizaciones a medida que se difunda. Invitamos a los lectores, revisores y editores interesados a utilizar la declaración QUOROM y a generar ideas para su mejora.

Contribuciones

David Moher, Deborah Cook, Susan Eastwood, Ingram Olkin, Drummond Rennie y Donna Stroup desarrollaron la declaración QUOROM. Ellos planificaron la reunión, participaron en las teleconferencias regulares, identificaron y garantizaron la financiación, identificaron y motivaron a los participantes, y planificaron la agenda de la reunión. También ayudaron a escribir el informe, incluidas sus revisiones.

Participantes en QUOROM

D G Altman (ICRF/NHS Centre for Statistics in Medicine, Oxford, Reino Unido); J A Berlin (Universidad de Pennsylvania, Philadelphia, PA, EE.UU.); L Bero (Universidad de California, San Francisco, CA, EE.UU.); W DuMouchel (AT&T Laboratories, Nueva York, NY, EE.UU.); K Dickersin (Universidad de Brown, Providence, RI, EE.UU.); J J Decks (ICRF/NHS Centre for Statistics in Medicine, Oxford, Reino Unido); P Fontanarosa (JAMA, Chicago, IL, EE.UU.); N Geller (National Heart, Lung and Blood Institute, Bethesda, MD, EE.UU.); F Godlee (BMJ, Londres, Reino Unido); S Goodman (Annals of Internal Medicine, Philadelphia, PA, EE.UU.); R Horton (The Lancet, Londres, Reino Unido); P Huston (Universidad de Ottawa, Ottawa, Canadá); A R Jadad (Universidad de McMaster, Hamilton, Canadá); K Kafadar (Universidad de Colorado, Denver, CO, EE.UU.); T Klassen (Universidad de Alberta, Edmonton, Canadá); S Morton (RAND, Santa Mónica, CA, EE.UU.); C Mulrow (Universidad de Texas, San Antonio, TX, EE.UU.); S Pyke (Glaxo Wellcome, Londres, Reino Unido), H S Sacks (Mount Sinai School of Medicine, Nueva York, NY, EE.UU.); K F Schultz (Family Health International, Research Triangle Park), NC, EE.UU.); S G Thompson (Imperial College School of Medicine, Londres, Reino Unido); M Winker (Jama, Chicago, IL, EE.UU.); S Yusuf (Universidad de McMaster, Hamilton, Canadá).

 

AGRADECIMIENTOS

Agradecemos a Iain Chalmers, Ted Colton, Sander Greenland, Brian Haynes, Edward J Huth, Alessandro Liberati, Tom Louis, Roy Pitkin, David Sackett, Trevor Sheldon y a Chris Silagy el haber revisado los borradores de este documento, y a Jacqueline Page por su ayuda con las revisiones.

Los laboratorios Abbott, la Agency for Health Care & Research, y los laboratorios Glaxo Wellcome y Merck & Co aportaron apoyo financiero.

 

BIBLIOGRAFÍA

1. Mulrow CD. The Medical review article: state of the science. Ann Intern Med 1987; 106: 485.88.        [ Links ]

2. Cook DJ, Mulrow C, Haynes RB. Systematic reviews: synthesis of best evidence for clinical decisions. Ann Intern Med 1997; 126: 376-80.        [ Links ]

3. Cook DJ, Sackett DL, Spitzer W. Methodologic guidelines for systematic reviews of randomized controlled trials in health care from the Potsdam consultation on meta-analysis. J Clin Epidemiol 1995; 48: 167-71.        [ Links ]

4. Deeks J, Glanville J, Shelton T. Undertaking systematic reviews of research on effectiveness CRD guidelines for those carrying our or commissioning reviews. CRD report no. 4. York: NHS Centre for Reviews and Dissemination, Universidad de York, 1996.        [ Links ]

5. Chalmers I, Haynes RB, Reporting, updating and correcting systematic reviews of the effects of health care. En: Chalmers I, Altman DG, eds. Systematic reviews. Londres: BMJ Publishing Group 1995: 86-95.        [ Links ]

6. Bero L, Rennie D. The Cochrane Collaboration preparing, maintaining, and disseminating systematic reviews of the effects of health care. JAMA 1995; 274: 1935-38.        [ Links ]

7. Huston P. The Cochrane Collaboration helping unravel tangled web woven by international research. Can Med Assoc J 1996; 154: 1389-92.        [ Links ]

8. Sacks HS, Berrier J, Reitman D, Ancona-Berck VA, Chalmers TC. Meta-analysis of randomized controlled trials. N Enfl J Med 1987; 316: 450-55.        [ Links ]

9. Sacks HS, Reitman D, Pagano D, Kupelnick B. Meta-analysis: an update. Mt Sinai J Med 1966; 63: 216-24.        [ Links ]

10. Mulrow CD, Oxman AD, eds. Cochrane Collaboration Handbook. En: The Cochrane Library [base de datos en disco y CD-ROM]. Oxford Cochrane Collaboration. Software de actualización: 1994, emisión 4.        [ Links ]

11. Oxman AD, Cook DJ, Guyatt GH, and the Evidence-Baed Medicine Working Group. Users’ guides to the medical literature: VI, how to use an overview. JAMA 1994; 272: 1367-71.        [ Links ]

12. Klassen TP, Jadad AR, Moher D. Guides for reading and interpreting systematic reviews: I, getting started. Arch Pediatr Adolesc Med 1998; 152: 700-04.        [ Links ]

13. L’Abbé KA, Detsky AS, O’Rourke K. Meta-analysis in clinical research. Ann Intern Med 1987; 107: 224-33.        [ Links ]

14. Olkin I. A critical look at some popular meta-analytic methods. Am J Epidemiolol 1984; 140: 287-88.        [ Links ]

15. Olkin I. Statistical and theoretical considerations in meta- analysis. J Clin Epidemiol 1995; 48: 133-46.        [ Links ]

16. Guyatt GH, Sackett DL, Sinclair J, Hayward R, Cook DJ, Cook RJ. Users’ guides to the medical literature IX, a method for grading health care recommendations. JAMA 1995; 274: 1800-04.        [ Links ]

17. Jadad AR, Cook DJ, Browman G. A guide to interpreting discordant systematic reviews. Can Med Assoc J 1997;156: 1411-16.        [ Links ]

18. LeLorier J, Gregoire G, Benhaddad A, Lapierre J, Derderian F. Discrepancies between meta-analysis and subsequent large ramdomized controlled trials. N Eng J Med 1997;337: 536-42.        [ Links ]

19. Shea B, Dubé C, Moher D. Assessing the quality of reports of meta-analysis: a systematic review of scales and checklists. En: Egger M, Davey Smith G, Altman DG, eds. Systematic reviews, 2^nd edn. Londres: BMJ Publishing Group (en prensa).        [ Links ]

20. The Standards of Reporting Trials Group. A proposal for structured reporting of randomized controlled trials. JAMA 1994; 272: 1926-31.        [ Links ]

21. The Asilomar Working Group on recommendations for Reporting of Clinical Trials in the Biomedical Literature. Checklist of information for inclusion in reports of clinical trials. Am Intern Med 1996; 124: 741.43.        [ Links ]

22. Begg C, Cho M, Eastwood S, et al. Improving the quality of reporting of randomized controlled trials: the CONSORT statement. JAMA 1996; 276: 637-39.        [ Links ]

23. The Cochrane Library [base de datos en disquete y CD-ROM]. Oxford: Cochrane Collaboration. Software de actualización, 1996; emisión 3.        [ Links ]

24. Dickersin K, Scherer R, Lefebvre C. Identifying relevant studies for systematic reviews. BMJ 1994; 309: 1286-91.        [ Links ]

25. Whitman N. The Delphi technique as an alternative for committee meetings. J Nurs Educ 1990¸29 377.79.        [ Links ]

26. Dickersin K, Higgins K, Meinert CL. Identification of meta-analysis: the need foe standard terminology. Control Clin Trials 1990; 11: 52-66.        [ Links ]

27. Taddio A, Pain T, Fassos FF, Boon H, Illersich AL, Einarson TR; Quality of nonstructured and structured abstracts of original research articles in the British Medical Journal, the Canadian Medical Association Journal and the Journal of the American Medical Association. Can Med Assoc J 1994; 150 16611-15.        [ Links ]

28. Tramer M, Reynolds DJM, Moore RA, McQuay HJ. Impact of covert duplicate publication on meta-analysis: a case study. BJM 1997; 315: 635-40.        [ Links ]

29. McAuley L, Moher D, Tugwell P. The influence of grey literature on meta-analysis. MSc Thesis: Universidad de Ottawa, 1999.        [ Links ]

30. Moher D, Pharn B, Klassen TP, et al. Does the language of publication of reports of randomized controlled trials influence the estimates of intervention effectiveness reported in meta-analysis? 6^th Cochrane Colloquium, 1998.        [ Links ]

31. Egger M, Zellweger-Zahner T, Schneider M, Junker C, Lengeler C, Antes G. Language bias in randomized controlled trials published in English and German. Lancet 1997; 350: 326-29.        [ Links ]

32. Khan KS, Daya S, Collins JA, Walter S. Empirical evidence of bias in infertility research: overestimation of treatment effect in crossover trials using pregnancy as the outcome measure. Fertil Steril 1996; 65: 939-45.        [ Links ]

33. Schultz KF, Chalmers I, Hayes RJ, Altman DG, Empirical evidence of bias: dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 1995; 274: 408-12.        [ Links ]

34. Moher D, Pham B, Jones A, et al. Does the quality of reports of randomized trials affect estimates of intervention efficacy reported in meta-analysis? Lancet 1998; 352: 609-13.        [ Links ]

35. Jadad AR, Moore RA, Carroll D, et al. Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials 1996; 17: 1-12.        [ Links ]

36. Berlin JA on behalf of the University of Pennsylvania meta-analysis blinding study group. Does blinding of readers affect the results of meta-analysis? Lancet 1997; 350: 185-86.        [ Links ]

37. Barnes DE, Bero LA. Why review articles on the health effects of passive smoking reach different conclusions? JAMA 1998; 279: 1566-70.        [ Links ]

38. Thompson SG. Why sources of heterogeneity in meta-analysis should be investigated? BMJ 1994; 309: 1351-55.        [ Links ]

39. Simes RJ. Publication bias: the case for an international registry of clinical trials. J Clin Oncol 1986; 4: 1529.41.        [ Links ]

40. Sterling TD, Rosenbaum WL, Weinkam JJ. Publication decisions revisited: the effect of the outcome of statistical tests on the decision to publish and vice versa. Am Statist 1995; 49: 108-12.        [ Links ]

41. Dickersin K, Min YI. NIH clinical trials and publications bias. Online J Curr Clin Trails 1993: 28 de abril; doc nº 50.        [ Links ]

42. Easterbrook PJ, Berlin JA, Gopalan R, Matthews DR. Publication bias in clinical research. Lancet 1991; 337: 867-72.        [ Links ]

43. Cook DJ, Guyatt GH, Ryan G, at al. Should unpublished data be included in meta-analysis? Current convictions and controversies. JAMA 1993; 269: 2749-53.        [ Links ]

44. Smith ML. Publication bias and meta-analysis. Eval Educ 1980; 4: 22-24.        [ Links ]

45. Moher D, Fortin P, Jadad AR, et al. Completeness of reporting of trials published in languages other than English: implications for conduct and reporting of systematic reviews. Lancet 1996; 347: 363-66.        [ Links ]

46. Vickers A, Goyal N, Harland R, Rees R. Do certain countries produce only positive results? A systematic review of controlled trials. Control Clin Trials 1998; 19: 159-66.        [ Links ]

47. Kennedy E, Song F, Hunter R, Clark A, Gilbody S. Risperidone versus typical antipsychotic medication for schizophrenia (Cochrane Review). En: Cochrane Library, issue 3. Oxford: Software de actualización, 1999.        [ Links ]

48. Davies A, Adena MA, Kecks NA, Catts SV, Lambert T, Schweitzer I, Risperidone versus haloperidol: I, meta-analysis of efficacy and safety. Clin Ther 1998; 20: 58-71.        [ Links ]

49. Leucht S, Pitschel-Walz G, Abraham D, Kissling W. Efficacy and extrapyramidal side-effects of the new antipsychotics olanzapine, quetiapine, risperidone, and sertindole compared to randomized controlled trials. Schizophrenia Res 1999; 35: 51.69.        [ Links ]