COLABORACIÓN ESPECIAL

 

Desarrollo de una hoja excel para metaanálisis de comparaciones indirectas y mixtas

Development of an Excel Spreadsheet for Meta-Analysis of Indirect and Mixed Treatment Comparisons

 

 

Aurelio Tobías (1), Ferrán Catalá-López (2,3) y Marta Roqué (4)

(1) Instituto de Diagnóstico Ambiental y Estudios del Agua (IDAEA). Consejo Superior de Investigaciones Científicas (CSIC). Barcelona.
(2) División de Farmacoepidemiología y Farmacovigilancia. Departamento de Medicamentos de Uso Humano. Agencia Española de Medicamentos y Productos Sanitarios (AEMPS). Madrid.
(3) Fundación Instituto de Investigación en Servicios de Salud. Valencia.
(4) Centro Cochrane Iberoamericano (CCIb). Hospital de la Santa Creu i Sant Pau. Barcelona

Financiación: ninguna.

Las opiniones expresadas en este trabajo son responsabilidad de los autores, por lo que no reflejan necesariamente el punto de vista de los organismos en los que trabajan.

Dirección para correspondencia

 

 

---

RESUMEN

En investigación clínica, el metaanálisis ha servido generalmente para evaluar la eficacia y la seguridad de un tratamiento a través de la comparación con un único comparador. Las comparaciones indirectas, a través del método de Bucher, permiten combinar datos procedentes de estudios primarios de una forma sencilla cuando la información para las comparaciones directas es limitada o inexistente. Las comparaciones mixtas permiten combinar las estimaciones procedentes de comparaciones directas e indirectas, aumentando el poder estadístico. En la actualidad, es necesario el desarrollo de aplicaciones informáticas para el cálculo de metaanálisis de comparaciones indirectas y mixtas. Por este motivo, se ha desarrollado una hoja de cálculo con Microsoft Office Excel para el cálculo de comparaciones indirectas y mixtas, de uso sencillo para investigadores clínicos interesados en revisiones sistemáticas con metaanálisis, pero no familiarizados con el uso de paquetes estadísticos más avanzados. La utilización de esta hoja de cálculo para las comparaciones indirectas y mixtas puede ser de gran utilidad en epidemiología clínica, con el fin de extender el conocimiento proporcionado por el metaanálisis tradicional cuando la evidencia de las comparaciones directas es limitada o inexistente.

Palabras clave: Metanálisis como asunto. Revisión sistemática. Medicina Basada en la Evidencia. Práctica Basada en la Evidencia.

---

ABSTRACT

Meta-analyses in clinical research usually aimed to evaluate treatment efficacy and safety in direct comparison with a unique comparator. Indirect comparisons, using the Bucher's method, can summarize primary data when information from direct comparisons is limited or nonexistent. Mixed comparisons allow combining estimates from direct and indirect comparisons, increasing statistical power. There is a need for simple applications for meta-analysis of indirect and mixed comparisons. These can easily be conducted using a Microsoft Office Excel spreadsheet. We developed a spreadsheet for indirect and mixed effects comparisons of friendly use for clinical researchers interested in systematic reviews, but non-familiarized with the use of more advanced statistical packages. The use of the proposed Excel spreadsheet for indirect and mixed comparisons can be of great use in clinical epidemiology to extend the knowledge provided by traditional meta-analysis when evidence from direct comparisons is limited or nonexistent.

Keyword: Meta-Analysis as Topic. Evidence-Based Medicine. Evidence-Based Practice. Systematic review.

---

 

Introducción

La revisión sistemática con metaanálisis está considerada como la principal herramienta que permite sintetizar de manera integral la evidencia científica disponible, y cuando se realiza y se reporta de una manera completa y transparente, permite estimar el efecto de un determinado tratamiento con un elevado nivel de calidad y rigor científico¹. Los metaanálisis han estado dirigidos tradicionalmente a evaluar la eficacia y la seguridad de un tratamiento a través de una comparación directa con un único comparador, habitualmente placebo o cualquier tratamiento estándar. Este hecho ha puesto en evidencia la falta de información procedente de estudios que comparan directamente alternativas terapéuticas que compiten entre sí en la práctica clínica. Así, en los últimos años se han venido desarrollando e implementado métodos cuantitativos que permiten comparar diversos tratamientos entre sí de manera indirecta cuando estos tratamientos se han comparado frente a un comparador común (por ejemplo placebo), pero la información procedente de comparaciones directas es escasa o inexistente. Asimismo, en caso de existir evidencia procedente de comparaciones directas entre tratamientos, estas se podrían combinar junto a las comparaciones indirectas a partir de comparaciones mixtas, permitiendo así incrementar la evidencia científica al respecto.

De igual forma, la consolidación del metaanálisis tradicional de comparaciones directas ha estado también relacionada con su implementación en aplicaciones informáticas y programas estadísticos. En este sentido, existen diversas utilidades desarrolladas en hojas de cálculo para Microsoft Excel^2,3 que permiten realizar metaanálisis de una manera cada vez más sencilla y cómoda, sin necesidad de recurrir al uso de complejos programas estadísticos. En este sentido, son escasas las aplicaciones informáticas para el cálculo de comparaciones indirectas y mixtas de uso fácil para el investigador clínico.

El objetivo de este trabajo es exponer los conceptos metodológicos básicos de las comparaciones indirectas y mixtas a partir del desarrollo de una sencilla hoja de cálculo en Microsoft Excel, con objetos visuales y programación en lenguaje Visual Basic.

 

Comparaciones indirectas y mixtas

Comparaciones indirectas

A partir de una revisión sistemática con metaanálisis de comparaciones directas podemos determinar cuanto mejor es un tratamiento B respecto a un tratamiento A (Ө_{AB, directa}), y cuanto mejor es un tratamiento C respecto al mismo comparador A (Ө_{AC, directa})⁴. Brevemente, para la obtención de estimadores combinados directos, los resultados de los estudios individuales son ponderados en función de su precisión a través de diversas técnicas y modelos. La elección del modelo empleado depende fundamentalmente de la consideración de la hipótesis de homogeneidad de efectos entre los resultados de los estudios individuales incluidos en la revisión sistemática⁵. En el modelo de efectos fijos se asume que los estudios incluidos en el metaanálisis están estimando a un único, y común, efecto poblacional, por lo que la única variabilidad presente es debida al azar. El modelo de efectos aleatorios se fundamenta en que los estudios estiman una distribución de efectos en la población, asumiendo que los efectos subyacentes siguen una distribución normal con una media y varianza fijas. En otras palabras, el efecto individual de cada estudio estima a un efecto poblacional diferente.

En ausencia de estudios que presenten comparaciones directas de B respecto a C, es posible establecer una comparación indirecta y obtener una estimación de la medida del efecto (Ө_{BC, indirecta}), como la diferencia entre las dos comparaciones directas (tabla 1). Este tipo de comparaciones indirectas también se suele denominar ‘comparaciones indirectas ajustadas' o método de Bucher⁴. Por ejemplo, supongamos que el tratamiento C es mejor que A y permite prevenir 5 casos adicionales de enfermedad por cada 100 pacientes tratados. Y que el tratamiento B es mejor que A y previene 2 casos por cada 100. Una estimación indirecta de la eficacia relativa del tratamiento C respecto el tratamiento B de forma aproximada, resultaría en una eficacia relativa de 3 casos prevenidos por cada 100 pacientes tratados. Así, sería posible estimar los potenciales beneficios relativos de las distintas comparaciones entre A, B y C.

Comparaciones mixtas

Asimismo, cuando se dispone de evidencia de estudios que presentan metaanálisis de comparaciones directas de B respecto a C (Ө_{BC, directa}), es posible combinar la evidencia directa e indirecta (Ө_{BC, indirecta}) en una comparación mixta (Ө_{BC, mixta}), como un promedio ponderando por el inverso de sus respectivas varianzas6 (tabla 1). En el ejemplo, la comparación mixta entre C y B integra los resultados de la comparación directa de los dos tratamientos con los resultados de la comparación indirecta obtenida a partir de la información del resto de comparaciones directas (B frente a A y C frente a A). Las comparaciones mixtas pueden no solo complementar la información para aquellas comparaciones en las cuales existe poca información sino también pueden ayudar a mejorar la precisión de las estimaciones del efecto de los tratamientos.

Condiciones de aplicación: transitividad y consistencia

Es importante remarcar que la evidencia indirecta es de carácter observacional, pudiendo presentar serios problemas de validez interna⁷, por lo que se requieren unas condiciones básicas de aplicación. La primera es la transitividad^8,9, cuando los estudios en los que se comparan de forma directa el tratamiento B con A y el tratamiento C con A son comparables por no diferir en relación a la distribución de factores modificadores del efecto. La transitividad puede formularse de una manera sencilla del modo que una comparación indirecta entre tratamientos estima válidamente una comparación directa no observada. Aunque la transitividad no se puede probar estadísticamente, su plausibilidad se puede evaluar conceptualmente desde una perspectiva más clínica o epidemiológica cuando hay comparaciones directas entre los diferentes tratamientos que conforman un ciclo cerrado en una red de estudios ABC (tabla 1). Cuando no hay comparaciones directas, una de las hipótesis establecidas al pretender calcular el efecto de C frente a B es que uno puede utilizar el conocimiento de C frente a B a través de un comparador común A. Esta aplicación del supuesto de transitividad permite decir que el comparador común A permite establecer una comparación válida entre los tratamientos. Para que se cumpla el supuesto de transitividad, no deben presentarse diferencias en relación con la distribución de factores modificadores del efecto entre los ensayos considerados. Ejemplos de posibles factores modificadores del efecto a nivel de estudio clínico pueden ser aquellos aspectos relacionados con el paciente (por ejemplo, la edad, el sexo, presencia de comorbilidades, etc.), la intervención (dosis, duración), el comparador y el resultado (diferencias en la definición del acontecimiento o enfermedad que se quiere prevenir o tratar). Por ejemplo, el no cumplimento de la condición de transitividad puede producirse especialmente cuando se comparan tratamientos ‘nuevos' respecto a tratamientos ‘antiguos' debido a que pueden existir variables no observadas que pueden diferir entre las comparaciones, si bien es posible identificar a priori posibles factores modificadores del efecto y comparar sus distribuciones. También es posible que no se cumpla cuando los tratamientos han sido estudiados en indicaciones terapéuticas diferentes. Diversos autores⁸ formulan la condición de transitividad diciendo que si los estudios que comparan A con C no tienen un brazo B y los estudios que comparan A con B no tienen un brazo C, puede considerarse que los brazos B o C han sido excluidos debidos al azar. De este modo, la transitividad no se cumplirá si la elección del grupo comparador A está asociado con el efecto relativo de las intervenciones. Esto pone de manifiesto la importancia de esta condición, ya que la elección de los tratamientos que se evalúan en los estudios son raramente elegidos al azar. La transitividad puede examinarse por clínicos e investigadores a través de una revisión cuidadosa de las características metodológicas de los estudios y de las poblaciones de pacientes estudiadas en estos estudios.

Además debe existir consistencia o coherencia entre la evidencia procedente de comparaciones directas e indirectas (tabla 1). Es decir, cuando podemos considerar que Ө_BC,directa es igual o similar a Ө_{BC, indirecta}. La consistencia puede evaluarse estadísticamente, es decir, su diferencia puede cuantificarse a través de un factor de inconsistencia (FI=Ө_{BC, directa}- Ө_{BC, indirecta}) y utilizar una prueba Z para comprobar si FI=0 (hipótesis nula de consistencia) y/o calcular el intervalo de confianza para FI⁴. Es importante remarcar que la combinación de estimaciones inconsistentes procedentes de distintas fuentes puede proporcionar resultados sesgados que dejan de tener validez en los procesos de toma de decisiones. Al igual que sucede con la condición de transitividad, los estudios individuales combinados en las comparaciones directas e indirectas no deben presentar diferencias en relación a la distribución de los factores modificadores del efecto para que los resultados sean consistentes.

 

Ejemplo con la hoja de calculo en excel

Consideraciones prácticas

Se ha implementado el cálculo de comparaciones indirectas y mixtas por el método de Bucher⁴, junto al factor de inconsistencia en una hoja de cálculo Excel protegida, con fórmulas, objetos visuales (botones) y programación en Visual Basic for Applications (VBA) tanto de los objetos como de la propia hoja. Su funcionamiento se ha validado bajo distintos entornos de Microsoft Windows y versiones de Microsoft Office, funcionando siempre correctamente. Aunque dependiendo de la versión de Microsoft Office, puede que el usuario necesite deshabilitar el uso de macros en Excel (anexo 1).

 

 

La hoja se puede descargar de forma gratuita en cualquiera de los URL que figuran en el anexo 1 o bien solicitándola por correo electrónico a los autores

Ejemplo para comparaciones indirectas

Para ilustrar el uso de la hoja de cálculo se utilizan datos de un reciente metaanálisis en red sobre intervenciones coronarias percutáneas en pacientes con enfermedad coronaria no aguda¹⁰. Los autores obtienen en primera instancia, a partir de un metaanálisis de comparaciones directas combinando los resultados de 3 ensayos clínicos (cuyos resultados se muestran en el anexo 2), un riesgo menor de revascularización coronaria en los pacientes tratados con stents convencionales (BMS) respecto los pacientes tratados con terapia médica (comparación identificada como B vs A en la hoja de cálculo, con riesgo relativo [RR]=0,78; intervalo de confianza del 95% [IC95%]=0,58-1,05). Mientras que a partir de otro metaanálisis de comparaciones directas para 7 ensayos clínicos obtienen un mayor riesgo de revascularización para pacientes con angioplastia coronaria transluminal percutánea (PTCA) respecto, de nuevo, a la terapia médica (comparación identificada como C vs A con RR=1,08; IC95%=0,74-1,56).

 

 

Asumiendo siempre el cumplimiento de la condición de transitividad, podemos obtener una comparación indirecta entre ambos tratamientos, BMS vs PTCA, desde el momento en que ambos se comparan en sus respectivos metaanálisis con el mismo comparador común, la terapia médica.

Al abrir la hoja de cálculo, en primer lugar hay que elegir la medida del efecto que se desea utilizar (figura 1). En este ejemplo es el RR ubicado en la columna de variables de respuesta de tipo binario (revascularización si/no). A continuación, en el cuadro superior para el cálculo de comparaciones indirectas, hay que introducir los resultados procedentes de los metaanálisis de comparaciones directas anteriormente mencionados (figura 2). Los resultados muestran dos posibles comparaciones indirectas dependiendo del tratamiento que fijemos a priori como comparador, BMS vs PTCA (identificada como B vs C) o bien PTA vs BMS (identificada como C vs B). En el primer caso se observa un menor riesgo de revascularización en pacientes con BMS vs PTCA (RR=0,72; IC95%=0,45-1,16). Lógicamente, en el segundo caso es la comparación inversa, que muestra un mayor riesgo de revascularización en pacientes con PTCA vs BMS (R=1,38; IC95%=0,86-2,23). Aunque para ambas comparaciones se observa que no existe una diferencia estadísticamente significativa (p=0,18).

 

 

 

Ejemplo para comparaciones mixtas

En el mismo estudio¹⁰, los autores también encontraron 3 investigaciones que comparaban de forma directa BMS vs PTCA (anexo 2). El resultado de este metaanálisis de comparaciones directas mostraba asimismo una disminución del riesgo de revascularización en los pacientes con BMS (RR=0,79; IC95%=0,59-1,06). La comparación mixta, resultante de combinar la evidencia indirecta del apartado anterior con la nueva evidencia directa, se puede realizar introduciendo los datos de ambos tipos de comparaciones en el cuadro inferior para comparaciones mixtas (figura 3). Es importante destacar que los resultados que el usuario debe introducir han ser coherentes en cuanto al orden del tratamiento de interés y el tratamiento que se utiliza como comparador, que para ser consistentes con los autores del ejemplo¹⁰ será BMS vs PTCA. El resultado de la comparación mixta indica que de nuevo hay un menor riesgo de revascularización en pacientes con BCM vs PTCA (RR=0,77; IC95%=0,61-0,99), aunque esta reducción del riesgo si que resulta estadísticamente significativa (p=0,0397). La hoja de cálculo también cuantifica el factor de consistencia en el caso del RR en términos relativos junto a su intervalo de confianza del 95% y la prueba Z para consistencia⁴. El resultado indica que hay evidencia para no rechazar la hipótesis nula de consistencia entre ambos tipos de comparaciones (p=0,7440), por lo que estadísticamente la comparación mixta es consistente.

 

 

Limitaciones

Diversos estudios^11,12 han puesto de manifiesto que las comparaciones indirectas y mixtas pueden sobre o infraestimar los efectos de los tratamientos en relación a la evidencia procedente de comparaciones directas, aunque otros autores sugieren lo contrario¹³. Asimismo, en la práctica existen comparaciones indirectas que podrían resultar válidas a pesar de no cumplirse las condiciones anteriormente expuestas¹¹. Además no debemos olvidar las limitaciones comunes al metaanálisis de comparaciones directas, tales como la falta de homogeneidad, sesgo de publicación, sesgo de selección, etcétera. Por este motivo, actualmente estas técnicas siguen desarrollándose y evaluándose rigurosamente para aumentar el conocimiento disponible antes de su generalización¹⁴.

En cuanto a las limitaciones prácticas directamente relacionadas con la hoja de cálculo que presentamos en este trabajo, su aplicación al análisis de una red más extensa de los tres tratamientos que presentamos en el ejemplo, implica un aumento exponencial del número de cálculos a realizar a través de la propia hoja. En este caso, la solución habitual consiste en utilizar modelos de metaregresión, a partir de macros disponibles en programas estadísticos de carácter general, como Stata¹⁵ o R¹⁶. Asimismo, el método de Bucher implementado en la hoja de cálculo sólo es aplicable al metaanálisis de ensayos de dos brazos⁴. En caso de tener ensayos con más de dos brazos es recomendable utilizar modelos de metaregresión multivariante¹⁷. Por último, en cualquiera de las dos situaciones anteriores puede resultar difícil la valoración de la condición de consistencia estadística de forma global. Para lo cual, de nuevo, es recomendable utilizar modelos de inconsistencia como los de Lumley¹⁸ (para estudios con dos brazos de comparación) o Lu y Ades⁶ (para estudios con más de dos brazos). Estos modelos^6,18 no permiten combinar comparaciones directas e indirectas, sino que su finalidad es contrastar la asunción de consistencia estadística entre ambos tipos comparaciones. En caso de cumplirse la asunción de consistencia estadística, la estimación de las comparaciones directas, indirectas y mixtas puede obtenerse utilizando modelos de metaregresión (para estudios con dos brazos de comparación) o metaregresión multivariante (para estudios con más de dos brazos)¹⁷.

 

Conclusión

En este artículo se han presentado los aspectos metodológicos básicos de las comparaciones indirectas y mixtas y su implementación a través de una hoja de cálculo en Excel, con el fin de familiarizar con esta técnica al investigador de una forma sencilla, de tal forma que el uso de las comparaciones indirectas y mixtas permita ampliar el conocimiento proporcionado por la síntesis tradicional de la evidencia clínica a través del metaanálisis de comparaciones directas. Este tipo de comparaciones, y su posterior extensión al metaanálisis en red^19,20, son una aportación metodológica importante en la síntesis de la evidencia científica. Su potencial uso en epidemiología clínica es considerable ya que, además de proporcionar una estimación más precisa del efecto de un tratamiento respecto a alternativas terapéuticas disponibles, pueden ofrecer información relevante en situaciones en las que la evidencia procedente de comparaciones directas es escasa o inexistente. En el futuro, los resultados procedentes de este tipo de comparaciones pueden ser de gran utilidad para los procesos de evaluación y la toma de decisiones si se realizan de manera coherente, transparente y explícita, considerando las condiciones de transitividad y consistencia.

 

Bibliografía

1. Ferreira González I, Urrútia G, Alonso-Coello P. Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación. Rev Esp Cardiol. 2011; 64: 688-96.         [ Links ]

2. Kontopantelis E, Reeves D. MetaEasy: A Meta-Analysis Add-In for Microsoft Excel. J Stat Software. 2009; 30.         [ Links ]

3. Neyeloff JL, Fuchs SC, Moreira LB. Meta-analyses and Forest plots using a microsoft Excel spreadsheet: step-by-step guide focusing on descriptive data analysis. BMC Research Notes. 2012; 5: 52.         [ Links ]

4. Bucher HC, Guyatt GH, Griffith LE, Walter SD. The results of direct and indirect treatment comparisons in meta-analysis of randomized controlled trials. J Clin Epidemiology. 1997; 50: 683-91.         [ Links ]

5. Catalá-López F, Tobías A. Metaanálisis de ensayos clínicos aleatorizados, heterogeneidad e intervalos de predicción. Med Clin (Barc). 2013. Disponible en: http://dx.doi.org/10.1016/j.medcli.2013.06.013.         [ Links ]

6. Lu G, Ades AE. Combination of direct and indirect evidence in mixed treatment comparisons. Stat Med 2004; 23: 3105-24.         [ Links ]

7. Baker SG, Kramer BS. The transitive fallacy for randomized trials: if A bests B and B bests C in separate trials, is A better than C? BMC Med Res Methodol. 2002; 2: 13. Erratum in: BMC Med Res Methodol. 2003; 3:23.         [ Links ]

8. Catalá-López F, Hutton B, Moher D. Transitivity property across randomized controlled trials: If B is better than A, and C is better than B, will C be better than A? Rev Esp Cardiol. 2014 (en prensa).         [ Links ]

9. Lu G, Ades AE. Assessing evidence inconsistency in mixed treatment comparisons. J Am Stat Assoc. 2006; 101: 447-59.         [ Links ]

10. Trikalinos TA, Alsheikh-Ali AA, Tatsioni A, Nallamothu BK, Kent DM. Percutaneous coronary interventions for non-acute coronary artery disease: a quantitative 20-year synopsis and a network meta-analysis. Lancet 2009; 373: 911-8. Erratum in: Lancet. 2009; 374: 378.         [ Links ]

11. Chou R, Fu R, Huffman LH, Korthuis PT. Initial highly-active antiretroviral therapy with a protease inhibitor versus a non-nucleoside reverse transcriptase inhibitor: discrepancies between direct and indirect meta-analyses. Lancet. 2006; 368: 1503-15.         [ Links ]

12. Mills EJ, Ghement I, O'Regan C, Thorlund K. Estimating the power of indirect comparisons: a simulation study. PLoS One. 2011; 6: e16237.         [ Links ]

13. Madan J, Stevenson MD, Cooper KL, Ades AE, Whyte S, Akehurst R. Consistency between direct and indirect trial evidence: is direct evidence always more reliable? Value Health. 2011; 14: 953-60.         [ Links ]

14. Li T, Puhan MA, Vedula SS, Singh S, Dickersin K; Ad Hoc Network Meta-analysis Methods Meeting Working Group. Network meta-analysis-highly attractive but more methodological research is needed. BMC Med. 2011; 9: 79.         [ Links ]

15. Harbord RM, Higgins JPT. Meta-regression in Stata. Stata Journal 2008; 8: 493-519.         [ Links ]

16. Viechtbauer W. Conducting meta-analyses in R with the metafor package. J Stat Soft. 2010; 36.         [ Links ]

17. Salanti G, Dias S, Welton NJ, Ades AE, Golfinopoulos V, Kyrgiou M, Mauri D, Ioannidis JP. Evaluating novel agent effects in multiple-treatments meta-regression. Stat Med. 2010; 29: 2369-83.         [ Links ]

18. Lumley T. Network meta-analysis for indirect treatment comparisons. Stat Med. 2002; 21-2313-24.         [ Links ]

19. Catalá-López F, Tobías A. Síntesis de la evidencia clínica y metaanálisis en red con comparaciones indirectas Med Clin (Barc). 2013; 140: 182-7.         [ Links ]

20. Catalá-López F, Tobías A, Roqué M. Conceptos básicos del metaanálisis en red. Aten Primaria. 2014 (en prensa).         [ Links ]

 

 

Dirección para correspondencia:
Aurelio Tobías
Instituto de Diagnóstico Ambiental y Estudios del Agua (IDAEA)
Consejo Superior de Investigaciones Científicas (CSIC)
C/ Jordi Girona 18-26
08034 Barcelona
aurelio.tobias@idaea.csic.es