REVISIÓN

 

Infusión espinal: valoración crítica de las revisiones sistemáticas publicadas con las herramientas AMSTAR, CASP y OQAQ

Spinal infusion - a critical assessment of systematic reviews using the AMSTAR, CASP and OQAQ instruments

 

 

J. L. de la Calle¹, J. Insausti², J. Cid³, C. del Pozo⁴ y J. de Andrés⁵

Grupo de Trabajo sobre Infusión Espinal de la SED.
¹Hospital Universitario Ramón y Cajal. Madrid.
²Hospital General Universitario. Ciudad Real.
³Hospital Virgen de la Salud. Toledo.
⁴Hospital Universitario Puerta de Hierro. Madrid.
⁵Hospital General Universitario. Valencia

Presentado en parte en el VIII Congreso de la Sociedad Española del Dolor y IX Reunión Iberoamericana. Madrid, 26 a 29 de mayo de 2010.

Financiación: Ninguna

Conflicto de intereses: No declarados

Dirección para correspondencia

 

 

---

RESUMEN

Objetivos: realizar una valoración crítica de las revisiones sistemáticas (RS) publicadas sobre infusión espinal, utilizando las herramientas AMSTAR (A measurement tool to assess systematic reviews), CASP (Critical Appraisal Skills Programme) y OQAQ (Overview Quality Assessment Questionnaire).
Material y métodos: de forma independiente por dos autores, se realizó una búsqueda bibliográfica sistematizada de las RS existentes, utilizando las bases de datos bibliográficas específicas, las páginas web de las agencias de tecnologías sanitarias y una búsqueda manual. Todas las RS seleccionadas han sido evaluadas por 4 revisores con las herramientas AMSTAR, CASP y OQAQ, lo que suponen 12 valoraciones sobre cada una de las revisiones estudiadas. La valoración final de las distintas revisiones con cada una de las herramientas, se ha obtenido calculando la valoración media de las 4 puntuaciones realizadas por los revisores, así como el valor mediano y el intervalo de confianza al 95% (IC95%).
Resultados: se seleccionaron para su evaluación 24 documentos. No superaron el 50% de la valoración máxima posible, 15 RS con la herramienta AMSTAR, 10 con la CASP y 12 con la OQAQ. Teniendo en cuenta el criterio de que la media de las valoraciones supere el 60% de la valoración máxima posible, que creemos básico para considerar como válida una RS, únicamente 8 de las 24 revisiones lo superaron con las tres herramientas.
Conclusiones: resulta obligado realizar una valoración crítica de la literatura médica publicada, sin dejarnos deslumbrar por epígrafes como RS o metaanálisis que, en muchos casos, nada tienen que ver con la verdadera medicina basada en la evidencia.

Palabras clave: Valoración crítica. Revisión sistemática. Infusión espinal. Tratamiento del dolor.

---

ABSTRACT

Objectives: to perform a critical assessment of systematic reviews (SRs) reported on spinal infusion by using the AMSTAR (A measurement tool to assess systematic reviews), CASP (Critical Appraisal Skills Programme), and OQAQ (Overview Quality Assessment Questionnaire) instruments.
Material and methods: a systematic search of the literature was carried out by two authors separately of current SRs using specific literature databases, health agency websites, and a manual search. All selected SRs were assessed by 4 reviewers using the AMSTAR, CASP, and OQAQ tools, which accounts for 12 assessments on each studied review. The final score of the various reviews with each tool was obtained by estimating the mean value of all 4 reviewer scores as well as the median value and 95% confidence interval (95%CI).
Results: in all, 24 documents were selected for assessment. They never scored above 50% of the maximum rating possible, 15 SRs using AMSTAR, 10 using CASP, and 12 using OQAQ. Considering the criterion that mean scores should be higher than 60% of the maximum rating possible, which we consider crucial to assess a SR as valid, only 8 of all 24 reviews qualified with these three instruments.
Conclusions: a critical assessment of the literature is mandatory avoiding the dazzling effects of labels such as SR or meta-analysis, which often have nothing to do with true evidence-based medicine.

Key words: Critical assessment. Systematic review. Spinal infusion. Pain management.

---

 

Introducción

Las revisiones sistemáticas (RS) de la literatura científica son estudios pormenorizados, selectivos y críticos que tratan de analizar e integrar la información esencial de los estudios primarios de investigación sobre un problema de salud específico, en una perspectiva de síntesis unitaria de conjunto.

La valoración crítica de una RS consiste en la realización de un análisis sobre: su validez interna (probabilidad de que, en su desarrollo, la revisión no haya incurrido en sesgos o errores sistemáticos); sus resultados (tamaño y precisión del efecto, lo que nos orientará hacia su relevancia clínica y reproductibilidad); y su validez externa o aplicabilidad (posibilidad de aplicar los resultados de la revisión a nuestro contexto, y a un paciente de forma individual).

La valoración de todos estos elementos de una RS por el clínico no experto en cuestiones metodológicas, puede resultar excesivamente compleja y difícil de materializar. Para simplificar, y hacer factible al clínico las valoraciones críticas de estas publicaciones, se han desarrollado herramientas como la valoración AMSTAR (A measurement tool to assess systematic reviews) (1), el CASP (Critical Appraisal Skills Programme) (2) y el OQAQ (Overview Quality Assessment Questionnaire) (3).

El análisis crítico de estas publicaciones resulta especialmente relevante, ya que es conocido que detrás de muchos trabajos denominados RS, no existe la suficiente solvencia como para ser denominados como tales, y desde luego no ocupan el máximo nivel de evidencia científica como cabría esperar de ellos.

Por ello, los clínicos deberíamos estar en disposición de poder realizar una valoración rigurosa de las mismas. No obstante, en el ejercicio diario de la medicina, con mucha frecuencia, y a pesar de la existencia de las herramientas que simplifican la valoración de las publicaciones, resulta difícil la realización de las mismas. Más aún cuando estas valoraciones se realizan a título individual, siempre puede existir la duda razonable de si la evaluación final ha sido la correcta. Es incuestionable que la valoración objetiva final de una RS siempre contará con más respaldo si es realizada de forma independiente por varios profesionales expertos en la materia en cuestión, que si se realiza a título individual.

Conocedores de las cuestiones descritas anteriormente, desde el grupo de infusión espinal de la Sociedad Española del Dolor, hemos decidido realizar un estudio de valoración crítica de las RS publicadas sobre infusión espinal, utilizando las herramientas AMSTAR (1), CASP (2) y OQAQ (3). Con ello pretendemos facilitar al resto de los clínicos interesados en la infusión espinal, la selección de las RS metodológicamente válidas y que cuentan con la debida calidad científica para ser consideradas como la máxima evidencia científica disponible.

 

Material y métodos

De forma independiente por dos autores se realizó una extensa búsqueda bibliográfica sistematizada de las RS existentes, utilizando las bases de datos bibliográficas específicas, las páginas web de las agencias de tecnologías sanitarias y una búsqueda manual [Trip Database; Fisterra; Medline; Embase; Pascal Biomed; CINAHL; The Cochrane Library; Centre for Reviews and Dissemination Database (CDR); Evidence based Medicine Reviews (EBM); Agencias de Evaluación de Tecnologías Sanitarias Nacionales (UETS, AETSA, AETS, OSTEBA); Red Internacional de Agencias de Evaluación de Tecnologías Sanitarias Internacionales (INAHTA)].

Las búsquedas se realizaron sin limitar el año de publicación, y limitando los idiomas al inglés y español. La estrategia de búsqueda ha sido muy similar en todas las bases de datos:

1. "Infusion-Pumps,-Implantable"/all subheadings.
2. (intraspinal and pump) in ti.
3. (intrathecal and pump) in ti.
4. #1 or #2 or #3.
5. "Muscle-Spasticity"/all subheadings.
6. "Pain"/ all subheadings.
7. #5 or #6.
8. #4 and #7.
9. "Systematic review"/all subheadings.
10. #9 and #8.

El criterio de inclusión de los documentos para su evaluación ha sido el que aparezca en el título, resumen o palabras clave, las palabras revisión sistemática. Adicionalmente se decidió incluir los informes de evaluación de las agencias sobre tecnologías sanitarias, dado que metodológicamente son revisiones sistemáticas. Se han excluido las revisiones narrativas o de autor, las publicaciones sobre infusión espinal en anestesia y en el tratamiento del dolor agudo, y los estudios realizados con animales de experimentación.

Cada una de las RS seleccionadas ha sido evaluada por 4 revisores con las herramientas: AMSTAR, CASP y OQAQ.

La herramienta del CASP consta de 10 preguntas estructuradas sistemáticamente para contestar tres cuestiones fundamentales: ¿son válidos los resultados?, ¿cuáles son los resultados?, ¿son aplicables a nuestro entorno? Ocho de las preguntas deben ser contestadas con un sí, no, o no lo sé. Hemos puntuado la respuesta sí con un punto, y las respuestas no o no sé con cero puntos. Para la puntuación de cada una de las revisiones sistemáticas hemos sumado las puntuaciones obtenidas de cada una de ellas en un rango de 0 a 8 puntos. El motivo de que la puntuación máxima de la revisión sea 8 puntos es que las dos últimas preguntas adicionales, novena y décima, hacen referencia al resultado global de la revisión y a la precisión del mismo y no cuentan con una equivalencia numérica, sino que se expresan como una opinión personal del revisor.

El instrumento AMSTAR consta de 11 preguntas, con cuatro posibles respuestas para cada una de ellas, a saber: sí, no, no puedo contestarla y no es aplicable. De igual forma que en el caso anterior, a la respuesta sí se le puntúa con un punto, y al resto de respuestas con 0 puntos. La puntuación global de la revisión se obtiene de la suma de las respuestas sí que se hayan obtenido, con una puntuación mínima de 0 y máxima de 11 puntos.

Finalmente, se ha realizado una valoración global de cada una de las revisiones, según la escala del OQAQ. La escala es similar a una de Likert de 7 puntos, con la siguiente valoración:

1. Tiene gran cantidad de errores/defectos.
2. Situación intermedia entre 1 y 3.
3. Tiene errores/defectos importantes.
4. Situación intermedia entre 3 y 5.
5. Tiene errores/defectos menores.
6. Situación intermedia entre 5 y 7.
7. Tiene defectos mínimos.

Cada una de las revisiones sistemáticas ha sido evaluada por los 4 revisores utilizando las tres herramientas descritas, lo que suponen 12 puntuaciones para cada una de las revisiones estudiadas. Para cada una de las revisiones hemos calculado la valoración media obtenida con cada una de las herramientas, así como el valor mediano y el intervalo de confianza al 95% (IC95%). Todo el estudio estadístico se ha realizado con el paquete informático SPSS (v.15).

 

Resultados

Se seleccionaron para su evaluación 24 documentos (4-27). Los resultados de las evaluaciones de las revisiones, están recogidos en las tablas I y II.

En primer lugar resaltar que no superaron el 50% de la valoración máxima posible 15 RS con la herramienta AMSTAR, 10 con la CASP y 12 con la OQAQ.

Utilizando el criterio de que la media de las valoraciones de cada una de las revisiones supere el 60% de la valoración máxima posible, que consideramos básico para considerar como válida una RS, lo cumplieron 8 revisiones con la herramienta AMSTAR (valores superiores a 6,5), 13 revisiones con la herramienta CASP (valores superiores a 4,8), y 10 revisiones con el OQAQ (valores superiores a 4,2). Únicamente 8 de las 24 revisiones superaron el criterio con las tres herramientas.

Todas las revisiones que superaron el punto de corte del 60% con la herramienta AMSTAR, también lo hicieron con las otras dos herramientas. En todos los casos en los que se superó el punto de corte del 60% con el OQAQ también se superó el corte con el CASP. Finalmente, hubo tres revisiones que superaron el corte del 60% con el CASP y no lo hicieron con ninguna de las otras dos herramientas.

Considerando el criterio más exigente, que el valor inferior del IC95% supere el 60% de la valoración máxima posible, cumplieron el criterio 5 revisiones con la herramienta AMSTAR, 11 con el CASP, y 9 con el OQAQ. También en este caso, todas las revisiones que superaron el criterio con el AMSTAR, lo hicieron con las otras dos herramientas. En las tablas I y II están resaltados en negrita los valores de las RS que han superado este criterio.

 

Discusión

Las revisiones sistemáticas de la literatura científica son aquellas que resumen y analizan la evidencia científica respecto de una pregunta específica, de una forma estructurada, explícita y sistemática. Existen dos tipos de revisiones sistemáticas: a) RS cualitativas, cuando la evidencia se presenta de una forma descriptiva, sin análisis estadístico; b) RS cuantitativas o metaanálisis, cuando mediante técnicas estadísticas específicas se combinan cuantitativamente los resultados de varios estudios en un único resultado. Ambas son piezas determinantes en el ejercicio de la medicina basada en la evidencia. De hecho, una RS de estudios clínicos realizada correctamente, es considerada como el primer nivel de la pirámide de los niveles de evidencia propuesta por Sacket y cols. en el año 2000 (28), en el Oxford Center for evidence based Medicine.

Sin embargo, desde un punto de vista de diseño, las RS son estudios retrospectivos y, por este motivo, están sujetas a posibles sesgos durante su proceso de elaboración, tanto en la búsqueda y selección de la literatura, como en el análisis y síntesis de la información obtenida. Una RS no es sinónimo de calidad de la información. Existen numerosas publicaciones en las que se utiliza el término RS o metaanálisis con la única finalidad de atribuirse una determinada solvencia y validez de los resultados que se presentan. Por estos motivos, de la misma forma que con cualquiera otra publicación científica, las RS deben ser evaluadas críticamente para determinar su validez.

Resulta prioritario considerar que las RS representan el nivel más alto de evidencia disponible, únicamente si han sido realizadas con las debidas precauciones y pautas metodológicas, de forma que realmente sinteticen de una manera fidedigna toda la evidencia disponible. Estas consideraciones que realizamos han quedado de manifiesto en el trabajo que presentamos. Más de la mitad de las 24 RS que se han analizado no cumplen los criterios mínimos de calidad para ser consideradas como tales, independientemente de la herramienta utilizada para su valoración, y únicamente 8 RS han superado los criterios de selección básicos con las tres herramientas.

Todo lo anterior abunda en la necesidad de que los clínicos dedicados al tratamiento del dolor, nos debemos acostumbrar a realizar valoraciones críticas de los artículos y las RS que analizamos. Para la valoración crítica de este tipo de literatura por los clínicos no expertos en cuestiones metodológicas, se han elaborado varias herramientas sencillas de utilizar con ese fin. En nuestro caso hemos utilizado las herramientas AMSTAR, CASP y OQAQ. Esencialmente, todas ellas evalúan si en la elaboración de la RS se han producido sesgos o errores que limiten su validez interna o externa. Todas ellas consisten en un listado de preguntas simples y directas que analizan si la RS cumple con los criterios de calidad exigidos. Las cuestiones básicas que analizan todas las herramientas son: la validez de los criterios primarios (la RS aborda un problema clínico concreto y los criterios de inclusión de los artículos seleccionados para ser analizados ha sido la apropiada); la validez de los criterios secundarios (es poco probable que no se analicen estudios relevantes, se ha analizado la validez de los estudios incluidos, y las evaluaciones de los estudios es reproducible); y finalmente, hasta qué punto son precisos y consistentes los resultados, y si estos son aplicables a nuestros pacientes.

No obstante, a pesar de sus similitudes, no todas las herramientas tienen el mismo nivel de exigencia, como ha quedado de manifiesto en nuestro estudio.

Concretamente, la herramienta AMSTAR ha demostrado ser más exigente que la OQAQ y CASP, como lo demuestra el hecho de que solo 8 de las 24 RS analizadas hayan superado los criterios mínimos con esta herramienta, frente a 10 con el OQAQ y 13 con el CASP, y que en todos los casos en los que se superó el criterio propuesto con el AMSTAR, también se produjo con las demás herramientas.

Finalmente, resulta llamativo el hecho de que al utilizar el criterio más exigente (valor inferior del IC95% superior al 60% de la puntuación máxima posible), únicamente 5 de las RS lo hayan superado con las tres herramientas de evaluación. De ello se deduce que solo 5 RS de las 24 analizadas han demostrado tener una gran calidad, cuando estamos hablando de un tipo de estudios que deben ocupar el máximo nivel de la pirámide de evidencia.

 

Conclusiones

Independientemente de la herramienta utilizada, ha quedado de manifiesto que resulta obligado realizar una valoración crítica de la literatura médica publicada, sin dejarnos deslumbrar por epígrafes como revisión sistemática o metaanálisis que, en muchos casos, nada tienen que ver con la verdadera medicina basada en la evidencia.

 

Bibliografía

1. Shea BJ, Hamel C, Wells GA, Bouter LM, Kristiansson E, Grimshaw J, et al. AMSTAR is a reliable and valid measurement tool to assess the methodological quality of systematic reviews. J Clin Epidemiol 2009;62(10): 1013-20.         [ Links ]

2. Guías CASPe de Lectura Crítica de la Literatura Médica. Cuaderno I. Editor: CASPe; D.L.: A-516-2005; ©2005 Entendiendo la evidencia sobre la eficacia clínica: 10 preguntas para ayudarte a entender una revisión. Disponible en: http://www.redcaspe.org/que-hacemos/herramientas/ Programa de lectura crítica CASPe.         [ Links ]

3. Oxman AD, Guyatt GH. Validation of an index of the quality of review articles. J Clin Epidemiol 1991;44(11): 1271-8.         [ Links ]

4. Albright AL, Turner M, Pattisapu JV. Best-practice surgical techniques for intrathecal baclofen therapy. Journal Neurosurg 2006(4 Supl. Pediatrics);104:233-9.         [ Links ]

5. Benot S. Agencia de evaluación de tecnologías sanitarias de Andalucía (AETSA). Informe de evaluación. Bombas de infusión implantables. Administración de fármacos en el espacio intratecal. Sevilla, diciembre 2000.         [ Links ]

6. Butler C, Campbell S. Evidence of the effects of intrathecal baclofen for spastic and dystonic cerebral palsy. Dev Med Child Neurol 2000;42(9):634-45.         [ Links ]

7. de Lissovoy G, Matza LS, Green H, Werner M, Edgar T. Cost-effectiveness of intrathecal baclofen therapy for the treatment of severe spasticity associated with cerebral palsy. J Child Neurol 2007;22(1):49-59.         [ Links ]

8. Follett KA, Boortz-Marx RL, Drake JM, DuPen S, Schneider SJ, Turner MS, et al. Prevention and management of intrathecal drug delivery and spinal cord stimulation system infections. Anesthesiology 2004;100:1582-94.         [ Links ]

9. Bennett G, Serafini M, Burchiel K, Buchser E, Classen A, Deer T, et al. Evidence-based review of the literature on intrathecal delivery of pain medication. J Pain Symptom Manage 2000;20(2):S12-S36.         [ Links ]

10. Ghafoor VL, Epshteyn M, Carlson GH, Terhaar DM, Charry O, Phelps PK. Intrathecal drug therapy for long-term pain management. Am J Health Syst Pharm 2007;64(23):2447-61.         [ Links ]

11. González VL. Agencia de evaluación de tecnologías sanitarias de Andalucía (AETSA). Informe sobre consulta específica. Evaluación del uso de las bombas de infusión programables para la administración de fármacos en espacio intratecal. Sevilla, mayo 1999.         [ Links ]

12. Knight KH, Brand FM, Mchaourab AS, Veneziano G. Implantable intrathecal pumps for chronic pain: Highlights and updates. Croat Med J 2007;48(1):22-34.         [ Links ]

13. Kumar K, Hunter G, Demeria DD. Treatment of chronic pain by using intrathecal drug therapy compared with conventional pain therapies: a cost-effectiveness analysis. J Neurosurg 2002;97(4):803-10.         [ Links ]

14. Medical Advisory Secretariat. Intrathecal baclofen pump for spasticity: an evidence based analysis. Ontario Heath Technology Assessment Series 2005;5(7).         [ Links ]

15. Raffaeli W, Andruccioli J, Righetti D, Caminiti A, Balestri M. Intraspinal therapy for the treatment of chronic pain: A review of the literature between 1990 and 2005 and suggested protocol for its rational and safe use. Neuromodulation 2006;9(4):290-308.         [ Links ]

16. Sampson F, Hayward A, Evans G, Morton R, Collett B. Functional benefits and cost/benefit analysis of continuous intrathecal baclofen infusion for the management of severe spasticity. J Neurosurg 2002;96(6):1052-7.         [ Links ]

17. Simpson BJ, Middleton P, Maddern G. Implantable spinal infusion devices for chronic pain and spasticity: An accelerated systematic review. ASERNIP-S Report No. 42. Adelaide, South Australia: ASERNIP-S, May 2003.         [ Links ]

18. Sloan PA. Neuraxial pain relief for intractable cancer pain. Curr Pain Headache Rep 2007;11(4):283-9.         [ Links ]

19. Slonimski M, Abram SE, Zuniga RE. Intrathecal baclofen in pain management. Reg Anesth Pain Med 2004; 29(3):269-76.         [ Links ]

20. Smith HS, Deer TR, Staats PS, et al. Intrathecal drug delivery. Pain Physician 2008;11(Opioid Special Issue): S89-S104.         [ Links ]

21. Smith TJ, Swainey C, Coyne PJ. Pain management, including intrathecal pumps. Curr Pain Headache Rep 2005; 9(4):243-8.         [ Links ]

22. Smith TJ, Swainey C, Coyne PJ. Pain management, including intrathecal pumps. Curr Oncol Rep 2004; 6(4):291-6.         [ Links ]

23. Smith TJ, Coyne P. What Is the evidence for implantable drug delivery systems for refractory cancer pain? Support Cancer Ther 2004;1(3):185-9.         [ Links ]

24. Taricco M, Adone R, Pagliacci C, Telaro E. Pharmacological interventions for spasticity following spinal cord injury. The Cochrane Database of Systematic Reviews 2006; Issue 2.         [ Links ]

25. Turner JA, Sears JM, Loeser JD. Programmable intrathecal opioid delivery systems for chronic non-cancer pain: a systematic review of effectiveness and complications. Clin J Pain 2007;23(2):180-95.         [ Links ]

26. Waara-Wolleat KL, Hildebrand KR, Stewart GR. A review of intrathecal fentanyl and sufentanil for the treatment of chronic pain. Pain Med 2006;7(3):251-9.         [ Links ]

27. Williams JE, Louw G, Towlerton G. Intrathecal pumps for giving opioids in chronic pain: a systematic review. Health Technol Assess 2000;4(32).         [ Links ]

28. Sackett DL, Straus SE, Richardson WS, Rosenberg W, Haynes RB. Evidence-based medicine. How to practice and teach EBM. 2nd ed. Edinburgh: Churchill Livingstone; 2000.         [ Links ]

 

 

Dirección para correspondencia:
J. L. de la Calle Reviriego
Unidad para el Estudio y Tratamiento del Dolor
Hospital Universitario Ramón y Cajal
Ctra. de Colmenar Viejo, km. 9,1
28034 Madrid
e-mail: jdelacalle.hrc@salud.madrid.org

Recibido: 09-03-11
Aceptado: 19-05-11