REVISIÓN MBE

 

Infusión espinal: valoración crítica de las guías de práctica clínica con el instrumento AGREE

Spinal infusion: a critical assessment of clinical guidelines using the AGREE tool

 

 

J. L. de la Calle¹, J. Insausti², J. Cid³, C. del Pozo⁴ y J. de Andrés⁵

Grupo de Trabajo sobre Infusión Espinal de la SED.
¹Hospital Universitario Ramón y Cajal. Madrid.
²Hospital General Universitario. Ciudad Real.
³Hospital Virgen de la Salud. Toledo.
⁴Hospital Universitario Puerta de Hierro. Madrid.
⁵Hospital General Universitario. Valencia

Presentado en parte en el VIII Congreso de la Sociedad Española del Dolor y IX Reunión Iberoamericana. Madrid, 26 a 29 de mayo de 2010.

Financiación: Ninguna.

Conflicto de intereses: No declarados.

Dirección para correspondencia

 

 

---

RESUMEN

Objetivos: identificar y evaluar los niveles de calidad de las Guías de práctica clínica (GPC) sobre infusión espinal con el instrumento AGREE (Appraisal of Guidelines Research and Evaluation), antes de su posible adaptación y aplicación en nuestro entorno.
Material y métodos: de forma independiente por dos autores, se realizó una búsqueda bibliográfica sistematizada de las GPC existentes. Cada una de las GPC seleccionadas ha sido evaluada por 4 revisores, utilizando el instrumento AGREE en su versión adaptada al español. En cada GPC, se analizaron seis áreas de valoración.
Finalmente, siguiendo los criterios propuestos por Etxeberría y Rotaeche, se ha realizado una valoración global definitiva de cada una de las GPC, basada en la estandarización de las puntuaciones de cada una de las áreas.
Resultados: se seleccionaron para su evaluación 13 GPC. En la valoración global definitiva, 7 GPC se consideraron como no recomendadas, 5 como recomendadas con condiciones y 1 como muy recomendada. Las 7 GPC no recomendadas, mayoritariamente, no superaron el punto de corte en ninguna de las áreas evaluadas, las 5 recomendadas con condiciones, lo superaron en dos áreas, y la única muy recomendada lo hizo en 4 de ellas.
Conclusiones: la evaluación de la calidad de las GPC publicaciones sobre infusión espinal, ha demostrado un amplio margen de mejora de la mayoría de las mismas.
Resulta obligado realizar una valoración crítica sobre la calidad de de las GPC, antes de proponer su aplicación a nuestro entorno.

Palabras clave: Valoración crítica. Guías clínicas. Infusión espinal. Tratamiento del dolor.

---

ABSTRACT

Objectives: to identify and to evaluate quality levels in clinical practice guidelines (CPGs) on spinal infusion using the AGREE (Appraisal of Guidelines Research and Evaluation) tool prior to its possible adaptation to and application in our setting.
Material and methods: two authors independently performed a systematic literature search for CPGs. Each selected CPG was evaluated by 4 reviewers using the Spanish-adapted AGREE tool. Six assessment areas were examined for each CPG.
Finally, according to criteria suggested by Etxeberría and Rotaeche, a definitive global assessment of each CPG was performed based on score standardization for each area.
Results: 13 CPGs were selected for evaluation. In the definitive global assessment 7 CPGs were deemed "non-recommended", 5 were deemed "conditionally recommended", and 1 was considered "highly recommended". All 7 non-recommended CPGs remained below the cutoff in all evaluated areas, all 5 conditionally recommended CPGs reached above the cutoff in two areas, and the one highly recommended CPG reached above the cutoff in 4 areas.
Conclusions: the quality assessment of existing CPGs on spinal infusion has revealed a wide margin for improvement in most of them.
A critical appraisal of CPG quality is crucial before CPG application is encouraged in our setting.

Key words: Critical assessment. Clinical guidelines. Spinal infusion. Pain management.

---

 

Introducción

Las guías de práctica clínica (GPC) son recomendaciones desarrolladas de una forma sistemática, que pretenden ayudar al profesional sanitario y al paciente a tomar las decisiones adecuadas en circunstancias clínicas específicas. Su objetivo es elaborar recomendaciones explícitas con la intención definida de influir en la práctica de los clínicos.

Se entiende por calidad de las guías de práctica clínica, la confianza en que se han evitado los sesgos potenciales en el desarrollo de la guía, y en que las recomendaciones son válidas tanto interna como externamente, y se pueden llevar a la práctica. Si bien en los últimos años se están elaborando GPC de mejor calidad, todavía existen pocas guías realizadas con una metodología sistemática basada en la mejor evidencia científica disponible.

Los criterios sobre la calidad de las GPC se han ido perfilando en los últimos años, sobre todo a partir de la aparición del instrumento AGREE (Appraisal of Guidelines Research and Evaluation) (1). El Instrumento AGREE evalúa, tanto la calidad de la información aportada en el documento, como la calidad de algunos aspectos de las recomendaciones. En definitiva, ofrece una valoración de la validez de una guía, es decir, la probabilidad de que la guía logre los resultados esperados.

Ante la necesidad de identificar los niveles de calidad de las GPC sobre infusión espinal, antes de su posible adaptación y aplicación en nuestro entorno, desde el grupo de trabajo de infusión espinal de la Sociedad Española del Dolor, hemos decidido evaluar con el instrumento AGREE las guías de práctica clínica publicadas sobre infusión espinal.

 

Material y métodos

De forma independiente por dos autores, se realizó una extensa búsqueda bibliográfica sistematizada de las GPC existentes a través de las páginas web de los organismos elaboradores y compiladores de GPC, y en los buscadores de guías de práctica clínica y bases de datos (Tabla I). Las búsquedas se realizaron sin limitar el año de publicación, y limitando los idiomas al inglés y al español. La estrategia de búsqueda ha sido muy similar en todas las bases de datos:

1. "Infusion-Pumps,-Implantable"/ all subheadings
2. (intraspinal and pump) in ti
3. (intrathecal and pump) in ti
4. #1 or #2 or #3
5. "Muscle-Spasticity"/ all subheadings
6. "Pain"/ all subheadings
7. #5 or #6
8. #4 and #7
9. "Guidelines" all subheadings
10. #9 and #8

 

Los criterios de inclusión de los documentos para su evaluación, han sido que aparezca en el título, resumen o palabras clave, las palabras guía clínica. En los resultados hemos excluido algunas guías generales y publicaciones sobre el tratamiento del dolor crónico, en las que, aunque nombrando a la infusión espinal como alternativa de tratamiento, su presencia en las mismas era anecdótica.

Cada una de las GPC seleccionadas ha sido evaluada por 4 revisores, utilizando el instrumento AGREE, en su versión adaptada al español, lo que suponen 4 puntuaciones para cada una de las guías estudiadas y una valoración global. El instrumento AGREE consiste en 23 ítems claves organizados en seis áreas: 1. Alcance y Objetivo (ítems 1-3), se refiere al propósito general de la guía, a las preguntas clínicas específicas y a la población diana de pacientes; 2. Participación de los implicados (ítems 4-7), analiza el grado en el que la guía representa los puntos de vista de los usuarios a los que está destinada; 3. Rigor en la elaboración (ítems 8-14), hace referencia al proceso utilizado para reunir y sintetizar la evidencia, los métodos para formular las recomendaciones y para actualizarlas; 4. Claridad y presentación (ítems 15-18), se ocupa del lenguaje y del formato de la guía; 5. Aplicabilidad (ítems 19-21), hace referencia a las posibles implicaciones de la aplicación de la guía en aspectos organizativos, de comportamiento y de costes; 6. Independencia editorial (ítems 22-23), tiene que ver con la independencia de las recomendaciones, y el reconocimiento de los posibles conflictos de intereses por parte del grupo de desarrollo de la guía.

Cada ítem está graduado mediante una escala de 4 puntos, desde el 4 "Muy de acuerdo", hasta el 1 "Muy en desacuerdo", con dos puntos intermedios: 3 "De acuerdo" y 2 "En desacuerdo". Se ha calculado la puntuación de cada una de las distintas áreas, sumando la puntuación de los cuatro evaluadores sobre cada uno de los ítems individuales de un área, y estandarizando el total como porcentaje sobre la máxima puntuación posible de esa área ([Puntuación obtenida - Mínima Puntuación posible ÷ Máxima Puntuación posible - Mínima Puntuación posible] x 100). Adicionalmente, cada uno de los revisores ha realizado una evaluación individual final para cada una de las guías con las opciones: "Muy recomendada", "Recomendada (con condiciones o modificaciones)", "No recomendada" y "No se sabe".

Las puntuaciones de las seis áreas son independientes y no pueden ser agregadas en una única puntuación de calidad. Sin embargo, las hemos utilizado para realizar comparaciones entre guías y para establecer una evaluación global definitiva de cada una de ellas. Atendiendo a los criterios propuestos por Etxeberría y Rotaeche (2), que se describen a continuación, se ha realizado una valoración final de cada una de las GPC basados en los resultados obtenidos en la estandarización de las puntuaciones de cada una de las áreas. Así, se considera que una GPC puede ser: a) Muy recomendada, cuando la mayoría de las puntuaciones de las áreas son superiores al 60%, lo que indica que la guía tiene una alta calidad general y que podría ser considerada para su uso en la práctica sin tener que modificarla; b) Recomendada con condiciones, cuando la mayoría de las puntuaciones de las áreas se encuentran entre el 30 y el 60%, lo que indica que la guía tiene una moderada calidad general, y se considera que introduciendo algunas modificaciones, siempre que la información acerca del método de elaboración esté bien descrita, podría considerarse para su uso, especialmente cuando no hay otras guías disponibles acerca del mismo contenido clínico; y c) No recomendada, cuando la mayoría de las puntuaciones de las áreas son inferiores al 30%, lo que significa que la guía tiene una baja calidad general y serias deficiencias y, por tanto, no debería recomendarse para su uso en la práctica.

 

Resultados

Se seleccionaron para su evaluación 13 GPC (3-15). Los resultados de la valoración estandarizada para cada una de las áreas, están recogidas en la tabla II.

Ocho GPC superaron el 60% de valoración en el área de alcance y objetivos, ninguna en el área de participación de los implicados, una en el de rigor en la elaboración, cinco en el de claridad y presentación, ninguna en el de aplicabilidad, y una en el de independencia editorial. En la valoración global definitiva, 7 GPC se consideraron como no recomendadas, 5 como recomendadas con condiciones y 1 como muy recomendada. Las 7 GPC no recomendadas, mayoritariamente, no superaron el 60% de punto de corte en ninguna de las áreas evaluadas. Las 5 recomendadas con condiciones, superaron el punto de corte en dos de las áreas evaluadas, y la única guía muy recomendada lo hizo en 4 de las áreas evaluadas.

En el caso de la guía muy recomendada, las áreas que superaron el punto de corte fueron las de alcance y objetivos, rigor en la elaboración, claridad y presentación, e independencia editorial, no superando los criterios de participación de los implicados y aplicabilidad. En el caso de las guías recomendadas con condiciones, en todos los casos, las únicas áreas superadas fueron las de alcance y objetivos, y la de claridad en la presentación.

La concordancia entre la valoración global de cada una de las guías realizada de forma individual por cada uno de los cuatro evaluadores, y los criterios de valoración global definitiva realizada de forma conjunta según los criterios de Etxeberría y Rotaeche (2), fue muy alta. En 7 guías, la recomendación de los cuatro autores fue unánime (4 no recomendadas; 1 recomendada con condiciones; 1 muy recomendada), recomendación coincidente con la realizada según los criterios de Etxeberría y Rotaeche. En 4 GPC, la recomendación individual fue coincidente en tres de los 4 evaluadores, siendo la opinión mayoritaria coincidente con los criterios de Etxeberría y Rotaeche (2 recomendadas con condiciones y 2 no recomendadas). En dos GPC, hubo el mismo número de opiniones a favor de recomendarlas con condiciones, que a favor de la recomendación máxima, pero en los dos casos, al aplicar los criterios de Etxeberría y Rotaeche, las recomendación global definitiva fue la de recomendarlas con condiciones.

 

Discusión

Cada vez resulta más frecuente que nos encontremos con documentos denominados guías de práctica clínica, entre los que puede existir una gran variabilidad metodológica e incluso sobre las recomendaciones que proponen. Esta situación puede generar en los profesionales cierto grado de desconfianza hacia este tipo de documentos, máxime cuando están diseñados, precisamente, para facilitar la toma de decisiones y disminuir la variabilidad interpersonal en la práctica clínica.

Por estas razones, comenzó a desarrollarse el instrumento AGREE, como una colaboración internacional entre 13 países en el año 1998. Sus objetivos iniciales fueron desarrollar unos criterios para la elaboración de las GPC, definir los criterios de calidad que deberían cumplir las GPC, establecer unas herramientas comunes de evaluación y monitorización de estos criterios de calidad, y promover la difusión de estos criterios entre la comunidad científica. En el momento actual, el instrumento AGREE es el que cuenta con una mayor aceptación para la evaluación de las GPC, por su facilidad de manejo y por agrupar de una forma clara y sencilla los criterios de valoración. El instrumento AGREE proporciona una valoración genérica de las GPC y ha demostrado que puede ser utilizado por los profesionales sanitarios, gestores o pacientes, sobre cualquier tipo de GPC (16).

Los estudios de validación de este instrumento, han demostrado que es necesario un número mínimo de 4 evaluadores para que el resultado de la valoración sea sensible y específico, siendo deseable que los evaluadores estén familiarizados con su aplicación. En nuestro trabajo, han sido cuatro los autores que han actuado como evaluadores de las GPC seleccionadas. En la práctica clínica habitual, resulta complicado que 4 profesionales, con formación específica para ello, coincidan en la evaluación y valoración de las GPC. Este ha sido uno de los motivos que nos han llevado a realizar el presente trabajo.

Como profesionales, lo que deseamos es disponer de una GPC en la que tuviésemos la confianza de que se han evitado los sesgos potenciales en su desarrollo, las recomendaciones tuviesen validez, y fuesen útiles para la práctica clínica. Sin embargo y desafortunadamente, los trabajos que se han centrado en la valoración de la calidad de las GPC han demostrado la baja calidad de muchas de las mismas. Así, en España, si bien en los últimos años se están elaborando GPC de mejor calidad, todavía existen pocas guías realizadas con una metodología sistemática basada en la mejor evidencia científica disponible (17). La situación se repite fuera de nuestro entorno, como lo demuestran otras evaluaciones realizadas sobre las GPC en otros países (18,19).

La falta de validez de muchos de los documentos denominados GPC se ha corroborado en nuestro estudio. Sólo uno de los 13 documentos seleccionados, cumple con los criterios suficientes como para ser calificado como muy recomendable. Hasta 7 de los documentos no pueden ser recomendados para su uso, y 5 podrían recomendarse si se realizasen modificaciones. Incluso la GPC que ha sido valorado como de máxima calidad o muy recomendable, no supera el criterio del 60% en todos sus puntos de evaluación. Todo ello abunda en la necesidad de realizar evaluaciones de las GPC antes de considerarlas como válidas y proceder a su implantación en la práctica clínica.

 

Conclusiones

Sólo una de las GPC publicadas sobre infusión espinal tiene una alta calidad general y podría ser considerada para su uso en la práctica clínica sin tener que modificarla. Existen otros muchos documentos sobre infusión espinal, promovidos por diferentes instituciones (sistemas de salud, sociedades científicas, industria, etc.) denominados GPC, que tras ser evaluados sobre su calidad demuestran un amplio margen de mejora en su elaboración. Por este motivo, antes de proponer el uso de una GPC en nuestro entorno, resulta obligado realizar una valoración crítica sobre la calidad de la misma.

 

Bibliografía

1. The AGREE Collaboration. AGREE Instrument Spanish version. Available at: http://www.agreecollaboration.org/pdf/es.pdf        [ Links ]

2. Etxeberría A, Rotaeche R. Guías de práctica clínica basadas en la evidencia: desarrollo actual y perspectivas futuras. Rev Calid Asist 2006;21(5):228-37.         [ Links ]

3. Bennett G, Deer T, Du Pen S, Rauck R, Yaksh T, Hassenbusch SJ. Future directions in the management of pain by intraspinal drug delivery. J Pain Symptom Manage 2000;20(2):S44-S50.         [ Links ]

4. Bennett G, Burchiel K, Buchser E, Classen A, Deer T, Du Pen S, et al. Clinical guidelines for intraspinal Infusion: Report of an expert panel. J Pain Symptom Manage 2000;20(2):S37-S43.         [ Links ]

5. Bhimani R. Intrathecal baclofen theraphy in adults and guideline for clinical nursing care. Rehabil Nurs 2008;33(3):110-6.         [ Links ]

6. Deer T, Krames ES, Hassenbusch SJ, Burton A, Caraway D, Dupen S, et al. Polyanalgesic consensus conference 2007: Recommendations for the management of pain by lntrathecal (Intraspinal) drug delivery: Report of an interdisciplinary expert panel. Neuromodulation 2007;10(4):300-28.         [ Links ]

7. Dones I, Nazzi V, Broggi G. The guidelines for the diagnosis and treatment of spasticity. J Neurosurg Sci 2006;50:101-5.         [ Links ]

8. Evidence based guideline. Implantable Infusion Pumps. Blue cross Blue shield of North Carolina (BCBSNC). Guideline Number: EBG.DME0150; Origination: 4/1981; Last Review: 3/2005.         [ Links ]

9. Hassenbusch SJ, Portenoy RK, Cousins M, Buchser E, Deer TR, Du Pen SL, et al. Polyanalgesic consensus conference 2003: An Update on the Management of Pain by Intraspinal Drug Delivery-Report of an Expert Panel. J Pain Symptom Manage 2004;27(6):540-63.         [ Links ]

10. Intrathecal drug delivery for the management of pain and spasticity in adults; recommendations for best clinical practice. Prepared on behalf of the British Pain Society in consultation with the Association for Palliative Medicine and the Society of British Neurological Surgeons. August 2008. The British Pain Society 2008.         [ Links ]

11. Krames ES. Intrathecal infusional therapies for intractable pain: patient management guidelines. J Pain Symptom Manage 1993; 8(1):36-46.         [ Links ]

12. Meenan D, Lagares-Garcia JA, Kurek S, Craig D, Green J, Fritz W. Managing intractable pain with an intrathecal catheter and injection port: Technique and guidelines. Am Surg 1999;65(11):1054-60.         [ Links ]

13. Ridley B, Rawlins PK. Intrathecal baclofen therapy: Ten steps toward best practice. J Neurosci Nurs 2006;38(2):72-82.         [ Links ]

14. Sans A. Utilidad del baclofén intratecal en el tratamiento de la parálisis cerebral espástica. Rev Neurol 2003;36(Supl. 1):S128-31.         [ Links ]

15. Stearns L, Boortz-Marx R, Du Pen S, Friehs G, Gordon M, Halyard M, et al. Intrathecal drug delivery for the management of cancer pain. A multidisciplinary consensus of best clinical practices. J Support Oncol 2005;3(6):399-408.         [ Links ]

16. MacDermid JC, Brooks D, Solway S, Switzer-McIntyre S, Brosseau L, Graham ID. Reliability and validity of the AGREE instrument used by physical therapists in assessment of clinical practice guidelines. BMC Health Serv Res 2005;5:18-30.         [ Links ]

17. Navarro Puerto MA, Ruiz Romero F, Reyes Domínguez A, Gutiérrez-Ibarluzea I, Hermosilla Gago T, Alonso Ortiz del Río C, et al. ¿Las guías que nos guían son fiables? Evaluación de las guías de práctica clínica españolas. Rev Clin Esp 2005;205(11):533-40.         [ Links ]

18. Shekelle PG, Ortiz R, Rhodes S, Morton SC, Eccles MP, Grimshow JM, et al. Validity of Agency for health care research and quality clinical practice guidelines: how quickly do guidelines become outdated? JAMA 2001;286(12):1461-7.         [ Links ]

19. Ortiz E, Eccles M, Grimshaw J, Woolf S. Current Validity of AHRQ Clinical Practice Guidelines. Technical Reviews, No. 6. Rockville (MD): Agency for Healthcare Research and Quality (US); September 2002. Report No.: 02-0035.         [ Links ]

 

 

Dirección para correspondencia:
J. L. de la Calle Reviriego
Unidad para el Estudio y Tratamiento del Dolor
Hospital Universitario Ramón y Cajal
Ctra. de Colmenar, km. 9.1
28034 Madrid
e-mail: jdelacalle.hrc@salud.madrid.org

Recibido: 09-01-11
Aceptado: 09-04-11