EVALUACIÓN DE TECNOLOGÍAS MÉDICAS

---

Entre el consenso y la evidencia científica

José Asua Batarrita
Unidad de Bizkaia del Plan de Salud de Euskadi. Departamento de Sanidad. Gobierno Vasco. Bilbao. Vizcaya. España.

(Between consensus and scientific evidence)

---

 

Introducción

En el sector sanitario no es infrecuente observar diferentes comportamientos ante una misma situación clínica. Así, a menudo los estilos de práctica clínica no son homogéneos y se produce una variabilidad en la práctica. En ocasiones, esta variabilidad puede ser aceptable, por ejemplo, cuando la evidencia científica no es concluyente o está relacionada con la limitación de recursos, la capacidad organizativa o las distintas preferencias de los pacientes.

Para muchos comportamientos clínicos hay la suficiente información como para orientarlos en el sentido de lograr la mayor efectividad posible, aunque en ocasiones esta información puede llegar a ser excesiva y no necesariamente de la mejor calidad. La utilización juiciosa de la mejor evidencia científica disponible en la toma de decisiones clínicas es lo que propugna la denominada medicina basada en la evidencia.

Diversos métodos, como el metaanálisis, han sido desarrollados para sintetizar de una forma apropiada los resultados de los diferentes estudios encontrados y para resolver sus diferencias.

En ocasiones, cuando se necesita responder a preguntas muy concretas o temas relativamente novedosos, puede ocurrir que no haya evidencia científica o que ésta no tenga la calidad deseable. Fundamentalmente en estos casos, los métodos de consenso proporcionan formas de combinar la información con el empleo de metodologías contrastadas, lo que facilita la interacción entre expertos que utilizan la mejor experiencia disponible. De esta forma, los resultados pueden ser relevantes para contribuir a la disminución de la variabilidad y a la mejora de la efectividad de la práctica clínica.

Consensos

Consensuar, según la Real Academia de la Lengua, significa «adoptar una decisión de común acuerdo entre dos o más partes». Esto está en contraposición con la decisión basada en la opinión unilateral de un líder o del responsable.

La técnica del consenso se utiliza ampliamente desde muy antiguo en las actividades sociales y profesionales, como forma de ayuda para la distribución de recursos o la toma de decisiones, mediante el establecimiento de consejos asesores o de comisiones de expertos: consejo de regantes de una cuenca fluvial, consejo municipal, comisiones de vecinos o de afectados por un área de interés, etc.

Sin embargo, incluso dentro de estos grupos puede ser complejo alcanzar acuerdos o decisiones, debido a la diferencia de conocimientos de los miembros, la fuerza de las pruebas aportadas o incluso los intereses particulares.

Con el fin de disminuir en lo posible los eventuales sesgos o las posibles influencias no deseadas, desde hace unos 30 años se emplean técnicas de trabajo en grupo¹. Los 2 métodos de consenso más ampliamente utilizados son el Delphi y la técnica del Grupo Nominal. El primero tiene la comodidad de hacerlo sin presencia física de los expertos (por correo) y la ventaja de poder acceder a un amplio número de ellos simultáneamente, sin que éstos sepan quiénes son el resto de integrantes del grupo. En el Grupo Nominal hay presencia de expertos e interacción entre ellos, lo que permite profundizar más en las cuestiones, y es relativamente más rápido que el Delphi. Ante la creciente complejidad para resolver las cuestiones realacionadas con el mundo sanitario, se han ido perfeccionando los métodos de desarrollo de las conferencias de consenso².

Por otra parte, dada la dificultad de manejo de la ingente cantidad de información disponible, se han desarrollado las técnicas de las revisiones sistemáticas de la evidencia científica, siguiendo la línea de la medicina basada en la evidencia. Se basa en una búsqueda exhaustiva y sistemática de información seguida de su análisis crítico en función de la metodología de investigación aplicada y el rigor de los estudios. De esta manera, se clasifican los estudios en función de su relevancia, previa selección y posterior integración de los resultados.

En el método de la conferencia de consenso se da la combinación de la síntesis de evidencia científica y la interacción entre los expertos. Consiste en la redacción de recomendaciones por un jurado, después de haber leído y escuchado los informes de los expertos y sintetizado los conocimientos, basados en la mejor evidencia científica disponible en la materia, mediante una presentación pública.

De esta manera, se parte de una situación en que las personas disponen de la mejor información posible para responder a las preguntas planteadas, por lo que se pueden proponer las soluciones más acertadas, válidas y de mayor credibilidad, en temas controvertidos sobre los que hay un determinado grado de incertidumbre.

Algo de historia

En Estados Unidos, el National Institute of Health (NIH) ha ido desarrollando estas conferencias desde 1977, y ha realizado más de 120 hasta la actualidad^3-4 (la información detallada sobre este programa puede consultarse en la web http://odp.od.nih.gov).

En Francia, la Agence pour l'Accréditation et l'Évaluation en Santé (ANAES) realiza estas conferencias desde 1993⁵. El resultado se disemina habitualmente en forma de guía de práctica clínica, con el fin de servir de ayuda a la decisión en el ejercicio médico habitual (http://www.anaes.fr).

En España, aunque no es tan amplia la experiencia de conferencias de consenso basadas en revisiones sistemáticas, sí que encontramos entre otras las desarrolladas por la agencia de Evaluación de Tecnologías Sanitarias de Andalucía (AETSA)⁶ (http://www.juntadeandalucia.es/salud/orgdep/AETSA) y las patrocinadas por la Sociedad Española de Contracepción (SEC).

La SEC^7,8 cuenta con 2 conferencias en las que Osteba (Evaluación de Tecnologías Sanitarias del País Vasco) brindó el apoyo metodológico, organizó y coordinó la selección, la clasificación y el resumen de la evidencia científica y supervisó las fases de realización de la conferencia. En 1997 se realizó en Toledo la Conferencia de Consenso sobre Contracepción Hormonal Oral, y en 2001 la Actualización en el manejo clínico de la anticoncepción intrauterina (http://www.sec.es/).

Quizás la más reciente sea la realizada por la SEPAR⁹, en noviembre de 2002: Diagnóstico y tratamiento de la enfermedad pulmonar obstructiva crónica (EPOC) (http://www.separ.es/).

Conferencias de consenso

Objetivo

El objetivo de una conferencia de consenso es elaborar recomendaciones para la práctica clínica basadas en el análisis crítico de la bibliografía, tras una sesión pública donde los expertos presentan la mejor evidencia disponible e interaccionan con las partes interesadas¹⁰.

Proceso

La conferencia de consenso es una conferencia científica en la que los expertos exponen sus trabajos, seguida de un debate democrático donde cada participante (expertos y público invitado) puede expresar su opinión; finaliza con la intervención del jurado, multidisciplinario y multiprofesional, que establece las recomendaciones a puerta cerrada, de manera independiente y objetiva⁵.

Para garantizar el éxito de la conferencia, el tema elegido debe cumplir las siguientes características:

- Controversia susceptible de ser clarificada, e incluso eliminada, gracias a los datos y opiniones que pueden tratarse en un debate público.

- Necesidad de responder a una preocupación de salud pública, definida por la importancia del tema en términos de frecuencia y/o gravedad, el interés manifestado por los profesionales sanitarios y el impacto potencial en la práctica clínica en la distribución de recursos.

- Disponibilidad de información científica publicada sobre el tema, con un nivel de calidad suficientemente bueno para que las recomendaciones no sean el resultado dependiente únicamente del juicio subjetivo del jurado de la conferencia.

Las conferencias de consenso suponen el resultado del trabajo secuencial y, en ocasiones, simultáneo de una multiplicidad de grupos con intereses comunes, que son:

- Promotor.

- Comité organizador.

- Jurado.

- Grupo de revisión bibliográfica.

- Expertos.

- Público.

En publicaciones anteriores¹⁰ se han descrito con detalle los métodos de trabajo de las conferencias de consenso, su organización, así como las funciones y las responsabilidades de cada uno de los grupos y personas que participan en su desarrollo. En la figura 1 se expone de forma gráfica la relación entre todos estos grupos.

El grupo promotor de la conferencia de consenso suele ser algún tipo de organización relacionada con el sector sanitario (p. ej., una sociedad científica u organización de profesionales sanitarios, un organismo de salud pública, una aseguradora, una industria sanitaria, una asociación de afectados).

El comité organizador consiste en un grupo de 5-10 miembros, independientes del promotor y sin incluir ningún representante de los financiadores, con un presidente que no debe tener conflicto de interés sobre el tema debatido. Su responsabilidad consiste en elegir el método de trabajo, delimitar el tema y definir las preguntas, así como designar a los expertos, el jurado y el grupo de revisión bibliográfica. Participa en la elaboración de la estrategia de búsqueda, la presentación y la clasificación de la bibliografía. Asimismo, prevé las necesidades de medios humanos, materiales y económicos.

Es conveniente contar con el apoyo metodológico de grupos o entidades con experiencia en el desarrollo de estas metodologías y realizar reuniones preparatorias de la conferencia, con el comité organizador y con los integrantes del jurado, donde se explique con detenimiento el proceso en su totalidad, desde el correcto enunciado de las preguntas, la revisión de la evidencia y las «reglas del juego» del desarrollo de la conferencia en sí.

En cuanto al jurado, se trata de un grupo de 8-16 miembros, nombrados por el comité organizador, con carácter multidisciplinario. Tiene la responsabilidad de proporcionar, al final de la conferencia, un texto consensuado (conclusiones y recomendaciones) que responda de forma precisa a cada una de las preguntas formuladas, y es el responsable directo del rigor y la calidad de los textos producidos.

Una vez analizados los puntos de debate y la puesta en común, se deberá llegar a un acuerdo consensuado del 80% de los miembros del jurado, para emitir posteriormente un informe con recomendaciones sobre el uso de la tecnología o el procedimiento clínico revisado, que será difundido masivamente entre los profesionales clínicos implicados.

La principal función del jurado es proporcionar, como resultado de la conferencia, un texto consensuado que recoja las conclusiones y recomendaciones que aporten una respuesta precisa a cada una de las preguntas. Sus miembros son los responsables únicos y directos del rigor y la calidad de los textos generados. Tanto los expertos como los miembros del jurado están presentes durante las presentaciones y participan en la discusión durante el debate con el público. Si hubiera un punto controvertido, el presidente puede intentar aclarar la situación sobre la marcha, reformulando las proposiciones hechas e interrogando a los expertos y al público.

El jurado anota el conjunto de elementos de información suscitados por los expertos y por el público, recogiendo los puntos de acuerdo y controversias que van apareciendo, así como cualquier otro elemento de interés y las lagunas de conocimiento que pueden promover los temas de investigación futura. Durante la deliberación, que se realiza a puerta cerrada, el jurado debe redactar el texto que responde a las preguntas planteadas. Este texto recoge las conclusiones y recomendaciones de la conferencia.

El presidente debe velar, especialmente al tratar los puntos controvertidos, por que se recojan todas las opiniones. Asimismo, debe asegurar la posición final del grupo e indicar claramente el nivel de acuerdo alcanzado, así como el nivel de evidencia científica que lo soporta. En caso de desacuerdo, éste debe ser indicado en los textos finales de las conclusiones y recomendaciones de la conferencia.

Revisión de la evidencia científica

Actualmente, debido al gran volumen de información disponible y a la rapidez de publicación en el área de la biomedicina, la evidencia científica es difícil de localizar, resumir y clasificar por cualquier profesional. Por otro lado, no toda la información disponible tiene el nivel de calidad exigible como para ser la base de la toma de decisiones clínicas, de gestión o de política sanitaria.

A la hora de establecer recomendaciones sobre un tema concreto, es necesario conocer toda la información relacionada con el tema, seleccionarla en función de su calidad y resumir la información que proporciona. Todo ello se realiza siguiendo una metodología preestablecida y unos criterios explícitos para poder disponer de la mejor evidencia científica.

Las revisiones sistemáticas de la evidencia científica constituyen una metodología explícita, estructurada, sistemática y multidisciplinaria que responde a una cuestión específica, en relación con el sector sanitario. Estas características hacen que las revisiones sean tanto reproducibles como actualizables y se minimicen los sesgos de búsqueda y de interpretación de resultados^11,12.

El proceso implica una serie de fases que, de forma resumida, son los siguientes: - Búsqueda de la evidencia científica.

- Selección de la mejor evidencia disponible.

- Presentación de la información, en forma de tablas de evidencia.

- Clasificación de la evidencia mediante escalas que, en función del diseño de los estudios y de las condiciones de rigor científico en su realización, permiten categorizar los ensayos.

- Síntesis de la evidencia, en ocasiones realizada en forma de metaanálisis.

Así, con el fin de realizar la necesaria revisión sistemática de la evidencia científica, es conveniente designar un grupo de revisión bibliográfica, que trabaja independiente del resto de los integrantes de la conferencia. Éste facilita la mejor información disponible, obtenida de forma objetiva, sobre las preguntas planteadas. El grupo bibliográfico debe estar compuesto por 4, 5 o 6 miembros con formación en análisis de la ev idencia científica, su tarea es proporcionar un análisis objetivo de la bibliografía, sin interpretación de los resultados, poniendo los textos a disposición del comité organizador y posteriormente del jurado y de los expertos.

De las conclusiones extraídas pueden derivarse nuevas orientaciones para futuras conferencias de consenso, tanto en su planificación u organización como en su desarrollo y en la diseminación de sus resultados.

Toda esta actividad tiene como finalidad alcanzar una asistencia sanitaria con los mayores grados de efectividad y una mejora de la calidad de vida de los usuarios, quienes son el origen y fin último de toda la asistencia sanitaria.

Discusión

En una situación ideal, las recomendaciones y las guías de práctica clínica deberían basarse en la evidencia derivada de estudios empíricos desarrollados de forma rigurosa. En la práctica hay pocas áreas de la atención sanitaria con suficiente evidencia de buena calidad, basada en investigación bien diseñada y rigurosa. En estas situaciones el desarrollo de recomendaciones tendrá inevitablemente en cuenta la opinión de expertos y la experiencia de los clínicos¹³.

Los métodos de consenso son útiles cuando hay que tomar decisiones de forma rápida y no se dispone de evidencia científica de calidad. Los métodos de consenso más comúnmente utilizados son 3: el Delphi, el Grupo Nominal y la conferencia de consenso. Uno es laborioso, por la necesidad de preparación y envío de los cuestionarios, y el otro puede presentar los sesgos asociados con la presencia de personas con más conocimientos o mayor liderazgo durante la reunión.

El método de la conferencia de consenso, basado en una adecuada presentación de la evidencia científica, es válido para la elaboración de recomendaciones de práctica clínica. En ella, las opiniones expresadas deben ser apoyadas o avaladas por bibliografía de calidad que demuestre el fundamento de las opiniones. Presenta la ventaja añadida de la participación de los expertos en el propio proceso de su elaboración, lo que repercute favorablemente en su aceptación por parte de los clínicos y en el seguimiento de sus recomendaciones.

Puede decirse que las conferencias de consenso consisten en un proceso muy detallado y exigente que debe ser explicitado desde el inicio y rigurosamente cumplido. La síntesis de la evidencia científica supone no sólo un apoyo, sino una fase necesaria e imprescindible en la que se basa el desarrollo de las conferencias. Así, las conferencias de consenso basadas en la revisión sistemática de la evidencia suponen una alianza necesaria para la elaboración de recomendaciones adecuadas y el logro de una buena repercusión en su aplicación en la práctica clínica.

Diversos autores^14-19 critican las conferencias de consenso, tanto por su forma de convocatoria como por sus métodos, su forma de desarrollo, las opiniones preponderantes de los líderes y por la posible influencia de los financiadores. En realidad, hemos conocido muchos procesos denominados consensos que han adolecido de problemas metodológicos y sesgos desde su diseño hasta su desarrollo, sin olvidar la utilización interesada de sus resultados.

Entre estos autores, Eddy afirma que, desafortunadamente, un consenso puede estar determinado en gran manera tanto por el número de afirmaciones a favor de una postura u opinión como por la calidad de dichas afirmaciones. Esto significa que algunas opiniones pueden tener más peso o ser preponderantes en las discusiones. Por ello, para asegurar la imparcialidad y el éxito de las conferencias de consenso, es necesario ser muy preciso en el seguimiento riguroso de los métodos y procesos.

Más recientemente, el análsis realizado por la NCCHTA¹³ propone una serie de cualidades necesarias para la fiabilidad y el buen desarrollo de los métodos de consenso:

- Número de participantes: un número suficiente de individuos alcanza decisiones más consistentes que un único individuo.

- Autoridad: un grupo seleccionado de individuos da más autoridad a las decisiones tomadas.

- Racionalidad: las decisiones se mejoran al ser razonadas con argumentos.

- Proceso controlado: se sigue un proceso formal estructurado.

- Credibilidad científica de los métodos de consenso, que cumpla los requerimientos de los métodos científicos.

El debate sobre la calidad de las publicaciones biomédicas no es nuevo y reaparece continuamente en las revistas. Así, se están proponiendo diferentes listados de criterios (CONSORT, INAHTA, etc.), en función del tipo de diseño de los estudios, para realizar el análisis de la calidad de las publicaciones y facilitar así una lectura crítica estructurada.

En el caso de las guías de práctica clínica a partir de los resultados de la iniciativa europea AGREE (www.agreecollaboration.org), se elaboró un listado de criterios útiles para la lectura crítica que esta comprobación de la calidad exige.

Para el análisis de la calidad de las conferencias de consenso, podemos considerar inicialmente como válidas aquellas en las que, previamente a su desarrollo, un grupo de revisión bibliográfica realizó una minuciosa labor de búsqueda y clasificación de la evidencia científica, organizada y supervisada por alguna organización o agencia experimentada. Para el análisis del proceso de desarrollo se puede elaborar una serie de criterios de calidad teniendo en cuenta otras experiencias validadas de valoración crítica de la bibliografía²⁰.

Por otra parte, cabe decir que la implicación de las sociedades científicas como promotoras de conferencias de consenso tiene el beneficio añadido de la facilidad de difusión de las recomendaciones entre los clínicos implicados.

El impacto de las recomendaciones planteadas está condicionado a su seguimiento por parte de los clínicos, lo que repercutirá de manera positiva en la salud de las personas afectadas por las enfermedades o tratamientos en cuestión.

Conclusión

Al igual que a otros muchos productos de la investigación y de la evaluación se les exige un cierto rigor tanto en su diseño como en su desarrollo (CONSORT, INAHTA, AGREE, etc.), también a las conferencias de consenso deberíamos pedir el rigor metodológico que supone un buen proceso de desarrollo, con el fin de minimizar los errores.

Los sesgos potenciales de una conferencia de consenso pueden derivarse de errores en el planteamiento de las preguntas abordadas, las búsquedas bibliográficas exhaustivas y adecuadas, los métodos de síntesis de la mejor evidencia científica encontrada, las influencias que en sus resultados puedan tener factores externos, así como derivarse de la independencia editorial o de la influencia de las fuentes de financiación.

Con el fin de verificar la calidad de las recomendaciones basadas en conferencias de consenso, se propone un listado de comprobación (checklist) adaptado del instrumento AGREE²¹. Se trata de 6 áreas de valoración independientes entre sí, cada una con una serie de criterios. La valoración de estos criterios y su cuantificación por áreas permite conocer el grado de adecuación de la conferencias de consenso respecto al área en cuestión, pero no es conveniente elaborar un índice sintético o global de la valoración por la disparidad de significación de las áreas entre sí, tal como se propone en la tabla 1.

Bibliografía

1. Berra A, Marín I, Álvarez R. Metodología de expertos. Consenso en medicina. Escuela Andaluza de Salud Pública. Serie Monografías n.º 14; 1996.        [ Links ]

2. Briones E, Marín I, Álvarez R, Reyes A. Fundamentos de consenso en el ámbito de las Ciencias de la Salud. Granada: Monografías EASP; 1996.        [ Links ]

3. Lomas J, Anderson A, Enkin M, Vayda E, Roberts R, Mackinon B. The role of evidence in the Consensus Process. Results From a Canadian Consensus Exercice. JAMA. 1988;259:3001-5.        [ Links ]

4. Goodman C, Baratz S. Improving Consensus Development for Health Technology Assessment: an international perspective. Washington, DC: Council on Health Care Technology. Institute of Medecine; 1990.        [ Links ]

5. Agence Nationale pour le Développement de l'Évaluation Médicale. Les Conférences de Consensus. Base méthodologique pour leur réalisation en France. Paris: ANDEM; 1990.        [ Links ]

6. Agencia de Evaluación de Tecnologías Sanitarias de Andalucía, Consejería de Salud. Uso adecuado de Factor VIII en el tratamiento de la hemofilia A. Conferencia de Consenso. Sevilla, noviembre de 2000.        [ Links ]

7. Sociedad Española de Contracepción. Conferencia de consenso: Prescripción y manejo de anticonceptivos hormonales orales. Toledo, octubre de 1997.        [ Links ]

8. Sociedad Española de Contracepción. Conferencia de consenso: Actualización en el manejo clínico de la anticoncepción intrauterina. Altea, 26-28 de octubre de 2001.        [ Links ]

9. Conferencia de consenso: Diagnóstico y tratamiento de la enfermedad pulmonar obstructiva crónica (EPOC). SEPAR. Madrid: 25-26 de noviembre de 2002.        [ Links ]

10. Asua J. Conferencia de consenso basada en la evidencia científica. En: Jovell AJ, Aymerich M, editores. Evidencia científica y toma de decisiones en sanidad. Barcelona: Fundació Académia de Ciències Mèdiques de Catalunya i de Balears; 1999.        [ Links ]

11. Jovell A, Navarro-Rubio MD. Evaluación de la evidencia científica. Med Clin (Barc). 1995;105:740-3.        [ Links ]

12. García Martín M, Lardelli Claret P, Bueno Cavanillas A, Gálvez Vargas A. El clínico al día. ¿Un peligro para el paciente? Med Clin (Barc). 1995;105:622-7.        [ Links ]

13. Murphy MK, Black NA, Lamping DL, McKee CM, Sanderson CFB, Askham J, et al. Consensus development methods, and their use in clinical guideline development. Health Technology Assessment NHS, R&D HTA Programme. 1998;2.        [ Links ]

14. Eddy D. Clinical policies and the quality of clinical practice. N Engl J Med. 1982;307:343-7.        [ Links ]

15. Eddy D. Guidelines for policy Statements: the explicit approach. JAMA. 1990;263:2239-43        [ Links ]

16. Eddy D. Resolving conflicts in clinical policies. JAMA. 1990;263:3077-84.        [ Links ]

17. Eddy D. Resolving conflicts in clinical policies. JAMA. 1990;264:389-91.        [ Links ]

18. Granados A. Las conferencias de consenso. ¿Un método para la evaluación de las tecnologías sanitarias? Gac Sanit. 1991;5:201-2.        [ Links ]

19. Peiró S, Portella E. No todo es acuerdo en el consenso: limitaciones de los métodos de consenso en los servicios de salud. Gac Sanit. 1993;7:294-300.        [ Links ]

20. The AGREE Collaboration Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care. 2003:12:18-23.        [ Links ]

21. Rico R, Gutiérrez-Ibarluzea I, Asua J, Navarro MA, Reyes A, Marín I, et al. Valoración de escalas y criterios para la evaluación de Guías de Práctica Clínica. Rev Esp Salud Pública. 2004;78:457-67.        [ Links ]

Editores de la serie: Joan M.V. Pons y Xavier Castells, con la colaboración de la Red IRYSS (Investigación en Resultados de Salud y Servicios Sanitarios).

Correspondencia: José Asua Batarrita.
Unidad de Bizkaia del Plan de Salud de Euskadi.
Departamento de Sanidad. Gobierno Vasco.
Gran Vía, 81, 1º. 48011 Bilbao. Vizcaya. España
Correo electrónico: plsabi-san@ej-gv.es

Recibido: 16 de octubre de 2003.
Aceptado: 10 de noviembre de 2004.