Prioridades de investigación en servicios sanitarios en el Sistema Nacional de Salud. Una aproximación por consenso de expertos

Setting health services research priorities in the public health system. An approach through expert consensus

Enrique Bernal-Delgado^a Salvador Peiró ^b Rafael Sotoca ^a

^a Instituto Aragonés de Ciencias de la Salud, Red de investigación cooperativa en Epidemiología 
y Salud Pública (RCESP), Zaragoza, España
^b Escuela Valenciana de Estudios de la Salud, Red de investigación cooperativa en Epidemiología  ]]> y Salud Pública (RCESP), Valencia, España

El proyecto de investigación fue financiado por la Fundación BBVA en el marco de su acuerdo de cooperación con la Asociación de Economía de la Salud. Contó con la financiación parcial de RCESP (Red de Centros financiada por la convocatoria de Redes Temáticas de Investigación Cooperativa. Convocatoria del Ministerio de Sanidad y Consumo del 22/03/2003) (BOE de 3 de abril del 2002).

Dirección para correspondencia

RESUMEN

Objetivos: Identificar y priorizar los temas de investigación en los servicios sanitarios, adoptando una perspectiva orientada a satisfacer las necesidades de la población cubierta por el Sistema Nacional de Salud.
Material y método: Reunión de 13 expertos estructurada con una técnica grupal mixta, desarrollada en 2 fases consecutivas: grupo nominal y método Delphi. Se identificaron prioridades de investigación en servicios de salud que fueron puntuadas de la siguiente manera: de 7 a 9, muy relevante; de 4 a 6, relevancia intermedia, y de 1 a 3, poco o nada relevante. Los resultados fueron ordenados en función de su puntuación mediana y su dispersión.
Resultados: Se identificaron 53 temas de investigación. Se clasificaron como prioritarios los temas relacionados con estrategias para mejorar la efectividad de la atención sanitaria, la información a los pacientes, la calidad y la seguridad de la atención, la equidad y la accesibilidad de los servicios, y la sostenibilidad del sistema sanitario. El consenso entre estos temas fue muy alto: sólo 4 ítems obtuvieron una dispersión reseñable (intervalo intercuartílico (IQ) ≥ 2). En un rango de prioridad intermedia se situaron los temas relacionados con las mejoras organizativas del sistema, las mejoras en productividad y eficiencia, y los recursos humanos y equipamientos. El disenso en este caso fue muy alto: el 59% de los ítems obtuvo un IQ ≥ 2.
Conclusiones: Aún con diversas limitaciones, se ofrece una referencia de prioridades para los investigadores españoles en servicios de salud y, también, una referencia para los financiadores y los usuarios de esta modalidad de investigación. ]]> Palabras clave: Investigación en servicios de salud. Prioridades en salud. Apoyo a la investigación. Consenso.

ABSTRACT

Objectives: The aim of the present paper was to identify and prioritise health services research issues, from the perspective of Spanish NHS enrollees' health needs.
Methods: 13 experts attended to a structured consensual meeting by using a two-phase process, sharing both Nominal Group and Delphi Technique features. Health Services Research Priorities were identified and scored (7 to 9, high relevance; 4 to 6 mild relevance and 1 to 3, low or no relevance). Results were sorted regarding the median score and its dispersion.
Results: 53 research issues were identified. Strategies to improve effectiveness in health care, information to patients, health care quality and safety, equity, access and sustainability were considered of high priority and high consensus; just 4 items had remarkable dispersion (Intercuartile interval (ICI) ≥ 2). Organizational improvement, productivity and efficiency enhancement, workforce and equipments were classified of mild priority. Additionally, this group of items reached very low consensus: 59% of them reached ICI ≥ 2.
Conclusions: Our approach offers reference about priorities to Spanish health services researchers, and also, orientation to financers and users of this kind of research, though several limitations have been described.

Keywords: Health Services Research. Health Priorities. Research Support. Consensus.

Introducción

La debilidad de la ISS en el panorama investigador español⁴ sugiere que no sólo debe priorizarse esta área de conocimiento, sino que también debe realizarse una priorización interna que ordene la propia agenda de investigación en servicios de salud. Aunque algunas agencias de evaluación de tecnologías han desarrollado interesantes ejercicios de priorización^5,6 basados en la metodología desarrollada por el Institute of Medicine⁷, se trata de actividades todavía excepcionales y de limitada extensión, enfocadas a la evaluación de tecnologías y a la asignación de ayudas de investigación. Anecdótica pero sintomáticamente, el grupo de trabajo de ISS en el Plan Nacional de Investigación 2004-2007, ante la imposibilidad de realizar una priorización fundamentada (apenas dispuso de un par de semanas para redactar el apartado), optó por incluir todas las líneas posibles en un intento de que los equipos investigadores pudieran acogerse a alguna de ellas en la solicitud de ayudas de investigación (S. Peiró, comunicación personal). El objetivo del presente trabajo es identificar y priorizar los temas de investigación en los servicios sanitarios, adoptando una perspectiva orientada a satisfacer las necesidades de la población cubierta por el SNS.

Material y método

Diseño

Consenso de expertos estructurado mediante la utilización de una técnica grupal mixta, desarrollada en 2 fases, que combinaba los aspectos característicos del grupo nominal^8-11 y del método Delphi^10-12.

Población

Participaron 13 panelistas (en el anexo 1 se recoge la composición nominal y el centro de trabajo) con experiencia en diversas áreas o disciplinas relacionadas con la ISS (epidemiología, economía de la salud, evaluación de tecnologías, ciencias evaluativas, etc.), que desempeñan su trabajo en instituciones con un importante componente de ISS en Andalucía, Aragón, Cataluña, Madrid, Valencia y Hanover (New Hampshire, Estados Unidos). Los participantes, médicos o economistas, provenían de departamentos universitarios de Economía o de Salud Pública, centros de investigación públicos o fundaciones privadas, agencias de evaluación de tecnologías sanitarias y otros.

Entorno y antecedentes

Desarrollo del proceso de priorización

Tras la presentación de los objetivos de la reunión, el moderador planteó una pregunta a partir de la que cada miembro del grupo -12 panelistas más el moderador, que no intervino en las propuestas y se limitó a controlar la dinámica de la reunión- debía escribir, de forma individual y sin comunicarse con los demás participantes, tantas respuestas como le fuera posible durante un plazo de 10 min. Finalizado éste, se procedió a la lectura por turno (una cada vez) de las respuestas de los participantes, que el moderador anotaba y proyectaba para que estuvieran a la vista de todos. A continuación se discutieron brevemente -en el sentido de clarificar sus contenidos-, pero no se permitió la confrontación ni se rechazó ninguna en este momento (de manera ocasional se refundieron respuestas cuando se consideró que sus contenidos eran similares). Tras un breve descanso para preparar las hojas de votación, los panelistas puntuaron de forma individual cada respuesta -desde 1 (prioridad mínima) hasta 9 (máxima prioridad)- con el objetivo de priorizarlas. Todas las respuestas eran proyectadas durante la votación, de modo que los participantes las tuvieran siempre a la vista. Los resultados de esta fase (57 temas de investigación priorizados) fueron presentados en una sesión abierta de las citadas Jornadas de Economía de la Salud, en la que los asistentes -panelistas o no- realizaron diversas observaciones que se registraron para su utilización posterior por el equipo investigador.

Los resultados de la fase nominal fueron analizados en los meses siguientes por el equipo investigador, que eliminó 2 temas que no tenían relación con la investigación en servicios de salud (aspectos de seguridad alimentaria o salud pública), refundió otros 4 en 2, revisó la redacción de los temas (se habían registrado directamente mientras el panelista los presentaba) intentando clarificar su contenido sin alterar su sentido, los ordenó por posibles áreas comunes y, dentro de cada área, por la mediana de puntuación obtenida en la votación de la sesión nominal. Con estos datos se elaboraron los formularios para la segunda fase, que incluían la lista definitiva de temas (n = 53) en la que se había marcado la puntuación mediana y la correspondiente a los percentiles 25 y 75. Se utilizó un sistema de colores asociado a los valores de las puntuaciones en 3 tramos (de 7 a 9, muy relevante; de 4 a 6, relevancia intermedia; y de 1 a 3, poco o nada relevante). Los panelistas, a la vista de las puntuaciones previas, debían volver a puntuar los temas (como la vez anterior: desde 1, nada importante, a 9, muy importante). Esta segunda fase se desarrolló utilizando el correo electrónico y fue cumplimentada por 11 panelistas (el moderador de la primera fase tampoco intervino en la segunda, y se excluyó al panelista estadounidense al valorar que su menor conocimiento del entorno español distorsionaba sus puntuaciones en diversos ítems).

Pregunta

La pregunta nominal fue previamente preparada por los autores, y ensayada con algunos expertos no participantes en la reunión para valorar el tipo y el nivel de concreción de las respuestas obtenidas. Tras valorar varias opciones, la pregunta definitivamente formulada al grupo de expertos fue: «adoptando la perspectiva de los pacientes, ¿qué temas de investigación en servicios de salud deberían ser prioritarios para el Sistema Nacional de Salud?». A los panelistas se les especificó, en ambas fases, que debían priorizar temas (no dar notas con el 5 como aprobado) usando el recorrido completo de puntuación, incluso los extremos cuando se creyera conveniente; que se trataba de investigación (no de otros aspectos importantes para el SNS sin componentes de investigación) en servicios sanitarios (y no de otras áreas de investigación, por importantes que estas fueran); y que la perspectiva «desde los pacientes» no buscaba que se situaran en esa posición, sino que desde su punto de vista de expertos valoraran lo más importante para los pacientes y ciudadanos (y no para otros agentes del sistema sanitario: profesionales, investigadores, gestores, políticos, industria farmacéutica y electromédica, etc., aunque la perspectiva de estos agentes fuera relevante y se pudiera asumir una repercusión, más o menos directa, sobre los pacientes y ciudadanos).

Análisis

Descripción narrativa de las respuestas obtenidas en la segunda fase, ordenadas en función de su mayor mediana de puntuación, y su menor intervalo intercuartílico (IQ) y coeficiente de variación (CV). La mediana puede considerarse una buena aproximación al grado de prioridad otorgado conjuntamente por el grupo, mientras que el IQ aproxima el grado de consenso (p. ej., una mediana de 7 con un IQ de 1 sugiere que los panelistas tienen un alto grado de consenso sobre la prioridad del correspondiente tema, mientras que la misma mediana con un IQ de 3 o 4 sugiere que la propuesta era prioritaria para unos panelistas, pero no para otros). El CV tiene una interpretación similar al IQ, pero al utilizar valores continuos -no discretos- aportaba un segundo criterio para ordenar temas con mediana e IQ iguales. Conforme al protocolo preestablecido, los temas de investigación propuestos se clasificaron en temas de alta prioridad (medianas entre 7 y 9), de prioridad moderada (medianas entre 4 y 6) y de baja prioridad (medianas entre 1 y 3).

Resultados

En la tabla 1 se presentan los 29 temas de investigación que obtuvieron una puntuación mediana ≥ 7. La mejora de los servicios en las etapas finales de la vida, el desarrollo de sistemas de información poblacionales y la información para facilitar las elecciones de los pacientes alcanzaron la máxima prioridad posible. Las propuestas relacionadas con las mejoras de efectividad de la atención sanitaria (ítems 1, 2, 7, 13, 27 y 28), la información a los pacientes (ítems 3, 4, 11, 17, 22 y 24), la calidad y seguridad de la atención (ítems 5, 6, 10, 12, 19, 20 y 21), la equidad (ítems 8, 9 y 16) y la accesibilidad (ítems 18 y 26) de los servicios, y la sostenibilidad del sistema sanitario (ítems 14, 15, 23 y 25), junto con una relativa al gasto farmacéutico (ítem 29), son las áreas que contienen la mayor parte de temas relevantes. Todas las propuestas mostraron un elevado consenso, excepto las relativas a la investigación de los tipos de atención que el Estado debería asegurar (ítem 15), investigación en procesos sensibles a las preferencias de los pacientes (ítem 27), el impacto de las tecnologías de la información (ítem 28) y la relativa al mercado farmacéutico (ítem 29).

En la tabla 2 se recogen los 24 temas con puntuaciones de prioridad intermedia. En la parte alta de esta tabla siguen destacando los temas relativos a la calidad (ítem 30), la información a los pacientes (ítems 31, 32 y 35) y la sostenibilidad del sistema (ítems 33 y 34), mientras que los temas relativos a la propia investigación, el mercado de factores de trabajo, los aspectos internos de la organización sanitaria y algunas propuestas de investigación clínica ocuparon los últimos lugares de prioridad. La falta de acuerdo entre panelistas fue mucho mayor en los temas de esta segunda tabla, con 14 ítems que superaban los 2 puntos de IQ (5 de ellos con IQ ≥ 4). Ninguna de las respuestas obtuvo puntuaciones en el grupo prestablecido como de baja prioridad.

Discusión

El establecimiento de prioridades en investigación biomédica se ha abordado hasta la fecha mediante diferentes aproximaciones¹³: a) los métodos de valoración de la «carga de la enfermedad»^14,15, que asumen que cuanto mayor sea el coste social de un problema de salud mayor valor tendrá la investigación sobre él, e intentan priorizar a partir de la contribución relativa de los proyectos a la reducción de esta carga; b) los métodos de valoración de pérdidas de bienestar¹⁶, que cuentan con un interesante trabajo realizado en España¹⁷, y que aproximan el impacto de la investigación de un problema de salud a partir de la variabilidad en la práctica clínica y el volumen de gasto sanitario; c) los métodos de estimación de los «retornos» de investigación^18,19, que analizan costes y beneficios de los proyectos a partir de diversos escenarios con diferentes grados de incertidumbre; d) los métodos de valoración de la «información»^20-23, que asumen que la información generada por la investigación puede ser medida y valorada económicamente, y e) las aproximaciones subjetivas, a partir de valoraciones implícitas de revisores (peer reviewers), métodos cualitativos de consenso u otras técnicas grupales^24,25 y métodos de consulta a agentes clave^26,27.

Estos métodos pueden ser agrupados en 2 grandes bloques²⁸: aproximaciones «objetivas», basadas en información cuantificable, ya sea epidemiológica, de costes u otras, y aproximaciones «subjetivas», basadas en la opinión de expertos. Ambas perspectivas tienen grandes limitaciones. Las aproximaciones objetivas expresan la prioridad en «unidades» para las que existen datos disponibles (enfermedades, problemas de salud, uso de tecnologías) y, en relación con esta característica, se han utilizado sobre todo para priorizar potenciales ensayos clínicos^20,29,30 o evaluar tecnologías^7,16,31. Su principal limitación -aparte de la necesidad de juicios de valor y presunciones sobre la incertidumbre que «subjetivizan» estas aproximaciones- es que deben adoptar un objetivo único para guiar el proceso (p. ej., incrementar los «años de vida ajustados por incapacidad»), aunque en la práctica pueda haber muchos otros objetivos de interés²⁸. Las aproximaciones cualitativas permiten abordar objetivos diversos (y posibles barreras), por lo que los utilizan más las agencias gubernamentales que tienen que valorar líneas de investigación en campos muy diferentes, considerar objetivos múltiples y tener en cuenta las reacciones negativas. Por el contrario, sus resultados dependen de los conocimientos, la experiencia, la representatividad y los intereses de los participantes, y su reproducibilidad es mínima¹³.

En la aproximación realizada en este trabajo, que cuenta con las ventajas pero también con las limitaciones comentadas para los métodos subjetivos, los temas propuestos como prioridades de investigación en servicios sanitarios se relacionaron fundamentalmente con estrategias para mejorar la efectividad de la atención sanitaria, la información a los pacientes, la calidad y la seguridad de la atención, la equidad y la accesibilidad de los servicios, y la sostenibilidad del sistema sanitario, dejando de lado o con menores puntuaciones de prioridad la investigación relacionada con las mejoras organizativas del sistema, las mejoras en productividad y eficiencia, los recursos humanos y equipamientos y otros temas que probablemente se consideraron más propios de la perspectiva de otros agentes. También quedaron fuera los estudios de eficacia de medicamentos y de evaluación de tecnologías (que se habían señalado como «investigación clínica», diferenciadamente de la investigación en servicios sanitarios) y algunos temas típicos de la ISS (investigación en resultados de salud y medidas de calidad de vida) que, probablemente, se valoraron como asociados a la investigación clínica.

Las limitaciones intrínsecas a los métodos de consenso han sido ampliamente tratadas³². Entre otras, debe tenerse en cuenta la selección apropiada de los participantes, la información previa de éstos, los problemas de la agregación matemática de juicios subjetivos y la heterogénea concreción de las respuestas. En cuanto a la primera cuestión, los participantes fueron seleccionados por su reputación, liderazgo, capacidad para definir agendas y por componer un grupo plural con participantes relacionados con diversas áreas de conocimiento y diversos sectores de la investigación en servicios de salud. Respecto a la información previa, la conferencia antecedente buscaba precisamente que los participantes dispusieran de un panorama de la investigación en servicios sanitarios de vanguardia, aun centrada en un entorno diferente. En cuanto a la agregación matemática de juicios subjetivos, pese a su extendido uso, es un procedimiento que puede llevar a una mayor valoración de los tópicos en que todos los participantes coinciden, dejando fuera ideas más novedosas. Por último, la heterogeneidad en la concreción de las ideas expresadas (entre el listado de temas priorizados se encuentran preguntas de investigación, temas, ámbitos y a veces, métodos) ha dificultado, en cierta medida, una caracterización más sistemática de las prioridades de investigación. Sin embargo, esta dificultad inherente al grupo nominal tiene la contrapartida de estimular sin cortapisas la creatividad de los expertos, haciendo más productiva la propia técnica.

Otras limitaciones del estudio afectan a la capacidad de los expertos para definir prioridades desde el punto de vista de los legos y, en sentido contrario, hasta qué punto las prioridades expresadas por ciudadanos deberían ser las prioridades de investigación. Respecto a la primera cuestión, y pese a la escasez de estudios, algunos trabajos han mostrado que las prioridades de investigadores y ciudadanos son diferentes (p. ej., un reciente estudio mostraba que mientras la investigación sobre artrosis se centra en los ensayos clínicos de medicamentos, los pacientes consideran prioritaria la investigación en artroplastias de rodilla y en algunos aspectos educativos)³³. Respecto a la segunda, una revisión sistemática sugiere que la incorporación de los pacientes a los procesos de investigación -especialmente a través de organizaciones representativas de pacientes- puede ser positiva y aportar diversas ventajas³⁴. Finalmente, hay que señalar que las prioridades de investigación, en el mundo real no pueden definirse sólo a partir de la importancia -se mida como se mida- de los temas de investigación¹. La capacidad de investigar, la estructura, la experiencia y la capacidad de los recursos de investigación, la presencia de áreas de conocimiento bien cubiertas por grupos de investigadores en otros países, la disponibilidad de información y otras características de factibilidad de la investigación pueden llevar a priorizar temas intrínsecamente menos prioritarios, pero con mayores posibilidades de éxito.

El ejercicio de priorización desarrollado en este trabajo, como se ha ido comentando, tiene muchas limitaciones y deja pendiente el desarrollo de un proceso más formalizado, con incorporación de los puntos de vista de diversos agentes (incluidas las organizaciones representativas de pacientes), y acompañado de un análisis de la capacidad investigadora en servicios sanitarios en nuestro país. Sin embargo, en ausencia de este proceso, el trabajo aporta, por vez primera en ISS, una referencia de prioridades para los investigadores españoles en este campo y, también, una referencia para los financiadores y los usuarios de esta modalidad de investigación.

Agradecimientos

La sesión nominal fue organizada por el Institut Municipal d'Investigació Mèdica de Barcelona, la Fundación Instituto de Investigación en Servicios de Salud, el Instituto Aragonés de Ciencias de la Salud y la Asociación de Economía de la Salud. Esta última institución acogió la sesión nominal en el marco del Taller BBVA de sus XXIV Jornadas de Economía de la Salud (El Escorial, 26-28 de mayo de 2004).

Queremos expresar nuestro agradecimiento al grupo de panelistas por su dedicación y esfuerzo.

Conflicto de intereses

Las instituciones que financiaron el proyecto, RCESP, las instituciones en que trabajan los autores y los participantes en el grupo de expertos no comparten necesariamente el contenido de este trabajo, que es responsabilidad de sus autores.

Bibliografía        [ Links ]

2. Antó JM. La investigación, el desarrollo y otros objetivos de soporte a la estrategia SPT-2000. En: Álvarez Dardet C, Peiró S, editores. La salud pública ante los desafíos de un nuevo siglo. Informe SESPAS 2000. Granada: Escuela Andaluza de Salud Pública; 2000. p. 395-400.        [ Links ]

3. Comisión Interministerial de Ciencia y Tecnología. Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica 2004-2007. Áreas prioritarias. Madrid: Ministerio de Ciencia y Tecnología; 2004.        [ Links ]

4. Peiró S, Bernal-Delgado E. La investigación en calidad asistencial. Caracterización y situación actual en el Sistema Nacional de Salud. Todo Hospital. 2005;224:124-33.        [ Links ]

5. Rico R, Asúa J. Priorización de los temas a evaluar. Vitoria: OSTEBA, Dirección de Ordenación y Evaluación Sanitaria. Departamento de Sanidad del Gobierno Vasco; 1996.        [ Links ]

6. Aymerich M. Priorización para la investigación y evaluación de servicios sanitarios. Informatiu AATM. 2001;22:18-20.        [ Links ]

7. Donaldson MS, Sox HC, editors. Setting priorities for health technology assessment: a model process. Washington: National Academy Press; 1992.        [ Links ]

8. Delbecq AL, Van de Ven A, Gustafson DH. Técnicas grupales para la planeación. México: Trillas; 1984.        [ Links ]

9. Van de Ven AH, Delbecq AL. The Nominal group as a research instrument for exploratory health studies. Am J Publ Health. 1972;62:337-42.        [ Links ]

10. Fink A, Kosecoff J, Chassin M, Brook RH. Consensus methods: characteristics and guidelines for use. Am J Public Health. 1984;74:979-83.        [ Links ]

11. Peiró S, Portella E. El grupo nominal en el entorno sanitario. Valencia: Institut Valencià d'Estudis en Salut Pública; 1993.        [ Links ]

12. Dalkey NC. The Delphi Method: an Experimental Study of Group Opinion. Santa Monica: Rand Corporation; 1968.        [ Links ]

13. Fleurence RL, Torgerson DJ. Setting priorities for research. Health Policy. 2004;69:1-10.        [ Links ]

14. Michaud CM, Murray CJ, Bloom BR. Burden of disease: implications for future research. JAMA. 2001;285:535-9.        [ Links ]

15. Gross CP, Anderson GF, Powe NR. The relation between funding by the National Institutes of Health and the burden of disease. N Engl J Med. 1999;340:1881-7.        [ Links ]

16. Phelps CE, Parente ST. Priority setting in medical technology and medical practice assessment. Med Care. 1990; 28:703-23 (erratum in Med Care. 1992;30:744-51).        [ Links ]

17. Meneu R. Variabilidad de las decisiones médicas y su repercusión sobre las poblaciones. Barcelona: Masson; 2002.        [ Links ]

18. Buxton M, Hanney S. How can payback from health services research be assessed? J Health Serv Res Policy. 1996; 1:35-43.        [ Links ]

19. Hanney S, Mugford M, Grant J, Buxton M. Assessing the benefits of health research: lessons from research into the use of antenatal corticosteroids for the prevention of neonatal respiratory distress syndrome. Soc Sci Med. 2005;60:937-47.        [ Links ]

20. Claxton K, Posnett J. An economic approach to clinical trial design and research priority-setting. Health Econ. 1996;5:513-24.        [ Links ]

21. Claxton K, Ginnelly L, Sculpher M, Philips Z, Palmer S. A pilot study on the use of decision theory and value of information analysis as part of the NHS Health Technology Assessment programme. Health Technol Assess. 2004;8:1-103.        [ Links ]

22. Claxton K, Sculpher M, Drummond M. A rational framework for decision making by the National Institute for Clinical Excellence (NICE). Lancet. 2002;360:711-5.        [ Links ]

23. Claxton K. Bayesian approaches to the value of information: implications for the regulation of new pharmaceuticals. Health Econ. 1999;8:269-74.        [ Links ]

24. Moreno-Casbas T, Martin-Arribas C, Orts-Cortes I, Comet-Cortes P; Investen-ISCIII Co-ordination and Development of Nursing Research Centre. Identification of priorities for nursing research in Spain: a Delphi study. J Adv Nurs. 2001;35:857-63.        [ Links ]

25. Lionis C, Stoffers HE, Hummers-Pradier E, Griffiths F, Rotar-Pavlic D, Rethans JJ. Setting priorities and identifying barriers for general practice research in Europe. Results from an EGPRW meeting. Fam Pract. 2004;21:587-93.        [ Links ]

26. Fulop N, Allen P, Clarke A, Black N. From health technology assessment to research on the organisation and delivery of health services: addressing the balance. Health Policy. 2003; 63:155-65.        [ Links ]

27. Dault M, Lomas J, Barer M, on behalf of the Listening for Direction II partners. Listening for direction II. National consultation on health services and policy issues for 2004-2007. Ottawa, Ontario: Canadian Health Services Research Foundation and Institute of Health Services and Policy Research; 2004.        [ Links ]

28. Lomas J, Fulop N, Gagnon D, Allen P. On being a good listener: setting priorities for applied health services research. Milbank Q. 2003;81:363-88.        [ Links ]

29. Detsky AS. Are clinical trials a cost-effective investment? JAMA. 1989;262:1795-800.        [ Links ]

30. Detsky AS. Using cost-effectiveness analysis to improve the efficiency of allocating funds to clinical trials. Stat Med. 1990;9:173-84.        [ Links ]

31. Eddy DM. Selecting technologies for assessment. Int J Technol Assess Health Care. 1989;5:485-501.        [ Links ]

32. Peiró Moreno S, Portella Argelaguet E. No todo es acuerdo en el consenso. Limitaciones de los métodos de consenso en los servicios de salud. Gac Sanit. 1993;7:294-300.        [ Links ]

33. Tallon D, Chard J, Dieppe P. Relation between agendas of the research community and the research consumer. Lancet. 2000;355:2037-40.        [ Links ]

34. Oliver S, Clarke-Jones L, Rees R, Milne R, Buchanan P, Gabbay J, et al. Involving consumers in research and development agenda setting for the NHS: developing an evidence-based approach. Health Technol Assess. 2004;8:1-148.        [ Links ]

Dirección para correspondencia: ]]> Dr. Enrique Bernal-Delgado.
Instituto Aragonés de Ciencias de la Salud.
Avda. Gómez Laguna, 25. 50009 Zaragoza. España.
E-mail: ebernal.iacs@aragon.es

Recibido: 22 de agosto de 2005.
Aceptado: 24 de enero de 2006.