SciELO - Scientific Electronic Library Online

 
vol.33 issue3Consumption of psychoactive drugs and exposure to bacterial toxins carried by food: a dangerous associationCharacteristics present in secondary school students who do not smoke and who have no intention to smoke author indexsubject indexarticles search
Home Pagealphabetic serial listing  

My SciELO

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Gaceta Sanitaria

Print version ISSN 0213-9111

Gac Sanit vol.33 n.3 Barcelona May./Jun. 2019  Epub Nov 25, 2019

https://dx.doi.org/10.1016/j.gaceta.2018.12.006 

ORIGINALES BREVES

Apoyo a las guías de publicación para estudios de evaluación económica por parte de las revistas biomédicas españolas

Endorsement of guidelines for reporting economic evaluation studies by Spanish biomedical journals

Ferrán Catalá-Lópeza  b  c  , Manuel Ridaod  , Enrique Bernal-Delgadod  , David Mohere  f  , José R. Repulloa 

aDepartamento de Planificación y Economía de la Salud, Escuela Nacional de Sanidad, Instituto de Salud Carlos III, Madrid, España.

bKnowledge Synthesis Group, Clinical Epidemiology Program, Ottawa Hospital Research Institute, Ottawa, Ontario, Canada.

cDepartamento de Medicina, Universidad de Valencia/Instituto de Investigación Sanitaria INCLIVA y CIBERSAM, Valencia, España.

dInstituto Aragonés de Ciencias de la Salud, Red de Investigación en Servicios de Salud en Enfermedades Crónicas (REDISSEC), Zaragoza, España.

eCentre for Journalology and Canadian EQUATOR Centre, Clinical Epidemiology Program, Ottawa Hospital Research Institute, Ottawa, Ontario, Canada.

fSchool of Epidemiology and Public Health, Faculty of Medicine, University of Ottawa, Ottawa, Ontario, Canada.

RESUMEN

Objetivo

Examinar el apoyo a las guías de publicación para estudios de evaluación económica, como la declaración CHEERS(Consolidated Health Economic Evaluation Reporting Standards),por parte de las revistas biomédicas españolas.

Método

Análisis transversal de las normas de autoría de las revistas biomédicas españolas incluidas en Journal Citation Reports 2017. Dos autores examinaron y extrajeron la siguiente información: mención de alguna guía de publicación, declaración CHEERS, recomendaciones del International Committee of Medical Journal Editors (ICMJE) e iniciativaEnhancing the QUAlity and Transparency Of health Research(EQUATOR).

Resultados

De las 28 revistas incluidas, 23 (82,1%; intervalo de confianza del 95% [IC95%]: 63,1-93,9%) mencionaron alguna guía. Una única revista mencionó la declaración CHEERS para estudios de evaluación económica. Veinticuatro revistas (85,7%; IC95%: 67,3-96,0%) mencionaron las recomendaciones del ICMJE y 8 (28,6%; IC95%: 13,2-48,7%) la red EQUATOR. La declaración CONSORT(Consolidated Standards of Reporting Trials)para ensayos clínicos fue la guía más mencionada (n=21; 75,0%; IC95%: 55,1-89,3%).

Discusión

La mayoría de las normas de autoría no incorporan información sobre cómo presentar evaluaciones económicas. Las revistas deberían apoyar el cumplimiento de las guías de publicación por parte de las personas autoras y revisoras.

Palabras clave: CHEERS; Coste-efectividad; Guía de publicación

ABSTRACT

Objective

To examine the endorsement of reporting guidelines for economic evaluation studies, such as the CHEERS(Consolidated Health Economic Evaluation Reporting Standards)statement, by Spanish biomedical journals.

Method

Cross-sectional analysis of the instructions to authors of Spanish biomedical journals included in the Journal Citation Reports 2017. Two authors examined and extracted the following information: mention of any reporting guideline, the CHEERS statement, the recommendations of the International Committee of Medical Journal Directors (ICMJE) and theEnhancing the QUAlity and Transparency Of health Research(EQUATOR) network.

Results

Of the 28 journals included, 23 (82.1%; 95% confidence interval [95%CI]: 63.1-93.9%) mentioned at least one reporting guideline in the instructions to authors. Only one journal mentioned the CHEERS statement for health economic evaluations. Twenty-four journals (85.7%; 95%CI: 67.3-96.0%) mentioned the ICMJE recommendations and 8 (28.6%; 95%CI: 13.2-48.7%) mentioned the EQUATOR network. The CONSORT(Consolidated Standards of Reporting Trials)statement for clinical trials was the most- mentioned reporting guideline (n=21; 75.0%; 95%CI: 55.1-89.3%).

Discussion

Most of the instructions to authors do not provide guidance on how to report economic evaluations. Journals should support compliance with reporting guidelines by authors and peer-reviewers.

Keywords: CHEERS; Cost-effectiveness; Reporting guideline

Introducción

Los estudios de evaluación económica deben servir para informar la asignación de recursos, ya que permiten comparar diversas alternativas de actuación en términos de costes y efectos sobre la salud1. Sin embargo, diversos trabajos2-4 han demostrado que la calidad de los estudios de evaluación económica publicados es mejorable, y cuando menos, heterogénea.

Las guías de publicación pretenden fomentar la claridad y la transparencia de los trabajos publicados. Generalmente, estas guías especifican en forma de listas de comprobación los elementos necesarios para presentar la información relativa a los métodos y resultados de la investigación5. La aplicación de estas guías puede contribuir a aumentar la calidad de los artículos6 7. Una de las más conocidas es la declaración CONSORT (Consolidated Standards of Reporting Trials) para ensayos clínicos, aunque existen guías para diversos diseños. Las evaluaciones económicas, en comparación con otras investigaciones, requieren la presentación de elementos adicionales, como son los costes y el uso de recursos, la información relacionada con la efectividad comparada, las preferencias (utilidades) y los resultados de la relación coste-efectividad8-10. Siguiendo el formato establecido en otras guías, la declaración CHEERS(Consolidated Health Economic Evaluation Reporting Standards)10 se ha consolidado como la principal guía para presentar de manera transparente la información relativa a una evaluación económica. Sin embargo, el apoyo a estas guías por parte de las revistas es desconocido. Estudios previos han caracterizado el apoyo a algunas guías (como CONSORT) examinando las normas de autoría de revistas internacionales con alto factor de impacto11, pero ningún trabajo hasta la fecha ha evaluado el apoyo a las guías por parte de las revistas españolas. Conocer esta información es importante, pues en las revistas españolas se publica un número importante de trabajos de evaluación económica llevados a cabo en el ámbito nacional, autonómico o local4 12.

El presente estudio tiene como objetivo principal examinar el apoyo a las guías de publicación para estudios de evaluación económica8-10, como la declaración CHEERS10, por parte de las revistas biomédicas españolas incluidas en el Journal Citation Reports (JCR) en 2017. Como objetivo secundario se pretende explorar la mención a las principales recomendaciones y guías de publicación más conocidas.

Método

Análisis transversal de las normas de autoría de las revistas biomédicas españolas incluidas en el JCR de 2017 (Clarivate Analytics, Filadelfia, EE.UU.), publicado en junio de 2018.

Selección de las revistas

Con ayuda de un experto en recuperación de información y búsquedas (A. Alonso-Arroyo), dos investigadores (M. Ridao y F. Catalá-López) seleccionaron una muestra de revistas biomédicas editadas en España que cumplieran los criterios de elegibilidad. Para ello, las revistas debían estar incluidas en el JCR de 2017 y publicar trabajos originales relacionados con cualquier aspecto de la investigación clínica, la investigación en servicios de salud, la economía de la salud, la epidemiología, la salud pública o cualquier área relacionada. Fueron excluidas aquellas revistas que indicaran explícitamente que no publicaban evaluaciones económicas o se comprobara que no publicaban este tipo de estudios a partir de la información de una revisión previa4 y de una búsqueda complementaria en PubMed cuando no se estaba familiarizado con el tema de la revista (para más detalles del proceso de selección de revistas véase el Apéndice online).

Identificación y extracción de la información

Dos investigadores (M. Ridao y F. Catalá-López), de manera independiente, examinaron las normas para autores/as disponibles en la página web de cada revista y extrajeron la información de interés, entre agosto y septiembre de 2018. Específicamente se obtuvo el nombre de la revista, el factor de impacto y la posición (cuartil) en la categoría temática (JCR 2017), la disponibilidad de normas de autoría y su formato (p. ej., documento en PDF, página web o ambos), si se mencionaban guías para la publicación de diseños específicos de investigación y cuáles, si la declaración CHEERS (o cualquier otra guía de publicación de estudios de evaluación económica8 9) se mencionaba en las normas de publicación como «requisito» (p. ej., «se requiere», «se deberá seguir» o «se tendrá en cuenta») o como «recomendación» (p. ej., «se recomienda seguir»), y qué documento CHEERS se referenciaba (página web, documento de la declaración, documento explicativo, la lista de comprobación u otro). Si la revista requiere la declaración CHEERS como condición para el envío de trabajos, se comprobó si era un requisito explícito presentar una lista de comprobación cumplimentada por los/las autores/as. Para contextualizar los resultados, se buscó y extrajo cualquier información o mención a las recomendaciones del International Committee of Medical Journal Editors (ICMJE), la iniciativa EQUATOR (http://www.equator-network.org/) o las guías de publicación más conocidas. Por último, también se buscó la identificación de la entidad editora de las revistas incluidas en el estudio.

Análisis y acceso a los datos

Se llevó a cabo un análisis descriptivo mediante recuento de frecuencias y porcentajes (con sus intervalos de confianza del 95% [IC95%]). Todos los cálculos se realizaron utilizando Stata versión 15 (StataCorp LP, College Station, Texas, EE.UU.). Los datos utilizados están disponibles en Open Science Framework (https://osf.io/xsa5r/).

Resultados

Se analizaron las normas de autoría de 28 revistas publicadas por 12 grupos editoriales distintos. En su mayoría, las revistas tenían un factor de impacto situado en el tercer (35,7%; IC95%: 18,6-55,9%; [10/28]) y cuarto (46,4%; IC95%: 24,5-62,8%; [13/28]) cuartiles de su categoría temática.

De las 28 revistas, 23 (82,1%; IC95%: 63,1-93,9%) mencionaban alguna guía en sus normas de autoría (Tabla 1). Solo una revista (3,6%; IC95%: 0,1-18,3%; [1/28]) mencionaba alguna guía para estudios de evaluación económica, explícitamente la declaración CHEERS, como requisito en sus normas. Sin embargo, no se requería la presentación de la lista de comprobación CHEERS. Por el contrario, CONSORT (75,0%; IC95%: 55,1-89,3%; [21/28]) resultó ser la guía más mencionada (véase el Apéndice online).

Tabla 1 Normas de autoría y mención de recomendaciones de publicación 

Característica Número (%)
Disponibilidad de normas de autoría de la revista 28 (100)
Página web 6 (21,4)
Documento descargable (p. ej., formato PDF) 7 (25,0)
Ambos 15 (53,6)
Mención explícita a la declaración CHEERS 1 (3,6)
Requisito 1 (3,6)
Recomendación -
Dudoso -
Mención explícita a cualquier guía de publicación 23 (82,1)
Requisito 21 (75,0)
Recomendación 2 (7,1)
Dudoso -
Mención explícita a las recomendaciones del ICMJE 24 (85,7)
Página web 24 (85,7)
Otros -
Mención explícita a la iniciativa EQUATOR 8 (28,6)
Página web 8 (28,6)
Otros -

CHEERS: Consolidated Health Economic Evaluation Reporting Standards; EQUATOR: Enhancing the QUAlity and Transparency Of health Research; ICMJE: International Committee of Medical Journal Editors.

Veinticuatro revistas (85,7%; IC95%: 67,3-96,0%) mencionaron las recomendaciones del ICMJE en sus normas, y solo ocho (28,6%; IC95%: 13,2-48,7%) mencionaban la iniciativa EQUATOR.

Discusión

El apoyo que reciben algunas guías y recomendaciones (como la declaración CONSORT y las recomendaciones del ICMJE) por parte de las revistas analizadas resulta alentador. Sin embargo, esto contrasta con el escaso apoyo que reciben otras guías e iniciativas, pues solo una revista mencionó en sus normas la declaración CHEERS para estudios de evaluación económica.

Con el creciente número de evaluaciones económicas publicadas4 12, la transparencia y la claridad en la presentación de los trabajos son importantes. La declaración CHEERS10 se desarrolló para ayudar a mejorar la calidad de las evaluaciones económicas. Incorporarla a las normas de las principales revistas es un paso imprescindible, pero no suficiente. Es muy probable que normas de autoría ambiguas sean menos efectivas que aquellas que incorporan acciones concretas. En el nivel más básico, la implantación efectiva implicaría pedir a los autores (en el momento del envío) que rellenen la lista de comprobación de la guía (véase un ejemplo en el Apéndice online). Algunos editores pueden percibir este requisito como una barrera para recibir nuevos trabajos, pero no existen datos para apoyar esta percepción.

El presente estudio tiene algunas limitaciones. Solo se incluyó un número reducido de revistas biomédicas españolas (las incluidas en el JCR de 2017), por lo que las estimaciones pueden ser imprecisas (intervalos de confianza amplios) y no totalmente generalizables a otras revistas sin factor de impacto4 12. Por otro lado, no contactamos con los/las editores/as para ampliar la información disponible públicamente en las normas de autoría.

En las situaciones en que por falta de claridad o por ausencia de reporte se omiten aspectos importantes de la investigación, efectuar cualquier valoración sobre la validez de las conclusiones del estudio se ve seriamente dificultado. Las personas editoras, revisoras y autoras deberían apoyar (e implantar) las principales guías de publicación, como la declaración CHEERS, para mejorar la integridad y la transparencia de las evaluaciones económicas (véase una propuesta en la Tabla 2). Además, esto podría contribuir a aumentar el valor de la investigación que publican13-15.

Tabla 2 Propuesta de texto para incluir en las normas de autoría de las revistas 

[Nombre de la revista] requiere una lista de comprobación completa de la declaración CHEERS como condición para el envío de trabajos que presenten los resultados de un estudio de evaluación económica. La plantilla puede encontrarse en la página web de la red EQUATOR (Enhancing the Quality and Transparency Of health Research), donde se proporciona información exhaustiva sobre guías de publicación: http://www.equator-network.org/. Como mínimo, su artículo deberá presentar el contenido de cada elemento propuesto en la lista de comprobación CHEERS. El cumplimiento de estos requisitos básicos de presentación ayudará a mejorar en gran medida el valor de su estudio, pudiendo facilitar o mejorar el proceso de revisión por pares, y aumentar las posibilidades de publicación final de su artículo.

¿Qué se sabe sobre el tema?

La declaración CHEERS, publicada en 2013, es una lista de comprobación con 24 elementos mínimos para presentar de manera transparente y completa la información de los estudios de evaluación económica. Diversas revistas biomédicas internacionales (The BMJ, BMC Medicine, Pharmacoeconomics, International Journal of Technology Assessment in Health Care y Value in Health,entre otras) han incorporado la declaración CHEERS a sus normas de autoría. Hasta la fecha no hay una estimación confiable del apoyo que reciben las guías de estudios de evaluación económica por parte de las revistas biomédicas españolas.

¿Qué añade el estudio realizado a la literatura?

En 2018, la mayoría de las revistas analizadas incorpora alguna guía de publicación en sus normas de autoría. Sin embargo, solo un 3% (1/28) incluye alguna guía para estudios de evaluación económica. Las revistas deberían ser más explícitas en sus normas de autoría y apoyar el cumplimiento de estas guías por parte de las personas autoras y revisoras.

Agradecimientos

A Adolfo Alonso-Arroyo, por su ayuda con las búsquedas de revistas españolas incluidas en Journal Citation Reports.

Anexo A

Material suplementario

Se puede consultar material adicional a este artículo en su versión electrónica disponible en doi:10.1016/j.gaceta.2018.12.006.

Bibliografía

1. García-Altés A, Navas E, Soriano MJ. Evaluación económica de intervenciones de salud pública. Gac Sanit. 2011;25(Supl 1):25-31. [ Links ]

2. Neumann PJ, Stone PW, Chapman RH, et al. The quality of reporting in published cost-utility analyses, 1976-1997. Ann Intern Med. 2000;132:964-72. [ Links ]

3. Rosen AB, Greenberg D, Stone PW, et al. Quality of abstracts of papers reporting original cost-effectiveness analyses. Med Decis Making. 2005;25:424-8. [ Links ]

4. Catalá-López F, Ridao M, Alonso-Arroyo A, et al. The quality of reporting methods and results of cost-effectiveness analyses in Spain: a methodological systematic review. Syst Rev. 2016;5:6. [ Links ]

5. Simera I, Altman DG, Moher D, et al. Guidelines for reporting health research: the EQUATOR network's survey of guideline authors. PLoS Med. 2008;5:e139. [ Links ]

6. Turner L, Shamseer L, Altman DG, et al. Does use of the CONSORT Statement impact the completeness of reporting of randomised controlled trials published in medical journals? A Cochrane review. Cochrane Syst Rev. 2012;1:60. [ Links ]

7. Cobo E, Cortés J, Ribera JM, et al. Effect of using reporting guidelines during peer review on quality of final manuscripts submitted to a biomedical journal: masked randomised trial. BMJ. 2011;343:d6783. [ Links ]

8. Drummond MF, Jefferson TO. Guidelines for authors and peer reviewers of economic submissions to the BMJ. The BMJ Economic Evaluation Working Party. BMJ. 1996;313:275-83. [ Links ]

9. López Bastida J, Oliva J, Antoñanzas F, et al. Propuesta de guía para la evaluación económica aplicada a las tecnologías sanitarias. Gac Sanit. 2010;24:154-70. [ Links ]

10. Husereau D, Drummond M, Petrou S, et al., CHEERS Task Force. Consolidated Health Economic Evaluation Reporting Standards (CHEERS) statement. BMJ. 2013;346:f1049. [ Links ]

11. Shamseer L, Hopewell S, Altman DG, et al. Update on the endorsement of CONSORT by high impact factor journals: a survey of journal "Instructions to Authors" in 2014. Trials. 2016;17:301. [ Links ]

12. Catalá-López F, García-Altés A. Evaluación económica de intervenciones sanitarias en España durante el período 1983-2008. Rev Esp Salud Publica. 2010;84:353-69. [ Links ]

13. Moher D, Glasziou P, Chalmers I, et al. Increasing value and reducing waste in biomedical research: who's listening? Lancet. 2016;387:1573-86. [ Links ]

14. Glasziou P, Altman DG, Bossuyt P, et al. Reducing waste from incomplete or unusable reports of biomedical research. Lancet. 2014;383:267-76. [ Links ]

15. Moher D, Altman DG. Four proposals to help improve the medical research literature. PLoS Med. 2015;12:e1001864 [ Links ]

Financiación: M. Ridao y E. Bernal-Delgado han recibido financiación parcial del Instituto de Salud Carlos III, a través de la beca RD16/0001/0007, de la Red de Investigación en Servicios de Salud en Enfermedades Crónicas (REDISSEC). D. Moher ha recibido financiación parcial de la Cátedra de Investigación de la Universidad de Ottawa, Canadá. La Fundación Instituto de Investigación en Servicios de Salud, Valencia, se ha hecho cargo de los gastos de publicación que permiten el acceso abierto a este artículo.

Recibido: 22 de Octubre de 2018; Aprobado: 17 de Diciembre de 2018; : 14 de Marzo de 2019

*Autor para correspondencia:ferrancatala@outlook.com (F. Catalá-López).

Editor responsable del artículo: David Epstein.

Declaración de transparencia: El autor principal (garante responsable del manuscrito) afirma que este manuscrito es un reporte honesto, preciso y transparente del estudio que se remite a Gaceta Sanitaria, que no se han omitido aspectos importantes del estudio, y que las discrepancias del estudio según lo previsto (y, si son relevantes, registradas) se han explicado.

Contribuciones de autoría: F. Catalá-López y M. Ridao diseñaron el estudio y obtuvieron los datos. F. Catalá-López supervisó el estudio y realizó los análisis. F. Catalá-López, M. Ridao, E. Bernal-Delgado, D. Moher y J.R. Repullo participaron en la interpretación de los resultados. F. Catalá-López escribió la primera versión del manuscrito. M. Ridao, E. Bernal-Delgado, D. Moher y J.R. Repullo realizaron comentarios, revisiones críticas a las diferentes versiones del texto y editaron la versión final. Todos los autores han leído y aprobado la versión final.

Conflictos de intereses: Ninguno.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons