---

La calidad de las evaluaciones de manuscritos en Gaceta Sanitaria

A.M. García^a / A. Plasència^b / E. Fernández^c
Equipo editorial Gaceta Sanitaria y
^aDepartamento de Medicina Preventiva y Salud Pública, Bromatología, Toxicología y Medicina Legal. Universitat de Valencia.
^bInstitut Municipal de Salut Pública. Barcelona.
^cInstitut Català d'Oncologia. Barcelona.

 

Correspondencia: A.M. García.
Facultad de Ciencias Sociales. AVDA. Tarongers, s/n. 46022 Valencia.
Correo electrónico: anagar@uv.es

Recibido: 7 de marzo de 2002.
Aceptado: 10 de abril de 2002.

(Quality of manuscript evaluation in Gaceta Sanitaria)

---

Resumen
Objetivo: Describir las cualidades y limitaciones de las evaluaciones externas de los manuscritos remitidos a Gaceta Sanitaria para mejorar la selección de los evaluadores, aumentar la calidad de las evaluaciones y establecer un sistema interno que pudiera incorporarse al proceso editorial de gestión de los manuscritos.
Métodos: Se incluyeron 100 evaluaciones de 55 manuscritos recibidos durante los años 2000 y 2001. Se aplicó un formulario de preguntas cerradas en el que se valoraban aspectos específicos y generales de calidad en las evaluaciones (respuestas sí/no o sobre una escala de 1 a 5). Se llevó a cabo un análisis descriptivo y de correlación entre los distintos ítems del formulario. Se calculó un Índice de Calidad como suma de las puntuaciones de los ítems específicos.
Resultados: Las evaluaciones obtuvieron puntuaciones más elevadas en relación con la compleción del formulario para los revisores (84%), la utilización de un tono constructivo con los autores (evaluaciones por encima de 3: 63%), la identificación de cualidades y limitaciones metodológicas (evaluaciones por encima de 3: 59%) y la fundamentación de los comentarios del evaluador (evaluaciones por encima de 3: 58%). Con menor frecuencia, se valora la relevancia (evaluaciones por encima de 3: 40%) o la originalidad (evaluaciones por encima de 3: 35%) del manuscrito. La utilidad global de la evaluación para el editor y la calidad global de la evaluación mostraron una elevada correlación con el resto de ítems específicos en el formulario y con el Índice de Calidad.
Conclusiones: La calidad general de las evaluaciones externas de manuscritos en Gaceta Sanitaria se puede considerar alta. Se ponen de manifiesto los aspectos mejorables de las evaluaciones. Se podría establecer un proceso sistemático de valoración de las evaluaciones externas utilizando indicadores simples como la valoración global de la utilidad o de la calidad de la evaluación en su conjunto.
Palabras clave: Investigación revisada por pares. Publicaciones periódicas.

Abstract
Objective: To describe strengths and weaknesses of peer reviews of manuscripts received in Gaceta Sanitaria in order to guide reviewers selection, to improve quality of peer reviews and to establish an internal system to be incorporated to the editorial process of handling manuscripts.
Methods: 100 peer reviews of 55 manuscripts received during 2000 and 2001 were included. A questionnaire containing closed questions assessing specific and general components of reviews' quality was applied (answers Yes/No or on a 5-points scale). Descriptive and correlation analyses were performed for the different items in the questionnaire. An Index of Quality was obtained by adding the ratings on the items in the questionnaire measuring specific quality components.
Results: Peer reviews were rated high regarding completeness of the forms for reviewers (84%), constructiveness of the comments (reviews over 3: 63%), identification of the strengths and weaknesses of the method (reviews over 3: 59%) and substantiation of the reviewer comments (reviews over 3: 58%). Assessment of the manuscript's relevance (reviews over 3: 40%) or originality (reviews over 3: 35%) were less frequent.
Conclusions: Quality of peer reviews in Gaceta Sanitaria is good. Some weaknesses in the reviews have been pointed out. It is possible to establish a systematic process for assessing peer reviewers using simple indicators such as general utility of the review for the editorial decision and general quality of the review.
Key words: Peer review. Research periodicals.

---

Introducción

La evaluación externa de manuscritos en las publicaciones biomédicas (peer review) se ha generalizado como criterio de calidad de las revistas y su contenido. La existencia de este proceso se tiene en cuenta a la hora de incluir una revista en algunos de los principales repertorios bibliográficos (como el Index Medicus o el Science Citation Index) o en los baremos de valoración de los trabajos publicados por un investigador. A pesar del escaso conocimiento empírico que todavía existe sobre su utilidad, sus efectos y sus limitaciones, la evaluación externa por expertos se considera un elemento indispensable para garantizar la calidad en las publicaciones científicas¹.

Aunque los editores de las revistas científicas vienen ayudándose de la evaluación externa por expertos desde hace décadas, sólo en los últimos años empiezan a publicarse estudios sistemáticos sobre las cualidades y limitaciones del proceso. El desarrollo de esta área de investigación se ha visto fuertemente impulsado por la celebración cada cuatro años desde 1989 del International Congress on Peer Review in Biomedical Publication, organizado principalmente por la revista Journal of the American Medical Association, cuya última edición tuvo lugar en Barcelona en septiembre de 2001². Los estudios en este campo se han centrado principalmente en la identificación de elementos para mejorar el proceso de evaluación y reducir sus posibles fuentes de sesgos³. Entre los temas más estudiados se incluyen los efectos del anonimato de revisores y autores, con resultados discordantes^4-6. Otros trabajos identifican características personales de los evaluadores que se relacionan con una mayor calidad en la evaluación, encontrando que los más jóvenes y con formación en epidemiología o estadística suelen realizar mejores evaluaciones^7,8. Se han descrito también casos de mala praxis en el proceso de evaluación^9,10.

El objetivo principal de la evaluación externa de manuscritos es servir de ayuda al editor para seleccionar y mejorar la calidad de los manuscritos que se publiquen. También puede tener una función formadora para autores menos expertos, y constituye un apartado más del proceso de reflexión y discusión compartidas que debe guiar la actividad científica. Como toda actividad científica, la evaluación de manuscritos es también a su vez susceptible de evaluación, y se han desarrollado algunas herramientas específicas para valorar la calidad del proceso^2,11,12. Entre los principales ítems valorados por estas herramientas se encuentran la discusión de la importancia y originalidad del manuscrito en evaluación, la identificación de las cualidades y limitaciones metodológicas del estudio, la evaluación de los aspectos formales del texto o la utilización de un tono respetuoso y constructivo con los autores.

En este artículo presentamos los resultados de un estudio sobre la calidad de una muestra de las evaluaciones de manuscritos llevadas a cabo por los evaluadores de Gaceta Sanitaria durante los años 2000 y 2001. Los objetivos del estudio eran conocer las cualidades y limitaciones de nuestros evaluadores para orientar mejor su selección y para contribuir a aumentar la calidad de las evaluaciones futuras poniendo de manifiesto los aspectos mejorables, así como poner a prueba un sistema interno de evaluación en Gaceta Sanitaria que pudiera permanecer como práctica habitual en el proceso editorial de gestión de manuscritos y de relación con los evaluadores.

Métodos

Se incluyeron de forma aleatoria 55 manuscritos sometidos a evaluación externa durante los años 2000 y 2001 en Gaceta Sanitaria. El total de manuscritos enviados a evaluadores durante el período del estudio (enero 2000-abril 2001) fue de 112. En esta revista cada manuscrito se asigna a un editor responsable, que elige los evaluadores externos para el manuscrito. Los evaluadores deben completar un formulario con preguntas cerradas relativas a cuestiones formales y de contenido del manuscrito, un apartado de texto libre de comentarios exclusivos para el editor y otro apartado también de texto libre con los comentarios para los autores. Esta última parte es la única que reciben los autores. Los evaluadores no reciben instrucciones específicas para realizar su revisión, aunque el formulario de preguntas cerradas sirve de orientación sobre los aspectos que hay que considerar y comentar en la misma.

Como herramienta para evaluar la calidad de las evaluaciones externas se utilizó una adaptación del Review Quality Instrument propuesto y validado por Van Rooyen et al¹¹. En el anexo se reproduce una copia del formulario utilizado para revisar la calidad de las evaluaciones. Todos los ítems eran de respuesta cerrada, en los ítems 1 a 3 mediante «sí» o «no» y para el resto de cuestiones en una escala cuantitativa de 1 a 5. El editor responsable del manuscrito debía completar este formulario una vez recibida la respuesta del evaluador o evaluadores externos del manuscrito.

 

 

El análisis ha incluido 100 evaluaciones de 93 evaluadores distintos, participando en el proceso 9 editores del equipo editorial de Gaceta Sanitaria. Se llevó a cabo un análisis descriptivo de todos los ítems incluidos en el formulario. Se obtuvieron las correlaciones interítem, especialmente las correspondientes a los ítems 4 al 10 (componentes específicos de la calidad de la evaluación) con los ítems 11 (utilidad global de la evaluación para el editor) y 12 (puntuación global de la calidad de la evaluación). Para los ítems 1 a 3 (con sólo dos valores de respuesta) se analizó esta misma relación mediante una c². Sobre el total de formularios cumplimentados en todos sus ítems (n = 95) se calculó el Índice de Calidad como el sumatorio de las puntuaciones de los ítems 1 al 10. Esta nueva variable podía obtener valores en una escala de 10 a 41 (respectivamente, la suma de las puntuaciones mínimas y máximas en todos los ítems del formulario).

El nivel de significación estadística se estableció en 0,05.

Resultados

En la tabla 1 se presenta la distribución de las respuestas obtenidas en cada uno de los ítems del formulario para las 100 evaluaciones externas analizadas. Tal y como se observa en la tabla, las puntuaciones son en general elevadas. Entre los ítems que valoran los distintos componentes de calidad de la evaluación (1 al 10), las puntuaciones más elevadas se corresponden con la cumplimentación del formulario para los revisores en todas sus partes relevantes, la utilización de un tono constructivo y correcto para con los autores, la identificación de las cualidades y limitaciones metodológicas y la fundamentación de los comentarios del evaluador. Con menor frecuencia, las evaluaciones incluyen comentarios exclusivos para los editores o valoran la adecuación del manuscrito para la revista, así como la relevancia y la originalidad del trabajo. En general, los editores valoran positivamente la utilidad (el 69% de las evaluaciones son calificadas en los dos niveles superiores de la escala de 1 a 5) y la calidad de las evaluaciones (en este caso, el 59% de las evaluaciones puntúan en los dos niveles superiores).

El rango del Índice de Calidad en nuestros datos se encuentra entre 10 y 40, con media 27,79 e intervalo de confianza (IC) del 95% de 26,47-29,11. El 50% de las evaluaciones obtuvieron puntuaciones del Índice de Calidad en el tercio superior de la escala (³31 puntos).

Se analizó la relación entre las dos cuestiones más generales del formulario (ítems 11 y 12, relativos respectivamente a la utilidad de la evaluación y a la puntuación general de la calidad de la misma) con el Índice de Calidad y con los componentes específicos de la calidad de la evaluación (ítems 1 a 10). Respecto a los primeros 3 ítems, la única asociación significativa aparece entre la presencia de comentarios específicos para el editor (ítem 2) y la utilidad de la evaluación para el mismo (ítem 11; p = 0,029). En la tabla 2 se presentan los coeficientes de correlación de los ítems 4 al 10 con la utilidad de la evaluación (ítem 11) y la valoración global de la calidad de la misma (ítem 12). Los coeficientes de correlación son elevados en general y significativos en todos los casos (p < 0,05). Los aspectos que se relacionan más con la utilidad y calidad global de la evaluación son la identificación de los puntos fuertes y débiles del método empleado en el estudio (ítem 6) y la existencia de comentarios sobre la interpretación de los resultados (ítem 10). Los comentarios sobre la relevancia del estudio (ítem 4) o la originalidad del manuscrito (ítem 5) presentan la correlación más baja con ambos indicadores generales.

 

 

Por último, el Índice de Calidad presenta una correlación elevada y significativa con la utilidad y calidad global de la evaluación medidas por el editor (respectivamente, r = 0,800 y r = 0,841), lo que sugiere que los dos últimos ítems pueden representar con un grado aceptable de correlación al conjunto de elementos específicos de evaluación de la calidad incluidos en el formulario. En las figuras 1 y 2 se representa la correlación entre el Índice de Calidad y los ítems 11 y 12.

 

Figura 1. Correlación entre el índice de calidad (sumatorio de las puntuaciones en los ítems 1 a 10 del formulario para la calidad de la evaluación, [anexo]) y la puntuación para la utilidad de la evaluación (ítem 11, escala 1 a 5).

 

 

Figura 2. Correlación entre el índice de calidad (sumatorio de las puntuaciones en los ítems 1 a 10 del formulario para la calidad de la evaluación, [anexo]) y la puntuación para la calidad global de la evaluación (ítem 11, escala 1 a 5).

 

Discusión

La calidad de las evaluaciones externas de manuscritos en Gaceta Sanitaria es considerada en general elevada por los editores. Los elementos más positivos de las evaluaciones son la utilización de un tono respetuoso y constructivo con los autores, la identificación de las cualidades y debilidades metodológicas del estudio y la justificación fundamentada de los comentarios del evaluador. La originalidad y relevancia del estudio se evalúan con menos frecuencia.

Los manuscritos incluidos en el estudio eran en su mayor parte artículos originales, aunque también se incluyeron revisiones, artículos de opinión o de debate. La muestra no era suficiente para estimar diferencias significativas en las valoraciones efectuadas entre los distintos editores. Se hubiera evitado la variabilidad interobservador si una única persona hubiera valorado todas las evaluaciones, pero con este estudio se pretendía también en parte influir sobre el proceso editorial habitual en Gaceta Sanitaria y se decidió que colaboraran todos los editores. No pudimos estimar la concordancia entre las valoraciones de los editores, ya que cada evaluación era puntuada por un solo editor. En el trabajo de validación de la herramienta en la que se basa la utilizada en el presente estudio, Van Rooyen et al¹¹ obtuvieron concordancia elevada entre las evaluaciones de 11 editores del British Medical Journal (kappa ponderado total = 0,83).

En nuestro estudio la calidad global media de las evaluaciones (ítem 12) resultó ser de 3,52 (IC del 95%: 3,32-3,72). En un estudio de la revista Annals of Emergency Medicine¹³, la calidad global media sobre la misma escala que la utilizada por nosotros en una muestra de algo más de 4.000 evaluaciones fue de 3,7 (IC del 95%: 3,38-3,73). Los autores de este trabajo comparaban estas puntuaciones de calidad asignadas por los editores con otras medidas objetivas de la calidad de las evaluaciones (como la capacidad para detectar errores deliberados en un manuscrito ficticio), y concluían que la utilización de esta escala simple de 5 puntos como indicador de calidad de las evaluaciones externas era aceptablemente válida, y no podía ser sustituida por indicadores estadísticos rutinarios como la concordancia entre la recomendación del evaluador y la decisión del editor. Otras herramientas de evaluación han obtenido resultados más válidos¹², pero a costa de complicar el proceso de evaluación y la carga de trabajo. En nuestros datos hemos comprobado cómo dos indicadores simples de la calidad de la evaluación (ítems 11 y 12) correlacionan bien con el resto de elementos determinantes de la calidad (ítems 1 al 10) y con el índice compuesto por la suma de las puntuaciones de todo el resto de ítems (figs. 1 y 2). Aunque estos dos ítems se encontraban al final del cuestionario, y por tanto sus respuestas podrían estar influidas por las preguntas y respuestas anteriores, posiblemente sean suficientes como herramienta sistemática de evaluación para los editores.

La opinión de los autores es, sin duda, importante en el proceso de evaluación de la calidad de las evaluaciones externas. En nuestro estudio no se considera, pero otros trabajos han aplicado esta aproximación. Sweitzar et al evaluaron la opinión de los autores sobre el proceso editorial, de evaluación y administrativo de la revista Journal of Clinical Anesthesia¹⁴. Aunque la respuesta variaba en función de la decisión editorial sobre el manuscrito (aceptación condicional a revisión, rechazo pero puede volver a enviar, rechazo sin opción a reconsideración), entre el 54 y el 74% de los autores encontraban aspectos positivos y útiles en la evaluación de sus trabajos.

Las primeras referencias a la utilización del proceso de evaluación externa en las publicaciones científicas no se encuentran hasta el siglo xviii. Incluso bien entrado el siglo xx, la evaluación externa de los manuscritos tal y como la conocemos actualmente era la excepción más que la regla¹⁵. Aunque todavía son escasos los estudios en este campo, diversos trabajos han puesto de manifiesto los efectos positivos de la evaluación sobre la forma y contenidos del manuscrito^16,17. Obviamente, ni el proceso editorial ni la evaluación externa pueden garantizar por completo la validez de los datos de un estudio ni identificar todos los potenciales casos de fraude o mala praxis en la publicación científica¹⁸. El proceso de evaluación externa es mejorable y se han identificado características de los evaluadores que se asocian con mejores evaluaciones⁷, aunque algunas experiencias concretas de formación a evaluadores no han obtenido mejoras notables en la calidad de las evaluaciones^19,20. La opinión de los autores es también fundamental para mejorar el proceso, y en cualquier caso los editores, que siempre tienen la última palabra en la decisión respecto a publicar o no un manuscrito, deben actuar como árbitros imparciales entre evaluadores y autores y atender adecuadamente las razones desde uno y otro lado. Algunos editores abogan por un proceso de evaluación más abierto y transparente, por ejemplo mediante un sistema de revisión totalmente accesible en la red⁶.

Al margen de estas opciones más innovadoras, y conscientes de que todavía es necesario más conocimiento empírico sobre el proceso, en Gaceta Sanitaria seguimos convencidos de que la evaluación externa de manuscritos es la mejor de las ayudas disponibles para los editores en la toma de decisiones²¹. En este sentido esperamos que el presente estudio ayude a que editores, revisores y autores sigamos perfeccionando nuestra práctica en la mejora de la calidad de las publicaciones científicas.

Agradecimientos

Este estudio no habría sido posible sin la colaboración de todo el equipo editorial de Gaceta Sanitaria. Ni, por supuesto, sin el desinteresado trabajo de nuestros evaluadores y la confianza que los autores depositan en Gaceta Sanitaria al enviarnos sus manuscritos.

---

Bibliografía

1. Kassirer JP, Campion EW. Peer review. Crude and understudied, but indispensable. JAMA 1994;272:96-7.        [ Links ]

2. Rennie D, Flanagin A. International Congress on Peer Review in Biomedical Publication [citado 21 Ene 2002]. Disponible en: http://www.jama-peer.org        [ Links ]

3. Curran CF. Journal manuscript peer review: research and controversies [consultado 21/01/2002]. Disponible en: http://www.jama-peer.org        [ Links ]

4. McNutt RA, Evans AT, Fletcher RH, Fletcher SW. The effects of blinding on the quality of peer review. A randomized trial. JAMA 1990;263:1371-6.        [ Links ]

5. Rodríguez Artalejo F. Ocultar la identidad de los autores y evaluadores de artículos. Gac Sanit 1996;159-60.        [ Links ]

6. Smith R. Opening up BMJ peer review. Br Med J 1999;318: 4-5.        [ Links ]

7. Goldbeck-Wood S. What makes a good reviewer of manuscripts? Br Med J 1998;316:86.        [ Links ]

8. Black N, Van Rooyen S, Godlee F, Smith R, Evans S. What makes a good reviewer and a good review for a general medical journal? JAMA 1998;280:231-3.        [ Links ]

9. Marshall E. Suit alleges misuse of peer review. Science 1995;270:1912-4.        [ Links ]

10. White C, editor. The COPE Report 2000. Annual Report of the Committee on Publication Ethics. London: BMJ Books, 2000;p. 61.        [ Links ]

11. Van Rooyen S, Black N, Godlee F. Development of the Review Quality Instrument (RQI) for assessing peer reviews of manuscripts. J Clin Epidemiol 1999;52:625-9.        [ Links ]

12. Feurer ID, Becker GJ, Picus D, Ramirez E, Darcy MD, Hicks ME. Evaluating peer reviews. Pilot testing of a grading instrument. JAMA 1994;272:98-100.        [ Links ]

13. Callaham ML, Baxt WG, Waeckerle JF, Wears RL. Reliability of editors' subjective quality ratings of peer review manuscripts. JAMA 1998;280:229-31.        [ Links ]

14. Sweitzer BJ, Cullen DJ. How well does a journal's peer review process function? JAMA 1994;272:152-3.        [ Links ]

15. Burnham JC, Patterson K. The evolution of editorial peer review. JAMA 1990;263:1323-9.        [ Links ]

16. Roberts JC, Fletcher RH, Fletcher SW. Effects of Peer Review and Editing on the Readability of Articles Published in Annals of Internal Medicine. JAMA 1994;272:119-21.        [ Links ]

17. Goodman SN, Berlin J, Fletcher SW, Fletcher RH. Manuscript quality before and after peer review and editing at Annals of Internal Medicine. Ann Int Med 1994;121: 11-21.        [ Links ]

18. Relman AS, Angell M. How good is peer review? N Engl J Med 1989;321:827-9.        [ Links ]

19. Callaham ML, Wears RL, Waeckerle JF. Effect of attendance at a training session on peer reviewer quality and performance. Ann Emerg Med 1998;32:318-22.        [ Links ]

20. Pitkin RM. The rewards of reading instructions from journal editors. N Engl J Med 1998;339:1006.        [ Links ]

21. Plasencia A, García AM, Fernández E. La revisión por pares: ¿buena, mala o todo lo contrario? Gac Sanit 2001;15:378-9.        [ Links ]