BIBLIOGRÁFICA

INFORME EDITORIAL

 

La Revisión por pares abierta, entre desafíos e incertidumbres

The Open Peer Review, between challenges and uncertainties

 

 

Manuel Amezcua^1,2 y Sandra Pozuelo Zurera²

¹Comité Editorial de Index de Enfermería.
²Grupo de Estudios Documentales, Fundación Index, Granada, España
secretaria@ciberindex.com

 

 

Uno de los elementos definitorios de una revista científica es la revisión por expertos (peer review). Lo que hace que un manuscrito pueda transformarse en un artículo original es que haya superado previamente una evaluación por pares. Así lo marca la tradición. Pero nuevas corrientes que abogan por estilos de evaluación abierta están cuestionando el papel que los editores tienen en el arbitraje de artículos.

Nassi-Calò, en un reciente post sobre la evaluación por pares abierta, hace una síntesis de la historia de este sistema con el que la ciencia intenta mostrar su capacidad de autorregulación. Desde el primer tercio del siglo XIX, eminentes académicos sintieron la necesidad de elaborar informes sobre artículos antes de ser publicados en una revista, evolucionando desde las primeras motivaciones, orientadas a promover la visibilidad de la ciencia, hasta los sistemas de arbitraje que conocemos hoy, donde se trata de garantizar que solo los mejores trabajos terminan siendo publicados.¹

Lo peculiar que tienen los procedimientos de revisión es que se desarrollan en cerrado (en condiciones ciegas): ni autores ni revisores deben conocerse durante el proceso de evaluación. Esto obliga a los editores a enmascarar de alguna forma la identidad de su cuerpo de revisores, que a menudo solo se ven reconocidos en una nota editorial al finalizar cada anualidad de la revista. Esta ocultación es la forma que los editores tienen de proteger a los revisores de posibles presiones por parte de los autores evaluados, a la vez que se protege a estos de teóricos conflictos de intereses por parte de aquellos. Resulta difícil para un editor comprender cuáles son las motivaciones de este cuerpo invisible de la revista para mantener relaciones de cooperación, en tanto suelen ser además colaboraciones no remuneradas (ni siquiera entraña privilegio alguno de cara a la publicación en la revista, circunstancia que suelen afirmar explícitamente al suscribir su código ético).

Será por ello que una de las dificultades que enfrentan a menudo los editores es la de fidelizar su cuerpo de revisores. Esto se añade a la necesidad de ajustar el perfil del revisor para garantizar que las evaluaciones se realicen con el mayor rigor. En un análisis de los procesos de evaluación en las revistas enfermeras se aportan las características del buen revisor según se desprenden de varios estudios: edad (mejor si más jóvenes), localización geográfica (se prefieren los de USA), experiencia investigadora (adscripción a grupos de investigación, publicaciones recientes), áreas de expertez (epidemiología y estadística, campo específico de la investigación evaluada), dedicación (mínimo 3 horas por manuscrito), experiencia como revisor, y cumplimiento de los plazos de revisión; añadiéndose otras cualidades de tipo actitudinal (constructiva, incluso didáctica en caso de estudiantes) y moral (respetar la ética).² Llama la atención el factor juventud como garante de calidad en la revisión, ¿será que los jóvenes talentos están más motivados? ¿Qué están libres de los conflictos derivados de la competitividad entre expertos consagrados? Esto estaría en consonancia con la necesidad de promover espíritus científicos entre los egresados, que se ha destacado como potencial para inculcar los nuevos valores que se asocian con la actividad científica.³

La crítica a los procesos de evaluación de manuscritos en las revistas científicas ha sido una constante desde sus inicios. Parece que la revisión por pares en su modalidad cerrada no acaba de conformar plenamente ni a autores ni a revisores. Hay voces que se alzan contra el supuesto poder que este procedimiento otorga a los editores. Algunas influyentes revistas, como Nature, reaccionan haciendo públicos de forma opcional los informes de revisión,⁴ una práctica que gana adeptos y que reclama una evaluación por pares abierta.¹ Nuevas revistas se van sumando tímidamente a este movimiento de la evaluación abierta, que ha dado lugar a iniciativas tan innovadoras como Open Scholar, desarrollada por un reducido grupo de investigadores que comparten la visión de un sistema de comunicación académica organizado y mantenido por la comunidad investigadora sin la participación de intermediarios, a menudo motivados por intereses no científicos.⁵ Miembros de la Fundación Index participan en esta iniciativa, que ha desarrollado un Módulo Open Peer Review para repositorios institucionales, realizado con el apoyo de OpenAIRE, otra importante iniciativa financiada por la Comunidad Europea (https://www.openaire.eu/). Otro modelo de revisión por pares similar es el desarrollado por un grupo de trabajo de expertos lanzado recientemente por la Confederation of Open Access Repositories (COAR), que entre las nuevas funcionalidades y tecnologías para los repositorios considera el comentario, anotación y revisión por pares.⁶

Los nuevos sistemas de revisión abierta suponen un verdadero desafío a los procedimientos tradicionales de evaluación de artículos, que hasta ahora deja en manos de los editores la plena capacidad de toma de decisiones. Por el contrario, esta modalidad emergente insiste en la relación directa entre autores y revisores, que reclaman su derecho a elegirse mutuamente y a trabajar de manera transparente, bajo el convencimiento de que su trabajo puede mejorar la calidad del producto final que se ofrece al lector.⁶ Si el autor tiene la oportunidad de elegir a los revisores que considere más adecuados entre una lista de su disciplina, estableciendo una relación fluida con ellos, con la posibilidad de incorporar mejoras en su manuscrito, que son reconocibles por los lectores, el editor pasa a ser un elemento prescindible. Lo que se espera que produzca el acceso abierto a la evaluación de manuscritos previa a su publicación en una revista científica es una democratización de la revisión, en la que el lector puede determinar si existen potenciales conflictos de intereses entre autores y revisores, puede sugerir nuevos evaluadores y conocer su actividad científica, a la vez que puede reconocer su labor calificándola.

Pero la revisión por pares abierta también genera no pocas incertidumbres. ¿Estarán dispuestos los editores a ceder el control de los procesos de evaluación, a asumir los resultados de evaluaciones que no han gestionado directamente, a aceptar manuscritos que han sido alojados previamente en repositorios? Y los revisores, ¿cómo van a afrontar las posibles tensiones que supone una crítica abierta entre colegas? Parece que el gran beneficiado será el autor, pero ¿cómo va a gestionar los efectos de una crítica coral y las posibles discrepancias entre evaluadores? En todo caso, si la evaluación abierta progresa será a costa de construir un tipo de científico diferente, con valores que se contraponen a la rigidez de los sistemas de evaluación dominantes en la actualidad. Y esto ya será un gran logro en sí mismo.

 

Lo que hacemos

El nuevo informe editorial de Index de Enfermería incorpora datos originales correspondientes al año 2015, en el que se ha producido un notable incremento de manuscritos enviados a la revista, 69 puntos por encima de la media anual en el último sexenio (ver Tabla 3). Eso significa que la revista continúa elevando su nivel de aceptación, que en el informe anterior considerábamos favorecido por los logros de visibilidad alcanzados en los últimos años,⁷ como ha sido la inclusión de Index de Enfermería en el repertorio Scielo Citation Index de la Web of Science (WoS-ISI) y su certificación como revista científica de excelencia por la Fundación Española para la Ciencia y la Tecnología (FECYT).⁸

Consecuentemente, ha crecido ligeramente la tasa de rechazo, que aumenta 2 puntos en relación con el ejercicio anterior. Como viene siendo habitual, la mayor parte de los manuscritos rechazados (175) fueron derivados a otras revistas de la Hemeroteca Cantárida, recomendando una segunda evaluación. Una vez más, las revistas más beneficiadas fueron Enfermería Comunitaria y Evidentia, entre las 12 que recibieron manuscritos (ver Tabla 1).

 

Tabla 1. Revistas que han recibido manuscritos derivados por Index de Enfermería

 

En el pasado informe editorial consignamos un dato preocupante: un 10% de los manuscritos rechazados lo fueron debido a que en la revisión del estado de los conocimientos no utilizaron bases de datos enfermeras del tipo de CUIDEN o CINHAL, a pesar del enfoque enfermero de la investigación, lo cual cuestiona a juicio de los revisores la consistencia del estudio y su pertinencia.⁹ En el actual ejercicio el porcentaje se ha elevado al 15%.

Esta creciente desafección hacia los recursos documentales de su mismo campo disciplinar constituye una anomalía que solo encuentra explicación a través de la pedagogía negativa que producen los sistemas de evaluación dominantes en el contexto académico de las instituciones iberoamericanas, que incentivan la producción foránea en detrimento de la propia.^10,11 En el caso de la Enfermería, la situación se torna dramática, al ser una disciplina aplicada en un área de conocimiento dominada por la perspectiva biomédica. Por esta razón se precisa un mayor compromiso por parte de los editores enfermeros (entre otros agentes) en la promoción de sus soportes editoriales,¹² y en la exigencia de que los estudios publicados estén sustentados principalmente en las fuentes de la propia disciplina.

En consonancia con el gran crecimiento de manuscritos gestionado en esta anualidad, se ha duplicado el tiempo de demora en la respuesta a los autores, y esto a pesar del sistema de evaluación de la pertinencia, introducido en la anterior anualidad, que había reducido sensiblemente la capacidad de respuesta.⁷ Por otra parte, es un alivio constatar que los comportamientos poco éticos por parte de los autores han sido anecdóticos. Tan solo se ha detectado un caso en que el autor había publicado el manuscrito en otra revista sin retirarlo previamente de la nuestra.

El número de manuscritos remitidos desde fuera de España se mantiene estable, creciendo ligeramente desde el ejercicio anterior y situándose 10 puntos por encima de la media de los últimos años. Una vez más, los países con mayor actividad han sido Brasil, Colombia y México, sumándose este año Chile (ver Tabla 2).

 

Tabla 2. N^o de manuscritos recibidos en Index de Enfermería según país

 

El número de artículos publicados y el porcentaje de artículos originales se mantiene estable, mientras que descienden la media de autores e instituciones por artículo y el número de mujeres que firma como primer autor. Se duplica el porcentaje de artículos procedentes del ámbito académico, recuperando así la media alcanzada en los últimos años (ver Tabla 3).

 

Lo que producimos

En el año 2015, en el que se han publicado los cuatro números correspondientes al volumen 24, el número de artículos publicados ha sido de 56 (excluyendo reseñas bibliográficas y noticias), con una media de 14 artículos/número. En relación al tipo de artículo se repite la pauta de años anteriores: más numerosos los artículos originales, 1/3 del total, y en menor proporción las revisiones y trabajos de carácter metodológico (ver Tabla 4).

En la producción de Index de Enfermería en 2015, la media de autores por trabajo fue de 2,94 y de instituciones de 2,61, cifras que muestran una escasa cooperación, disminuyendo ligeramente respecto a ejercicios anteriores. Los investigadores del ámbito académico lograron mayor éxito en términos de publicación, pues alcanzaron el 82% de los trabajos publicados, mientras los autores vinculados a instituciones sanitarias firmaron como primer autor el 39%, y los correspondientes a otras entidades el 7%. Desciende la colaboración entre comunidades autónomas (0,91 de media), y se mantiene el trabajo colaborativo entre países (1,11 de media), siendo ambas escasas. Desciende más de cinco puntos el porcentaje de trabajos con mujer como primer firmante (74 %) (ver Tabla 4).

España continúa siendo el principal productor de los manuscritos publicados en la revista, seguido de Brasil y Colombia. Se mantiene la presencia de México y Chile, y entran de nuevo Reino Unido y Costa Rica (ver Tabla 5, Figura 1). Entre los trabajos nacionales, las comunidades autónomas más representadas son Andalucía, la Comunidad Valenciana y Baleares (ver Tabla 5).

 

Figura 1. Distribución geográfica de los trabajos publicados en
Index de Enfermería según país (año 2015)

 

En cuanto a las temáticas abordadas, si nos atenemos al análisis de las palabras clave proporcionadas por los artículos publicados, nos encontramos que las que mayormente se repiten son, por este orden: "Enfermería", "Investigación Cualitativa", "Atención de enfermería" y "Autocuidado" (ver Figura 2). El dato es coherente con el análisis que realizan en este número de la revista Simón Valero y cols., que al verificar la existencia de una tendencia o temática principal en la producción científica enfermera publicada en España durante 2014, en la información que proporciona sobre Index de Enfermería, identifican como términos más utilizados: "Investigación cualitativa", "Enfermería", "Investigación en enfermería" y "Enfermedades crónicas".

 

Figura 2. Nube de etiquetas a partir de los términos incluidos
como palabras clave en Index de Enfermería en 2015

 

Lo que influimos

Index de Enfermería continúa posicionada como la revista enfermera en español más citada en Iberoamérica, a tenor de los indicadores Cuiden Citación correspondientes al año 2015 (http://www.index-f.com/cuiden_cit/citacion.php). Continúa apareciendo en el primer cuartil del ranking, de acuerdo a su valor de Repercusión Inmediata Cuiden (RIC), su posición relativa se mantiene en el sexto lugar, a pesar de la continua eclosión de revistas enfermeras brasileñas, que acumulan mayor número de citas. Aún así, la repercusión de Index de Enfermería mantiene su tendencia de crecimiento, aunque con un ligero descenso sobre el año anterior (ver Figura 3).

 

Figura 3. Impacto de Index de Enfermería según Repercusión Inmediata Cuiden (RIC)

 

En los dos últimos informes editoriales publicados venimos complementando la información sobre la repercusión de Index de Enfermería a través de otras fuentes,^7,8 como el estudio realizado por el grupo EC3 de la Universidad de Granada con el Índice H de las Revistas Científicas Españolas según Google Scholar Metrics.¹² Nuestra revista se mantiene entre las más citadas de su campo disciplinar, con un índice h de 10 y 12 de mediana.¹³

 

Bibliografía

1. Nassi-Calò, Lilian. Aumenta la adopción de evaluación por pares abierta. SciELO en Perspectiva, 2017. Disponible en: http://blog.scielo.org/es/2017/01/10/aumenta-la-adopcion-de-evaluacion-por-pares-abierta/ (acceso: 10/ 01/2017).         [ Links ]

2. Piqué Angordans, Jordi; Camaño Puig, Ramón. La investigación en enfermería y la revisión por expertos. Index de Enfermería 2008; 17(3):222-226.         [ Links ]

3. Hernández Zambrano, Sandra Milena. Formación de espíritus científicos en Enfermería: gestando líderes de una transformación necesaria. Index de Enfermería 2014; 23(3): 121-123.         [ Links ]

4. Callaway E. Open peer review finds more takers. Nature 2016; 539:343.         [ Links ]

5. Bon, Michaël; Taylor, Michael; McDowell, Gary S. Novel processes and metrics for a scientific evaluation rooted in the principles of science. SJS The Self Journal of Science 2017; Disponible en https://www.coar-repositories.org/files/COAR-Next-Generation-Repositories-February-7-2017.pdf (acceso: 10/ 02/2017).         [ Links ]

6. COAR. Next Generation Repositories. Introduction, Rationale and User Stories. Confederation of Open Access Repositories, 7.02.2017. Disponible en https://www.coar-repositories.org/files/COAR-Next-Generation-Repositories-February-7-2017.pdf (acceso: 10/02/2017).         [ Links ]

7. Amezcua, Manuel; Amezcua González, Ana; Pozuelo Zurera, Sandra; Maldonado Hidalgo, Antonio M. También las publicaciones deben comprometerse con el impacto social. Index de Enfermería 2015; 24(3):186-190.         [ Links ]

8. Amezcua, Manuel; Reina Leal, Liliana Marcela. La necesaria profesionalización del soporte editorial de las revistas enfermeras en Iberoamérica. Index de Enfermería 2014; 23(3): 183-187.         [ Links ]

9. Reina Leal LM, Amezcua M, Red Internacional de Centros Colaboradores de la Fundación Index. Comentarios a DEGRA - Declaración de Granada sobre conocimiento enfermero. Index de Enfermería 2013; 22(4):246-7.         [ Links ]

10. Amezcua M. Controversias en la evaluación del conocimiento: alegatos a propósito de una ciencia aplicada. Index de Enfermería 2011; 20(1-2):7-11.         [ Links ]

11. Martínez Vásquez, Nerea. ¿Por qué no evalúan lo que producimos las enfermeras? Index de Enfermería 2014; 23(4): 249.         [ Links ]

12. Simón Valero, Daniel; Cordeiro Vidal, Gloria; Agras Suárez, María Concepción. ¿Existe una tendencia temática o trending topic en la producción científica enfermera en España? Estudio bibliométrico de las palabras clave. Index de Enfermería 2016; 25(4):297-299.         [ Links ]

13. Ayllón JM, Martín-Martín A, Orduña-Malea E, Delgado López-Cózar E. Índice H de las revistas científicas españolas según Google Scholar Metrics (2011-2015). EC3 Reports, 17. Granada, 6th October 2016. Disponible en http://digibug.ugr.es/bitstream/10481/42829/1/AyllonMillan_IndiceH_RE_GSM2011_15v2.pdf (acceso: 2/12/2116).         [ Links ]