ENSAYOS

 

¿Se puede evaluar la calidad de las revistas científicas? Principales limitaciones

It is possible to assess the quality of scientific journals? Major constraints

 

 

Sobrido Prieto, Natalia^* y Sobrido Prieto, María^**

^*Departamento de Ciencias de la Salud. Facultad de Enfermería y Podología. Universidad de A Coruña. E-mail: natalia.sobrido@udc.es
^**Biblioteca Complexo Hospitalario Universitario de A Coruña

 

 

---

RESUMEN

El número de revistas científicas a nivel mundial no para de crecer. Sin embargo, no todas las revistas tienen la misma calidad, por lo que se necesita disponer de indicadores que faciliten la selección de revistas para la formalización de suscripciones, envío de manuscritos y evaluación de la actividad científica.
Los indicadores bibliométricos permiten medir la producción y consumo de la información en el seno de la comunidad científica. De todos los indicadores bibliométricos, el más utilizado para estos fines es el factor de impacto (FI), pero también es el que más controversias ha suscitado
En la actualidad son varias las fuentes que calculan el FI de una revista. Se trata de herramientas que analizan un conjunto de revistas a partir de las cuales, y mediante un cálculo, obtienen el FI.

Palabras clave: factor impacto; indicadores de producción científica; publicación científica; revista de enfermería.

---

ABSTRACT

The number of scientific journals worldwide continues to grow. However, not all journals have the same quality, so you need to have indicators to facilitate the journals subscriptions selection in order to formalize, manuscript submission and evaluation of scientific activity.
Bibliometric indicators allow to measure the production and consumption of information within the scientific community. From all bibliometric indicators, the most widely used for this purpose is the impact factor (IF), but also the most controversial has raised.
At present there are several sources to calculate the IF from a journal. These are tools that analyze a set of journals from them, and obtained by calculating the IF.

Key words: Impact factor; scientific production indicators; scientific publication, journal of nursing.

---

 

Introducción

El número de revistas científicas a nivel mundial se estima en más de 21.300 y no para de crecer. Sin embargo, no todas las revistas tienen la misma calidad, por lo que los investigadores, profesionales de la información y evaluadores, necesitan disponer de indicadores que les faciliten la toma de decisiones en la selección de revistas para la formalización de suscripciones, envío de manuscritos y evaluación de la actividad científica.

Los indicadores bibliométricos permiten medir la producción y consumo de la información en el seno de la comunidad científica. Si bien son muchos los indicadores que existen para evaluar la producción científica, en nuestra opinión, tres serían los más destacables: el índice de citas, que nos permite medir la calidad de un artículo, el índice H que nos permite evaluar la producción científica de un investigador, y finalmente el FI que evalúa la repercusión de una revista en la comunidad científica.

De todos los indicadores bibliométricos mencionados, el más utilizado para estos fines es el FI, pero también es el que más controversias ha suscitado ^(1-8).

El FI es una medida global obtenida a partir de las citas que recibe una revista durante un año, pero no todos los artículos han recibido el mismo número de citas, por lo que no es correcto asignar a todos el mismo impacto: sólo el 15% de los artículos de una revista explican el 50% de todas las citaciones, frente al 85% que no recibe o apenas recibe citas ⁽⁹⁾.

El FI siempre refleja la repercusión de las revistas en áreas de investigación, pero no siempre se refleja la repercusión en áreas clínicas, cuyos artículos son frecuentemente empleados para dudas asistenciales, pero raramente citados.

En la actualidad son varias las fuentes que calculan el FI de una revista. Se trata de herramientas que analizan un conjunto de revistas a partir de las cuales, y mediante un cálculo obtienen el FI. Estos resultados, se suelen agrupar en tres grandes áreas: Ciencias, Ciencias Sociales y Humanidades, y luego divide éstas en campos del saber.

 

Metodología

En este trabajo se ha llevado a cabo un análisis descriptivo de las principales herramientas que en la actualidad se están empleando para medir el impacto de las revistas científicas. Para la estrategia de análisis se han planteado criterios tales como posibilidades de acceso, sistemas de medición empleados y presencia de revistas de enfermería, tanto de ámbito nacional como internacional.

 

Resultados

1.-Journal of Citations Reports

La fuente más completa de mediciones bibliométricas para publicaciones científicas es el Journal of Citations Reports (JCR). Es una publicación elaborada por el Institute for Scientific Information(ISI) de la empresa Thompson Reuters, que cada año proporciona datos bibliométricos de las principales revistas científicas en todos los campos. El acceso a esta base de datos está restringida a suscriptores.

El JCR, si bien ha sido el único indicador existente hasta hace poco, ha sido cuestionados en los últimos años ^{(1,9, 10)}. Pasamos a detallar algunos de estos controvertidos aspectos.

No todas las publicaciones científicas que se editan son consideradas en el cálculo, sólo se incluyen las contempladas en la base de datos del ISI. Dado que la empresa que elabora este cálculo es americana, el porcentaje de revistas incluidas en su análisis son de ámbito anglosajón. Por esta razón podemos decir que el JCR sufre de un importante sesgo lingüístico y geográfico.

El FI computa únicamente las citas de trabajos publicados en los dos años anteriores. Como su periodo de cálculo es muy corto, no tiene en cuenta artículos clásicos citados incluso décadas después de ser escritos. La difusión del conocimiento tiene velocidades distintas en los diferentes campos del saber. Además, el periodo medio de un trabajo desde que es remitido a la revista hasta que aparece impreso puede ser de tres meses hasta los dos años. En este último caso, buena parte de las citas que aparezcan en el artículo no computarán.

Todas las citas tienen el mismo valor, con independencia de la importancia de la revista que cita.

El recuento de citas no distingue entre las que se hacen a artículos de investigación y a otros tipos de artículos de menor importancia, como cartas o editoriales ^(1,5,10,11)

No discrimina las autocitas. Se sabe que las citas de una revista concreta favorecen la autocitación a dicha revista, así como el idioma de la revista se asocia con las citas de trabajos publicados en la misma lengua.

El JCR clasifica algunas revistas en más de un campo. Estas adscripciones múltiples generan dificultades en la evaluación ya que la revista en cuestión puede ocupar un puesto destacado en el ranking en un campo y uno muy discreto en otro.

Si bien los sesgos mencionados afectan sustancialmente a las revistas científicas españolas, la situación se agrava cuando analizamos el campo de la Enfermería ⁽¹²⁾.

De acuerdo al JCR del año 2011, de las 97 revistas de enfermería que contaban con FI cabe señalar que estas son casi en su totalidad publicaciones de origen anglosajón y particularmente de EE.UU, publicaciones estas últimas líderes en el campo de la investigación en enfermería. De las 97 publicaciones localizadas no figura ninguna revista española y tan sólo aparece una de ámbito hispanohablante (Aquichán). Esto puede ser explicado por distintas razones, aunque hemos de reconocer que una de ellas estribaría en las propias limitaciones de las bases de datos del JCR.

Muy pocas revistas de enfermería españolas aparecen en bases de datos internacionales de reconocido prestigio como CINAHL (Enfermería Clínica, Cultura de los Cuidados, Revista Rol de Enfermería y Metas de Enfermería), o Medline (Revista Rol de Enfermería y Enfermería Intensiva). Por tanto, la posibilidad de que las revistas de enfermería en castellano puedan ser citadas es limitada.

La enfermería es un área de tamaño pequeño (en consecuencia, cuenta con un escaso número de revistas científicas si la comparamos con otras disciplinas como Medicina); de lento crecimiento y con una finalidad mucho más aplicada que básica. Todas estas características están asociadas a un menor FI.

La enfermería española, además, realiza sus contribuciones científicas en lengua no inglesa.

2 - Competidores del JCR

El JCR ha tenido el monopolio en el análisis de citas, hasta finales de la década de los 90.

Las primeras iniciativas, en el ámbito nacional, surgen de la mano de Cuiden Citación y del Instituto de Historia de la Ciencia y Documentación López Piñeiro, de Valencia. Se trataba de indicadores bibliométricos que se centraban en el análisis de revistas españolas (indizadas en las base de dato Cuiden e Indice Médico Español respectivamente) que acabaron fracasando en el año 2008 por falta de financiación (en el caso de "Factor de impacto potencial de las revistas médicas españolas") y presiones por parte del ISI ⁽¹³⁾ (en el caso de Cuiden Citación).

Cabe destacar, sin embargo, otra serie de iniciativas internacionales surgidas en estos años (2007-2009) y que en la actualidad siguen vigentes. En ellas tratan de paliar los sesgos del JCR, anteriormente explicados. Así, no sólo se consideran el número de citas recibidas, sino además ponderan su valor, a partir del prestigio de la publicación, calculada, a su vez, sobre la base del número de citas que ellas reciben del resto de las revistas analizadas ⁽⁹⁾. Este nuevo tipo de medidas considera que no todas las citas son iguales y por tanto unas adquieren un mayor peso que otras. Algunos de los indicadores que han cobrado más fuerza son los que se exponen a continuación y que aparecen recogidos en la tabla.

Eigenfactor

Diseñado en 2007 por Carl T. Bergstrom, de la Universidad de Washington, es un indicador de la influencia de las revistas del JCR. Aplica algoritmos de relevancia tipo PageRank de Google en el cálculo de citación recibido por una revista según procedan a su vez de revistas más o menos citadas, y más o menos influyentes por tanto. Es accesible de forma inmediata y gratuita a través de la web.

Si bien usa la misma base de datos del JCR, los rasgos distintivos de este indicador son:

- Toma en cuenta las citas de los trabajos aparecidos en los últimos cinco años (frente al JCR que lo hace con los dos años anteriores), por lo que reconoce aquellos campos en los que el proceso de publicación es largo o la difusión de la investigación se produce con lentitud.

- No todas las citas valen lo mismo ni todos los campos son iguales. Se pondera la relevancia de las citas recibidas en función de la importancia de la revista que cita y se toman en cuenta los diferentes patrones de citas de los distintos campos del saber. Las revistas aparecen clasificadas en un único campo del saber (a diferencia del JCR, donde encontramos revistas que figuran en distintos listados). Esta clasificación, que consta de un total de 87 categorías, se genera partir de la red de relaciones establecida entre las distintas revistas.

Todas estas medidas comentadas, sin embargo, no repercuten en el campo de la enfermería, que cuenta con un total de 73 revistas, ninguna de las cuales es española.

Source Normalized Impact per Paper

El Source normalized impact per paper (SNIP) es el más complejo de los indicadores en su desarrollo e interpretación. Formulado en 2009 por Moed, del Centre for Science and Technology Studies (CWTS) de la Leiden University (Holanda), mide el impacto de citación de una revista en su contexto. Su fuente de análisis es la base de datos Scopus, base de datos europea.

El campo temático de una revista se determina a partir de la identificación del total de revistas que citan a la revista objeto de estudio.

La ventana temporal de este indicador es de tres años.

Sólo se tienen en cuenta las citas procedentes de contribuciones arbitradas: artículos originales y de revisión, así como materiales de conferencias, en lugar de utilizar el total de materiales publicados.

El número de publicaciones de Enfermería según el SNIP supera al del JCR, al incluir 145 revistas, siendo 4 de ellas españolas: Ciencia y Enfermería, Enfermería Clínica, Enfermería Intensiva y Revista Española de la Sociedad de Enfermería Nefrológica.

Scimago Journal Rank

Desarrollado en 2007 por Félix Moya, del Grupo SCImago, es una medida del prestigio científico, basado en su mayor parte en revistas analizadas por la base de datos Scopus. Puede consultarse tanto en SCImago Journal & Country Rank ⁽¹⁰⁾ como en la base de datos Scopus. El acceso a esta base de datos es libre y gratuito.

El listado fuente viene determinado por la base de datos Scopus.

Su ventana temporal es de tres años.

No todas las citas valen lo mismo.

Elimina las autocitas.

La clasificación de las publicaciones en áreas y categorías temáticas (más específicas) se ejecuta según el esquema de clasificación de Scopus.

Todos estos cambios de mediciones mencionados han favorecido sustancialmente a las publicaciones científicas enfermeras, que aumentan hasta alcanzar 338 revistas de enfermería con factor de impacto, de las cuales 7 son españolas (Revista Española de Nutricion Humana y Dietetica, Enfermería Clinica, Nutricion Clinica y Dietetica Hospitalaria, Enfermeria Intensiva, Matronas Profesion, FMC Formacion Medica Continuada en Atencion Primaria, Revista Cientifica de la Sociedad Española de Enfermeria Neurológica)

 

Conclusión

Disponer de instrumentos bibliométricos en el proceso de evaluación es necesario para dar solidez y transparencia a los procedimientos utilizados para evaluar a investigadores, determinar financiación de proyectos, acreditación para profesorado, etc. Sin embargo son muchas las críticas que están recibiendo los criterios de evaluación de la calidad de las publicaciones científicas. Estas críticas consideran al FI un indicador obsoleto y manipulable y por lo tanto no es representativo de la calidad de una publicación científica ^(14-16). El legado terrible del FI es que está siendo usado para evaluar científicos, en lugar de revistas, lo que supone una preocupación creciente ⁽¹⁷⁾.

Por otra parte, aunque existe consenso en las perversiones y limitaciones de su uso inapropiado, el FI se ha convertido en un índice de calidad reconocido por la comunidad científica. En la actualidad no hay nada que por sí solo lo mejore, por lo que debe ser considerado como un buen recurso para la evaluación.

El problema surge cuando produce un efecto perverso, como la adscripción exclusiva a determinados productos. Esto es lo que ha ocurrido en los últimos años en los que se ha adoptado como sistema único de evaluación bibliográfica el JCR, muy útil para analizar la producción científica internacional, pero inútil para la producción científica de interés local. En contra de de esta política se esgrimen razones de identidad lingüística, disciplinar y geográfica ^(18-19).

Es importante reclamar la diversificación de los índices bibliométricos para evaluar la calidad, reconociendo la existencia y validez de productos elaborados por otras empresas, instituciones y fundaciones ⁽¹⁸⁾. En esa línea se hacen precisas propuestas de mejora de la calidad de la investigación.

Por parte de investigadores, para entrar y mantenerse en el JCR conviene saber cómo funciona, observando las estrategias desarrolladas.

Es labor de los profesionales de la información llevar a cabo tareas de difusión de nuevas herramientas de valoración de la producción científica.

Los editores son quienes mejor conocen el funcionamiento de las bases de datos y los cálculos del FI. Pero sí se aprecia que la inclusión de una revista en el JCR pasa por una apuesta editorial por lo que cabe pedirles que adopten esfuerzos para la mejora de la calidad, la indexación de sus revistas en bases de datos nacionales e internacionales, la adopción del sistema de revisión por pares, etc.

En el campo de la Enfermería la situación se agrava sustancialmente. Si bien es cierto que en los últimos años el número de revistas con factor de impacto ha aumentado ⁽¹²⁾, sigue siendo muy baja con respecto a otras disciplinas sanitarias. En cualquier caso, la presencia de revistas enfermeras españolas es meramente testimonial, lo que provoca que, a efectos curriculares, un investigador enfermero español debería preferir publicar en una revista médica inglesa con impacto reconocible que en la revista enfermera española con mayor circulación ⁽¹⁹⁾. En consecuencia, la evaluación de la producción científica, de cualquier disciplina en general y de la enfermería española en particular, no puede basarse exclusivamente en un único indicador bibliométrico.

 

Bibliografía

1. Seglen PO. Why the impact factor of journals should not be for evaluating research. BMJ 1997;314:497-502.         [ Links ]

2. Cami J. Impactolatría: diagnóstico y tratamiento. Med Clin (Barc) 1997;109:515-24.         [ Links ]

3. López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica (IV). La aplicación de los indicadores. Med Clin (Barc) 1992;98:384-8.         [ Links ]

4. De Granda Orive JJ. Algunas reflexiones y consideraciones sobre el factor de impacto. Arch bronconeumol. 2003; 39: 409-17.         [ Links ]

5. González de Dios J, Mateos Hernández MA. González Casado I. Factor de impacto internacional, nacional y por especialidades: en busca del mejor indicador bibliométrico. Rev Esp pediatr. 1998; 54: 430-36.         [ Links ]

6. Aizpuru F. A vueltas con el factor de impacto. Enferm Clin. 2011 ;21:64-5.         [ Links ]

7. Fernández-Sola, C, Granero-Molina J, Hernández-Padilla JM, Aguilera-Manrique G. Factor de impacto de revistas: ¿amenaza u oportunidad? Aquichán. 2011; 11(3):245-55.         [ Links ]

8. Contreras-Moreira. El factor de impacto: ¿un criterio justo de excelencia investigadora en enfermería? Enferm Clin. 2010 May-Jun;20(3):186-91.         [ Links ]

9. Aleixandre-Benavent R, Valderrama-Zurián JC, González-Alcaide G. El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos. El profesional de la Información. 2007; 16(1):4-11.         [ Links ]

9. López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica. (I). Usos y abusos de la bibliometría. Med clín. 1992. 98: 64-8.         [ Links ]

10. Hirsch JE. An index to quantify an individual's scientific research output. Proc Natl Acad Sci U S A. 2005;102(46):16569-72.         [ Links ]

11. Amezcua M. Index y la construcción de una Comunidad de Conocimiento Abierta. Index Enferm 2007; 58: 7-10.         [ Links ]

12. Díaz-Membrives M, Farrero-Muñoz S, Lluch-Canut MT. Características de las publicaciones enfermeras en revistas con factor de impacto. Enferm Clin. 2012; 22(5):247-54.         [ Links ]

13. Silva LC. Un indicador obsoleto pero lamentablemente vigente. Enferm Clin 2011; 21 (1): 59.         [ Links ]

14. Palencia E. La esquizofrenia de las publicaciones científicas: factor de impacto versus popularidad. REMI 2004; 4 (1) (revista en Internet). (Citado el 5 de junio de 2011). Disponible en http://remi.uninet.edu/2004/01/REMIA012.htm.         [ Links ]

15. Johnstone MJ. Journal impact factors: implications for the nursing profession. Int Nurs Rev 2007; 54(1):35-40.         [ Links ]

16. Fersht A. The most influential journals: Impact Factor and Eigenfactor PNAS 2009; 106 (17) 6883-4.         [ Links ]

17. Amezcua M. ¿Para qué sirve el factor de impacto de una revista? Index Enferm 2010; 19 (2-3): 83-7.         [ Links ]

18. Mendoza-Parra S, Paravic-Klijn T, Muñoz-Muñoz AM, Barriga OA, Jiménez-Contreras E. Visibility of Latin American nursing research (1959-2005). J Nurs Scholarship 2009; 41 (1): 54-63.         [ Links ]

19. Gálvez Toro A, Amezcua M, Hueso Montoro C. CUIDEN Citación y la valoración de las publicaciones científicas enfermeras. Index Enferm (revista en la Internet). 2005 Mar (citado 29 Junio 2012 ); 14(51): 07-09. Disponible en: http://scielo.isciii.es/scielo.php?script=sci arttext&pid=S1132-12962005000300001&lng=es        [ Links ]