Introducción

En su origen, las bases de datos bibliográficas fueron pensadas como recursos para recuperar información, primando por tanto la exhaustividad a la hora de decidir qué fuentes incorporar en función del área de conocimiento que representaban. En nuestro tiempo esto ha experimentado profundas variaciones. La inclusión de revistas científicas en determinadas fuentes documentales se está utilizando por agencias gubernamentales de gestión del conocimiento como un indicador para evaluar el peso de una publicación y asignar valores a la producción científica de investigadores y organizaciones. Indicadores bibliométricos como el índice de impacto de una revista, ofrecido bajo diversas fórmulas y proveedores, se han incorporado en muchos entornos de evaluación por su facilidad de utilización, su bajo costo y el ser desarrollado por entidades externas. A pesar de las llamadas de atención en iniciativas de científicos contra el uso de unos criterios que fueron pensados para otros fines (DORA Declaration on Research Assessment, https://sfdora.org/) y la apelación de expertos al buen uso de la bibliometría (Manifiesto Leiden, http://www.leidenmanifesto.org/),¹ las críticas no parecen haber hecho más que estimular el uso de las métricas en la evaluación y gestión de la investigación.²

Desde el propio entorno documental de la Fundación Index se han desarrollado diversas iniciativas para reclamar una utilización más responsable de los indicadores bibliométricos como fuente de evaluación,³ que se concretaron en el año 2013 en DEGRA, la Declaración de Granada sobre Conocimiento Enfermero (http://index-f.com/declaracion/). En ella se alerta sobre el peligro de debilitamiento o marginación que pueden experimentar disciplinas aplicadas como la Enfermería⁴ cuando los sistemas de evaluación se muestran insensibles a sus particularidades y menosprecian su capacidad de transferir conocimiento.⁵ Desde el Grupo de Estudios Documentales (GED) se han expuesto las contradicciones entre lo que evaluadores externos consideran válido y lo que las propias enfermeras consideran importante en relación a su producción científica.⁶ Pero también intenta hacer pedagogía sobre la oportunidad que los indicadores bibliométricos ofrecen a las revistas enfermeras para fortalecer su visibilidad transformando las tradicionales relaciones de competitividad en otras sustentadas en la cooperación.⁷ En todo caso, se plantea la necesidad de reflexionar sobre el verdadero sentido de la investigación y la necesidad de compaginar el impacto social del conocimiento con las legítimas aspiraciones de los investigadores a crecer en el modelo de evaluación por el que se vean afectados.⁸

No sabemos a ciencia cierta hasta cuándo durará la tendencia a evaluar la ciencia a través de indicadores indirectos, mientras tanto se yuxtapone una corriente de generación de nuevos aplicativos que intenta compensar los sesgos temático, idiomático y regional de que adolecen los rankings más generalizados. Un claro ejemplo lo tenemos en el Sello de Calidad de la Fundación Española para la Ciencia y la Tecnología (FECYT), el organismo gubernamental encargado de fomentar la investigación científica de excelencia así como el desarrollo y la innovación tecnológica en España. A través de un modelo sólido y coherente basado en estándares internacionales de evaluación, las revistas españolas son evaluadas por la FECYT en función de su impacto y su visibilidad, generando un ranking alternativo que progresivamente está siendo considerado por diversas agencias de evaluación nacionales y autonómicas a efectos de evaluación del mérito investigador.⁹

El GED de la Fundación Index mostró interés de forma muy temprana en analizar el comportamiento bibliométrico de las revistas de Enfermería del Espacio Científico Iberoanericano (ECI),¹⁰,¹¹ dado que en su mayoría no aparecían referenciadas en otros fondos. Tomando como revistas fuente las incluidas en la base de datos CUIDEN, se diseñó el indicador RIC (Repercusión Inmediata Cuiden) y se calcularon otros indicadores bibliométricos convencionales consultables a través de CUIDEN Citación.¹² El sistema no solo permitía analizar el impacto de las revistas de enfermería del ECI en su propia área de conocimiento, sino también la repercusión en la misma de revistas de otros contextos científicos.¹³ Al mismo tiempo estaba emergiendo el interés por otro indicador bibliométrico que con posterioridad ha logrado consolidarse, el índice h o impacto de autor,¹⁴ lo que motivó que desde el GED se explorase la utilidad que podía tener para la enfermería, realizando un primer cálculo en autores enfermeros del ECI y publicando un primer ranking a partir de las citas registradas en CUIDEN.¹⁵

El hecho de que actualmente la base de datos CUIDEN y el índice de citas CUIDEN Citación se estén utilizando a efectos de evaluación de la producción científica de investigadores enfermeros ha motivado que se haya evolucionado desde el primitivo criterio de inclusión exhaustiva hacia una inclusión selectiva. En la actualidad, el procedimiento de selección ha endurecido los criterios de evaluación de las revistas que aspiran a ser indizadas en ambos repertorios, adoptando similares criterios que las bases de datos más importantes del panorama científico. En este trabajo, se actualiza la información sobre los dos principales recursos bibliográficos de la Fundación Index (CUIDEN y CUIDEN Citación), destacando el uso que se está haciendo de los mismos como herramientas para la evaluación del conocimiento enfermero producido en el ECI.

Base de datos referencial CUIDEN

CUIDEN^®es una base de datos bibliográfica de la Fundación Index que incluye producción científica sobre Cuidados de Salud en el ECI, tanto de contenido clínico-asistencial en todas sus especialidades y de promoción de la salud, como con enfoques metodológicos, históricos, sociales o culturales. Contiene artículos de revistas científicas, libros, monografías y otros documentos, incluso materiales no publicados, cuyos contenidos han sido evaluados previamente por un comité de expertos (ver Tabla 1).

Se inició en el año 1991 y originariamente publicaba repertorios impresos anuales del tipo Index Medicus, hasta que a mediados de los 90 se hizo consultable a través de internet. En la actualidad existen dos versiones disponibles de la base de datos:

CUIDEN incluye cerca de 500 títulos de revistas, de los cuales la mitad se corresponden con revistas especializadas en cuidados de salud del ECI, mientras que el resto se trata de revistas de otras áreas de conocimiento y espacios científicos que son incluidas con carácter selectivo. La relación de revistas incluidas y las características de su inclusión pueden consultarse en el catálogo REHIC, de acceso abierto en Ciberindex. CUIDEN se actualiza diariamente, experimentando un crecimiento cercano a 4.500 registros anuales.

Existe un procedimiento protocolizado para evaluar las revistas que solicitan su inclusión en CUIDEN, con criterios a disposición de los editores en Ciberindex. Un panel de expertos (Comité Técnico de Evaluación de Revistas Científicas), que forma parte del Consejo Científico de la Fundación Index, tiene la responsabilidad de evaluar las revistas, para lo cual se utiliza un formulario de evaluación que permite ponderar el valor de la revista en base a criterios de calidad editorial e importancia dentro de su campo disciplinar.¹⁶ Se precisa alcanzar un valor superior a 2,5 sobre un máximo de 5 para considerar la aceptación en CUIDEN. El Comité Técnico emite un informe motivado que es comunicado a los editores en un plazo no superior a dos meses. Las revistas rechazadas cuentan con dos años para introducir mejoras y poder ser evaluadas de nuevo. El GED ofrece a los editores un servicio de consultoría que emite informes de mejora, con el objeto de facilitar la labor de los mismos.

Una vez aceptada una revista en CUIDEN, los editores deben mantener el nivel de calidad en la publicación de la misma, para lo cual se prevén revisiones periódicas que varían en función del tipo de indexación: tres años para indexación exhaustiva y cuatro años para selectiva.

Índice de citas CUIDEN Citación

CUIDEN Citación es una base de datos de citas del entorno CUIDEN que proporciona información sobre indicadores bibliométricos de repercusión, actividad y consumo de información de las revistas sobre cuidados de salud en el ECI (ver Tabla 2). ¹²,¹⁷

Los primeros cálculos bibliométricos en revistas de enfermería de ECI se realizaron en el año 1993. Diez años más tarde se fija el modelo de análisis bibliométrico utilizado por el GED a través del Proyecto PI030945, financiado por el Ministerio de Sanidad y Consumo dentro del Programa de Promoción y Fomento de la Investigación Biomédica y en Ciencias de la Salud del Instituto de Salud Carlos III, cofinanciada por el Fondo Europeo de Desarrollo Regional.¹⁸ A partir de entonces se publican repertorios bianuales, y desde 2014 anuales, que pueden ser consultados en la base de datos CUIDEN Citación. El último ranking publicado con el RIC es consultable en acceso abierto.

CUIDEN Citación ofrece cuatro opciones de búsqueda mediante las cuales se pueden localizar los indicadores bibliométricos de las revistas citadas por el conjunto de revistas fuente seleccionadas, que en los últimos años superan el medio centenar:

La inclusión de revistas en CUIDEN Citación se realiza en función de su comportamiento bibliométrico, aplicando los siguientes criterios:

En caso de revistas emergentes con más de dos citas en el análisis del año en curso, se incorporan al Índice de Revistas Citadas, lo que posibilita su inclusión en el siguiente análisis como revistas fuente.

Política de transparencia

El compromiso con la transparencia en los procesos de evaluación es uno de los principios que sustentan la producción tanto de CUIDEN como de CUIDEN Citación, máxime en unos tiempos en que la presión de las agencias evaluadoras ha dado lugar a la proliferación de publicaciones elaboradas con fines curriculares que no está claro estén contribuyendo a mejorar el acervo científico.²⁰ Como ya se ha apuntado, si la prioridad de CUIDEN en los primeros años era hacer visible la producción enfermera y de disciplinas afines proveniente del ámbito iberoamericano, en la actualidad el énfasis está en seleccionar las mismas en función del rigor, habiéndose adaptado por tanto los criterios de selección.

Las medidas para garantizar la transparencia que actualmente se siguen son las siguientes:

Utilización de CUIDEN y CUIDEN Citación

Como ya se ha expuesto, ambos recursos se producen desde hace más de dos décadas, cuando aún eran escasos los recursos documentales en general, por lo que su utilización como fuente de información principalmente por enfermeras clínicas e investigadoras del ámbito iberoamericano está muy extendida. Hay estudios que señalan que CUIDEN es el recurso más utilizado por las enfermeras,²² lo cual es favorecido por tratarse de una base de datos suscrita por numerosas instituciones sanitarias, universidades, sociedades científicas, etc., tanto de España como de otros países del ámbito iberoamericano. Igualmente el hecho de contar con una versión de acceso gratuito, motiva el que CUIDEN y otros recursos documentales de Ciberindex estén registrando picos de más de 90.000 accesos diarios en épocas de mayor utilización (ver Gráfico 1).

Gráfico 1. Evolución del número de accesos a la plataforma Ciberindex 2002-2018 

Respecto a CUIDEN Citación, son numerosas las instituciones del ámbito iberoamericano que lo utilizan para evaluar el conocimiento producido por las enfermeras, dada la escasa presencia de revistas de esta área disciplinar en fuentes más generales. Esto ha motivado que muchas enfermeras del ámbito clínico y académico orienten sus publicaciones hacia las revistas incluidas en el repertorio CUIDEN Citación, pues como se verá más adelante a menudo se considera la principal herramienta que les otorga valor.

Posiblemente la fuente más utilizada para determinar la repercusión de las revistas científicas sea JCR-ISI, que no incluye ninguna revista de enfermería española, mientras que del espacio iberoamericano solo incluye desde hace pocos años alguna revista de enfermería brasileña. CUIDEN Citación incluye más de medio centenar de revistas de este ámbito con impacto bibliográfico constatable.

Podemos utilizar los estudios realizados sobre producción española presente en JCR-ISI para poner de manifiesto la invisibilidad de la producción enfermera española e iberoamericana y el potencial del entorno CUIDEN para contrarrestar este efecto (ver Tabla 3). La Consejería de Salud de la Junta de Andalucía publicó una síntesis de los indicadores bibliométricos afectos a la producción andaluza en biomedicina y ciencias de la salud, utilizando como única fuente el JCR-ISI, registrando un total de 6 artículos publicados el área de Enfermería entre 1990-2004.²³ Al contabilizar la producción de las enfermeras andaluzas registrada en CUIDEN en un periodo similar (1991-2004) el número de artículos se elevó a 1591.²⁴ Por otra parte, el Mapa bilbiométrico de España 1996-2004: biomedicina y ciencias de la salud realizado en el Instituto de Salud Carlos III, elaborado también a partir de la producción en JCR-ISI, identifica un total de 15 artículos publicados por enfermeras españolas,²⁵mientras que CUIDEN contabilizó 22.365 en el mismo periodo.

La explicación a estos desajustes no solo está en los conocidos sesgos idiomáticos y territoriales del JCR-ISI, sino que hay que buscarla en las particularidades de la Enfermería como disciplina aplicada en el campo de la salud. Las enfermeras en general tienden a consumir conocimiento en espacios de proximidad, accesibles y culturalmente contextualizados, dado que en esta disciplina se otorga tradicionalmente mayor importancia al impacto clínico de los resultados de investigación que a su repercusión en términos bibliométricos.²⁶ Esta circunstancia se ve reflejada también en algunos sistemas de evaluación utilizados, como expondremos más adelante.

Por todo ello la utilización de CUIDEN Citación no se plantea como modelo alternativo, sino como complemento para determinar la importancia de revistas de enfermería cuya repercusión no es posible obtenerla por otros medios. Para ilustrar la forma en que CUIDEN Citación está siendo utilizada por administraciones públicas, vamos a exponer dos ejemplos, uno español en el ámbito de la enfermería asistencial y otro brasileño en el contexto académico de la enfermería. Elegimos ambos países por ser actualmente los mayores productores de conocimiento enfermero del ECI.

a) Comunidad autónoma de Andalucía. CUIDEN Citación se utiliza como herramienta válida para evaluar la producción científica de las enfermeras en el Sistema Sanitario Público de Andalucía, discriminando positivamente la que aparece en este repertorio, otorgándole un valor superior:

Hay que aclarar que el caso de Andalucía no es aislado, otras comunidades autónomas como Galicia también utilizan CUIDEN, en este caso para identificar trabajos publicados por las enfermeras aspirantes a especialistas que puedan ser evaluables positivamente.³⁴

b) Producción académica en Brasil. La evaluación de la producción científica de las enfermeras brasileñas se realiza a través de los criterios QUALIS/CAPES, utilizados para clasificar las revistas científicas usadas en la divulgación de la producción intelectual de los programas de posgraduación.³⁵Su principal particularidad es que utiliza como herramientas válidas cualesquier base de datos nacional o internacional donde aparezca indexada producción enfermera brasileña. La evaluación de estos recursos otorga valor a las publicaciones, que son clasificadas en ocho estratos, de cero a siete, por orden de importancia (0 menor, 7 mayor).

En el caso de CUIDEN Citación, se utiliza el indicador RIC, equivalente al factor de impacto, que determina la posición de las publicaciones en los estratos 3 a 5, lo que significa que una revista posicionada en el primer cuartil de CUIDEN Citación alcanza la tercera mejor posición (70% del peso global) de las ocho posibles en la clasificación QUALIS/CAPES.³⁶

Consideraciones finales

En síntesis podemos afirmar que el entorno CUIDEN, incluyendo el índice de citas CUIDEN Citación, constituye la herramienta documental más utilizada por las enfermeras iberoamericanas y la que mayor potencial tiene para hacer visible la producción científica en este ámbito disciplinar.

Está siendo utilizada por instituciones públicas y privadas, universidades y centros de investigación con el objeto de evaluar la importancia de las publicaciones sobre cuidados de salud que no son cubiertas por herramientas más generales como JCR-ISI o SJR-SCOPUS. En algunos casos, especialmente en nuestro país, se utiliza como herramienta exclusiva de evaluación de la producción de las enfermeras, fisioterapeutas, terapeutas ocupacionales, y otros profesionales de la salud encuadrados en el grupo B.

Y finalmente, es necesario considerar el impacto global que el entorno CUIDEN, como herramienta enfermera especializada más veterana en nuestro contexto, está teniendo en el patrón de producción y consumo de conocimiento entre las enfermeras iberoamericanas, habiendo estimulado el intercambio de conocimiento y la cooperación científica entre grupos afines en este espacio científico y cultural.

Por estas razones consideramos que tanto la base de datos CUIDEN como el índice de citas CUIDEN Citación deben tenerse en cuenta por las agencias evaluadoras como herramientas válidas para clasificar la importancia de las revistas enfermeras que, teniendo una repercusión objetivable en su área de conocimiento, no son analizadas en otros instrumentos más generales.

Al hacerlo se normaliza la consideración de utilidad de las bases de datos enfermeras especializadas, al igual que ocurre en otras áreas de conocimiento. Y con ello se evitarán desajustes como la fuga de conocimiento hacia otras áreas disciplinares y territoriales que dificultan su posterior localización y recuperación, y por tanto su transferencia clínica.

La existencia y nivel de utilización de CUIDEN y de CUIDEN Citación son un reflejo de los procesos naturales de gestión del conocimiento dentro de la disciplina enfermera, y por tanto abren una oportunidad para que los sistemas de evaluación instituidos por administraciones públicas y privadas puedan complementar el valor que otorgan a las revistas de enfermería, evitando exclusiones en razón del idioma, la disciplina o el contexto donde se publican.