EDITORIALES

Controversias en la evaluación del conocimiento: alegatos a propósito de una ciencia aplicada

Controversies in the assessment of knowledge: allegations concerning an applied science

Manuel Amezcua

Facultad de Ciencias de la Salud, Universidad de Granada, España. mamezcuam@ugr.es

Cada vez son más las autoras enfermeras, especialmente procedentes del mundo académico, que se acercan descorazonadamente al Grupo de Estudios Documentales (GED) de la Fundación Index solicitando auxilio ante la frustración que les producen las evaluaciones negativas realizadas por las agencias gubernamentales españolas, que no están en consonancia con el espíritu que ha despertado en el mundo académico la incorporación de nuestro país al Espacio Europeo de Educación Superior.¹ La contrariedad se debe a que consideran que han realizado aportaciones importantes en materia de producción científica, con artículos que han tenido una alta repercusión, por haber sido muy consultados y consecuentemente muy citados, pero los evaluadores no los consideran de calidad y los descartan por el hecho de no estar publicados en revistas incluidas en un determinado repertorio. El repertorio es el Science Citation Index (SCI) de Thomson Reuters (antes Thomson ISI, antes Thomson Sicentific), la conocida y a la vez cuestionada empresa estadounidense que, al menos en España, ha logrado instalarse como proveedora exclusiva de información científica en la esfera gubernamental.² Y consecuentemente ha logrado que sus instrumentos se utilicen por las agencias oficiales como únicas herramientas válidas para evaluar las publicaciones de todas las disciplinas académicas existentes.

Tras las consultas parece esconderse un cierto sentimiento de esperanza en que una mediación nuestra a nivel institucional podría resolver el problema. Pero el GED poco puede hacer salvo comprender la frustración de las damnificadas y solidarizarse con su desdicha. Y sobrevivir, soportando las amenazas de Thomson Reuters (la empresa se considera dueña del concepto intelectual de Factor de Impacto y por tanto del derecho exclusivo a obtenerlo),³ la ignorancia por parte de algunas agencias evaluadoras hacia nuestros instrumentos, y hasta los ataques directos de alguna de las escasas estructuras institucionales de investigación en enfermería, cuando debería ser la más interesada promocionarlos.⁴ Aunque a decir verdad hay que reconocer que es mucho lo que el GED está haciendo por amortiguar los efectos de las drásticas evaluaciones gubernamentales, como es la producción de instrumentos alternativos que logren visualizar lo que SCI invisibiliza en la enfermería iberoamericana.⁵ Y todo ello con la esperanza de que si algún día la postura de la administración española cambia y se flexibiliza, como sería deseable, exista una alternativa válida y suficiente para posibilitar evaluaciones más justas y acordes con las expectativas de las investigadoras enfermeras.

Y mientras esto ocurre, ¿qué podemos hacer?, nos preguntan algunas afectadas. La respuesta es obvia, lo que la gente hace frente a las injusticias: resistirse, manifestar su inconformismo recurriendo el resultado de la evaluación de forma argumentada, y de forma incansable proponer otras alternativas que resulten más idóneas. Y ello apelando a derechos tan fundamentales como el que la enfermería debe ser evaluada en su contexto disciplinar, con arreglo a la ciencia aplicada que es, donde su objeto fundamental es transformar la práctica clínica en beneficio de los pacientes, y utilizando la diversidad de técnicas e instrumentos disponibles y aceptados por la comunidad científica para determinar la calidad de las publicaciones. Faltaría decir que con independencia de dónde y cómo se publique, y de lo que instrumentos en particular puedan informar al respecto (sean base de datos, índice de citas, repertorio o repositorio).

En el caso que nos ocupa, el problema arranca cuando en el año 2006 la Comisión Nacional Evaluadora de la Actividad Investigadora (Ministerio de Educación y Ciencia de España) decreta que "Se valorarán preferentemente las aportaciones que sean artículos en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el "Subject Category Listing" del "Journal Citation Reports del Science Citation Index" (Institute for Scientific Information, -ISI- Philadelphia, PA, USA). Las revistas electrónicas se considerarán cuando aparezcan en los listados del ISI".⁶ E insiste: "Con carácter orientador, para las áreas de Ciencias Biomédicas, tanto básicas como clínicas, se considerará como mínimo, necesario para superar la evaluación, dos publicaciones en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del "Science Citation Index"".⁶ El decreto no utiliza más racionalidad para justificar este criterio de evaluación tan altamente restrictivo que el dar por sentado que SCI es la única fuente válida para discernir el valor de las publicaciones periódicas, suponiendo que serán mejores aquellas que más altas posiciones ocupan en sus repertorios. De paso invalida cualquier otra fuente de conocimiento o procedimientos posibles, dando también por supuesto que no sirven para lo que fueron creados. De esta forma, en lo sucesivo, haga lo que haga Thomson Reuters (ISI según el Decreto) estará bien hecho, por el hecho de hacerlo esta empresa, mientras que serán vanos los múltiples intentos que en el pasado hayan surgido o surjan en el futuro para proponer alternativas válidas de evaluación, por más que estén sustentadas en procesos gestados al amparo de la lógica científica. Y no lo serán porque no son un producto ISI, a sabiendas de que si por compra o cesión algún día algunos lo fueran, recobrarían de facto el valor que ahora les es negado. Por otra parte el criterio obliga a establecer una relación de dependencia entre la entidad evaluadora y la empresa proveedora de información, sostenida por una cuestión de fe ciega en el producto, ya que los derechos de propiedad impiden su reproducción en auditorías independientes.⁷ Claro que en el mundo laico en que nos movemos, la fe se materializa en la adquisición por parte del gobierno español de una licencia de uso de los productos ISI, cuyo precio produce vértigo entre investigadores acostumbrados a manejar recursos limitados.

En unos tiempos en que las políticas académicas andan más preocuparas por los rankings que por la utilidad social del conocimiento, esta perversión puede tener sentido. Pero ha de quedar claro que el renunciar a evaluar el valor intrínseco de las publicaciones en favor de sistemas indirectos de valoración tiene sus costes. El efecto que el Decreto de 2006 ha producido en la práctica es que la responsabilidad de la evaluación de la actividad científica se ha transferido desde un organismo público a una empresa privada. Dicho de otra forma, en España es Thomson Reuters y no las agencias evaluadoras, quien determina el valor de las publicaciones de los candidatos a plazas académicas, a fondos de investigación o a incentivos profesionales, y ello lo hace a través de una política de inclusión/exclusión de revistas en sus repertorios que ha sido catalogada de opaca y cuestionable por un amplio sector crítico dentro de la comunidad científica.^7,8 Por esta razón, la Fundación Index remitió al Ministerio de Educación y Ciencia en el año 2009 un informe con alegaciones al citado decreto, cuya elaboración encargó al Grupo de Estudios Documentales, que en aquel momento lideraba el Dr. Gálvez Toro. El documento ha tenido una cierta circulación como literatura gris y aún es compartido por investigadores y académicos que, considerando han sido evaluados injustamente, lo utilizan para fundamentar sus alegaciones. Lo que no sabemos es el resultado que produce, pero suponiendo que al menos no producirá mayor daño, lo insertamos como anexo con la esperanza de que pueda resultar de utilidad.

Las posibilidades de problematizar el restrictivo criterio del Ministerio español son múltiples y con sobradas evidencias que cuando menos ponen en duda la capacidad que el criterio tiene para determinar lo que debería medir: el peso de las publicaciones desde el punto de vista de su calidad.^4,8-10 Consideremos algunas:

- La calidad de los artículos no viene determinada de forma indirecta por la revista que lo publica (en la misma revista suelen publicarse artículos con calidad desigual), sino por la pertinencia y rigurosidad de la investigación contenida en ellos, criterios que son los que deberían tenerse en cuenta a la hora de evaluarlos, y que no se tienen.

- El impacto bibliométrico mide la repercusión que tienen las revistas en términos de citas recibidas,^4,8 por tanto se hace un uso incorrecto cuando se utiliza para evaluar la calidad de un artículo en particular o de un investigador, profesional o académico.¹¹ Así lo han manifestado entidades científicas relevantes, como la European Association of Science Editors (EASE) en 2007 o el International Council for Science (ICSU) al siguiente año, sugiriendo una utilización cautelosa del Factor de Impacto, de paso que toman precauciones sobre los efectos que éste produce en el comportamiento de los científicos.¹²

]]> - El Factor de Impacto informa de las citas recibidas por las revistas en los dos años inmediatos a su publicación, mientras que un trabajo, en función de su orientación y del área de conocimiento donde se sitúa¹³ va a tener un periodo de citación variable pero más extenso.

- El valor de una cita no viene determinado por el instrumento con el que se identifica ésta, sino por su propia existencia (a mayor número de citas, mayor repercusión, es el criterio científico que debería respetarse).¹⁴

- Son los propios autores los más interesados en conocer la repercusión de sus trabajos y por tanto es a ellos a quienes debiera exigirse la responsabilidad de aportar las evidencias necesarias para su evaluación: el impacto de autor (Indice H o de Hirsch) se muestra como un sólido indicador de evaluación a partir de las citas recibidas, permitiendo la verificación mediante auditoría.^15,16

- La evaluación de las contribuciones científicas debiera atenerse a la lógica científica y activar procedimientos que le sean propios, mucho mejor si emanan del consenso entre la diversidad de grupos disciplinares y áreas de conocimiento que componen la comunidad científica.

- Existe diversidad de instrumentos que son utilizados por la comunidad científica para gestionar el conocimiento y, salvo que se demuestre lo contrario, todos resultan útiles en función del interés con que el usuario se acerque a ellos. Por principio no hay ningún instrumento único y definitivo que tenga la capacidad de evaluar el conocimiento científico globalmente, de forma fehaciente e infalible. Posiblemente sea la combinación de los instrumentos disponibles, lo que más garantías de veracidad arroje.

- Los instrumentos de gestión del conocimiento debieran utilizarse como meras herramientas, que en ningún caso deben suplir la responsabilidad que los gobiernos y administraciones tienen en articular procedimientos de evaluación acordes con las particularidades del contexto en el cual se realizan.

Por más alegatos que podamos construir, poco consuelo procurará a quienes han de enfrentarse al hoy y al ahora de los sistemas de evaluación. Y lo peor es que o se cambia el criterio o las posibilidades de que una enfermera española logre producir una publicación evaluable son muy escasas. El último repertorio Nursing del SCI incorpora apenas 80 publicaciones de las cuales ninguna es española, y la única en español ocupa el penúltimo puesto del repertorio. Las enfermeras españolas producen en torno a 4.500 artículos al año, según la base de datos CUIDEN, lo que supone más del doble del total de artículos producido por las revistas Nursing-SCI. Algo está fallando. No creemos que el Ministerio español conozca estos datos, pero debiera saber que con su desconocimiento e intransigencia está obligando a las enfermeras españolas (y a otros profesionales) a escribir en otras lenguas¹⁷ y a publicar en revistas de otros países o de otras disciplinas para que puedan ser valoradas en el nuestro. El criterio está produciendo fuga de conocimiento. Un conocimiento que se ha financiado con fondos de aquí, a partir de pacientes de aquí, y que es necesario aquí donde se produce. Son las reglas del juego en una disciplina aplicada como la Enfermería.

Otra cuestión es si el modelo español responde a un modelo globalizado, como muchos piensan, y la respuesta rotunda es que no. Que cada país tiende a gestionar su conocimiento con criterios propios y acorde con sus políticas científicas. En el contexto iberoamericano destaca el caso de Brasil, donde si bien coincide con el español en la importancia del valor bibliométrico a la hora de evaluar las publicaciones, se realiza a partir de criterios flexibles y consensuados, que ponen énfasis en la visualización del conocimiento propio de calidad.^18,19 También en el contexto europeo y la zona anglosajona encontramos cada vez más alternativas a la evaluación exclusiva de las publicaciones a través del impacto bibliométrico, de las que aportamos algunos ejemplos, en adelanto del informe que el GED está preparando y que se verá publicado más adelante.

El Reino Unido ha diseñado un nuevo sistema de evaluación de la calidad de la investigación en las instituciones de educación superior denominado REF (Research Excellence Framework), proponiendo diferentes guías de evaluación cuyos resultados son utilizados para la asignación selectiva de fondos para la investigación en dichas instituciones. El modelo de evaluación clínica enfatiza a través de informes exhaustivos el impacto que han tenido las investigaciones (o las publicaciones) en términos de repercusión social, institucional, bibliográfica, etc.²⁰ Bajo el lema "Calidad no cantidad", la Fundación Alemana de Investigación (Deutsche Forschungsgemeinschaft, DFG) propone en febrero de 2010 un nuevo sistema de evaluación que pone énfasis en las publicaciones de excelencia, con especial hincapié en la descripción real de la investigación, reduciendo la importancia del volumen de publicaciones y los puestos en repertorios de revistas y otros índices numéricos ("Es el contenido lo que importa", en palabras del presidente de la DFG, Prof. Matthias Kleiner).²¹ La propuesta germana sigue el modelo británico y también en el adoptado por la National Science Foundation (US), y todos ellos abren un umbral cercano de esperanza para los investigadores que soportan modelos tan irracionales como el español.

Por ello estamos convencidos que, aunque solo sea por la influencia de países con mayor peso en el panorama científico internacional, los criterios de evaluación del conocimiento se flexibilizarán. Y cuando esto ocurra, también sabemos que quienes ahora defienden con tanta vehemencia el sistema de evaluación que tanto daño está procurando a la ciencia en general, y a disciplinas aplicadas como la Enfermería, se esconderán y nunca sabremos quienes lo alimentaron, como nunca pudimos poner cara a los intransigentes censores de la España franquista. Bueno, esto puede parecer un tanto excesivo. Lo cierto es que, alumbrados por la esperanza, desde la Fundación Index continuaremos produciendo herramientas como CUIDEN, CANTARIDA o CUIDEN CITACION, introduciendo mejoras y depurando los sistemas de gestión del conocimiento en enfermería en el espacio científico iberoamericano para favorecer evaluaciones más ajustadas y acordes con la realidad de las enfermeras que se expresan en lenguas diferentes al inglés.^22,23 Y con la sana esperanza de que cada vez sean más países, entre ellos España, los que encuentren en ellos alguna propiedad positiva en su utilización. En el logro de este anhelo mucho tienen que hacer las propias enfermeras españolas e iberoamericanas,²⁴ quienes con la palabra, con sus legítimas reivindicaciones, superando el conformismo propio de una cultura de la obediencia que ya pasó, serán las únicas que logren poner en valor los criterios y los instrumentos que más puedan beneficiarles. Que serán aquellos que mejor identifiquen y jerarquicen lo que las enfermeras producen, pero en su propio contexto.

Bibliografía

1. Granero Molina, José; Fernández Sola, Cayetano; Aguilera Manrique, Gabriel. Evaluación frente a calificación en el nuevo Espacio Europeo de Educación Superior (EEES), una reflexión ético-crítica. Index de Enfermería 2010; 19(1): 37-41.         [ Links ]

2. Ruiz-Pérez, Rafael; Delgado López-Cózar, Emilio; Jiménez-Contreras, Evaristo. Criterios del Institute for Scientific Information para la selección de revistas científicas. Su aplicación a las revistas españolas: metodología e indicadores. International Journal of Clinical and Health Psychology 2006; 6(2): 401-424.         [ Links ]

3. Amezcua, Manuel. Index y la construcción de una Comunidad de Conocimiento Abierta. Index de Enfermería 2007; XVI(58):7-10.         [ Links ]

4. Amezcua, Manuel. ¿Para qué sirve el Indice de Impacto de una revista? Index de Enfermería 2010; 19(2-3): 83-7.         [ Links ]

5. Gálvez Toro A, Amezcua M, Hueso Montoro C. CUIDEN Citación y la valoración de las publicaciones científicas enfermeras. Index de Enfermería 2005; 51: 7-9.         [ Links ]

6. Ministerio de Educación y Ciencia de España. Resolución 20404 de 17 de noviembre de 2006, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación. Boletín Oficial del Estado, 23.11.2006; 280: 41071-8.         [ Links ]

7. Rossner, Mike; Van Epps, Heather; Hill, Emma. Show me the data. The Journal of Cell Biology, 2007; 179(6):1091-1092.         [ Links ]

8. Quispe Gerónimo, C. ¿Es el Factor de Impacto un buen indicador para medir la calidad de las revistas científicas?: análisis de algunos problemas generados por su uso. Infobib 2004; 3. Disponible en http://eprints.rclis.org/bitstream/10760/5002/1/articulo1.pdf [Consultado el 16.06.2011]         [ Links ].

9. Amin M, Mabe M. Impact factors: use and abuse. Medicina 2003; 63: 347-54.         [ Links ]

10. Camí J. Impactolatría: diagnóstico y tratamiento. Med Clin 1997; 109(13): 515-524.         [ Links ]

11. Seglen PO. Why the impact factor of journals should not be used for evaluating research. BMJ 1997; 314 (7079): 498-502.         [ Links ]

12. Impact factor. Wikipedia. Disponible en http://en.wikipedia.org/wiki/Impact_factor [Consultado: 26.06.2011]         [ Links ].

13. Van Nierop, Erjen. Why do statistics journals have low impact factors? Statistica Neerlandica. 2009; 63(1): 52-62.         [ Links ]

14. Gálvez Toro, Alberto. El poder de una cita. Desarrollo Científ Enferm 2006; 14(7): 243-244.         [ Links ]

15. Gálvez Toro, Alberto; Amezcua, Manuel. El factor h de Hirsch: the h-index. Una actualización sobre los métodos de evaluación de los autores y sus aportaciones en publicaciones científicas. Index de Enfermería, 2006; 55: 38-43.         [ Links ]

16. Gálvez Toro A, Amezcua M, Salido Moreno MP, Hueso Montoro C. Impacto de Autor CUIDEN Citación. Trayectorias científicas relevantes y excelencia a través del Factor h (h-index) de Hirsch en el espacio científico iberoamericano. Index de Enfermería 2006; XV(55): 76-82.         [ Links ]

17. Gálvez Toro A. El español proscrito. Evidentia. 2007 may-jun; 4(15). Disponible en: http://www.index-f.com/evidentia/n15/343articulo.php [consultado 16.06.2011]         [ Links ].

18. Souza EP, Paula MCS. Qualis: a base de qualificação dos periódicos científicos utilizada na avaliação CAPES. InfoCAPES 2002; 10(2):7-25.         [ Links ]

19. Erdmann AL, Marziale MHP, Pedreira MLG, Lana FCF, Pagliuca LMF, Padilha MI, Fernandes JD. Evaluation of scientific periodicals and the brazilian production of nursing articles. Rev Latino-am Enfermagem 2009 maio-junho; 17(3): 403-9.         [ Links ]

20. Research Excellence Framework: Impact pilot exercise. Example case studies from Clinical Medicine. Higher Education Funding Council for England (HEFCE). November 2010. Disponible en http://www.hefce.ac.uk/research/ref/impact/ClinicalMedicine.pdf [Consultado: 26.06.2011]         [ Links ].

21. "Quality not Quantity" - DFG Adopts Rules to Counter the Flood of Publications in Research. Press Release No. 7 | 23 February 2010. Deutsche Forschungsgemeinschaft. Disponible en http://www.dfg.de/en/service/press/press_releases/2010/pressemitteilung_nr_07/index.html [Consultado: 26.06.2011]         [ Links ].

22. Gálvez Toro, Alberto; Hueso Montoro, César; Amezcua, Manuel. Indicadores CUIDEN de repercusión de las revistas de enfermería del área lingüística del español y del portugués. Index de Enfermería 2004; XIII(46): 76-80.         [ Links ]

23. Jerez Fonseca, Lady Catalina; Montoya Sanabria, Sandra Milena. Impacto y repercusión de 37 revistas de Enfermería del Espacio Científico Iberoamericano. Año 2008. Index de Enfermería 2010; 19(2-3): 221-225.         [ Links ]

24. Rizo, MM. Debemos defender nuestras revistas científicas. Index de Enfermería 2010; 19(1): 69-70.         [ Links ]

Anexo 1

Fundación Index 11/07/2009
Observaciones a la Resolución 20404 de 17.11. 2006 de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación

Punto 1. Se observa la tendencia a considerar "más valiosa" a aquella aportación que aparece publicada en una revista incluida en el repertorio del Journal Citation Reports del Science Citation Index. Se discriminan implícitamente las aportaciones realizadas en otras revistas.

Punto 2. El repertorio del Journal Citation Reports del Science Citation Index, mide fundamentalmente citas. Por tanto, no tiene mucho sentido valorar el hecho de publicar o no en las revistas de ese repertorio, sino las citas que se han recibido.

Punto 3. En Ciencias de la Salud hay un claro hecho diferenciador. Se tiende a citar lo más cercano porque incluyen las ciencias clínicas y aplicadas que, en sentido estricto, lo que definen es un área de conocimiento más regional que mundial. Los profesionales anglosajones citarán con más frecuencia aportaciones cercanas, en contexto y aplicación. Los profesionales británicos tenderán a citarse más a ellos que a los anglófonos de EE.UU. Las enfermeras españolas tienden a citar más aportaciones en español que en inglés. El ya jubilado y paradigmático director de BMJ, Richard Smith, afirmó en este sentido que los médicos y, en general los profesionales de la salud, no son científicos, sino clínicos.

Punto 4. Las aportaciones regionales y locales, publicadas por profesionales clínicos, son fundamentales para el propio desarrollo de la salud de una región. En España la investigación clínica de las enfermeras o de los médicos, publicada en revistas de nuestro medio, tiene efectos en la práctica clínica, demuestran su desarrollo y su nivel de aplicación. Y los beneficiarios, los pacientes.

Punto 5. Toda política que menosprecie o minusvalore las aportaciones locales o regionales redundará en el perjuicio social de la actividad investigadora y científica que hacen los profesionales de la salud y las enfermeras. Además podría acarrear el debilitamiento e incluso la desaparición de la prensa científico-profesional pues, de no tener valor alguno, los profesionales dejarían de publicar en ellas. El caso de las enfermeras españolas es un modelo paradigmático: no se puede hablar de la existencia de una enfermería que toma las riendas de sí misma, en el plano científico y profesional, hasta que no se han desarrollado bases de datos bibliográficas como CUIDEN, y decenas de revistas en las que los profesionales pueden comunicarse.

Punto 6. Actualmente el desarrollo tecnológico muestra que es inadecuado reducir a un solo instrumento la evaluación de un autor y sus aportaciones (Journal Citation Reports del Science Citation Index, en el caso que se cita en el Decreto en discusión). Dado que lo importante es que un autor sea citado y utilizado en el futuro por otros, habría que expresar que lo evaluable es el efecto que un autor, su producción científica. En caso contrario, el propio Ministerio podría considerarse que actúa con prevaricación por cuanto obliga a los autores a ser evaluados por una empresa privada y sólo por los criterios que ella ha definido (Thomson ISI). En este plano, lo importante sería pedir al autor evaluado que aportara datos sobre el efecto de sus trabajos, es decir, el número de citas o el índice h de Hirsh que tienen. Existen muchas formas para conocer las citas que un autor ha recibido: se pueden consultar los productos de Thomson ISI, la herramienta de Google denominada Google Académico (que cuenta número de citas que ha recibido un trabajo en la red), la base de datos CUIDEN CITACIÓN (que recoge miles de citas de cualquier área de conocimiento que hacen las revistas de enfermería del espacio iberoamericano), o cualquier otro sistema (los agregadores también permiten realizar estos cálculos).

El único problema que plantea este método es que hace falta, en primer lugar, contar con el apoyo y asesoramiento de equipos nacionales especializados en investigación documental y bibliométrica para cada disciplina. En cierto modo esos grupos están bien identificados en nuestro escenario: CSIC para humanidades, el IHCD López Piñero para las áreas clínicas de la medicina, la Fundación Index para la enfermería y áreas relacionadas, y otros.

Punto 7. No se comprende que las revistas electrónicas, si hablamos de innovación y difusión de la información, sean tan mal valoradas en este Decreto. En pocos años es posible que el papel casi haya desaparecido en la divulgación científica. De hecho, la mayoría de las hemerotecas de ciencias de la salud contratan agredadores a texto completo en línea antes que revistas impresas.