SciELO - Scientific Electronic Library Online

 
vol.63 issue246Ibero-American Strategy on Safety and Health at Work: Public Policies for Decent Work author indexsubject indexarticles search
Home Pagealphabetic serial listing  

My SciELO

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Medicina y Seguridad del Trabajo

On-line version ISSN 1989-7790Print version ISSN 0465-546X

Med. segur. trab. vol.63 n.246 Madrid Jan./Mar. 2017

 

Editorial

Nuevas aportaciones a la evaluación de la investigación: la declaración de San Francisco

New Contributions to the Evaluation of Research: the Statement of Saint Francis

Javier Sanz Valero1  2 

1Universidad Miguel Hernández, Elche, España.

2Fundación para el Fomento de la Investigación Sanitaria y Biomédica de la Comunidad Valenciana (ISABIAL-FISABIO), Alicante, España.

Desde que Vannevar Bush expusiera su notable documento titulado «Science, the endless frontier» la política científica pasó a considerarse un instrumento de poder y, en consecuencia, ser reconocida como elemento que condiciona el crecimiento económico de los países. Así, en la medida en que el conocimiento científico fue percibido como un valor estratégico, surgió el auge de una cultura de evaluación y rendición de cuentas que permitía medir la eficiencia de los resultados que justificara la asignación de recursos públicos (outputs)1.

A día de hoy, estos impactos del conocimiento generado se miden a través de técnicas bibliométricas que están sustentadas en los trabajos sobre fundamentación teórica de Price2 y Garfield3. Desde estos estudios se ha desarrollado todo un culto alrededor de los indicadores de la actividad científica que los han llevado a ser el «patrón oro» a la hora de valorar los logros de investigación4. Aunque, como todo dogma tiene sus creyentes y sus impíos.

No es la primera vez, ni será la última, que escribo y discuto sobre los significados del «productivismo académico» y las repercusiones que está generando. Tampoco es la primera vez que cuestiono las interpretaciones que sobre los indicadores bibliométricos se realizan y cómo la contabilidad numérica de los artículos publicados por investigadores en revistas científicas de «reconocido prestigio», según estos mismos indicadores, sirve para legitimar a los académicos en sus campos de trabajo o superar positivamente cualquier evaluación5.

Pero, es el propio Eugene Garfield quien declaró, más de 50 años después de la creación del «famoso» Factor de Impacto (FI), en el International Congress on Peer Review and Biomedical Publication6:

«En 1955, no se me ocurrió que el «impacto» podría llegar a ser cuestionable. Al igual que la energía nuclear, el factor de impacto es una bendición mixta. Yo esperaba que se usara en forma constructiva, pero a la vez, me daba cuenta de que en manos equivocadas, podría ser utilizado abusivamente».

Posteriormente, en la publicación de esta conferencia7, concluía:

«El uso del impacto de las revistas para evaluar a los individuos contiene peligros inherentes».

El hecho indiscutible es que los estudios cuantitativos que proponen evaluar la producción científica han adquirido gran importancia y entre sus principales aplicaciones, dentro del área de la política científica, se encuentran los procesos de peritaje de la actividad investigadora.

Con esto en mente, es necesario entender que el FI tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación8.

El fundamento científico de la crítica sobre el uso del FI en las evaluaciones de los investigadores y sus publicaciones se estableció en una serie de artículos de Seglen9,10,11. Su trabajo básico ha influido desde entonces en iniciativas como The Leiden Manifesto for research metrics12 y The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management13. Además, sus resultados han sido reafirmados por un reciente trabajo donde queda patente que el FI no debe usarse como medida del desempeño de los investigadores individuales y sus publicaciones14.

PONIENDO LA CIENCIA EN LA EVALUACIÓN DE LA INVESTIGACIÓN

Ante la aceptación tácita de utilizar el índice o factor de impacto de las revistas como parámetro primario con el que comparar y valorar la producción científica de los investigadores y sus instituciones. Y, la necesidad apremiante de mejorar la forma en que los resultados de la investigación científica son evaluados, un grupo de directores y de editores de revistas académicas se reunió durante la Reunión Anual de la Sociedad Americana de Biología Celular en San Francisco, el 16 de diciembre de 2012. El grupo desarrolló una serie de recomendaciones, conocidas como la Declaración de San Francisco de Evaluación de la Investigación (San Francisco Declaration on Research Assessment - DORA).15, siendo su recomendación general:

«No utilice métricas basadas en revistas, tales como índices de impacto, como una medida sustitutiva de la calidad de los artículos de investigación individuales, con el fin de evaluar las contribuciones de un científico, o en la contratación, promoción, o en las decisiones de financiación.»

Debería causar sorpresa el hecho de que el uso de un indicador torne a un autor u otro como elegible por el hecho de que haya publicado en una revista de mayor FI, como si fuera más importante saber dónde publicó su obra que la lectura de su trabajo16.

La Declaración hace una llamada crítica contra el uso del FI en la evaluación de la investigación y toma la decisión de no apoyarse de manera incondicional en los indicadores de impacto a la hora de evaluar los logros de investigación. Desde el punto de vista práctico significa que las instituciones que firmen DORA ya no tendrán en cuenta, ni directa ni indirectamente, los factores de impacto de las revistas en la evaluación del personal investigador. Esta decisión, dice la declaración, no debe en modo alguno inhibir la elección de los investigadores sobre donde publicar sus trabajos. Por el contrario lo que se pretende es que estos sean evaluados por lo que son y no por el lugar donde son publicados.

En la Web oficial17, a fecha 18 de mayo de 2017, había 12719 firmantes a título individual y 859 firmantes institucionales. Yo ya hace tiempo que incorporé mi firma.

REFERENCIAS BIBLIOGRÁFICAS

1. Castiel LD, Sanz-Valero J. Política científica: manejar la precariedad de los excesos y desnaturalizar la ideología "publicacionista" todopoderosa. Salud Colect. 2009;5(1):5-11. [ Links ]

2. Price D. Little science, big science. New York, USA: Columbia University Press; 1963. [ Links ]

3. Garfield E. Citation indexes for science; a new dimension in documentation through association of ideas. Science. 1955;122(3159):108-11. [ Links ]

4. Franco-López Á, Sanz-Valero J, Culebras JM. El factor de impacto ya no es el patrón oro; la declaración de San Francisco sobre evaluación de la investigación. JONNPR. 2017;2(5):173-6. [ Links ]

5. Castiel LD, Sanz-Valero J. Entre fetichismo e sobrevivencia: o artigo científico é uma mercadoria acadêmica? Cad Saude Publica. 2007;23(12):3041-50. [ Links ]

6. Garfield E. The Agony and the Ecstasy - The History and Meaning of the Journal Impact Factor [monograph on the Internet]. Chicago, USA: International Congress on Peer Review and Biomedical Publication; 2005 [cited May 18, 2017]. Available from: https://goo.gl/8nql03Links ]

7. Garfield E. The history and meaning of the journal impact factor. JAMA. 2006;295(1):90-3. [ Links ]

8. Adler R, Ewing J, Taylor P. Citation Statistics [monograph on the Internet]. Berlin, Germany: Joint Committee on Quantitative Assessment of Research; 2008 [cited May 18, 2017]. Available from: https://goo.gl/f3osGjLinks ]

9. Seglen PO. The skewness of science. J Am Soc Inf Sci. 1992;43(9):628-38. [ Links ]

10. Seglen PO. Causal relationship between article citedness and journal impact. J Am Soc Inf Sci. 1994;45(1):1-11. [ Links ]

11. Seglen P. Why the impact factor of journals should not be used for evaluating research. BMJ. 1997;314(7079):498-502. [ Links ]

12. Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015;520(7548):429-31. [ Links ]

13. Wilsdon J, Allen L, Belfiore E, Campbell P, Curry S, Hill S, et al. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management [monograph on the Internet]. Bristol, UK: Higher Education Funding Council for England (HEFCE); 2015 [cited May 18, 2017]. Available from: https://goo.gl/MS14X7Links ]

14. Zhang L, Rousseau R, Sivertsen G. Science deserves to be judged by its contents, not by its wrapping: Revisiting Seglen's work on journal impact and research evaluation. PLoS One. 2017;12(3):e0174205. [ Links ]

15. Sociedad Americana de Biología Celular (BCSV). Declaración de San Francisco de Evaluación de la Investigación [monografía en Internet]. San Francisco, EEUU: BCSV; 2012 [citado 17 de mayo de 2017]. Disponible en: https://goo.gl/qtw14tLinks ]

16. Nassi-Calò L. SciELO en Perspectiva: Declaración recomienda eliminar el uso del Factor de Impacto en la evaluación de la Investigación [monografía en Internet]. Sao Paulo, Brasil: Scientific Electronic Library Online (SciELO); 2013 [citado 17 de mayo de 2017]. Disponible en: https://goo.gl/NpZocdLinks ]

17. American Society for Cell Biology (ASCB). San Francisco Declaration on Research Assessment - DORA [Homepage]. Bethesda, USA: ASCB; 2012 [cited May 18, 2017]. Available from: http://www.ascb.org/dora/Links ]

Recibido: 25 de Mayo de 2017; Aprobado: 01 de Junio de 2017

Correspondencia Dr. Javier Sanz-Valero Departamento de Salud Pública e Historia de la Ciencia, Universidad Miguel Hernandez, Campus Sant Joan d’Alacant, Alicante, España. Correo electrónico: jsanz@umh.es

CONFLICTO DE INTERÉS

El autor declara la inexistencia de cualquier tipo de conflicto de interés.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons