Sobre la "impactolatría" y otras perversiones científicas

 

 

J. Sahuquillo

Servicio de Neurocirugía Hospital Universitario Vall d'Hebron. Universidad Autónoma de Barcelona. Barcelona.

Correspondencia

 

 

"Like nuclear energy, the impact factor is a mixed blessing.
I expected it to be used constructively while recognizing
that in the wrong hands it might be abused".

Eugene Garfield, 2006⁴

 

 

En este número de Neurocirugía el editor abre una nueva etapa de la revista y anuncia cambios importantes en el comité editorial, en el equipo de revisores y en todo el proceso editorial. Estos cambios coinciden con la buena salud de la revista como queda reflejado por el índice bibliométrico oficial, el factor de impacto (FI). Creado por Garfield en los años 1960 el FI lo calcula cada año el instituto Thomson ISI para cada una de las 3700 revistas biomédicas incluidas en la base de datos del Science Citation Index (SCI)². El FI de Neurocirugía en el año 2000 fue de 0.15 subiendo hasta 0.29 en 2004. Este es un motivo para alegrarse ya que, justifica en si mismo, la permanencia de una revista cuya existencia muchos en su momento cuestionaron. El FI de Neurocirugía tiene un valor añadido (aunque no medible), cuando se considera que su algoritmo de cálculo penaliza a las revistas en castellano y que su aumento coincide en el tiempo con un decremento progresivo del FI de revistas emblemáticas de nuestra especialidad como el Journal of Neurosurgery que ha pasado de un FI de 2.91 en 2000 a 2.57 en el año 2004. Como referencia Neurosurgery tiene en 2004 un FI de 2.51 y Acta Neurochirurgica, la revista neuroquirúrgica europea, obtuvo un FI de 1.08 en 2004. Sin entrar en el análisis pormenorizado de las causas de estas oscilaciones, y de su relevancia o irrelevancia para nuestra especialidad, cualquier momento de transición es adecuado para la reflexión, el debate y la crítica. En este editorial la intención del autor es hacer algunas reflexiones sobre el uso y el abuso del FI como vara de medir de nuestra actividad científica y de nuestro curriculum.

En las ciencias de la salud la cuantificación y valoración de la producción científica es un ejercicio que se desarrolla de forma periódica y se exige tanto por las agencias estatales como por las entidades privadas que distribuyen y asignan recursos económicos a la investigación. La bibliometría ha elaborado diversos indicadores que permiten un análisis pormenorizado de la actividad científica de individuos, grupos, centros de investigación, de países o incluso de ramas particulares de la ciencia¹. El FI es el más popular de estos índices. El abuso del FI y la denominada impactolatría, término introducido por Camí en un artículo publicado en Medicina Clínica en 1997 son el objeto de esta reflexión¹. El FI no es una variable estática sino dinámica. Por ello, nuestro FI personal, el de nuestro servicio, el de nuestro grupo de investigación o el de nuestra institución equivalen a nuestra cartera de acciones, y su valor, está por lo tanto sometido, como en la bolsa, a las fluctuaciones y caprichos de este índice. Esto hace que nuestro FI acumulado se evalúe o devalúe con cada revisión anual del ISI. Para una mejor comprensión de cómo se mide y valora el FI el lector puede acceder a varias revisiones exhaustivas sobre este tema^2,4,5.

Camí que toma prestado el término, define a la impactolatría como "un culto o adoración incontinente al FI como si se tratara de la panacea de la evaluación de la ciencia"¹. El FI se ha convertido de facto en el visado imprescindible para acceder a la mayoría de ayudas económicas destinadas a investigación, para incrementar nuestro prestigio y para mejorar nuestra trayectoria curricular y académica. ¿Cual es tu factor de impacto?, se ha convertido en una pregunta frecuente en ámbitos científicos y académicos y en la moneda de cambio al uso de los foros más elitistas de cualquier especialidad en la que la actividad investigadora se valora. Muchos de nuestros colegas, directores, gerentes, y responsables de agencias estatales nacionales e internacionales han caído en este culto, facilitando fenómenos, cuya verdadera dimensión es todavía difícil de valorar⁹. El mismo creador del FI, E. Garfield, ha llamado la atención sobre la desmesura que supone valorar la calidad de las publicaciones mediante un índice bibliométrico que define fundamentalmente la visibilidad y no la calidad de un trabajo, ni tampoco, la relevancia de lo publicado⁴. Los escándalos más recientes de fraude científico como el despido de un investigador del prestigioso Massachusetts Institute of Technology por el delito probado de fabricar de la nada varios artículos, la eliminación intencionada por una compañía farmacéutica de los efectos adversos de un fármaco, o el escándalo con mayor repercusión mediática el del científico surcoreano Woo-Suk Hwang en sus publicaciones sobre células madre, deberían ser un motivo de reflexión y análisis en profundidad de las razones que inducen al fraude científico y los factores que lo facilitan y lo potencian⁸. Resulta evidente que, en los casos mencionados, el fraude requiere necesariamente de la connivencia, por acción u omisión, de muchas estructuras tradicionalmente incuestionables como las instituciones de investigación, los comités de ética, las universidades etc. Esto pone en entredicho todo el proceso científico y lo cuestiona desde sus cimientos. Un efecto colateral de estas conductas fraudulentas es poner de manifiesto las debilidades del proceso de revisión por pares y de todo el proceso editorial de estos artículos en revistas de gran prestigio y, por extensión, con un elevado FI.

En una especialidad como neurocirugía, con escasa tradición investigadora en nuestro país, el FI es un obstáculo más que hay que vencer en una carrera hacia el desencanto. Estamos en una especialidad en la que nos consideramos mal retribuidos, sobrecargados por la labor asistencial, apartados de las decisiones clínicas y víctimas de múltiples presiones institucionales, corporativas y sociales. En este contexto, la evaluación de nuestras actividades, incluidas la científica e investigadora se está convirtiendo en una rutina que nos irrita y aumenta nuestro malestar. Algunos colegas han llegado hasta el sarcasmo para cuestionar este proceso³. Según éstos, un elevado FI no es más que una mancha desafortunada en el curriculum del neurocirujano genuino, y en esencia no deja de ser un indicador inverso del número de horas que dedica a lo realmente válido, o sea su actividad como médico y cirujano. Este autor ahonda en la tradicional dicotomía neurocirujano-investigador como una situación de incompatibilidad, en que las habilidades técnicas y cognitivas están necesariamente disociadas. García-Amorena se pregunta en su carta al editor de Neurocirugía, al referirse a estos neurocirujanos que ''se dedican a publícar'', ¿quien se pondría en sus manos como neurocirujanos?³ Según esta teoría y, aunque el autor no lo propone en su carta, para el neurocirujano que publica con frecuencia podría diseñarse un nuevo índice que podríamos denominar DQ (discapacidad quirúrgica), que sería un indicador, que aunque no validado, cuestionaría seriamente sus habilidades quirúrgicas.

Dejando de lado un debate interesante e higiénico y ciertas afirmaciones de García-Amorena, con las que el autor de este editorial coincide plenamente, el problema surge cuando esta actitud maniquea se generaliza y se transmite a las nuevas generaciones de facultativos que entran en nuestra especialidad. Estas actitudes de escepticismo, desencanto y aparente incompatibilidad entre la actividad investigadora y la excelencia como médicos y neurocirujanos, distorsionan una realidad, que no puede ni debe valorarse de una forma unidimensional. Aunque los índices y sistemas de evaluación pueden y deben cuestionarse, no puede serlo el que nuestras actividades asistenciales, resultados quirúrgicos y nuestra actividad científica, deban ser evaluadas de forma periódica. Esta cultura, relativamente nueva en nuestro país, no lo es en otros con una larga tradición en este tipo de procesos. Lamentarse de que las cosas no son como querríamos que fueran, es una actitud condenada al fracaso. Es importante que las nuevas generaciones de neurocirujanos comprendan los elementos que conforman esta nueva realidad y que la dotan de una nueva cultura que colisiona a menudo con los valores tradicionales. Al neurocirujano se le exige en la actualidad, y es previsible que estas exigencias aumenten en el futuro, que no sólo sea competente en las habilidades quirúrgicas sino también en el campo docente e investigador. Las habilidades quirúrgicas son imprescindibles para facilitar una asistencia óptima al paciente, pero no suficientes, como por otra parte ya afirmaba Cushing a pricipios del siglo XX. Las interacciones entre investigación, en un sentido amplio del término, y la asistencia, son inseparables de una calidad asistencial que aspire a la excelencia. Por lo tanto aunque algunos neurocirujanos puedan ser escépticos hacia las nuevas escalas de valores, tenemos la obligación de conocer los mecanismos de evaluación, sus debilidades y sus fortalezas.

La neurocirugía, al igual que otras especialidades quirúrgicas, está inmersa en un profundo proceso de cambio en el contexto de un sistema sanitario, cada vez mas competitivo en todos los ámbitos. Nuestra especialidad no puede permitirse el lujo de permanecer al margen de los avances científicos ni permitir que la actividad investigadora pase a ser, como hasta ahora, una actividad secundaria en la formación de los nuevos neurocirujanos. Los nuevos programas de formación deberían contemplar más allá del papel escrito, estas habilidades, como ya lo hacen muchos programas europeos.

Respecto a nuestra revista, Neurocirugía y el FI, es una realidad que casi todos mandamos nuestros mejores trabajos a las revistas con mayor visibilidad, y por extensíon con un mayor FI. Sabemos que si, son publicados, serán igualmente conocidos por nuestros colegas, gracias a las grandes bases de datos bibliográficos. La elección de la revista queda casi siempre supeditada al pragmatismo de publicar el original en la que tiene una mayor relevancia bibliométrica. Entre los neurocirujanos españoles circula el rumor (no confirmado), de que muchos artículos publicados en inglés por autores españoles en Neurocirugía, son trabajos rechazados de otras revistas. Esta actitud no es criticable, ya que es un hecho incuestionable que los artículos publicados en revistas internacionales tendrán un mayor impacto en nuestro curriculum que los publicados en revistas nacionales y esta opinión es compartida por investigadores ajenos al campo biomédico⁶. Nadie debe extrañarse pués de que un cierto grado de impactolatría, contamine nuestra especialidad y que los autores intenten alcanzar la máxima audiencia posible, escogiendo publicar en las revistas con un mayor FI⁶. Por lo tanto, ahondar en este debate es inútil mientras los mecanismos de evaluación no cambien y persista la idea entre investigadores y evaluadores de que un mayor FI equivale a una mayor calidad de nuestro trabajo². Resulta evidente, sin embargo, que esta tendencia va en detrimento de las revistas nacionales que con originales de menor calidad, ven mermado su FI cerrándose así un círculo vicioso difícil de romper. No suele mencionarse la evidencia de que el factor de impacto es sólo un índice bibliométrico dirigido a evaluar y clasificar de una forma global a las revistas biomédicas y no un indicador fiable de la calidad de los trabajos ni de sus autores^2,4,7.

No podemos sugerir ninguna solución a este problema, ya que no la conocemos. Las reglas del juego en el que participamos no las escogemos, sino que vienen impuestas por nuestras instituciones, por las agencias de evaluación, por las universidades y por nuestros propios colegas. Para bien o para mal, es evidente que el FI continuará siendo durante muchos años el índice bibliométrico más aceptado por la comunidad científica.

Casi nadie discute que la calidad de la investigación científica puede y debe ser evaluada con indicadores robustos y verificables. Sin embargo, para muchos el FI no debería servir para estos fines. Nuestra intención con este editorial es invitar a los neurocirujanos a reflexionar y a no huir de una realidad con la que las nuevas generaciones deberán convivir. Para ello es necesario que se familiaricen con un nuevo vocabulario y que adquieran nuevas habilidades que necesitarán en algún momento de su carrera profesional.

Pocas sociedades o individuos tienen la capacidad de influir de forma significativa en los procesos de evaluación. Los cambios trascendentes, si se producen, deben ser producto del consenso y hacerse mediante una redefinición de los valores tradicionales de la ciencia a niveles de las comunidades científicas, paradójicamente con poca tendencia a la autocrítica. El rigor metodológico, la honestidad científica, la calidad intelectual y la relevancia clínica de los resultados deben ser factores evaluables si queremos que el prestigio social de la ciencia se rehabilite. Para sanear este proceso, es importante que todos entendamos que un elevado FI, implica una mayor popularidad para los individuos o grupos, pero no necesariamente un mayor prestigio profesional.

 

Bibliografía

1. Cami, J.: Impactolatría: diagnóstico y tratamiento. Med Clin (Barc) 1997;109: 515-524.        [ Links ]

2. Dong, P., Loh, M., Mondry, A.: The "impact factor" revisited. Biomed. Digit. Libr. 2005; 2: 7.        [ Links ]

3. García-Amorena, C.: Carta al editor. Neurocirugía 2002; 13: 234-236.        [ Links ]

4. Garfield, E.: The Agony and the Ecstasy: The History and Meaning of the Journal Impact Factor. International Congress on Peer Review And Biomedical Publication 2005; Chicago, September 16, 2005:        [ Links ]

5. Ibáñez, J., Sahuquillo, J., Poca, M.A., Arikan, F., Rubio, E.: La incorporación de Neurocirugía al Journal of Citation Reports: análisis bibliométrico de la producción científica neuroquirúrgica española. Neurocirugia 2000; 11: 329-350.        [ Links ]

6. Jiménez-Contreras, E., De Moya Anegón, F., Delgado, E.: The evolution of research activity in Spain The impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy 2003; 32: 123-142.        [ Links ]

7. Lawrence, P.A.: The politics of publication. Nature 2003; 422: 259-261.        [ Links ]

8. McGee, G.: Lies, Dam Lies...and Scientific Misconduct. The scientist 2006; 20: 24.        [ Links ]

9. Williams, G.: Misleading, unscientific, and unjust: the United Kingdom's research assessment exercise. BMJ 1998; 316: 1079-1082.        [ Links ]

Sahuquillo, J.: Sobre la impactolatría y otras perversiones científicas. Neurocirugía 2006; 17: 102-104.        [ Links ]

 

 

Correspondencia postal:
Juan Sahuquillo.
Servicio de Neurocirugía.
Hospital Universitario Vall d'Hebron.
Universidad Autónoma de Barcelona.
Paseo Vall d'Hebron 119-129.
08035 Barcelona.