EDITORIAL

 

El factor de impacto, el índice h y otros indicadores bibliométricos

The impact factor, the h index and other bibliometric indicators

 

 

Ò. Miró¹, P. Burbano²

Grupo de investigación «Urgencias: procesos y patologías», IDIBAPS, Barcelona
1. Área de Urgencias. Hospital Clínic. Barcelona
2. Secretaría de Educación Superior Ciencia Tecnología e Innovación (SENESCYT). Quito. Ecuador.

Dirección para correspondencia

 

 

El factor de impacto (FI), definido por Eugene Garfield en los años 50¹, es probablemente el indicador bibliométrico más conocido. La publicación de estos FI se realiza anualmente por parte de ISI Web of Knowledge en el repertorio Journal Citation Reports (JCR)² y es uno de los eventos más esperados del año por revistas, editoriales, editores, autores y comunidad científica en general². El FI mide de forma global la repercusión que tiene una revista en base a la citación que reciben los artículos que en ella se publican. Su cálculo es relativamente sencillo: el FI de una revista para un año concreto es el cociente entre las citas realizadas durante ese año a artículos publicados por ella los dos años anteriores y el total de artículos publicados durante el mismo periodo de dos años.

Pongamos como ejemplo de cálculo de FI el caso de Anales del Sistema Sanitario de Navarra. El año 2012, su FI fue de 0,351. Este valor se obtuvo de dividir las 34 citas que consiguió durante ese año 2012 referentes a artículos suyos publicados los años 2010 (25 citas) y 2011 (9 citas) entre los 97 artículos citables publicados en 2010 (52 artículos) y 2011 (45 artículos). Entre estas 34 citas que sirvieron para el cálculo del FI de 2012, dos se produjeron desde artículos publicados en la propia Revista^3,4, lo cual permite establecer un índice de autocitación para Anales del Sistema Sanitario de Navarra del 5%.

Para quien no esté acostumbrado al FI, mencionar que las revistas biomédicas de mayor prestigio mundial presentan FI por encima de 30 (The New England Journal of Medicine 51,658 en 2012; The Lancet 39,060 en 2012), en tanto que las revistas biomédicas mejor posicionadas publicadas en español a duras penas alcanzan valores de 3 (Revista Española de Cardiología 3,204 en 2012; Emergencias 3,084 en 2010)^5,6. Aunque la calidad intrínseca de los manuscritos recibidos, la rigurosidad del proceso interno de evaluación, el posicionamiento en el campo de conocimiento que aborda, la consideración en la que la tengan los lectores e investigadores afines a su especialidad o la difusión a través de la red juegan un papel importante a la hora de que una revista consiga un buen FI^7-13, sin duda el idioma marca un techo en las posibilidades de difusión y repercusión de los artículos publicados por ella (y por ende, en su FI). Así, las que se editan en inglés parten con una clara ventaja en este terreno. Por ello, algunas revistas editadas en España lo hacen en el formato multilingüe, con lo que consiguen captar más autores foráneos y un número mayor de citaciones para los artículos que publican es dicho idioma¹⁴. Sin embargo, autores y editores no deben perder de vista que el castellano, como lengua científica, se encuentra en clara expansión a juzgar, entre otros elementos, por el creciente número de revistas en este idioma incluidas en JCR o por la iniciativa de Academic Emergency Medicine, una revista americana del segundo cuartil, de traducir todos sus resúmenes al castellano^15,16.

Pero aparte del idioma, existen otros factores que inciden en el FI. Quizás el principal sea que no todos los documentos publicados por una revista se contabilicen como artículos citables (y por tanto, no todos los artículos publicados figuran en el denominador de la fórmula de cálculo del FI). Esencialmente, y aunque ISI Web of Knowledge no especifica de forma clara los criterios, se consideran artículos citables los originales, las notas clínicas y las revisiones (o los artículos de estructura asimilable a éstos). Ello hace que muchas revistas limiten la cantidad de material que aparece en estas secciones y potencien, en cambio, otros apartados de la revista como las cartas al editor o las secciones de opinión o de actualidad. Volviendo al ejemplo de Anales del Sistema Sanitario de Navarra, la revista publicó un total de 116 artículos en 2010 y 2011, de los que 97 fueron citables (los que se utilizaron para el cálculo del FI de 2012, y que fueron 82 artículos y 15 revisiones) y 19 fueron artículos no citables (14 editoriales y 5 cartas al editor).

Otro aspecto relevante a tener en cuenta del FI es que las citas cuentan todas por igual, independientemente de la revista de la que procedan. Esto hace que el FI no tenga en cuenta la importancia real de una citación, pues parece evidente que esta interpretación que hace el FI no traduce, «a priori», la relevancia real que ha tenido un artículo para la comunidad científica. Algunos indicadores de aparición más reciente que se utilizan también para poner en valor las publicaciones biomédicas han intentado solventar este hándicap. Así, tanto el Eigenfactor promovido por el propio ISI Web of Knowledge⁵, como el Scimago Journal Rank promovido por Elsevier¹⁷ o el índice h-5 utilizado por Google Schoolar¹⁸ tienen en cuenta para sus respectivos cálculos un valor diferencial de la citación en función de la revista en la cual dicha citación se produce. Está fuera del alcance de este editorial entrar en el detalle del cálculo de estos indicadores, pues todos ellos utilizan definiciones y bases y fuentes de datos diferentes. Lo esencial es conocer que, durante esta última década, estos indicadores se han convertido en potenciales competidores del papel hegemónico del FI. Esta lucha por liderar la valoración de las publicaciones biomédicas no es baladí. La fórmula del FI ideada por Garfield está patentada (y por tanto su cálculo y difusión son propiedad exclusiva de ISI Web of Knowledge) y dada la relevancia que este indicador tiene, sus bases de datos son a día de hoy las que de forma preferente adquieren las administraciones y las instituciones de todo el mundo.

Probablemente por esta trayectoria más longeva y por su gran penetración en la comunidad investigadora y académica, el FI es el marcador bibliométrico del que más abuso y mal uso se ha hecho^19,20. Sus principales limitaciones se recogen en la tabla 1²¹. Globalmente, el mal uso procede, esencialmente, de asumir que a un trabajo publicado en una determinada revista se le puede asignar el valor del FI de dicha revista. Y por extensión, estimar la valía de un investigador agregando los FI de las revistas en las que han sido publicados cada uno de sus artículos. Y nada más lejos de la realidad, pues está claro que no todos los artículos publicados en una misma revista reciben en el mismo número de citas. El FI es una media. Por eso, el FI no informa realmente sobre el impacto concreto de un trabajo, el cual se valorará mejor con un indicador que tenga en cuenta su número particular de citas. De hecho, se acepta que la mitad de los artículos más citados de una revista se citan 10 veces más que la otra mitad, la de los menos citados. Es pues obvio que un autor puede publicar trabajos en revistas con un FI importante sin que se citen apenas sus contribuciones, y por tanto no puede trasladarse, al menos directamente, el FI de una publicación a sus autores.

 

 

Para solucionar este mal uso del FI, se han propuesto diversos indicadores que aproximen la visibilidad y repercusión de cada investigador en concreto. Uno de los más utilizados es el índice h o de Hirsch, pues fue descrito por Jorge Hirsch en 2005²². Un científico tiene un índice h si, entre todos sus trabajos, tiene h que reciben al menos h citas cada uno. La Tabla 2 muestra un ejemplo de cálculo. El índice h se puede calcular también para valorar las revistas, las instituciones o los países siguiendo igual criterio.

 

 

El índice h pretende soslayar algunos de las limitaciones que presenta el FI a la hora de valorar la valía investigadora de un profesional. Por un lado, su valor depende de las citaciones de los artículos publicados por un autor, y no de las citaciones recibidas por la revista donde ha publicado. Además, también permite acercar más el valor absoluto del indicador en el caso de investigadores de una valía similar pero que trabajan en campos cuyas revistas tienen FI muy diferentes. La principal ventaja del índice h es que combina en un solo indicador una medida de la cantidad y otra del impacto de la producción.

Sin embargo, el índice h no está exento de ciertas limitaciones que conviene tener presente ante su progresiva penetración en los ámbitos investigadores y académicos como herramienta de evaluación de currículos investigadores. La tabla 3 resume las principales²¹. El rendimiento final en investigación no depende sólo de la valía propia del investigador, sino también de otros factores como el tamaño y la calidad del grupo en el que realiza su actividad, la pertenencia a redes multicéntricas de investigación, la especialidad o campo en los que desarrolla esta investigación o si ésta es básica o clínica^23-28. Ello hace que existan variaciones importantes entre distintas disciplinas de la medicina²⁹. Así, investigadores que trabajan en áreas donde existen mucha actividad e investigadores tienen tendencia a producir más documentos, generar más citaciones y disponer de más revistas y mejor posicionadas (FI) que aquellos investigadores que desarrollan su labor en áreas del conocimiento más restringidas³⁰. Otro dato importante a tener en cuenta es que existe una relación entre la experiencia del investigador y su producción y repercusión. Como producción y repercusión son los dos aspectos que valora el índice h, es lógico que este índice favorezca a los investigadores con trayectorias más dilatadas.

 

 

Recientemente, han aparecido estudios en los que se ha valorado el comportamiento evolutivo a lo largo del tiempo del índice h de investigadores individuales^31,32. Estos estudios han permitido dibujar curvas de crecimiento a lo largo del tiempo que muestran comportamientos relativamente homogéneos entre investigadores pertenecientes a un mismo nicho, lo cual permite definir de forma global estas trayectorias científicas mediante modelos matemáticos. Estos modelos pueden tener dos ventajas respecto a la valoración del índice h en un momento particular de la carrera investigadora. Por un lado, permite conocer si un investigador que trabaja en una determinada área tiene el rendimiento que es esperable. Por otro lado, puede permitir predecir el rendimiento futuro de un investigador en función de su curva personal de crecimiento. Esto, de confirmarse, permitiría soslayar la dificultad que supone comparar a dos investigadores del mismo campo pero con diferentes años de experiencia.

Por último, cabe destacar que, a diferencia del FI que tiene un valor único porque solamente es calculado y publicado por JCR, el índice h puede tener diferentes valores en función de qué empresa lo haya calculado y qué repertorios de revistas y fuentes haya hecho servir para contabilizar las citaciones. Por ejemplo, tanto ISI Web of Knowledge como Google Scholar publican índices h de investigadores, y sistemáticamente los publicados por esta última empresa son superiores debido a que las fuentes que consulta son más extensas. Además, y también a diferencia del FI que es un valor único para todo un año, el índice h tiene un comportamiento más dinámico pues puede ir cambiando mes a mes, semana a semana, en función de cómo van apareciendo las citaciones a los artículos de un autor. Por tanto, estos dos aspectos serán importantes a la hora de considerar la magnitud del índice h de un determinado autor.

En definitiva, parece claro que ni el FI ni el índice h, sin otros parámetros que los ponderen o contextualicen, sirvan para valorar con precisión la calidad global de una publicación o la valía de un investigador, respectivamente. En el momento actual están surgiendo toda una serie de nuevos indicadores que compiten con ellos por la quimera de encerrar, en una sola cifra, tal calidad o valía^33,34. La investigación que se lleva a cabo en este campo de los indicadores científicos también es creciente, en gran parte favorecido por la enorme potencia de los aplicativos informáticos bibliométricos actuales y por la fácil y rápida accesibilidad a la ingente información recogida en las bases de datos electrónicas. Pero mientras este indicador «mágico» no llegue, deberán tenerse muy en cuenta las limitaciones que tanto el FI como el índice h, a pesar de ser los más utilizados y aceptados en la actualidad, tienen.

 

Bibliografía

1. Garfield E. Citation indexes to science: a new dimension in documentation through association of ideas. Science 1955; 122: 108-111.         [ Links ]

2. Miró Ò. El nuevo factor de impacto de EMERGENCIAS. Emergencias 2012; 24: 262-264.         [ Links ]

3. Alonso G, Escudero JM. The emergency department short stay unit and the hospital at home as alternatives to standard inpatient hospitalisation. An Sist Sanit Navar 2010; 33 (Supl. 1): 97-106.         [ Links ]

4. Sesma J, Miró Ò. Urgency and emergency care: at the service of the citizen. An Sist Sanit Navar 2010; 33 (Supl.1): 5-6.         [ Links ]

5. ISI Web of Knowledge. Journal Citation Reports. Accedido el 16/09/2013. Disponible en: http://admin-apps.webofknowledge.com/JCR/JCR?SID= V1j5PNypODildJO6bgx.         [ Links ]

6. Miró Ò. 3,085. Emergencias 2011; 23: 261-263.         [ Links ]

7. Martín-Sánchez FJ, Miró Ò. Algunas reflexiones acerca del proceso de revisión de los trabajos enviados a EMERGENCIAS. Emergencias 2012; 24: 81-83.         [ Links ]

8. Miró Ò. Emergencias: citius, altius, fortius. Emergencias 2012; 24: 1-2.         [ Links ]

9. Burillo-Putze G, Miró Ò. Emergencias en la red. Emergencias 2011; 23: 81-82.         [ Links ]

10. Miró Ò, Burillo-Putze G. Research in emergency medicine in Europe. Eur J Emerg Med 2012; 19: 63-68.         [ Links ]

11. Julián-Jiménez A, Miró Ò. La opinión de los lectores de Emergencias. Emergencias 2011; 23: 341-343.         [ Links ]

12. Graham C. Impact factor, change and academic emergency medicine. Eur J Emerg Med 2009; 16: 169.         [ Links ]

13. Miró Ò, Valcárcel De La Iglesia MA, Cremades Pallas RM, Burillo-Putze G, Julián Jiménez A, Martín-Sánchez FJ. Producción científica de los urgenciólogos españoles durante el quinquenio 2005-2009 y comparación con el quinquenio 2000-2004. Emergencias 2012; 24: 164-174.         [ Links ]

14. Cremades Pallas R, Burbano P, Valcárcel de la Iglesia MA, Burillo-Putze G, Martín-Sánchez FJ, Miró Ò. Impacto de la inclusión de artículos escritos en inglés en revistas biomédicas españolas de edición multilingüe. An Sist Sanit Navar 2013; 36: 467-470.         [ Links ]

15. Miró Ò, Martín-Sánchez FJ, Cone DC. La lengua española en la Medicina de Urgencias y Emergencias norteamericana. Emergencias 2012; 24: 341-342.         [ Links ]

16. Cone DC, Miró Ò, Javier Martín-Sánchez F. Launching Spanish abstracts. Acad Emerg Med 2012; 19: E1085.         [ Links ]

17. SJR. SCImago Journal & Country Rank. Accedido el 16/09/2013. Disponible en: http://www.scimagojr.com/journalrank.php.         [ Links ]

18. Google Scholar. Top Publications-Spanish. Accedido el 16/09/2013. Disponible en: http://scholar.google.es/citations?view_op=top_venues&hl=en&vq=es.         [ Links ]

19. Pendlebury DA. The use and misuse of journal metrics and other citation indicators. Arch Immunol Ther Exp (Warsz) 2009; 57: 1-11.         [ Links ]

20. Kumar V, Upadhyay S, Medhi B. Impact of the impact factor in biomedical research: its use and misuse. Singapore Med J 2009; 50: 752-755.         [ Links ]

21. Miró Ò. Medir y evaluar los resultados de la investigación. En: Miro Ò. Manual básico para el urgenciólogo investigador. De la idea original a la publicación final. Barcelona 2013: Editorial Ergon, pp. 317-235.         [ Links ]

22. Hirsch JE. An index to quantify an individual´s scientific research output. Proc Nat Acad Sci 2005; 102: 16569-16572.         [ Links ]

23. Mintegi S. Investigación en urgencias pediátricas. La red de investigación de la Sociedad Española de Urgencias de Pediatría. Emergencias 2012; 24: 238-240.         [ Links ]

24. Salgado J, Páez D. La productividad científica y el índice h de Hirsch de la Psicología Social española. Convergencia entre indicadores de productividad y comparación con otras áreas. Psicothema 2007; 19: 179-189.         [ Links ]

25. Vianney Pons JM, Rodés J, Andreu A, Arenas J. La olvidada investigación clínica. Med Clin (Barc) 2013; en prensa. Disponible en http://dx.doi.org/10.1016/j.medcli.2012.10.011.         [ Links ]

26. González de Dios J, Mateos Hernández MA, González Casado I. Factor de impacto internacional, nacional y por especialidades: en busca del mejor indicador bibliométrico. Rev Esp Pediatr 1998; 54: 430-436.         [ Links ]

27. Piñera Salmerón P. La investigación en red en Medicina de Urgencias y Emergencias. Emergencias 2012; 24: 234-237.         [ Links ]

28. Palacios Ceña D, Morillo Rodríguez J, Pileño Martínez E. Enfermería de urgencias (2): investigación cualitativa en emergencias, diseño y áreas de aplicación. Emergencias 2012; 24: 410-413.         [ Links ]

29. Grupo Scimago. «El índice h de Hirsch: su aplicación a algunos de los científicos españoles más destacados». El profesional de la información 2007; 16: 47-49.         [ Links ]

30. Imperial J, Rodríguez-Navarro A. Utilidad del índice h de Hirsch para evaluar la investigación en España, Universidad Politécnica de Madrid, 2005 (consultado 15/11/2012). Disponible en: http://www.bit.etsia.upm.es/Imperial_Rodriguez-Navarro.Pdf.         [ Links ]

31. Burbano P, Martín-Sánchez FJ, Burillo-Putze G, Fernández Pérez C, Del Prado González N, Miró Ò. Producción y repercusión científica de un grupo de urgenciólogos españoles seleccionados por su trayectoria investigadora. Emergencias 2013; 25: 245-254.         [ Links ]

32. De Luca LA, St John A, Stolz U, Matheson L, Simpson A, Denninghoff KR. The distribution of the H-index among academic emergency physicians in the United States. Acad Emerg Med 2013; in press.         [ Links ]

33. Gregori Júnior F, Godoy MF, Gregori FF. Proposal of an individual scientometric index with emphasis on ponderation of the effective contribution of the first author: h-fac índex. Rev Bras Cir Cardiovasc 2012; 27: 370-376.         [ Links ]

34. Pagel PS, Hudetz JA. An analysis of scholarly productivity in United States academic anaesthesiologists by citation bibliometrics. Anaesthesia 2011; 66: 873-888.         [ Links ]

 

 

Dirección para correspondencia:
Òscar Miró
Área de Urgencias
Hospital Clínic
Villarroel 170
08036 Barcelona
E-mail: omiro@clinic.cat