The selection of scientific literature in the biomedical field: the impact factor

Evaristo Jiménez-Contreras.

Dpto. de Biblioteconomía y Documentación. Universidad de Granada. Granada

Correspondencia: ]]> Evaristo Jiménez Contreras
Dpto. de Biblioteconomía y Documentación
Universidad de Granada
Granada-18071
e-mail: evaristo@ugr.es

Durante décadas, incluso siglos, los investigadores han accedido a la información científica que les interesaba mediante el acceso directo a las fuentes primarias: libros y especialmente revistas científicas de sus respectivas especialidades, a las que generalmente estaban suscritos ellos personalmente o bien sus instituciones. Sin embargo, el crecimiento continuo y acelerado de la información científica terminó por desbordar esta capacidad de mantenerse informado por medios más o menos artesanales, dando paso, sobre todo durante la segunda mitad del siglo XX, a una nueva etapa caracterizada por el uso generalizado de lo que en la jerga documental se denomina fuentes de información secundarias, especialmente las bases de datos científicas, que actuaban en dos sentidos, permitían coleccionar ingentes cantidades de información, sobre todo referida al contenido de revistas científicas, y permitían además, mediante herramientas de consulta, seleccionar los documentos pertinentes a los intereses de cada científico. Estas bases de datos se distribuyeron primero en papel, más tarde "on-line" o sobre soportes electrónicos portátiles como diskettes o CD-ROMs y finalmente a través de Internet.

Las nuevas tecnologías han revolucionado el acceso a la información científica, multiplicando el número de bases de datos, aumentando su contenido y poniendo, en general, cada vez más información al alcance de los investigadores por procedimientos, además, cada vez más cómodos (especialmente gracias al acceso a través de Internet) y más potentes desde el punto de vista de la recuperación de los contenidos.

Desde la perspectiva de los científicos y profesionales de alta cualificación (aunque no sean investigadores profesionales a tiempo completo, por ejemplo, médicos, químicos, ingenieros, etc) que buscan información científicamente contrastada, las bases de datos son una fuente de información imprescindible pero éstas pueden tener vocaciones diferentes según pretendan controlar la literatura internacional o solo la nacional, y en función del grado de exhaustividad que persigan en su control de la producción científica. Desde estos puntos de vista, pueden ser diferenciadas de acuerdo con la tabla 1.

Las bases de datos, en suma se han multiplicado, el acceso a la información se ha facilitado, pero la capacidad de lectura de los investigadores ha permanecido básicamente constante, e, incluso organizándose en equipos, su capacidad para procesar esta ingente cantidad de información no excede de unos cientos de trabajos al año en el mejor de los casos.

Por otra parte, ya desde hace años, los organismos públicos con responsabilidades científicas, han mostrado una preocupación creciente por disponer de información, tanto acerca de la ciencia que producen como acerca de la mejor manera de optimizar el rendimiento de los recursos económicos y de todo tipo que destinan a la misma; lo que se ha traducido en un creciente control sobre los resultados de sus actividades y acerca del entorno en el que se producen, manejando variables como recursos humanos, económicos, etc.

Se ha producido así una convergencia entre los intereses de los investigadores preocupados en disponer de información actualizada sobre la investigación que se genera en su especialidad y la administración interesada en esa misma información aunque con propósitos relacionado con la Política científica. Por esta razón algunas de las herramientas desarrolladas con propósitos documentales y de recuperación de información se han aplicado también de forma creciente a propósitos descriptivos y evaluadores; ejemplos de ello, en el caso de la medicina, son Medline o las bases de datos multisiciplinares del ISI.

Nótese que en este apartado definido por los intereses evaluadores son las bases de datos internacionales las más utilizadas y valoradas, mientras que las nacionales a duras penas son tenidas en cuenta.

Centrándonos en el ámbito de la Medicina, el instrumento de control de la producción habitualmente empleado por los estudios bibliométricos, especialmente en España, ha sido y es la base de datos del SCI y la metodología más empleada es la clasificación de los registros a través de sus direcciones y la descripción en términos estadísticos más o menos sencillos de los resultados. Aunque para la localización de información y para abarcar de forma más exhaustiva la producción científica en Ciencias de la Salud, la base de datos más idónea es Medline. La razones de esta discrepancia se verán cuando comentemos las características de una y otra.

El prestigio y autoridad que se asocian a esas bases de datos y que explican que sean éstas y no otras las empleadas con propósitos tanto de recuperación de información como evaluadores tiene que ver esencialmente con los criterios de selección de las revistas que indizan, es decir con la idea asumida por los investigadores de que en estas bases de datos no está toda la información científica, sino aquella que realmente importa, y por tanto la que hay que conocer habida cuenta de la escasez de tiempo disponible. Esta es una de las nociones clave que explican la importancia adquirida por las bases de datos e instrumentos como el factor de impacto asociadas a alguna de ellas. La idea de que no sólo localizan la información pertinente sino que además actúan como un filtro frente a la avalancha de publicaciones a la que deben enfrentarse los investigadores

Dedicaremos las siguientes líneas a una rápida descripción de estas bases de datos, desde este punto de vista.

MEDLINE

De la misma manera que existe una nutrida cantidad de bibliografía sobre las normas que afectan a las publicaciones periódicas (Delgado 97), también las bases de datos ha desarrollado su propia sistemática. En este terreno probablemente ninguna institución ha ido tan lejos a la hora de refinar y reflexionar sobre sus criterios, como lo ha hecho Medline; del mismo modo que ninguna especialidad científica se ha preocupado tanto como la Medicina de plantearse los criterios sobre como mejorar y controlar los procesos de producción y transferencia de la investigación. El NIH ha sido igualmente pionero en lo que concierne a la transparencia con la que se declaran su metodología de selección. El estudio de la misma puede considerarse una guía para cualquier revista que intente mejorar sus normas de gestión editorial.

Evidentemente el objetivo de la selección de las revistas es captar la investigación más importante y descartar el resto, pero, ¿cómo se define lo que es importante, la calidad de la investigación?, los criterios definidos por Medline son muy precisos en este punto y diferencian varios aspectos, de la suma de los cuales se puede deducir la calidad de la revista y por ende de la investigación publicada en ella:

Calidad de los contenidos: Es el más importante (y también el más huidizo de los mismos). Por calidad, se entiende: validez, importancia, originalidad y contribución a la cobertura del campo. Estos aspectos, quedan a juicio de los especialistas de los comités de selección.

Calidad editorial, en este punto las indicaciones son más abundantes y precisas, la revista debe aportar evidencias sobre la forma en que contribuye a mejorar la credibilidad y objetividad de sus contenidos, lo que incluye información sobre:

• Métodos de selección de artículos.
• Peer-review.
• Adhesión a directrices éticas.
• Instrucciones a autores. ]]> • Actualidad de las referencias.
• Actividad de los autores y editores (se valoran el patronazgo de sociedades profesionales).
• Evidencias sobre las declaraciones de conflictos de intereses.
• Puntualidad.
• Corrección de errores en tiempo.
• Retracciones.
• Cauce a opiniones divergentes.
• La publicidad y patronazgo no deben cuestionar la independencia Se entiende en todo momento que la revista no sólo debe tener un método de selección o un procedimiento de revisión, sino que debe dar puntual información sobre el mismo y demostrar que lo cumple estrictamente (piénsese por ejemplo en la puntualidad).

La calidad de la producción gráfica, layout, calidad de gráficos e imágenes, incluyendo recomendaciones tan específicas como el uso del papel libre de ácido.

También se establece una jerarquía en cuanto al interés de la investigación, dicho orden es el siguiente:

1. Artículos de investigación original.
2. Observaciones clínicas originales acompañadas por análisis y discusión.
3. Estudios sobre aspectos filosóficos, éticos o sociales de la salud o las ciencias biomédicas.
4. Revisiones críticas.
5. Compilaciones estadísticas.
6. Descripciones de evaluaciones de métodos o procedimientos.
7. Estudios de casos con discusión No se consideran, reimpresiones, traducciones ni lo que podríamos llamar "crónica social".

Es interesante advertir en este repaso a los criterios que no se considera al factor lingüístico. La base de datos declara expresamente estar abierta a revistas de otros ámbitos geográficos y añade "las mejores revistas y las más útiles se seleccionan sin atender a su procedencia". Se presta especial atención a " Salud Pública, Epidemiología, normas relacionadas con el cuidado de la salud y con las enfermedades indígenas", mientras que se evita la duplicación de revistas con temáticas suficientemente cubiertas por la base de datos. A efectos prácticos, es claro, desde la perspectiva de las revistas del ámbito cultural latino americano, que las revistas dedicadas a los temas mencionados como la medicina tropical, tienen un interés para esta base de datos muy superior a las demás.

La mecánica de la selección de revistas corresponde finalmente a un comité, Literature serials technical review comittee, que procesa cada año más de 400 títulos de los que son aceptados para incorporarse a la base de datos, alrededor del 20%.

La otra gran base de datos de referencia en Medicina es el índice de citas producido por la empresa ISI-Thompson, integrado en el conjunto del Web of Knowledge y denominado Web of Science (WOS). EL WOS no es en realidad una base de datos de biomedicina, sino de carácter general, aunque, eso sí, con un fuerte escoramiento hacia las ciencias básicas y hacia la medicina en particular; esto, unido a sus posibilidades para buscar no sólo los trabajos producidos sino también las citas recibidas por éstos la han convertido en otro de los instrumentos habituales de los investigadores (médicos o no).

A diferencia de Medline , el WOS depende de una empresa particular, y su acceso está supeditado al pago del canon correspondiente, lo que lo deja fuera de las posibilidades de muchos investigadores vinculados a empresas o incluso países que no pueden asumir dichos costes. La información recogida en el WOS es similar a la de Medline pero presenta algunos aspectos particulares que conviene subrayar:

• Al ser una base de datos multidisciplinar es menos exhaustivas en la mayoría de las especialidades, pero es muy recomendable para las especialidades médicas fronterizas con otros ámbitos de conocimiento y cubre además revistas que no siendo estrictamente médicas pueden recibir de forma más o menos ocasional artículos médicos o con aplicaciones potenciales a la Medicina. Por otro lado en cuanto a cobertura sus sesgo es claramente hacia la medicina básica, especialmente en especialidades como las Neurociencias, Biología celular, Farmacología.

• Como decíamos, recoge las citas de los trabajos, es decir, se puede calibrar la importancia de un trabajo de investigación a través del eco que ha despertado en la comunidad científica correspondiente.

• Es una base de datos que recoge exhaustivamente los contenidos de las revistas, como Medline, pero además recoge también exhaustivamente las adscripciones institucionales de los autores, cosa que no hace Medline, por lo que resulta imprescindible para estudio referidos a la actividad científica.

La pretensión de esta base es igualmente la de ser selectiva en su recogida de información. Como su fundador ha declarado repetidamente, la Ciencia Mundial se concentra, en realidad, en muy pocas revistas, apenas unos cientos, que acumulan la mayor parte de los trabajos importantes y la mayor parte de las citas; el WOS se supone que controla e indiza ese pequeño grupo y varios miles de revistas más, igualmente importantes. La cuestión estriba, como en el caso de Medline, en conocer cuales son los medios que emplea para detectar ese conjunto. Sus criterios en este punto son sorprendentemente similares a los de Medline, excepto en lo que concierne a las citas. La calidad de las revistas se determina a partir de la observación de tres aspectos:

• La calidad editorial global. Existen un conjunto de normas de carácter general relativas al cumplimiento de normativas internacionales sobre la edición científica, que vienen a ser las mismas que aplica Medline en sus criterios sobre la calidad editorial. WOS hace un especial hincapié en la puntualidad de la publicación y en que la información bibliográfica que acompañan a los trabajos esté en lengua inglesa. Por otro lado, la acreditación de que aplica la revisión por parte de expertos externos para la evaluación de los trabajos remitidos a las revistas es otro de los puntos considerados cruciales.

]]> • La calidad científica, es como en el caso de Medline, evaluada mediante expertos. Si se trata de revistas de nueva creación lo que se valora son las trayectorias profesionales e investigadores de los miembros que integran los equipos editoriales de la misma

• El último aspecto considerado, vinculado directamente a la investigación, es el impacto de lo publicado, o en su defecto de lo publicado por los responsables de la misma. Aunque se declara que dicha valoración no es meramente mecánica y debe realizarse con cautela, aludiendo directamente a las particularidades, ampliamente descritas en la literatura, que arrastran los análisis de citas. En el caso de las revistas que ya cuentan con un FI este es igualmente tenido en cuenta para decidir su continuidad o no.

Un criterio propio de ISI es el carácter internacional de la revista que vendría determinado por la composición de sus equipos y por la procedencia de sus autores, obviamente este carácter internacional se considera un valor añadido de la revista.

En cualquier caso la orientación general de las recomendaciones, como puede verse, coincide bastante con las de la base de datos anterior.

ISI-Thompson analiza alrededor de 2000 revistas años, incluyendo revistas ya incluidas anteriormente, las incorporaciones son inferiores al 10%, aunque hay que añadir que la puesta en funcionamiento del WOS supuso para la mayoría de los usuarios pasar de la noche a la mañana, de una versión en CD-ROM que recogía 3500 revistas a una versión que recoge alrededor de 8000

Hay un punto en el que ambas bases de datos vuelven a coincidir y que tiene que ver, ante la posibilidad de incluir un nuevo título, con la contestación a la siguiente pregunta, ¿necesitamos esta revista en la base de datos?, ¿ofrece algo nuevo?, desde esta perspectiva las especialidades emergentes, o como decíamos antes las revistas dedicadas a temas muy específicos, pueden tener una oportunidad superior a las enfocadas a temas tradicionales normalmente ya bien cubiertos en las bases de datos.

EMBASE

La otra gran base de datos médica es Embase, aunque no alcanza en absoluto la repercusión de los anteriores ni tiene, al menos en el ámbito latino americano, el mismo nivel de reconocimiento. Embase presenta, sin embargo, alguna característica digna de mención. En primer lugar, incorpora también, monografías seriadas y actas de congresos, que no son considerados en los casos anteriores. La otra peculiaridad es que la indización no es siempre exhaustiva, hay títulos parcialmente recogidos. Una parte importante de los artículos disponen de acceso fulltext.

En cualquier caso los criterios de Embase son muy similares, aunque con un menor grado de especificación, a los de ISI y Medline, excepto porque declaran expresamente estar preocupados por cubrir las revistas procedentes de regiones menos cubiertas por las otras bases de datos.

COBERTURA DE LAS BASES DE DATOS

Aunque la posición de España resulta claramente dominante en estos cuadros, conviene recordar su situación en cuanto a recursos, renta per capita, etc. Amen de su ubicación en el primer mundo. Aún así, en términos porcentuales, representa menos del 1% del total de las revistas de Medline y apenas el 0,5% del ISI, pese a que su aportación global a Ciencia Mundial ronda el 3%. De forma que es evidente la sub-representación de el ámbito Íbero-americano en las bases de datos internacionales, otra cosa es discutir las causas que explican esta situación, empeño que excede ampliamente estas páginas.

BASES DE DATOS NACIONALES IBECS, LILACS

Las bases de datos nacionales como es, en el caso de España, el Índice Bibliográfico español en Ciencias de la Salud, siguen una filosofía distinta, en la que el acento no se pone tanto en la selección, ya que entonces no pasarían de ser meras repeticiones en pequeño de las bases de datos anteriores, sino que ponen el valor añadido en la mayor exhaustividad de la cobertura. En el caso de la base de datos española se indizan 146 revistas, frente a las 46 de Medline, mientras que LILACS recoge 640 de toda la América Latina y Caribe.

La orientación global de los criterios en estos casos es prácticamente idéntica a los de la base de datos Medline, hasta el punto de que en el caso de la base de datos de Medicina de América latina, LILACS (que no es estrictamente una base nacional sino más bien un proyecto corporativo amparado por la OMS, pero que claramente se adscribe a la filosofía de controlar la producción científica de los países latinoamericano de forma colectiva), la normativa es apenas traducción de las normas Medline al castellano (y al portugués), incluso con un desarrollo todavía más meticuloso de la misma, aunque con un nivel de exigencia adaptado a las capacidades de los respectivos países, lo que se traduce en el establecimiento de unos umbrales mínimos de cumplimiento no excesivamente exigentes, por ejemplo, la revista debe cumplir al menos cuatro años de vida antes de ser evaluada y se recomienda una periodicidad no inferior a la trimestral.

Esta actitud seguidista, que llega al extremo de aceptar automáticamente a cualquier revista que esté indizada en Medline, SCI o PsycInfo, no debe ser valorada negativamente, al contrario, estas bases de datos han demostrado un agudo conocimiento de la realidad científica actual al seguir esta política que favorece la integración científica de nuestras revistas y la larga redundará en una mejora de sus contenidos.

La distribución de las revistas por países es la que se puede ver en la figura 3

Es fácil ver que la representación de los distintos países no es sólo una reproducción fiel de los tamaños de sus respectivas comunidades científicas, sino también del grado de implicación mayor o menor de las mismas lo que explica la infra-representación de México.

SCIELO

Scientific Electronic Library Online (SciELO) es, podríamos decir, una nueva generación en el mundo de las bases de datos. Nacida en 1997 bajo los auspicios de la OMS, combina las prestaciones tradicionales de recuperación de información de un conjunto de publicaciones seriadas, con el acceso al texto completo de las mismas, la exportación de metadatos a otras bases de datos (para la elaboración de bibliografías personales, por ejemplo), y contiene además enlaces dinámicos a las bases de datos mencionadas anteriormente. Por último, genera automáticamente indicadores de uso e impacto, sobre los volveremos más adelante. (Fig.4)

SciELO rebasa por tanto ampliamente el concepto tradicional de base de datos y, aprovechando las posibilidades de Internet avanza por el camino hacia el que se dirigen las últimas iniciativas en el terreno de la información científica, el suministro integral de información científica desde el documento primario hasta las estadísticas globales de consumo de información, en una red que abarca además a las bases de datos tradicionales.

Se trata de un repertorio de revistas científicas multidisciplinar (aunque la vertiente médica es la dominante) cuyo partenaire principal es la Bibilioteca regional de medicina de Brasil (BIREME), lo que explica el sesgo a favor de este país del que adolece la composición de las revistas que oferta, y cuya distribución se puede ver en la tabla 2.

En líneas generales los desajustes en la representación, y en ese sentido la eventual falta de representatividad de las bases de datos nacionales, tiene siempre el mismo origen, al menos en lo que atañe al mundo íbero-americano, se trata siempre de iniciativas públicas cooperativas que dependen de la voluntad y el grado de implicación de los participantes. Así por ejemplo, mientras que en el caso de SciELO, el principal proveedor de revistas es Brasil, en el caso del catálogo de revistas científicas LATINDEX, cuya sede central está en México, el primer país en número de revistas en el Catálogo es España, pero el segundo es México. En ese sentido, no puede esperarse a corto plazo que la representación de cada uno sea un fiel reflejo de sus capacidades científicas sino más bien de su voluntad política, lo que a la larga afecta a la viabilidad general y fiabilidad del sistema y disminuye su utilidad como fuentes de información con propósitos evaluadores.

LA SELECCIÓN DE LA INFORMACIÓN POR PARTE DE LOS AUTORES

En general, el investigador utiliza dos parámetros a la hora de localizar la información; por una parte recurre a las bases de datos para identificar los trabajos que le interesan, buscando, normalmente a través de términos significativos, y por otra selecciona también los trabajos fijándose en la revista que los ha publicado, en el prestigio y credibilidad de ésta.

Razonamiento similar al que sigue a la hora de publicar su propia investigación: Cercanía temática y prestigio de la publicación. No vamos a hablar ahora de las búsquedas temáticas, sino del otro aspecto, el que tiene que ver con la selección de las fuentes basándose en su impacto, importancia, prestigio, etc.

La medida, internacionalmente aceptada para determinar esta importancia, es el factor de impacto (FI), bien en su versión estándar, la más conocida, o en cualquiera de las muchas adaptaciones que se le han hecho pero que, en definitiva, vienen a medir con ciertos matices la misma realidad, la de las citas que obtienen los trabajos publicados en una determinada revista a lo largo de un cierto período de tiempo.

El factor de Impacto (FI), fue propuesto por E. Garfield (Garfield, 1972, 1999), hace ya más de treinta años y es una sencilla media entre citas y trabajos. La fórmula es esta:

Donde C son las citas en el año n e YP son los años de producción de los trabajos, que correspondería por tanto a los dos años inmediatos anteriores a aquel para el que calcula el FI.

Como decíamos son muchas las variaciones que se utilizan a partir de este concepto básico: secuencias temporales más o menos largas en la recogida de las citas, que darían lugar al "long term impact factor"; conjuntos de años mayores de dos, en lo que se refiere a la recogida de trabajos citables, lo daría lugar a las "citation windows"; selecciones diferentes de los items citables, sólo artículos de investigación, por ejemplo. En realidad se pueden utilizar también agrupaciones de items distintos a los que aparecen publicados en las revistas; se puede hablar así del FIM (factor de impacto medio) de una institución, incluso de un autor, o se puede comparar el FIM promedio de un colectivo cualquiera con el FIM de otras colectivos con los que se relacione, las posibilidades en este sentido son muchas y se utilizan regularmente.

La fórmula para estos casos de combinación de impactos de diversas revistas es la siguiente:

Sin embargo, el FI estándar sigue siendo el más conocido y empleado y se comercializa bajo la denominación de Journal Citation Reports, como parte del Web of Knowledge, al que nos referíamos antes.

De hecho iniciativas encaminadas a hacerle la competencia como el Prestige Factor, que se basaban en variaciones supuestamente más precisas que el anterior para medir el impacto científico, han terminado por cerrar sus puertas sin conseguir desplazarlo de su posición de práctico monopolio (figura 5).

Los JCR calculan anualmente el impacto de 7000. revistas agrupadas en unas 200 categorías, aproximadamente 80 de las cuales son médicas o cercanas a la medicina, lo que da idea del sesgo médico que define a esta base; de hecho, las categorías de Medicina y Ciencias de la Vida son dos de los grupos más sobre-representados en esta base de datos con relación al peso que tendrían en el conjunto de todas las disciplinas de la Ciencia.

Para cada revista se puede obtener, no solo el FI, sino otros muchos indicadores: citas totales, vida media, revistas citantes y citadas de cada una de las revistas analizadas, tendencia del FI, etc.

Tabla de datos suministrados para una revista por los JCR: (Tabla 3)

En los últimos años han surgido distintas iniciativas que replican las posibilidades el FI; señalaremos una de ellas lanzada por el SciELO. En la pagina web de este "site", para las revistas alimentadas desde Brasil (poco más de un centenar), es posible obtener la misma información que suministran los JCR, con la posibilidad añadida de obtener además los FI de impacto de las revistas a tres años, en lugar de los dos usuales; incluso se puede descender al nivel de fascículos, o artículos por revista, para conocer las citas promedio. Si bien es verdad que al tratarse de medias, el problema fundamental del que se acusa a los FIs, es decir que la distribución de las citas no es estadísticamente normal no queda paliado por este tipo de recuentos.

Sea como sea, el gran problema de analizar los impactos en SciELO, estriba en el escaso impacto de las revistas reunidas. Frente a los impactos que se pueden localizar en el JCR, que en algunas áreas rondan los 30 puntos, en SciELO, a duras penas llegan a uno, en el caso de las revistas más citadas. Y esto es debido a la peculiar forma que adopta la distribución de las citas en la literatura internacional, que se concentra en muy pocas revistas, las que pertenecen a la "mainstream" de la Ciencia. Sólo en aquellos casos en que se utilizan estas revistas, o las que representan a esta corriente principal en determinadas especialidades, se puede construir un índice de citas que sea significativo.

BIBLIOGRAFIA (consultada)

1. Delgado López Cózar, E. Evaluación y palicación de las normas de presentación de publicaciones periódicas. Revisión bibliográfica. Revista Española de Documentación Científica, 20 (1), 39-60, 1997.         [ Links ]

2. Dirección Medline: http://www.nlm.nih.gov/libserv.html Específicamente sobre la selección de las revistas en Medline, http://www.nlm.nih.gov/pubs/factsheets/jsel.html        [ Links ]

3. Dirección WOK: http://isiwebofknowledge.com/        [ Links ]

4. Específicamente sobre la selección de las revistas en los JCR, http://www.isinet.com/essays/selectionofmaterialforcoverage/199701.html/        [ Links ]

5. Dirección EMBASE: http://www.embase.com/about        [ Links ]

6. Dirección IBECS http://www.isciii.es/bvs        [ Links ]

7. Dirección LILACS: http://www.bireme.br/bvs/E/ebd.htm        [ Links ]

8. Específicamente sobre la selección de las revistas en LILACS: http://www.bireme.br/abd/E/ecrit_Selecao.htm        [ Links ]

9. Dirección SciELO: http://www.scielo.org        [ Links ]

10. Garfield, E. Citation analysis as a tool in journal evaluation. Science, 178:471-479, 1972.         [ Links ]

11. Garfield, E. Journal impact factor: a brief review Canadian Medical Association Journal, 161(8), p.979-80, 1999        [ Links ] ]]> 1 1997 20 1 1 39-60 2 3 4 5 6 7 8 9 10 1972 178 471-479 11 1999 161 8 8 979-80