Evaluación de dos métodos de corrección del Factor de Impacto utilizando la investigación del H.U. "Del rio Hortega" (1999-2007) como fuentes de datos.
Evaluation of two methods for correcting the impact factor using the investigation done at the "Del Río Hortega" University Hospital (1999-2004) as the data source
M. González-Sagrado1,2, D. A. de Luis Román1,2, R. Conde-Vicente1,2, O. Izaola1,2, R. Aller2y J. L. Pérez-Castrillón3
1Unidad de Apoyo a la Investigación. Hospital Universitario "Del Río Hortega". Valladolid. 2Instituto de Endocrinología y Nutrición (IEN). Facultad de Medicina. Universidad de Valladolid. 3Servicio de Medicina Interna. Hospital Universitario "Del Río Hortega". Valladolid. España.
Dirección para correspondencia
]]>
RESUMEN
Fundamento y objetivo: La ponderación del Factor de Impacto (FI) publicado por el Institute for Scientific Information es una estrategia fundamental para mejorar el análisis bibliométrico entre áreas temáticas. Nuestro objetivo ha sido evaluar dos parámetros de corrección (el valor Máximo y la Mediana) utilizando el FI sin corregir como referencia en un modelo de investigación biomédica desarrollada en un Hospital terciario.
Material y método: Se han utilizado las publicaciones del Hospital Universitario "Del Río Hortega" de Valladolid del periodo 1999-2004 como fuente de datos (artículos en MEDLINE). Se analizaron las características de las distribuciones de los FI corregidos por el Máximo (FICORMAX), por la Mediana (FICORMED) y sin corregir (FI), así como las diferencias interanuales e interservicios obtenidas por los tres métodos. Resultados: Las tres series de valores muestran distribuciones no normales con marcada asimetría positiva. La distribución con mayor dispersión corresponde a la corrección por la Mediana (CV% = 357,3%). La corrección por el Máximo aumenta el número de revistas con FI más altos en sus categorías. Las diferencias interanuales son estimadas de forma semejante por los tres métodos. Las diferencias entre áreas temáticas aumentan del 7,3 al 12,4% utilizando la corrección por la mediana.
Conclusiones: La corrección del FI por el valor máximo de cada área temática es el método de ponderación más justo, puesto que premia a las revistas con mayor FI de cada categoría, independientemente de su valor absoluto. Además, al disponerse en una escala de 0 a 1, los resultados obtenidos con FICORMAX proporcionan una información más precisa sobre la posición del valor dentro de la serie temática.
Palabras clave: Bibliometría.
ABSTRACT
Background and objective: To adjust the Impact Factor (IF) provided by the Institute for Scientific Information (ISI) is necessary for improving bibliometric analysis among the various areas of knowledge. Our objective was to evaluate two parameters (the maximum and the median value of each subject area) for IF adjustment using the original (not corrected) IF as the reference method in a tertiary hospital biomedical investigation model.
Material and method: We retrieved articles from Hospital Universitario "Del Río Hortega" from Valladolid (Spain) for the period 1999-2004 as data source. We have describe the characteristics of the followed IF distributions: IF Corrected by the Maximum value (IFCORMAX), IF Corrected by the Median value (IFCORMED) and IF without adjustments (IF). Besides, we have analyzed both the inter-annual and the inter-subject differences obtained by the three methods.
Results: The three analyzed IF series shown not normal distributions that are positively skewed. The IF adjusted by the median showed the highes coefficient of variation (CV = 357.3%). The IF adjusted by the Maximum value increased the "weight" of journals with the highest not corrected IF for each subject category. Inter-annual differences were similarly estimated by the three methods. The IF adjusted by the median increased the inter-subject difference from 7.3% to 12.4%. ]]>
Conclusions: Our results suggests that IF adjusted by the maximum value of each discipline is the best method to correct the ISI-IF values, because journals with the high IF are always rewarded, while IF adjusted by the median infra-estimated most of them.
Key words: Bibliometrics.
Introducción
Uno de los pilares de la gestión de la investigación biomédica, junto al análisis de los recursos, es el estudio bibliométrico de los productos generados por la actividad científica. Este tipo de análisis combina el juicio de expertos y un conjunto de herramientas objetivas, flexibles y reproducibles, que incluyen las bases de datos bibliográficas y los índices bibliométricos1. Aunque no existen guías oficiales ni una norma administrativa uniforme, el acuerdo sobre los productos analizables (artículos científicos), las bases de datos de las que deben ser extraídos (MEDLINE) y los índices cuantitativos asociados a ellos (indicadores de producción y de impacto), puede considerarse suficiente2-4. Sin embargo, la necesidad de un proceso de estandarización que abarque todas las etapas del análisis y garantice la igualdad de las normas es, también, evidente.
La mayoría de los análisis bibliométricos llevados a cabo en nuestro país han sido realizados por categorías temáticas5-7 o referidos a los niveles más altos del sistema sanitario8, 9, donde las limitaciones del Factor de Impacto (FI), creado por Eugene Garfield en 195510 y editado por el Institute for Scientific Information (ISI, hoy Thompson Scientific), desaparecen o se diluyen. Estos estudios han concluido, finalmente, en la publicación del Mapa Bibliométrico de España del periodo 1994-200211, del que existe una versión extensa en la página Web del Instituto de Salud Carlos III (http://www.isciii.es). En dicho informe el Hospital Universitario "Del Río Hortega" (HURH) de Valladolid, aparece en séptimo lugar de la lista de centros de la Comunidad Autónoma de Castilla y León con 136 documentos indexados en el Science Citation Index en ese periodo temporal.
Más allá de la referencia encontrada en informes de este tipo, no existen trabajos bibliométricos sobre la investigación realizada en pequeños o medianos centros como el nuestro, pese a su necesidad. Las razones se encuentran, por una parte, en que el volumen de datos manejado en este nivel del sistema es reducido y, por otra, en la dificultad para utilizar el FI cuando se incluyen datos de categorías temáticas diferentes, como los generados por un hospital constituido, lógicamente, por distintos Servicios y Unidades. El FI, definido como la relación entre las citas bibliográficas que reciben en un año los trabajos publicados los dos años anteriores y el total de artículos publicados por dicha revista durante esos dos años, proporciona una visión parcial del proceso de citación, pero se relaciona indirectamente con la calidad científica de las publicaciones12, por lo que puede ser utilizado en cualquier nivel del sistema, optimizando su uso mediante 1) una indicación e interpretación expertas, y 2) normalizándolo o corrigiéndolo para su aplicación entre áreas13.
El FI de cada revista puede ser corregido dividiéndolo por el FI máximo del área temática a la que pertenece14,15. De modo semejante, la mediana de la distribución de los FI de las revistas de cada área temática puede ser utilizada como elemento corrector, si asumimos que dicha distribución tiene un carácter no normal16. Estrategias equivalentes a la utilización de la mediana, como por ejemplo el porcentaje de artículos situados por debajo del percentil 10 de la distribución del área temática en estudio, también han sido propuestas. Sin embargo, ninguno de estos supuestos ha sido evaluado hasta el momento en biomedicina.
Nuestro objetivo ha sido evaluar dos métodos de corrección del Factor de Impacto (corrección por el valor Máximo y por la Mediana del área temática de cada revista) utilizando el FI sin corregir como parámetro de referencia y las publicaciones de autores vinculados al Hospital Universitario "Del Río Hortega" de Valladolid en el periodo 1999-2004 como fuente de los datos.
]]> Material y método
Protocolo bibliométrico
Todas las publicaciones biomédicas en revistas nacionales e internacionales del periodo 1999-2004, entre cuyos autores figuraba al menos 1 profesional sanitario vinculado laboralmente al Hospital Universitario "Del Río Hortega" (HURH) de Valladolid en algún momento de su realización, fueron recuperadas de la Base de datos MEDLINE (acceso PubMed en http://www.ncbi.nlm.nih.gov/entrez/query.fcgi) mediante un Protocolo Bibliométrico desarrollado por la Unidad de Apoyo a la Investigación del Centro para la confección de las Memorias Anuales de Investigación (documento no publicado: González-Sagrado M, De Luis Román DA. Desarrollo y validación de un protocolo Bibliométrico para la evaluación de la actividad investigadora del Hospital Universitario "Del Río Hortega" de Valladolid Proyecto de investigación en materia de Gestión Sanitaria, Consejería de Sanidad, Junta de Castilla y León, 2005. Disponible en: http://www.sanidad.jcyl.es/sanidad/cm/profesionales).
Los indicadores en estudio fueron analizados globalmente y tras estratificación por años, servicios y en función del origen (HURH u otros centros) del primer autor del artículo. Los indicadores de producción (Número de Artículos indexados en MEDLINE, NAM) se calcularon como frecuencias absolutas y relativas (porcentajes). En cuanto a los indicadores de impacto sin corregir, se utilizó el FI esperado de cada documento (es decir, el FI de su revista de publicación en el año en que se publicó dicho documento), que fue extraído del Journal Citation Reports (JCR) correspondiente a cada año (acceso on-line en la ISI Web of Knowledge de Thompson Scientific, a través del servidor http://www.accesowok.fecyt.es). El FI Total (FIT) fue calculado como el sumatorio de los FI de todos los documentos analizados y el FI Medio (FIM) fue calculado dividiendo el FIT por el número de documentos.
Por otra parte, se obtuvieron el FI máximo y el FI mediano de cada área temática y año, y se calcularon, a continuación, los FI corregidos. El FI mediano es informado específicamente en los JCR on-line de 2003 y siguientes, mientras que los valores anteriores a esa fecha y los FI máximos son obtenidos por el usuario ordenando de forma decreciente los FI de las revistas incluidas en cada área temática. El FI corregido por el Máximo (FICORMAX) se definió como el FI de cada revista dividido por el FI máximo de su área. El FI corregido por la Mediana (FICORMED) se definió como el FI de cada revista dividido por la Mediana de la distribución de los FI de su área temática. Finalmente, fueron calculados los índices derivados correspondientes (FIT-CORMED y FIM-CORMED, FITCORMAX y FIM-CORMAX, respectivamente). Las publicaciones incluidas por el JCR en varias áreas temáticas fueron adjudicadas a la categoría más cercana al Primer Autor del texto, siguiendo la norma desarrollada en nuestro Protocolo bibliométrico.
Base de datos y análisis estadístico
Los artículos incluidos en el estudio fueron recogidos y analizados en una base de datos creada con el programa SPSS 11.0 (SPSS Inc.®). El análisis descriptivo de las variables en estudio (FI sin corregir, FICORMED y FICORMAX) incluyó la media (desviación estándar, DE) y la mediana (rango). La dispersión de las distribuciones fue estudiada mediante el Coeficiente de Variación (CV%). El crecimiento interanual del FIT se calculó como la diferencia porcentual (positiva o negativa) del FIT de cada año con respecto al anterior. La aplicación de los tres métodos de medida en distintas áreas temática se estudió a través de la actividad de dos Servicios (A y B) del Hospital Universitario "Del Río Hortega". El carácter normal de las distribuciones fue determinado mediante la prueba de Kolmogorov-Smirnov. Para los diferentes análisis inferenciales se utilizaron las pruebas estadísticas requeridas por las condiciones de aplicación (rho de Spearman, U de Mann-Whitney). El nivel de significación estadística fue p < 0,05.
Resultados
Variables en estudio
]]> En los 381 artículos analizados en este estudio el FI no corregido presenta una media de 1,664 ± 4,310 con una mediana de 0,750 (0,000-38,570). Por su parte, los FI corregidos (FICORMED y FOCORMAX) muestran una media de 1,578 ± 5,640 y de 0,134 ± 0,207, respectivamente, y una mediana de 0,565 (0,000-56,273) y de 0,030 (0,000-1,000), respectivamente.Las tres series de valores demuestran distribuciones no normales según la prueba de Kolmogorov-Smirnov, tanto cuando se analizan globalmente (1999-2004, N = 381), como cuando se exploran en cada uno de los años del periodo en estudio (tamaños muestrales que oscilan entre los 48 y los 85 artículos de los años 2000 y 2004, respectivamente), excepto en el caso del FICORMED-1999 (N = 49; p = 0,095). Todas ellas, además, se caracterizan por una asimetría marcadamente positiva, con numerosos valores bajos (iguales y cercanos a cero), frente a valores elevados muy poco frecuentes. Finalmente, la dispersión es elevada en los tres casos, pero resulta mayor para el FICORMED (CV: 357,3%) que para el FICORMAX (CV: 154,5%), en tanto que la del FI sin corregir se sitúa en un punto intermedio.
Por otra parte, la correlación de Spearman demuestra asociación entre las tres variables (p < 0,001 en todos los casos) con coeficientes de correlación superiores a 0,9, siempre más altos en la relación FI-FICORMED que en la relación FI-FICORMAX (tabla I). Los gráficos de dispersión correspondientes a estas relaciones aparecen en las figuras 1 y 2. En el primer caso, el análisis visual de la nube de puntos demuestra que el FI corregido por la mediana (FICORMED) supraestima los artículos con FI muy alto (solamente 6 casos), mientras que infraestima los artículos con FI intermedio-bajo (fig. 1). Por el contrario, el FI corregido por el máximo (FICORMAX) supraestima los artículos con FI intermedios-bajos, de forma que muchos de ellos se consolidan como máximos tras la ponderación (ver área oval en la figura 2).
Diferencias interanuales
Las cifras de crecimiento interanual del FIT (tabla II) siguen, en general, la misma dirección (positiva o negativa) con los 3 métodos de cálculo, siendo mayores para el FICORMED. Las discordancias observadas son 2 de 10 en el caso del FICORMED y 3 de 10 en el del FICORMAX, lo que supone un 80% y un 70% de concordancia, respectivamente. Ninguno de los grandes cambios (> 25%) del FI no corregido han dado resultados discrepantes con los FI corregidos, excepto en los datos correspondientes al año 2004, donde se observa un crecimiento superior al 100% en el FIT de Primeros Autores, que se corrobora con el FICORMED, pero desaparece al utilizar el FICORMAX.
En cuanto a las diferencias interanuales, en la tabla III se recogen los estadísticos descriptivos (mediana y rango) para cada año/periodo, mientras que en la tabla 4 se exponen los resultados de las comparaciones realizadas. Como puede apreciarse todas las diferencias encontradas con el FI no corregido se detectan también con los dos FI corregidos, con la excepción de la comparación 2000-2001 que presenta una p = 0,073 utilizando el FICORMED y una p = 0,041 utilizando el FICORMAX.
Comparación entre áreas temáticas
En la tabla V se muestra el FI relativo (en porcentaje) de los Servicios A y B respecto del FIT del Hospital Universitario "Del Río Hortega" en el periodo estudiado. Ambos métodos de medida mantienen las posiciones relativas de los dos Servicios (primero A, segundo B), pero el FICORMED aumenta las diferencias iniciales (7,3%) hasta un 12,4%, mientras que el FICORMAX las reduce a un 2,9%.
]]>Discusión
Las características descriptivas de las dos variables analizadas en este trabajo (a saber, el FI corregido por la mediana -FICORMED- y el FI corregido por el máximo -FICORMAX-) son semejantes a las que definen a la variable de referencia (el FI sin corregir). Se trata, en los tres casos, de distribuciones no normales con una marcada asimetría positiva, por lo que su manejo matemático y estadístico (uso de pruebas no paramétricas, dificultades planteadas por los valores extremos) debe ser, así mismo, semejante. En lo que se refiere a las discrepancias encontradas, aunque en este trabajo resultan poco concluyentes para validar o descartar los métodos de ponderación evaluados por el bajo número de observaciones, proporcionan una interesante información inicial acerca de sus posibles ventajas e inconvenientes.
El factor de impacto de las publicaciones es, pese a sus limitaciones y abusos, una herramienta imprescindible en la actualidad para evaluar la producción científica biomédica en todos los niveles del sistema sanitario, junto al juicio de pares17, 18. La necesidad de profundizar en su optimización, evaluando científicamente estrategias de uso fundamentadas en la ponderación o la estratificación, resulta evidente, dada la ausencia de estudios al respecto, independientemente de la de añadir (y evaluar) parámetros complementarios, como la cuantificación individual de las citas recibidas por cada artículo. Todos estos estudios deberán aportar las evidencias necesarias para confeccionar guías o protocolos bibliométricos justos que impidan la actual disparidad de criterios en la normativa sobre valoración curricular19.
Como hemos comentado, el FI corregido por la mediana (FICORMED) presenta la distribución más dispersa (CV) de las calculadas, lo que se corrobora en el gráfico de dispersión FI-FICORMED, en el que se observa una corrección al alza de unos pocos valores muy altos y a la baja de los valores intermedios. Por otra parte, las excelentes cifras de la correlación FIFICORMED sugieren que la variable corregida no se diferencia demasiado de la variable de referencia (el FI sin corregir). En este sentido, la corrección por la mediana puede considerarse, por una parte, ineficaz, por otra, injusta (al provocar la agrupación de la mayoría de los valores), y finalmente, difícil de manejar matemáticamente (al aumentar la separación de los valores más extremos).
Básicamente, la corrección por la mediana premia a unas pocas buenas revistas (con FI no corregidos muy extremos y medianas inferiores a 1, como NEJM, Lancet o JAMA), castigando a las que tienen un FI no corregido con cifras medias-altas. Por tanto, y dado que no todas las buenas revistas son premiadas (incluyendo algunas con el FI máximo de su área, como Clinical Chemistry en el campo del Laboratorio Clínico o el American Journal of Respiratory and Critical Care Medicine en el de la Medicina Intensiva), el FICORMED resulta manifiestamente injusto, a nuestro entender, desde el punto de vista de la ponderación que perseguimos.
Por otro lado, desde el punto de vista matemático, el FICORMED presenta valores entre 0 e infinito, lo que resulta fácil de interpretar: los situados por debajo de 1 corresponden a publicaciones por debajo de la mediana de su categoría, en tanto que los superiores a esa cifra se encuentran por encima. Sin embargo, esta información resulta insuficiente, por cuanto no existen límites para establecer "grados de calidad" en ambos grupos. Teniendo en cuenta, por lo demás, las dificultades planteadas por el manejo de los grandes valores extremos, el uso de la mediana como elemento de ponderación en sentido estricto no nos parece aconsejable. En su lugar, la mediana, junto con los percentiles extremos (por ejemplo, el p5 y el p95), pueden servir para establecer índices de producción de gran utilidad descriptiva: los porcentajes de artículos publicados en revistas con FI superiores o inferiores a dichos valores.
A diferencia de los anteriores, los valores del FICORMAX se sitúan entre 0 y 1, lo que facilita su interpretación, pero la mayor parte de los mismos se localizan en un rango muy bajo (en el año 2003 el 50% son inferiores a 0,05 en nuestra serie). Este hecho dificulta su manejo, aunque el problema es fácilmente subsanable mediante su transformación a porcentaje. También la posibilidad de establecer una gradación entre el 0 y el 1 (a la manera de, por ejemplo, lo que sucede con los coeficientes de correlación estadística) podría subsanarse en el futuro. Además, el análisis del gráfico de dispersión correspondiente a la relación FI-FICORMAX muestra que esta corrección es, probablemente, más objetiva que la del FICORMED, dado que es capaz de "detectar" mayor número de revistas con FI no corregido elevado. De hecho, todas las revistas con un FI no corregido igual al máximo de su categoría pasan a tener un FICORMAX máximo de 1.
Sin embargo, el FICORMAX puede introducir una distorsión diferencial dependiente de la categoría temática. Como puede apreciarse en la tabla VI, la revista Medicina Clínica, cuyo FI no corregido es superior a la mediana de su grupo temático, resulta infravalorada por el FICORMAX en relación a, por ejemplo, la Revista Española de Enfermedades Digestivas, cuyo FI no corregido es inferior a la mediana de su grupo. Esto es debido a que la categoría temática "Medina general e interna" presenta un valor máximo muy elevado en comparación con el grupo "Gastroenterología y hepatología". Como puede observarse, la distorsión diferencial producida por el FICORMED es, evidentemente, la contraria.
En conclusión, la dificultad para elegir entre uno u otro de los Factores de impacto corregidos resulta evidente tras nuestro estudio, que debe considerarse como preliminar. El Factor de Impacto Corregido por la Mediana (FICORMED) es más justo con las revistas nacionales con FI ligeramente superior a la mediana de su grupo, que constituyen la mayor parte de nuestra producción. Por su parte, el FICORMAX resulta, sin ninguna duda, más justo con las publicaciones con FI más elevado, que deben ser nuestras metas como investigadores y el objetivo de calidad al que deben confluir nuestras publicaciones. El procesamiento de más datos con estudios más amplios, la aplicación de otras estrategias de análisis y el desarrollo de herramientas informáticas que faciliten un trabajo evidentemente complejo resultan, por lo tanto, necesarios.
]]>Agradecimientos
Nuestro agradecimiento a Mª Luz de Andrés Loste, bibliotecaria del Hospital Universitario "Del Río Hortega", por su ayuda. Este trabajo es un resultado parcial del Proyecto de investigación Desarrollo y validación de un Protocolo Bibliométrico para la evaluación de la actividad investigadora del Hospital Universitario "Del Río Hortega" de Valladolid, que ha sido subvencionado por una Ayuda de Investigación en materia de Gestión Sanitaria financiada por la Dirección General de Planificación y Ordenación de la Consejería de Sanidad de la Junta de Castilla y León en el año 2005 (Orden SAN/1021/2005 de 22 de julio, de resolución de la convocatoria de ayudas SAN/163/2005 de 9 de febrero de la Consejería de Sanidad de la Junta de Castilla y León, BOCyL de 15 de febrero de 2005).
Referencias
1. Bordons M, Zulueta MA. Evaluación de la actividad científica a través de indicadores bibliométricos. Rev Esp Cardiol 1999; 52:790-800. [ Links ]
2. De Granda Orive JI. Algunas reflexiones y consideraciones sobre el factor de impacto. Arch Bronconeumol 2003; 39(9): 409-17. [ Links ]
3. Pestaña A. El MEDLINE como fuente de información bibliométrica de la producción española en biomedicina y ciencias médicas. Comparación con el Science Citation Index. Med Clin (Barc) 1997; 109(13):506-11. [ Links ]
4. Lee KP, Schotland M, Bacchetti P, Bero LA. Association of journal quality indicators with methodological quality of clinical research articles. JAMA 2002; 287:2805-8. [ Links ]
5. Zulueta MA, Bordons M. La producción científica española en el área cardiovascular a través del Science Citation Index (1990-1996). Rev Clin Esp 1999; 52:751-64. [ Links ]
6. Álvarez Solar M, López González ML, Cueto Espinar A. Indicadores bibliométricos de la investigación en atención primaria (1988-1992). Aten Primaria 1996; 18 (5):230-6. [ Links ]
7. Bordons M, Zulueta MA, Barrigón S. Actividad científica de los grupos españoles más productivos en farmacología y farmacia durante el periodo 1986-1993 a través del Science Citation Index (SCI). Med Clin (Barc) 1998; 111(13):489-95. [ Links ]
8. Camí J, Zulueta MA, Fernández MT, Bordons M, Gómez I. Producción científica española en biomedicina y ciencias de la salud durante el periodo 1990-1993 (Science Citation Index y Social Science Citation Index) y comparación con el periodo 1986-1989. Med Clin (Barc). 1997; 109(13):481-96. [ Links ]
9. Gómez Caridad I, Fernández Muñoz MT, Bordons Gangas M, Morillo Ariza F. La producción científica española en Medicina en los años 1994-1999. Rev Clin Esp 2004; 204(2):75-88. [ Links ]
10. Garfield E. Citation indexes for science: a new dimension in documentation through association of ideas. Science 1955; 122: 108-11. [ Links ]
11. Camí J, Suñén-Piñol E, Méndez-Vázquez RI. Mapa Bibliométrico de España 1994-2002: Biomedicina y Ciencias de la Salud. Med Clin (Barc) 2005; 124:93-101. [ Links ]
12. Lee KP, Schotland M, Bacchetti P, Bero LA. Association of Journal Quality Indicators with Methodological Quality of Clinical Research Articles. JAMA 2002; 287:2805-8. [ Links ]
13. Porras Chavarino A. El factor de impacto: utilidad y limitaciones. Inv Clin Farm 2004; 1(2):23-5. [ Links ]
14. García Río F, Álvarez-Sala R, Gómez Mendieta MA et al. Evolución de la producción científica española en revistas internacionales de sistema respiratorio de 1987 a 1998. Med Clin (Barc) 2000; 8(115):287-93. [ Links ]
15. Aleixandre Benavent R, Porcel Torrens A. El factor de impacto y los cómputos de citas en la evaluación de la actividad científica y las revistas médicas. Trastornos Adictivos 2000; Supl. 1(4):264-71. [ Links ]
16. Coelho PMZ, Antunes CMF, Costa HMA, Kroon EG, Sousa Lima MC, LInardi PM. The use and misuse of the "impact factor" as a parameter for evaluation of scientific publication quality: a proposal for rationalize its application. Braz J Med Biol Res 2003; 36 (12):1605-12. [ Links ]
17. Rozman C. Reflexiones sobre la investigación biomédica en España. Med Clin (Barc) 2003; 120(1):19-23. [ Links ]
18. Camí J. Evaluación de la investigación biomédica. Med Clin (Barc) 2001; 117(13):510-3. [ Links ]
19. Figueredo-Gaspari E. Valoración curricular de las publicaciones científicas. Med Clin (Barc) 2005; 125(17);661-5. [ Links ]
Dirección para correspondencia:
Manuel González Sagrado.
Unidad de Apoyo a la Investigación.
Hospital Universitario "Del Río Hortega". ]]>
C/ Rondilla de Santa Teresa, 9.
47010 Valladolid.
E-mail: gonzalez-sagrado@arrakis.es
Recibido: 16-III-2007.
Aceptado: 17-VII-2007.