ORIGINAL

USO DE LOS ANÁLISIS ESTADÍSTICOS EN LOS ARTÍCULOS ORIGINALES DE
ACTAS UROLÓGICAS ESPAÑOLAS. ACCESIBILIDAD PARA EL LECTOR

T. FERNÁNDEZ APARICIO, B. MIÑANA LÓPEZ, P. GUZMÁN MARTÍNEZ-VALLS,
G. HITA VILLAPLANA

Servicio de Urología. Hospital Universitario J.Mª Morales Meseguer. Murcia.

El mundo de la investigación científica ha cambiado considerablemente en los últimos años. Los avances en el campo de la metodología, la popularización de la informática y la disponibilidad de programas específicos han sido determinantes. Y aunque parezca que ha transcurrido más tiempo, tan sólo hace 30 años que se introdujeron procedimientos que actualmente vemos con mucha frecuencia empleados en la literatura biomédica como la regresión logística, la regresión de riesgos proporcionales o las herramientas que permiten el análisis de datos procedentes de revisiones complejas¹. En resumen, si hace cinco décadas la ausencia de métodos estadísticos era en realidad la norma², actualmente la estadística está presente en el 24%-98% de los trabajos publicados en la literatura biomédica³. Incluso es impensable la realización de muchos estudios sin el apoyo metodológico que aportan los bioestadísticos y epidemiólogos.

En contra de lo que habría que suponer esta tendencia no siempre ha incrementado la calidad de las publicaciones³, y sin embargo sí ha reducido de modo considerable la capacidad de lectura crítica de los profesionales sanitarios⁴. Y aunque es cierto que no todos los clínicos pueden ser entrenados como estadísticos, con independencia de nuestra capacidad, espíritu o limitaciones temporales, los lectores de la literatura médica especializada estamos obligados a familiarizarnos con la naturaleza de los diferentes procedimientos y test estadísticos actualmente empleados. Y es que la lectura crítica de la producción científica y la búsqueda de evidencias son una necesidad y un deber ético para todos los profesionales de la medicina, circunstancia de la que somos conscientes. Es por ello imprescindible realizar un esfuerzo tanto en la formación inicial como en la formación continuada.

Las diferentes publicaciones biomédicas y sociedades científicas se han apercibido de ello. De hecho es frecuente la publicación de series de artículos en revistas nacionales e internacionales dedicados a la explicación clara de conceptos metodológicos y estadísticos dirigidos a los potenciales lectores^5-10. En nuestro medio es de destacar el esfuerzo que en este campo viene desarrollando la revista Medicina Clínica. Nuestro Órgano Oficial de difusión, Actas Urológicas Españolas, también ha demostrado ser sensible a esta necesidad¹¹. Incluso uno de los Cursos Monográficos de nuestro último Congreso Nacional se ha dedicado a esta disciplina.

En esta línea de pensamiento desarrollamos el presente estudio con el fin de analizar descriptivamente los tipos de análisis estadísticos realizados en los trabajos de la Sección "Originales" de Actas Urológicas Españolas. El objetivo primario es cuantificar la accesibilidad estadística para el lector, en un intento de delimitar las necesidades básicas de formación precisas para una adecuada comprensión de los artículos de nuestra revista.

MATERIAL Y MÉTODO

Bajo la premisa inicial de que los análisis estadísticos se distribuyen de una manera aleatoria a lo largo del tiempo, se seleccionaron para el estudio, según muestreo aleatorio de conveniencia, todos los artículos de la sección Originales de Actas Urológicas Españolas publicados consecutivamente durante el año 2000. Se excluyeron revisiones de la literatura a partir de la descripción de casos anecdóticos, reclutando un total de 55 trabajos que fueron examinados por un único revisor.

En cada original, y tras ocultar los nombres de los autores y la institución por un colaborador, fueron estudiados detenidamente los apartados de Material y Métodos y Resultados, incluyendo tablas y figuras, para identificar todos los análisis estadísticos empleados (n=143). Dichos análisis se clasificaron en 18 categorías según el protocolo diseñado por Emerson y Colditz⁴ y adaptado por Mora i Ripoll y cols.¹², en función de los criterios que se especifican en la Tabla I. En cada artículo se contabilizó una sola vez cada test efectuado, independientemente del número de veces que se empleó. De este modo se obtuvo para cada original el número de tests estadísticos realizados y la categoría máxima de análisis alcanzada.

La fiabilidad de los criterios empleados, definida como la concordancia intraobservador, fue evaluada mediante una nueva revisión de una muestra aleatoria de los originales por parte del mismo revisor tres meses después. El tamaño de esta muestra (21 artículos) fue calculado considerando como aceptable una proporción de acuerdos cuyo intervalo de confianza al 95% tuviera como peor límite inferior el 0,8.

TABLA I

PROTOCOLO DISEÑADO POR EMERSON Y COLDITZ, Y ADAPTADO POR MORA I RIPOLL Y COLS. NIVELES
DE REFERENCIA PARA EL ANÁLISIS DE ACCESIBILIDAD

Siguiendo la definición empleada por Emerson y Colditz se consideró que la accesibilidad estadística a un artículo (accesibilidad artículo-dependiente) es la capacidad de un lector, familiarizado con un repertorio concreto de técnicas estadísticas, de interpretar correctamente todos los análisis en él efectuados. Para su cálculo se determinó la proporción de artículos accesibles respecto al total de originales para lectores con diferentes niveles de conocimiento. Aceptando la propuesta de Mora y cols., y asumiendo que el orden de los criterios enumerados en la Tabla I es una secuencia racional en el aprendizaje de la estadística, dichos niveles se definieron del siguiente modo:

– Nivel I: conocimientos sólo hasta la primera categoría (sólo estadística descriptiva).

– Nivel II: hasta la categoría 7, correspondiente a un curso básico de estadística (regresión simple).

– Nivel III: resto de categorías.

También fue calculada la accesibilidad análisis- dependiente, o proporción de test estadísticos respecto al total de efectuados en todos los artículos analizados que son accesibles a los lectores.

Para ello se calculó el número de test estadísticos realizados en el total de originales, determinando la proporción de los mismos para cada uno de los tres niveles de referencia que ya hemos descrito. Con el fin de apreciar de modo gráfico ambos tipos de accesibilidad, se construyó su perfil calculando las frecuencias acumuladas hasta cada categoría de análisis.

La tabulación de los datos, cálculos y gráficos fueron realizadas con el programa Excel; el cálculo de los intervalos de confianza al 95% para las proporciones se practicó con el paquete estadístico EPIDAT v.2.0

RESULTADOS

Todos los originales analizados incluyeron como mínimo estadística descriptiva en su desarrollo. La Figura 1 muestra en porcentajes, sobre un total de 143 identificados, los tipos de análisis estadísticos empleados en los originales de Actas Urológicas durante el año 2000. Es destacable el hecho de que las cuatro técnicas utilizadas con mayor frecuencia (estadística descriptiva, tablas bivariables, pruebas t y z y test no paramétricos) se correspondan con un nivel básico de conocimientos estadísticos. Asimismo ha sido notable el empleo de técnicas complejas, como son el análisis de la supervivencia, en 14 originales (10% del total de técnicas), y de regresión múltiple en 7 (5% del total de técnicas). En ningún caso se aplicaron los test que permiten determinar el tamaño muestral y la potencia de los contrastes.  

FIGURA 1. Tipos de análisis estadísticos empleados en los originales de Actas
Urológicas. Las barras representan porcentajes sobre el total de 
143 análisis identificados.

El perfil de accesibilidad, tanto artículo-dependiente (n=55) como análisis dependiente (n=143), queda reflejado de modo gráfico en la Figura 2. Para un lector cuyo repertorio de conocimientos estadísticos sólo incluya técnicas descriptivas (primera categoría), fueron accesibles el 41,8% (IC al 95% 29%-56%) de los artículos y, globalmente, el 38,5% (IC 31%-47%) de todos los análisis realizados. Dichos porcentajes se incrementaron al 63,6% (IC 49%-76%) y 79% (IC 71%-85%) respectivamente cuando los conocimientos alcanzan el nivel II (categoría 7). Ello implica que aproximadamente el 34% (IC 22%-48%) de los originales requirieron de conocimientos avanzados para su correcta interpretación. Si prescindiéramos de la categoría 16 (supervivencia), análisis con los que habitualmente se está más familiarizado, tal cifra se reduciría al 24%.

FIGURA 2. Perfiles de accesibilidad de los Originales de Actas Urológicas 
Españolas. El nivel de conocimientos II, correspondiente al criterio 7, 
queda marcado con línea de puntos.  

DISCUSIÓN

El apartado de discusión del presente trabajo ha de comenzar necesariamente realizando algunas consideraciones metodológicas que lo justifiquen adecuadamente en su planteamiento y objetivos.

La primera de ellas es la realización del análisis de los artículos originales por un único revisor. Es evidente que tal hecho podría constituir un factor de sesgo, especialmente cuando se valoran criterios que, aunque ajustados en su definición, pueden prestarse a la subjetividad del evaluador, por muy experimentado que éste sea en la lectura crítica de la literatura científica. Este aspecto parece quedar solventado metodológicamente con el control de calidad que se ha realizado: comprobar que el enunciado de los criterios asegura un elevado grado de concordancia intraobservador, hecho que al menos garantiza una mínima variabilidad.

La segunda, como señalan Mora y colaboradores¹², es la discutible ordenación jerárquica de los diferentes test estadísticos, que probablemente no coincida con el grado de dificultad para el aprendizaje o con su presentación en los libros de texto. Sin embargo, la clasificación que hemos empleado ya se ha constituido en un "estándar" de evaluación¹³ y ofrece resultados que permiten comparar los obtenidos en el presente análisis con los comunicados por otros autores. Este es el argumento que justifica su uso.

La tercera y última es la representatividad de Actas Urológicas Españolas como publicación biomédica especializada a la hora de establecer las conclusiones que se pretenden de este trabajo. Si atendiéramos al factor de impacto como elemento de selección probablemente hubiera sido más adecuado escoger otras revistas de mayor difusión; seguramente podríamos decir lo mismo en caso de que nos guiáramos por el nivel de evidencia científica que se desprende de las diferentes publicaciones. No obstante, y sin profundizar en el hecho de que Actas Urológicas está indexada e incluida en las principales bases de datos internacionales, creemos que nuestra publicación refleja de modo adecuado, con excepciones y limitaciones obvias, la producción científica urológica de nuestro país, y por tanto las necesidades básicas de formación de un amplio sector de nuestra urología.

Todos los lectores de revistas biomédicas tenemos la impresión subjetiva de que la complejidad estadística de los artículos científicos se incrementa progresivamente. Desde los primeros estudios de Emerson y Colditz en 1983 hasta el momento actual, varios han sido los análisis comparativos nacionales y extranjeros que lo han constatado objetivamente. Efectivamente, el índice de accesibilidad se va reduciendo con los años^1,12,14-16. Esta tendencia se aprecia en todos los ámbitos, aunque las publicaciones nacionales presenten en general un menor nivel de complejidad^15,17. Y es que la accesibilidad depende también del tipo de publicación. El análisis de ensayos clínicos randomizados y multicéntricos revela una exigencia metodológica y estadística cualitativamente diferente a la observada en otros tipos de estudios¹⁸. Esta es sin duda la causa de que los test estadísticos empleados en Actas coincidan, en porcentajes de uso (Fig. 1), con los empleados en las revistas de nuestro entorno¹² y difieran respecto a los observados en publicaciones internacionales de perfil y objetivos más ambiciosos.

En cualquier caso, y exceptuando las publicaciones con factores de impacto elevados, los resultados obtenidos en este análisis no difieren sensiblemente de los comunicados por otros autores nacionales o extranjeros, tal y como se aprecia en la Tabla II. Si nos centramos en nuestro medio, los porcentajes de accesibilidad artículo dependiente para cada categoría hallados en Actas son similares a los comunicados para Revista Clínica Española en 1997¹² o Medicina Clínica en 1993¹⁹. No obstante, también es cierto que es mayor el número de originales que emplean únicamente técnicas descriptivas en nuestro Órgano de Difusión. Aceptando esta primera aproximación, es necesario comentar que en Actas Urológicas se dan las siguientes circunstancias:

TABLA II

ACCESIBILIDAD ARTÍCULO-DEPENDIENTE EN DIFERENTES PUBLICACIONES DESDE 1983 SEGÚN ORDENACIÓN CRONOLÓGICA

En gris se marcan las revistas con mayores factores de impacto o los estudios referidos a ensayos clínicos exclusivamente (). Los datos de la última fila corresponden al presente trabajo.
NEJM.- New England Journal of Medicine.
AJE.- American Journal of Epidemiology.

– El apartado de análisis complejos se limita casi en exclusiva al estudio de la supervivencia, a la regresión múltiple y al análisis de la varianza.

– Es llamativa la circunstancia de que ninguno de los originales analizados haya desarrollado técnicas de cálculo del tamaño muestral o de la potencia de los contrastes que se realizan. Es probable que ello se deba, entre otros factores, a la escasa publicación de resultados de ensayos clínicos controlados en nuestra revista. 

– Quedan prácticamente inéditos los procedimientos de ajuste y estandarización de tasas, imprescindibles para comparaciones entre grupos poblacionales heterogéneos. De igual modo ocurre con las transformaciones de variables y con el empleo de test no paramétricos; ¿tendremos que asumir que todas las variables analizadas en los diferentes originales siguen una distribución normal?.

Estos datos permiten afirmar que existe una gran parte de análisis estadísticos que los autores de Actas Urológicas no empleamos. Este es un dato que también ha sido constatado previamente para otras publicaciones biomédicas²⁰. Probablemente el perfil de los estudios publicados no requiera de mayores exigencias para alcanzar sus objetivos. Pero no hemos de descartar como razones plausibles el desconocimiento o la ausencia de una adecuada colaboración en el diseño y en la elaboración analítica de los estudios.

Como resumen final, los datos aportados por el presente estudio permiten afirmar que, si bien hasta un 34% de los artículos originales de Actas Urológicas Españolas precisa de conocimientos estadísticos avanzados para su interpretación, el repertorio real de técnicas empleadas no es excesivamente amplio y queda cubierto por un curso básico de estadística. Profundizar en determinados análisis (supervivencia y ANOVA) permitiría cubrir la práctica totalidad de las necesidades del lector que se enfrenta a nuestra publicación.

Independientemente de otras consideraciones (necesidades de formación en Medicina Basada en Pruebas y Lectura Crítica de la literatura científica) estos datos pueden servir para priorizar los contenidos de futuros cursos de formación continuada de base metodológica y estadística.

Pero además creemos que es importante hacer la siguiente reflexión. El presente estudio es puramente descriptivo, de modo que no pretende comprobar ningún tipo de hipótesis. Sin embargo este tipo de diseños si permite plantearlas. El hecho de que ninguno de los originales determine tamaño muestral o potencia estadística y el empleo limitado de técnicas no paramétricas y de transformaciones de variables puede permitirnos pensar en un hipotético mal uso de ciertos procedimientos estadísticos, circunstancia que habrá que comprobar. Creemos que tal consideración tiene una enorme relevancia para los autores, para los lectores y, por supuesto, para los editores de Actas Urológicas. Y es que si bien somos partidarios, y por motivos obvios, de que sean los clínicos quienes participen directa y activamente en el diseño de la investigación y análisis de los datos recogidos, no debemos dejar que el desconocimiento de lugar a conclusiones erróneas o a falacias científicas. Y es que solicitar la ayuda metodológica precisa y un adecuado control editorial son, entre otros elementos, la clave de la calidad de nuestra producción científica y de la proyección que de Actas Urológicas y de nuestra urología se pretende.

REFERENCIAS

1. LEVY PS, STOLTE K.: Statistical methods in public health and epidemiology: a look at the recent past and projections for the next decade. Stat Methods Med Res 2000 feb.; 9 (1): 41-55.         [ Links ]

2. HILLS AB.: Principios de estadística médica. La Habana: Instituto cubano del Libro, 1965.         [ Links ]

3. GONZÁLEZ JC, PULIDO M, SANZ F.: Evaluación del uso de procedimientos estadísticos en los artículos originales publicados en Medicina Clínica durante tres décadas (1962-1992). Med Clin (Barc) 1995; 104: 448-452.         [ Links ]

4. EMERSON JD, COLDITZ GA.: Use of statistical analysis in the New England Journal of Medicine. N Engl J Med 1983; 309: 709-713.         [ Links ]

5. DERSIMONIAN R, CHARETTE LJ, MCPEEK B, MOSTELLER F.: Reporting on methods in clinical trials. N Engl J Med 1982; 306: 1.332-1.337.         [ Links ]

6. GLANTZ SA.: Biostatistics: how to detect, correct and prevent errors in the medical literature. Circulation 1980; 61: 1-7.         [ Links ]

7. LEWIS RJ, BESSEN HA.: Statistical concepts and methods for the reader of clinical studies in emergency medicine. J Emerg Med 1991; 9: 221-232.         [ Links ]

8. OLDHAM J.: Statistical tests (Part 1): descriptive statistics. Nurs Stand 1993; 7: 30-35.         [ Links ]

9. PERKINS RP.: How to live with statistics (without having to marry them). Obstet Gynecol 1988; 72: 422-424.         [ Links ]

10. SHURE N.: The purpose of a medical journal. Ann Allergy 1966; 24: 503-504.         [ Links ]

11. MILLÁN RODRÍGUEZ F, RODRÍGUEZ VALLEJO JM, CARBALLIDO RODRÍGUEZ J.: Interpretación de resultados de ensayos clínicos en hiperplasia benigna prostática. Actas Urol Esp 2002; 26 (1): 4-14.         [ Links ]

12. MORA, CANELA.: Los análisis estadísticos en Revista Clínica Española: uso actual y accesibilidad para el lector. Rev Clin Esp 1997; 197: 23-27.         [ Links ]

13. SILVA AL, PÉREZ NC, CUELLAR WI.: Uso de métodos estadísticos en dos revistas médicas con alto factor de impacto. Gac Sanit 1995; 9: 189-195.         [ Links ]

14. MORA R, ASCASO C, SENTIS K.: Utilización de los análisis estadísticos en los artículos originales de Revista Clínica Española. Rev Clin Esp; 195 (5): 298- 301.         [ Links ]

15. CARRE LM, JIMÉNEZ VJ, MARTÍN MM, JANE CF.: La estadística en la investigación clínica de medicamentos. Estudio de artículos originales procedentes de centros españoles. Med Clin (Barc) 1996; 106: 611-616.         [ Links ]

16. NOLASCO A, GASCÓN E, MUR P, FERRANDIZ E, ÁLVAREZ-DARDET C.: Utilización de la estadística en publicaciones médicas: una comparación internacional. Med Clin (Barc) 1986; 86: 841-844.         [ Links ]

17. RUIZ MT, ÁLVAREZ-DARDET C, BRUMO ML, BOLUMAR F, PASCUAL E.: Investigación en reumatología. Un análisis de la situación española. Med Clin (Barc) 1990; 94: 773-776.          [ Links ]

18. MARSH MJ, HAWKINS BS.: Publications from multicentre clinical trials: statistical techniques and accessibility to the reader. Stat Med 1994; 13: 2.393- 2.406.         [ Links ]

19. MORA R, ASCASO C, SENTIS J.: Uso y presentación de la metodología estadística en los artículos originales publicados en Medicina Clínica durante 1993. Med Clin (Barc) 1995; 105: 9-12.         [ Links ]

20. SILVA AL, PÉREZ NC, CUELLAR WI.: Uso de métodos estadísticos en dos revistas médicas con alto factor de impacto. Gac Sanit 1995; 9: 189-195.         [ Links ]

21. CRUESS DF.: Review of use of statistics in The American Journal of Tropical Medicine and Hygiene for january-december 1988. Am J Trop Med Hyg 1989; 41: 619-626.         [ Links ]

22. BECKER PJ, VILJOEN E, WOLMARANS L, IJSSELMUIDEN CB.: An assessment of the statistical procedures used in original papers published in the SAMJ during 1992. S Afr Med J 1995; 85: 881-884.         [ Links ]

23. JUZYCH MS, SHIN DH, SEYEDSADR M, SIEGNER SW, JUZYCH LA.: Statistical techniques in ophthalmic journals. Arch Ophthalmol 1992; 110: 1.225- 1.229.         [ Links ]

24. BAUMBERGER JP, BANGERT AW.: Research designs and statistical techniques used in the Journal of Learning Disabilities, 1989-1993. J Learn Disabil 1996; 29: 313-316.         [ Links ]

25. GOLDIN J, ZHU W, SAYRE JW.: A review of the statistical analysis used in papers published in Clinical Radiology and British Journal of Radiology. Clin Radiol 1996; 51: 47-50.         [ Links ]

26. FLOTTE TJ, DUNCAN LM, LERNER LH, MIHM MCJ.: Tools of the trade: statistical analysis in dermatopathology articles. J Cutan Pathol 1999; 26: 265- 268.         [ Links ]

Dr. T. Fernández Aparicio
C/ Osa Menor, 6
Urbanización Jardín de Murcia
30100 El Puntal (Murcia)
(Trabajo recibido el 3 septiembre de 2002)