EDITORIAL

 

Evaluación de las intervenciones en salud: la búsqueda del equilibrio entre la validez interna de los resultados y la validez externa de las conclusiones

Evaluation in health interventions: looking for balance between internal validity of results and external validity of conclusions

 

 

Juan Gérvas (1,2) y Cristina Pérez Andrés (3)

(1) Consultorio de Canencia de la Sierra. Madrid.
(2) Equipo CESCA. Madrid.
(3) Comité de Redacción de la Revista Española de Salud Pública.

 

 

Dicho en términos muy generales, la investigación en el ámbito de las ciencias de la salud debería tener como objetivo principal la medida de los problemas de salud y la del cambio que producen las intervenciones que se aplican para solucionarlos. Cuando los problemas se estudian en el individuo nos hallamos en el terreno de la investigación clínica. Cuando los problemas se estudian en el seno de las poblaciones o de la comunidad nos encontramos en el ámbito de la salud pública. Las barreras entre ambas son permeables.

Como en otros ámbitos, las investigaciones en ciencias de la salud pueden ser experimentales, permiten medir la eficacia de una intervención, u observacionales, que miden con qué frecuencia se dan los hechos (el sentido producido) a nivel individual o poblacional (metodología cuantitativa) o analizan e interpretan los discursos para conocer el proceso de producción de sentido (metodología cualitativa)¹.

Buscando la eficiencia de los recursos, para investigar un problema de salud, sea con diseño experimental u observacional, lo lógico es que el número de investigaciones a realizar sea el mínimo, con el fin de que los recursos puedan dedicarse bien a la investigación de otros problemas, bien a otras áreas ajenas a la investigación.

Para poder reducir el número de investigaciones relativas a un mismo problema hay que intentar que sus conclusiones sean aplicables no sólo a las personas que han formado parte de la muestra sino a la población de la que proceden (validez interna). Esto es, al realizar la investigación no ha habido errores aleatorios (tamaño de la muestra) ni sistemáticos (selección de los participantes), se han utilizado instrumentos de medidas adecuados, etcétera.

Si las conclusiones de un estudio cuyos resultados tienen validez interna son aplicables a otras comunidades que no han participado en él podemos decir que también tiene validez externa y por lo tanto los recursos invertidos para realizarlo resultarán más eficientes.

La validez interna de una investigación está relacionada sobre todo con la metodología empleada, mientras que la validez externa se relaciona más con las características de la población a la que se pretenden aplicar. En cualquier caso, para que un estudio tenga validez externa por supuesto debe tener validez interna, aunque cuanto más específicos son los resultados para la muestra estudiada menos generalizables son sus conclusiones a otras poblaciones.

En resumen, la validez interna de una investigación es el grado en que los resultados obtenidos en la muestra estudiada reflejan los verdaderos del atributo que se pretende estudiar en la población de la que procede.

Hace ya casi cuarenta años que Campbell y Stanley plantearon las cuestiones clave sobre la validez y sobre las amenazas a la misma (por ejemplo historia, maduración, reactividad, instrumentación, regresión a la media, selección, abandono, interacción entre ellas). Sin embargo hasta el presente no hemos sido capaces de extraer de sus enseñanzas cambios que faciliten la aplicación del conocimiento desde las investigaciones a la práctica cotidiana^2-4.

Históricamente se ha puesto el énfasis en la validez interna, pues si lo que un estudio dice de los participantes que han formado la muestra carece de validez para la muestra misma y, por lo tanto, para la población de la que procede, la generalización es impensable. Pero ello no es suficiente, pues aunque las conclusiones de un estudio sean ciertas, si sólo son aplicables al entorno y al momento en que se hizo carecen de interés. Los métodos y técnicas actuales facilitan el logro de estudios impecables, de validez interna indudable, pero irrelevantes desde el punto de vista de la generalización a otras poblaciones, por lo que sería necesario repetir el mismo estudio en cada lugar y tiempo. Como se ha dicho irónicamente, se publican muchos estudios de gran elegancia interna pero de absoluta irrelevancia externa⁵.

Los factores que amenazan la validez externa en los estudios de evaluación de una intervención pueden considerarse efectos de la interacción entre la propia intervención con alguna otra variable. Por ejemplo, la interacción entre el pretest y la intervención, de forma que los resultados obtenidos no se darán cuando no se aplique el pretest. Pero más importante y general es la interacción entre la intervención y la muestra (participantes, poblaciones, profesionales, entornos organizativos, etcétera), es decir, cuando los resultados sólo se dan en la muestra estudiada (sin olvidar que la muestra se refiere no sólo a los sujetos y poblaciones estudiados sino también a los/las profesionales participantes y a su forma de trabajo y organización). Otras amenazas a la validez externa son la interacción entre la intervención y la historia, entre la intervención y determinados instrumentos y métodos de medida, o los efectos reactivos de la situación experimental (el efecto Hawthorne, provocado por las expectativas de las personas investigadas, y el efecto Rosenthal, a causa de las expectativas de las personas que investigan).

Lamentablemente, en la investigación sanitaria siempre se ha puesto el acento sobre la validez interna en detrimento de la validez externa. Preocupados por conseguir resultados rigurosos y ciertos hemos descuidado que sean generalizables y útiles en diferentes espacios y tiempos. Parte de este abandono causa el enorme lapso que se da entre la publicación de los resultados de un estudio y su aplicación en la práctica diaria⁴ (a veces hasta dos décadas). Es lógico, pues, que haya preocupación por la validez externa^6,7 y que las principales revistas científicas, tanto de salud pública como de otros campos sanitarios, se hayan propuesto mejorar este aspecto en los trabajos publicados^4,8.

En la actualidad las iniciativas como CONSORT, TREND, RE-AIM y STROBE^9-12 pretenden mejorar la realización y publicación de las investigaciones. Como método proponen la mejor descripción del proceso completo de selección y participación (de sujetos, poblaciones, profesionales y organizaciones/entornos), la valoración de los detalles de la realización del estudio a lo largo del tiempo y que los objetivos se centren en los que tengan interés para la salud de personas y poblaciones, y/o para los cuidados y decisiones de profesionales, gestores y políticos⁴. Aunque su aplicación conlleve el aumento de la extensión de los textos publicados cabe su inclusión como anexos accesibles a través de internet⁸.

Dado que hasta cierto punto en los estudios experimentales la validez interna se refiere a la eficacia y la validez externa a la efectividad⁴, lo que importa sobre todo es salvar el abismo entre la eficacia (resultados de laboratorio con todas las variables tan controladas que nunca se dan en la realidad) y la efectividad (resultados en la comunidad)¹³. Por ello es imprescindible mejorar todos los aspectos que se refieren a la validez externa de los estudios publicados, con el objetivo de mejorar el impacto práctico de las conclusiones de las investigaciones.

 

Bibliografía

1. Ibáñez J. Autobiografía. (Los años de aprendizaje de Jesús Ibáñez). Anthropos 1990; núm. 113: 9-25.        [ Links ]

2. Campbell D, Stanley J. Diseños experimentales y cuasi-experimentales en la investigación social. Buenos Aires: Amorrortu; 1988.        [ Links ]

3. Gérvas J, Pérez Fernández M. El diseño semi-experimental y experimental y la investigación evaluativo. Aten Primaria. 1991; 8: 567-76.        [ Links ]

4. Stecler A, McLeroy KR. The importance of external validity. Am J Public Health. 2008; 98: 9-10.        [ Links ]

5. Starfield B. Quality of care research. Internal elegance and external relevance. JAMA. 1998; 280: 1006-8.        [ Links ]

6. Rothwell PM. External validity of randomised controlled trials: “to whom do the results of this trial apply?” Lancet 2005; 365: 82-93.        [ Links ]

7. Gérvas J. Algunas consideraciones en torno a la selección de la muestra y a la validez externa de los ensayos clínicos. Evid Pediatr. 2007; 3: 53.        [ Links ]

8. Patrick K, Seutchfield D, Wolf SH. External validity reporting in prevention research. Am J Prev Med. 2008; 34: 260-1.        [ Links ]

9. Begg C, Cho M, Eastwood S, Horton R, Moher D, Olkin I, Pitkin R, Rennie D, Schulz KF, Simel D y Stroup DF. Mejora de la calidad de los informes de los ensayos clínicos aleatorios controlados. Recomendaciones del grupo de trabajo CONSORT.. Rev Esp Salud Pública 1998; 72 (1): 5-11 CE.        [ Links ]

10. Glasgow RE, Vogt TM, Boles SM. Evaluating the public health impact of health promotion interventions: the RE-AIM framework. Am J Public Health. 1999 Sep; 89(9): 1322-7.        [ Links ]

11. Glasgow RE. RE-AIMing research for application: ways to improve evidence for family medicine. J Am Board Fam Med. 2006 Jan-Feb; 19(1): 11-9.        [ Links ]

12. Von Elm E, Altman DG, Egger M, Pocock SJ, Gøtzsche PC, Vandenbroucke JP (en nombre de la Iniciativa STROBE). Declaración de la iniciativa STROBE (Strengthening the Reporting of Observational Studies in Epidemiology): Directrices para la comunicación de estudios observacionales. Rev Esp Salud Pública. 2008; 82: 251-59.        [ Links ]

13. Ortún V. Mejor (servicio) siempre es más (salud). Rev Esp Salud Pública. 2006; 80: 1-4.         [ Links ]