Introducción
La importancia de los estudios pilotos (EP), en general, es brindar información anticipada sobre la detección de puntos de mayor atención dentro de un proyecto de intervención, así mismo indicar si los métodos o instrumentos propuestos son los apropiados para su aplicabilidad e incluso apoyar en la gestión para la obtención de financiamiento.1-3 Un EP es uno de los primeros pasos que se lleva a cabo en un protocolo de investigación, se ejecuta a menor escala para probar el plan y el método de cualquier tipo de estudio a realizar.4,5
En el caso de los ensayos clínicos aleatorizados (ECA), son realizados con mayor frecuencia para evaluar la seguridad, eficacia y efectividad de tratamientos nuevos o adaptados. Los EP en los ECA en gran medida, permiten examinar principalmente la fidelidad, aceptabilidad y los efectos preliminares, por ejemplo, existe evidencia de que los participantes que perciben una intervención como inaceptable difícilmente la adoptarán, mientras que aquellos que la perciban más favorable la emplearán y se adherirán a ella.6,7 Por otro lado, si existen problemas al aplicar cualquier aspecto de la intervención y estos interfieren con su entrega tal y como fue diseñada, pueden restar valor a su utilidad para lograr los resultados deseados.8,9
Los problemas de fiabilidad y aceptabilidad de intervenciones son algunos desafíos comunes de los ECA que pueden explicarse realizando un EP previo. Sin embargo, se han creado ideas erróneas acerca de los EP en los ECA por la falta de claridad sobre el diseño, implementación y evaluación de los mismos.
Las intervenciones de salud se desa-rrollan en cuatro fases.10 En la fase I, se identifica la literatura científica relevante y teorías que ayuden a diseñar la intervención. En la fase II, se realiza un estudio piloto de la intervención a pequeña escala. En la fase III, se desarrolla un ECA para evaluar la efectividad y eficacia de la intervención. Por último, en la fase IV se implementan estrategias de transferencia de conocimiento a la práctica clínica. Este artículo se enfocará en la segunda fase para el desarrollo de intervenciones, la cual corresponde al diseño, implementación y evaluación de EP.
Desarrollo
Generalidades sobre los estudios piloto. En la última década, los EP han sido conceptualizados y operacionalizados de diversas formas dentro de la literatura médica.9,11 En un inicio, no había claridad en la diferenciación entre los estudios de factibilidad y los EP. Por ejemplo, algunos investigadores utilizaban estos dos conceptos de manera intercambiable,5 mientras que otros hacían una distinción entre los estudios.12 La discrepancia estaba centrada en el objetivo principal de cada estudio. Por un lado, los EP eran considerados estudios pequeños que se implementaban para probar el diseño de un estudio de mayor magnitud, mientras que los estudios de factibilidad se realizaban para evaluar ciertos elementos de un ECA.12
Con la finalidad de proporcionar mayor claridad al concepto de EP, un grupo de investigadores diseñó un marco conceptual de EP,8 el cual se elaboró bajo las recomendaciones emitidas por el Consejo de Investigación Médica del Reino Unido (UK Medical Research Council) y el Instituto Nacional de Investigación en Salud del Reino Unido (UK National Institute for Health Research), para el diseño, implementación, evaluación y publicación de EP.13 De acuerdo con este marco conceptual, los EP son un tipo de estudios de factibilidad, donde se mencionan: (1) estudios piloto aleatorizados, (2) estudios piloto no aleatorizados y (3) estudios de factibilidad que no son estudios piloto.8 Los EP aleatorizados son una versión miniatura de un ECA, que incluye la asignación al azar de los participantes y se diseñan para evaluar los procesos de un ECA a futuro. Los EP no aleatorizados son similares a los EP aleatorizados, excepto que los participantes no son asignados de manera aleatoria. Por último, los estudios de factibilidad que no son EP, son aquellos donde los investigadores evalúan partes de un ECA sin implementar la intervención.
Los beneficios de desarrollar EP son diversos, permitiendo: (a) mejorar o reemplazar componentes y actividades de la intervención, (b) examinar el grado de aceptabilidad hacia la intervención y hacia el facilitador, (c) conocer la capacidad de inducir cambios en los resultados de una intervención,9,14,15 (d) precisar las hipótesis de investigación a estudiar, (e) evaluar los aspectos técnicos de enfoques de investigación novedosos, (f) fomentar el desarrollo de los investigadores noveles,1 (g) implementar ECA de manera exitosa,16 (h) ahorrar recursos en estudios de mayor amplitud que pueden resultar ser no factibles, e (i) apoyar las solicitudes de financiamiento para realizar el ECA.1,5,17
En general, los resultados de EP permiten que los investigadores tomen decisiones fundamentadas e informadas sobre la implementación del estudio principal en la fase III. De acuerdo con Thabane, a partir del resultado de un EP, el grupo de investigación puede: (1) detener el estudio principal- la intervención no es factible, (2) continuar con el estudio principal- con modificaciones a la intervención, (3) continuar con el estudio principal sin modificaciones - pero monitorear el desarrollo de la intervención de cerca, o (4) continuar con el estudio principal sin modificaciones - la intervención es factible como está diseñada.5
Los EP son una versión miniatura de la intervención que se realizará en un estudio a mayor escala. Por ende, las intervenciones deben mantener las características del estudio principal.1 Las características hacen referencia a mantener: (1) el diseño del estudio (i.e. pretest-postest), (2) el proceso de reclutamiento y selección de los participantes mediante criterios de inclusión y exclusión predefinidos, (3) el plan de evaluación (i.e. cuantitativo, cualitativo), (4) los ingredientes activos, componentes y las actividades, (5) el modo de ejecución (i.e. grupal, individual), y (6) la dosificación (i.e. número de sesiones, duración de cada sesión).
La eficacia y la efectividad no son el enfoque principal de los EP.1,3 La literatura recomienda que el plan de evaluación no debe enfocarse en pruebas inferenciales, sino en utilizar la estadística descriptiva, estimación por intervalos y el análisis cualitativo. Incluso, autores sugieren que evaluar la efectividad de intervenciones en esta fase va en contra de los objetivos de EP.17 Sin embargo, otros autores señalan que las pruebas de significancia estadística pueden realizarse en los EP siempre y cuando el tamaño de la muestra mantenga potencia estadística adecuada.16
Los EP, en términos generales, no requieren de cálculos de tamaño de muestra.16 No obstante, el tamaño de la muestra de los EP debe ser lo suficientemente grande para proporcionar información útil sobre los aspectos que se están evaluando.5 Algunos autores recomiendan de 10 a 12 participantes, sin embargo, resaltan la importancia de considerar una muestra mayor por aquellos participantes que decidan abandonar el estudio.1 Así mismo, recomiendan considerar la tasa de error tipo alfa (Tipo I, falso positivo), en caso de que el EP esté evaluando hipótesis de estudio. Por último, se establece que los investigadores que diseñen, implementen y evalúen EP deben justificar y fundamentar el tamaño de la muestra elegida.
Propósitos de los estudios piloto. Los EP se diseñan e implementan en gran medida para examinar la fidelidad, aceptabilidad y capacidad de inducir cambios en los resultados de una intervención (Tabla 1).
Autores | Objetivos |
---|---|
Tickle-Degnen (2013) | -Evaluar el potencial para la implementación exitosa de ECA. |
-Reducir las amenazas a la validez de un ECA. | |
-Informar el diseño de ECA. | |
-Construir las bases para un ECA. | |
-Asegurar que la implementación del estudio sea práctica. | |
-Examinar si los componentes del estudio principal podrían funcionar de manera conjunta. | |
Thabane et al., (2010) | -Examinar los (1) procesos, (2) recursos, (3) gestión, (4) base científica de un ECA a futuro. |
Arain, Campbell, Cooper y Lancaster (2010) | -Examinar el proceso de reclutamiento, aleatorización y las evaluaciones de seguimiento. |
Moore, Carter, Nieter, y Stewart (s/f) | -Contribuir al desarrollo y diseño de ECA. |
-Aclarar y agudizar las hipótesis de investigaciones futuras. | |
-Identificar factores relevantes que podrían crear barreras en la realización de estudios futuros. | |
-Evaluar la aceptabilidad de los métodos e instrumentos de la intervención. | |
-Generar datos preliminares para apoyar aplicaciones de financiamiento o actividades de desarrollo de protocolos. | |
-Examinar las capacidades de los diseños de estudio, instrumentos de medición, procedimientos, criterios de reclutamiento y estrategias operativas que se están considerando para su uso en un estudio posterior de mayor magnitud . | |
Blatch-Jones, Pek, Kirkpatrick, y Ashton-Key (2018) | -Explorar los componentes metodológicos de ECA futuros. |
-Examinar los procesos de reclutamiento y recolección de datos. | |
-Determinar el tamaño de la muestra. | |
-Determinar si un estudio más amplio es factible. | |
-Examinar la dosis, aceptabilidad, y factibilidad. | |
Mailhot, Goulet, Maheu-Cadotte, Fontaine, Lequin, Lavoie (2019) | -Examinar los procesos de reclutamiento y los métodos de recolección de datos. |
-Investigar las características de un protocolo de investigación o intervención que podrían obstaculizar el éxito de un ECA. | |
Eldridge (2016) | -Evaluar los procedimientos para la aceptabilidad de la intervención. |
-Estimar las tasas probables de reclutamiento y retención. | |
-Calcular los tamaños de muestra apropiados. | |
-Examinar las características de rendimiento y las capacidades del diseño, métodos de recolección de datos. | |
-Examinar las estrategias operativas del estudio que se están considerando para su uso en un estudio posterior, a menudo más grande, y desempeñan un papel fundamental en la planificación de investigaciones a gran escala y a menudo más costosas. |
Evaluación de la factibilidad. Existen diversos métodos para evaluar la factibilidad de una intervención. Por un lado, varios grupos de investigación han utilizado una combinación de indicadores para examinar dicha factibilidad.18-20 Por ejemplo, en el estudio de Kaasalainen, utilizaron la tasa de elegibilidad (número de participantes que cumplían con los criterios de inclusión), la tasa de reclutamiento (número de participantes que aceptaron participar en la intervención), la tasa de retención (número de participantes que terminaron la intervención), el proceso de recolección de los datos, y la calidad de los datos recogidos.19
Por otro lado, otra forma común de medir la factibilidad es a través de la evaluación de la fidelidad.21 La fidelidad se refiere a la relación entre los ingredientes activos de la intervención y sus componentes y actividades (teórica), y el grado en que se implementa la intervención de acuerdo con lo planificado (operacional).22,23 De acuerdo con Ibrahim y Sidani la elaboración de una matriz teórica es una de las estrategias para examinar la fidelidad teórica.24 La matriz teórica se refiere a la relación entre lo teórico y operacional, se encuentra conformada por los ingredientes activos, los componentes, actividad y acciones de la intervención.9
La validez de contenido por un panel de expertos, es una segunda estrategia para mantener la fidelidad teórica.9 La validez de contenido involucra recurrir a expertos para que critiquen la congruencia entre los ingredientes activos, los componentes, las actividades y las acciones. Los expertos son aquellas personas (i.e. enfermeros investigadores, enfermeros clínicos, parteras) que poseen conocimiento en el desarrollo, implementación o evaluación de intervenciones similares. Se recomienda contar con un mínimo de tres expertos para la validación de contenido. En términos generales, la función del panel de expertos es examinar la congruencia entre el ingrediente activo, los componentes, las actividades y acciones. Así mismo, ofrecen sugerencias con respecto a la operacionalización de los componentes; sobre la precisión y relevancia de las acciones; y determinan cualquier omisión de importancia en la matriz.9
La fidelidad operacional comprende el apego o adherencia a lo planeado y la entrega oportuna por parte del intervencionista.9,25 La aplicación precisa de los componentes, actividades y acciones que han sido establecidos dentro del diseño de la intervención, aumenta las posibilidades de alcanzar los resultados esperados.24,26 La elaboración del manual del intervencionista y participante es una de las estrategias que se ha encontrado efectiva para salvaguardar la fidelidad operacional de las intervenciones.24 Los manuales fungen como guías para la implementación de la intervención, integrando descripción de los componentes, estrategias y técnicas. En general los manuales son organizados por sesiones, abarcando metas de la intervención, dosificación, recursos (i.e. económicos, humanos) e instrucciones "paso a paso"" para la implementación de la intervención.
Por otra parte, las características del intervencionista (i.e. posicionamiento filosófico) y su experiencia implementando intervenciones es importante para preservar la fidelidad operacional.24 Es decir, es preferible que el intervencionista tenga experiencia en la implementación de actividades y acciones similares a las que comprende la intervención. No obstante, el intervencionista debe ser capacitado por el equipo de investigación para la aplicación de la intervención, así como recibir entrenamiento en aspectos específicos (i.e. manejo de grupos, tecnología).
Por último, el monitoreo de la implementación durante la intervención es otra forma de mantener la fidelidad operacional.24 El monitoreo se puede efectuar a través de la vigilancia de las sesiones por parte de uno o varios observadores. La función principal del observador es aplicar guías de observación o quizás "Checklist". Estas guías se utilizan para cuidar los tiempos de implementación, los contenidos de la intervención (i.e. componentes, actividades) y el desempeño del intervencionista y el participante.14,15
Evaluación de la aceptabilidad. La evaluación de la aceptabilidad en el diseño, implementación y evaluación de intervenciones en salud es indispensable. De acuerdo con Sekhon, Cartwright y Francis, la aceptabilidad es un constructo compuesto por siete elementos; actitud afectiva (punto de vista que poseen los participantes hacia la intervención y el intervencionista), sobrecarga (el esfuerzo percibido para poder participar en la intervención), efectividad percibida (en la medida que la intervención se percibe como efectiva), ética (en la medida que la intervención se alinea con los valores individuales de los participantes), coherencia de intervención (en la medida que los participantes conciben la intervención), oportunidad de costos (en la medida de cuáles beneficios o valores deben ser sacrificados para participar en la intervención), y autoeficacia (la confianza del participante para poder participar en la intervención).27
Según Sidani y JoBraden, la evaluación de la aceptabilidad se realiza al finalizar la implementación de la intervención utilizando métodos cualitativos (i.e. entrevistas, grupos focales) o cuantitativos (i.e. encuestas).9 Es importante no perder de vista los puntos a evaluar como la percepción del participante hacia la competencia del facilitador y el tipo de intervención aplicada. Así mismo, Huddleston realizó una hipótesis donde establece que entre mayor sea el grado de aceptabilidad, mejores serán los niveles de eficacia y efectividad de la intervención.28
Evaluación de los efectos preliminares. El análisis de cualquier tipo de estudio piloto debe ser principalmente descriptivo. En este sentido los efectos preliminares permiten conocer hasta qué grado la intervención fue exitosa al producir resultados favorables en las metas planteadas. También se debe agregar, que debido al bajo número de participantes que permite tener, suelen no dar significancia estadística en los resultados,29 no obstante, los estudios piloto dan pauta para realizar ECA dentro de la Fase III, para el desarrollo de intervenciones, donde se evalúa la eficacia y efectividad de la intervención.9 Shadish, Cook, y Campbell hacen referencia a una serie de diseños de intervenciones.30 Los autores señalan que los diseños de un solo grupo de intervención con mediciones pretest y postest son apropiados para estudios piloto. Sin embargo, el diseño y mediciones dependerán de los objetivos establecidos por el propio EP.
Ejemplos de estudios piloto. En la última década el número de EP publicados en revistas científicas ha ido en aumento. Una revisión sistemática descriptiva encontró 186 estudios pilotos que habían sido publicados en más de 100 revistas antes del 2018.17 En Estados Unidos, un equipo de investigación implementó un EP para abordar el apego al tratamiento en los servicios de salud mental en las escuelas.31 Los autores implementaron un EP aleatorizado para evaluar la factibilidad, aceptabilidad y efectos preliminares en una muestra de 17 participantes.
Por otro lado, en Canadá, O'Rourke et al. publicaron un EP sobre terapia de baile para aumentar la función cognitiva en adultos mayores que residen en hogares para ancianos.20 Los autores implementaron un EP no aleatorizado, con una muestra de 13 participantes y una dosis de 10 sesiones realizadas dos veces por semana con una duración de 30 minutos. El EP fue diseñado con un grupo de intervención, con mediciones repetidas (pre, trans y pos-test), para evaluar la aceptabilidad, la factibilidad y los efectos preliminares de la intervención. Así mismo, en México, Fernández-Sánchez et al. evaluaron un EP para disminuir el estrés de madres cuidadoras de niños con necesidades especiales.18 Los investigadores diseñaron un EP no aleatorizado para evaluar la factibilidad, la aceptabilidad y los efectos preliminares utilizando un grupo de intervención (n=14) con mediciones pre y pos-test. La intervención constó de nueve sesiones con una duración de 60 minutos, dos veces por semana. Por último, Soto-Sánchez et al. realizaron un EP para evaluar una intervención basada en juegos con el propósito de mejorar la fuerza y el estado nutricional de 156 escolares entre los siete y 15 años, la dosis tuvo una duración de 45 minutos diarios de lunes a viernes durante un lapso de tres meses, con un diseño cuasi-experimental con pre y pos test, sin un grupo control.32
A diferencia de los EP, los ensayos clínicos tienen como principal objetivo evaluar la efectividad de las intervenciones. Por ejemplo, Sánchez-Soto et al. realizaron un ensayo clínico aleatorizado para valorar la rotación fetal de una posición occipitoposterior a una occipitoanterior, la muestra estuvo conformada de 135 mujeres, en dos grupos asignados de manera aleatoria, el primer grupo de 65 gestantes adoptaron la posición manos-rodillas y el segundo de 75 gestantes decúbito lateral.33 Del mismo modo, Martínez-Angulo y Ruiz-Rich en España realizaron un estudio con metodología mixta para evaluar los cambios producidos por una experiencia de aprendizaje crítico en la imagen de enfermería con una población de 92 sujetos, de primer año de enfermería contando con un pre y postest así como un diario reflexivo.34
Conclusiones
Un estudio piloto es uno de los primeros pasos que se lleva a cabo en un proyecto de intervención. El EP permite tomar decisiones fundamentadas sobre la implementación de una investigación principal. Los componentes que deben evaluar los EP son; la fidelidad, aceptabilidad y los efectos preliminares. Este artículo pretende ser referencia para el diseño de investigaciones futuras sobre intervenciones en el área de salud, en particular los investigadores jóvenes deben reflexionar sobre los elementos indispensables a evaluar al realizar EP de una intervención.
Financiamiento
Este trabajo fue financiado por donadores del Hospital Lois Hole para Mujeres a través del Instituto de Investigación de Salud de Mujeres y Niños (Women and Children's Health Research Institute [WCHRI]). Así mismo, por la beca de estudios en el extranjero a través del Consejo Nacional de Ciencia y Tecnología (CONACyT).