NOTA METODOLÓGICA

 

Tasas de respuesta a tres estudios de opinión realizados mediante cuestionarios en línea en el ámbito sanitario

Response rates in three opinion surveys performed through online questionnaires in the health setting

 

 

Nicole Aerny Perreten, M.^a Felicitas Domínguez-Berjón, Jenaro Astray Mochales, María D. Esteban-Vasallo, Luis Miguel Blanco Ancos y M.^a Ángeles Lópaz Pérez

Subdirección de Promoción de la Salud y Prevención, Consejería de Sanidad, Madrid, España

Dirección para correspondencia

 

 

---

RESUMEN

Los cuestionarios en línea (on line) consiguen resultados con rapidez y bajo coste, pero la participación es habitualmente baja. Este trabajo estudia las tasas de respuesta en tres estudios de opinión dirigidos a profesionales sanitarios de la Comunidad de Madrid y analiza los factores asociados a ellas. Los cuestionarios diferían por los destinatarios, su extensión y el tema abordado. Se gestionaron mediante una empresa vía Internet. Se utilizaron direcciones de correo electrónico institucionales de diferentes colectivos de profesionales. Las mayores tasas de respuesta se alcanzaron en hospitales (hasta el 63%) y en la administración central, y las más bajas en atención primaria (menos del 33%). La participación en atención primaria se relacionó significativamente con la edad, pero no con el sexo ni con la categoría profesional. En ningún estudio analizado se alcanzó el 60% de participación. Se observan diferencias según el ámbito de trabajo, el hábito de utilizar Internet y el interés por el tema.

Palabras clave: Sistema on-line. Cuestionarios. Participación. Personal de salud.

---

ABSTRACT

The main advantages of online questionnaires are the speed of data collection and cost savings, but response rates are usually low. This study analyzed response rates and associated factors among health professionals in three opinion surveys in the autonomous region of Madrid. The participants, length of the questionnaire and topic differed among the three surveys. The surveys were conducted by using paid Internet software. The institutional e-mail addresses of distinct groups of health professionals were used. Response rates were highest in hospitals (up to 63%) and administrative services and were lowest in primary care (less than 33%). The differences in response rates were analyzed in primary care professionals according to age, sex and professional category and only the association with age was statistically significant. None of the surveys achieved a response rate of 60%. Differences were observed according to workplace, patterns of Internet usage, and interest in the subject.

Key words: On-line system. Questionnaires. Participation. Health personnel.

---

 

Introducción

Igual que el uso de Internet está en constante aumento¹, el de los cuestionarios en línea (on line) es cada vez más frecuente, sobre todo en el mundo anglosajón^2-5.

Sus principales ventajas son la rapidez en conseguir resultados y su bajo coste^2-5, pero la tasa de respuesta es habitualmente baja. Resultados de metaanálisis muestran medias que oscilan entre el 32,7% y el 39,6%, con una gran desviación estándar del 19,6%⁵. Esta variación también se ha descrito en el ámbito sanitario, y en un análisis de 17 estudios dirigidos a profesionales sanitarios en Reino Unido, Estados Unidos y Canadá, entre 1999 y 2002, se encontraron tasas de respuesta del 9% al 94%⁶. Otro estudio realizado en 2005-2006 en Barcelona, mediante cuestionarios en línea dirigidos a profesionales de medicina y enfermería colegiados, alcanzó tasas de respuesta del 13,30% y del 8,61%, respectivamente¹.

Esta situación ha suscitado el estudio de los motivos que subyacen a esta falta de respuesta. Los motivos descritos pueden agruparse en cuatro tipos relacionados con 1) las características de la población destinataria (edad, sexo, especialización, categoría profesional)^1,4-6, 2) el diseño del estudio (calidad del listado de direcciones de correo electrónico, personalización de la invitación a participar, comodidad en el uso de la tecnología, cuestionario corto, envío paralelo del cuestionario en papel, uso de incentivos, envío de recordatorios)^3-5,7,8, 3) el interés del tema abordado^2,8, y 4) la manera de usar Internet del destinatario (frecuencia de uso, diferencias de uso según lugar de trabajo, tratamiento del correo no deseado)^1,5,6,9.

En nuestro medio son escasos los estudios que hayan analizado esta metodología, por lo que este trabajo pretende analizar las tasas de respuesta de tres estudios realizados en el ámbito sanitario, utilizando la metodología de referencia, y valorar qué factores pueden haber influido en ellas.

 

Exposición del método

Los tres estudios considerados (tabla 1), en los cuales se utilizó un sistema en línea, se realizaron en la Consejería de Sanidad de la Comunidad de Madrid entre mayo de 2010 y febrero de 2011.

El procedimiento utilizado en los tres casos fue similar: se envió un mensaje por correo electrónico invitando a los profesionales seleccionados, que sirvió también para validar las direcciones de correo electrónico empleadas; posteriormente se envió un mensaje con el enlace al cuestionario, y finalmente recordatorios (tres en los estudios 1 y 2, dos en el estudio 3) entre la primera y la segunda semanas, quedando abierta la posibilidad de contestar al cuestionario en 28 días para el estudio 1, 14 para el estudio 2 y 16 para el estudio 3.

Se contrató una empresa vía Internet que proporcionó la herramienta para la elaboración del cuestionario, el envío del mensaje con enlace al cuestionario, la recogida de las respuestas, su seguimiento, el envío de recordatorios a los participantes que no habían contestado y la tabulación de las respuestas en ficheros Excel.

Las direcciones de correo electrónico utilizadas fueron las de la red de informadores clave de la pandemia de gripe A(H1N1) 2009 en el estudio 1. Para el muestreo de profesionales de atención primaria de los estudios 2 y 3 se dispuso del listado institucional de direcciones de correo electrónico de los centros de salud, donde se observó la falta de asignación en un 21,66% de los profesionales, por lo que el muestreo se efectuó sobre el listado de personas que disponían de correo electrónico. Para las muestras oportunistas, las direcciones de correo electrónico de los profesionales se obtuvieron de los miembros de la comisión responsable del estudio en el estudio 2, y en el estudio 3 se solicitaron por escrito a los jefes de departamento.

En el estudio 2, los representantes de la citada comisión fueron incentivando la participación mediante contactos personales a los profesionales, mientras que en el estudio 3 se mandaron cartas a los responsables (directores de centros de salud, gerentes de atención primaria y de hospitales, directores generales) informando del estudio y solicitando su colaboración para estimular a los profesionales a contestar el cuestionario.

Los tres estudios diferían en el tema abordado, el número de preguntas y la población destinataria, incluyendo solamente profesionales sanitarios del ámbito público. Se han calculado las tasas de respuesta según la población destinataria, y en la no respuesta se ha diferenciado el número de mensajes de correo electrónico no abiertos de los que fueron abiertos y no contestados. Se describe un aumento de la respuesta tras el envío de recordatorios.

En el estudio 3, la muestra de los centros de salud fue aleatoria y se disponía de información sobre la edad y el sexo de las personas incluidas en ella, y se dirigió a un número limitado de cuatro categorías profesionales, frente a las 12 del estudio 2 y a las muestras oportunistas del estudio 1. Por ello, en este estudio se ha estimado el efecto de la edad, el sexo y la categoría profesional en la tasa de respuesta, mediante el cálculo de odds ratio con intervalos de confianza del 95%.

 

Aplicación práctica

No se produjeron incidencias notables en relación con la vigencia y la exactitud de las direcciones de correo electrónico empleadas, gracias a la calidad de los listados y a la revisión previa que se realizó al enviar la invitación. La mayoría de los cuestionarios no cumplimentados fueron entregados, pero no llegaron a ser abiertos (Tabla 1). Un porcentaje mucho menor fueron abiertos y no contestados.

Las tasas globales de respuesta fueron del 54,68% en el estudio 1, del 34,19% en el estudio 2 y del 39,63% en el estudio 3 (Tabla 1). La submuestra de ámbito hospitalario del estudio 3 alcanzó una tasa de respuesta del 63,10%, y las submuestras del ámbito asistencial de atención primaria de los estudios 2 y 3 obtuvieron tasas del 32,46% y del 25%, respectivamente. La mayor parte de las respuestas se produjo en los primeros 3 días (estudio 1: 75,84%; estudio 2: 57,94%; estudio 3: 65,94%), el primer recordatorio aumentó la participación entre un 15% y un 16% (estudio 1: 15,17%: estudio 2: 16,16%; estudio 3: 16,34%), y los recordatorios 2 y 3 (r2 y r3) tuvieron un efecto muy desigual (estudio 1: r2 del 14,04% y r3 del 2,25%; estudio 2: r2 del 2,23% y r3 del 1,95%; estudio 3: r2 del 1,77%).

Se observó una asociación estadísticamente significativa con la edad, con una mayor participación de los menores de 50 años (Tabla 2).

 

Conclusiones

Con ninguno de los estudios las tasas de respuesta alcanzaron el 60% del estándar citado por Fincham¹⁰, y son cercanas a las medias habituales en los cuestionarios en línea⁵.

Las diferencias entre las tasas de respuesta en los hospitales y los centros de salud se asemejan a la utilización de Internet como fuente de información, más frecuente entre los profesionales de hospitales que en los de otro tipo de centros^1,9. En los centros de salud analizados se encontró una relación significativa con la edad de los profesionales, pero no con el sexo, de manera similar al estudio catalán ya citado¹, aunque a diferencia de los resultados de dicho estudio tampoco se encontraron diferencias en función de la categoría profesional.

En los resultados obtenidos se observa que hubo un aumento de las respuestas tras enviar los recordatorios, en particular el primero, efecto valorado como considerable en algunos estudios^5,6.

Así como en una revisión Cochrane se estima que el interés del tema para los destinatarios puede duplicar la tasa de respuesta⁸, en el estudio 1 este factor explica probablemente el mejor resultado obtenido. Además, el medio de comunicación habitual de aquella red de informadores era precisamente el correo electrónico.

Con esta baja participación subsiste actualmente, en nuestro medio, un posible sesgo debido a la baja utilización del correo electrónico, porque no se tiene o porque no se usa, que merma la posibilidad de generalizar los resultados a la población a estudiar⁹.

Debería estudiarse la posibilidad de mejorar las tasas de respuesta ofreciendo incentivos, no necesariamente económicos, a los participantes, o utilizando métodos mixtos con el envío en formato papel de los cuestionarios a las personas que no han contestado al cuestionario en línea. Con todo, en nuestra opinión, la rapidez del método y la posibilidad de enviar el cuestionario a muchos profesionales sin repercusión sobre los costes del estudio siguen haciendo útil esta metodología, siempre que en la interpretación de los resultados se valore la existencia de posibles sesgos en la respuesta.

 

Contribuciones de autoría

N. Aerny Perreten y M.F. Domínguez-Berjón concibieron y diseñaron el trabajo, y N. Aerny redactó el original; ellas, junto con J. Astray Mochales, M. Esteban Vasallo, L.M. Blanco Ancos y M.A. Lópaz Pérez, participaron en el análisis y la interpretación de los datos. M.F. Domínguez-Berjón y J. Astray Mochales contribuyeron de manera importante mediante la revisión crítica del artículo. Todos los autores aportaron ideas, revisaron los borradores del original y aprobaron su versión final.

 

Financiación

Ninguna.

 

Conflicto de intereses

M.F. Domínguez-Berjón forma parte del equipo editorial de Gaceta Sanitaria y durante el proceso editorial de este artículo no ha podido acceder a ninguna información sobre el estado del manuscrito (editor/a encargado/a, revisores/as asignados/as).

 

Bibliografía

1. Lupiáñez-Villanueva F. Internet, salud y sociedad. Análisis de los usos de Internet relacionados con la salud en Catalunya. (Tesis doctoral.) Barcelona: Universitat Oberta de Catalunya. 2009. (Consultado el 27/9/2011.) Disponible en: http://ictconsequences.net/uoc/internetsaludsociedad/.         [ Links ]

.2. Eysenbach G, Wyatt J. Using Internet for surveys and health research. J Med Internet Res (edición electrónica). 2002; 4:e13. (Consultado el 27/9/2011.) Disponible en: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC1761932/.         [ Links ]

3. McKinley T, Rogers R, Maclean R. Collecting data from physicians via web-based surveys: recommendations for improving response rates. The Internet Journal of Medical Informatics (edición electrónica). 2003; 1:. (Consultado el 27/9/2011.) Disponible en: http://www.ispub.com/ostia/index.php?xmlFilePath=journals/ijmi/vol1n1/survey.xml.         [ Links ]

4. Shih TH, Fan X. Comparing response rates in e-mail and paper surveys: a meta-analysis. Educational Research Review. 2009; 4:26-40.         [ Links ]

5. Smyth JD, Pearson JE. Internet survey methods: a review of strengths, weaknesses, and innovations. En: Das M., Ester P., Kaczmirek L., editors. Social and behavioral research and the Internet. Advances in applied methods and research strategies. European Association of Methodology. New York: Taylor and Francis Group; 2011. 11-43.         [ Links ]

6. Braithwaite D, Emery J, de Lusignan S, et al. Using the Internet to conduct surveys of health professionals: a valid alternative?. Fam Pract. 2003; 20:545-51.         [ Links ]

7. Wilson PM, Petticrew M, Calnan M, et al. Effects of a financial incentive on health researchers´ response to an online survey: a randomized controlled trial. J Med Internet Res (edición electrónica). 2010; 12:E13. (Consultado el 27/9/2011.) Disponible en: http://www.jmir.org/2010/2/e13/.         [ Links ]

8. Edwards PJ, Roberts I, Clarke MJ, et al. Methods to increase response to postal and electronic questionnaires. Cochrane Database Syst Rev (edición electrónica). 2009; Art. No. MR 000008. (Consultado el 27/9/2011.) Disponible en: http://www2.cochrane.org/reviews/en/mr000008.html.         [ Links ]

9. Mira Solves JJ, Llinas Santacreu G, Lorenzo Martínez S, et al. Uso de Internet por médicos de primaria y hospitales y percepción de cómo influye en su relación con los pacientes. Aten Primaria. 2009; 41:308-14.         [ Links ]

10. Fincham JE. Response rates and responsiveness for surveys, standards and the journal. Am J Pharm Educ. 2008; 72:43.         [ Links ]

 

 

Dirección para correspondencia:
nicole.aerny@salud.madrid.org
(N. Aerny Perreten).

Recibido 26 Mayo 2011
Aceptado 9 Octubre 2011