SciELO - Scientific Electronic Library Online

 
vol.34 número5Frecuencia de consulta médica por problemas osteoarticulares en población general adulta en España. Estudio EPISER2016La evaluación de impacto en protección de datos en los proyectos de investigación índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Gaceta Sanitaria

versión impresa ISSN 0213-9111

Gac Sanit vol.34 no.5 Barcelona sep./oct. 2020  Epub 15-Feb-2021

https://dx.doi.org/10.1016/j.gaceta.2019.07.009 

Nota Metodológica

Las encuestas online y la falsa ilusión de la n grande. A propósito de una encuesta sobre la eutanasia en profesionales médicos

Online surveys and the false illusion of the large n. On a survey on euthanasia among medical practitioners

Mireia Utzeta  b  *  , Unai Martina  b 

aDepartamento de Sociología 2, Universidad del País Vasco, Leioa, Bizkaia, España

bGrupo de Investigación en Determinantes Sociales de la Salud y Cambio Demográfico, OPIK, Universidad del País Vasco, Leioa, Bizkaia, España

Resumen

El uso de estudios basados en encuestas online se ha extendido de manera notable. A pesar de tener tasas de respuesta especialmente pequeñas, permiten obtener con facilidad un gran tamaño de muestra. Sin embargo, esta estrategia puede conllevar un sesgo de selección que comprometa notablemente los resultados. Se comparan los resultados de dos encuestas sobre la regulación de la eutanasia y el suicidio asistido, unaonlinecon muestra autoseleccionada y la otra con muestreo aleatorio, realizadas en 2018 entre los/las colegiados/as del Colegio de Médicos de Bizkaia. Las tasas de respuesta fueron del 10,4% (encuesta online) y del 87,8% (encuesta aleatoria). No se encontraron diferencias en las características sociodemográficas, aunque sí en las de opinión, de manera que el porcentaje de personas contrarias a la regulación de la eutanasia estaba sobrestimado. Los resultados de este estudio muestran que dicha estrategia de muestreo genera sesgos en los resultados, alguno de ellos difícilmente detectable y reparable.

Palabras clave: Encuesta online; Tamaño muestral; Tasa de respuesta; Sesgo Eutanasia

Abstract

The use of studies based on online surveys has expanded significantly. Despite having particularly small response rates, they allow a large sample size to be easily obtained. However, this strategy may entail a selection bias that significantly compromises the results. The results of two surveys on the regulation of euthanasia and assisted suicide are compared. One is an online survey with a self-selected sample and the other a survey with random sampling, conducted in 2018 among the members of the Medical Association of Bizkaia. The response rates were 10.4% (online survey) and 87.8% (random survey). No differences were found in sociodemographic characteristics, although there were differences in the opinion variables, so that the percentage of people who opposed euthanasia regulation was overestimated. The results of this study show that this sampling strategy generates biases in the results, some of which are difficult both to detect and to repair.

Keywords: Online survey; Sample size; Response rate; Bias; Euthanasia

Introducción

Los cambios tecnológicos y la amplia penetración de tecnologías como Internet han conllevado una profunda transformación social que también ha impactado notablemente en las formas y las metodologías de la investigación. En el caso de los estudios basados en encuestas, los cuestionarios online hacen posible obtener un amplio número de respuestas con un coste relativamente bajo, ya que permiten el envío masivo de cuestionarios a través de anuncios en páginas web o listas de direcciones electrónicas que en ocasiones pueden cubrir a toda la población objeto de estudio1-2. Así, su uso se ha popularizado porque, a pesar de tener tasas de respuesta especialmente pequeñas3, permiten obtener un tamaño de muestra elevado4. En ocasiones, este último aspecto es el único considerado para evaluar la calidad y la representatividad de los datos obtenidos. Sin embargo, esta estrategia puede conllevar un sesgo de selección que comprometa notablemente los resultados obtenidos.

El objetivo del presente estudio es analizar los resultados de una encuesta realizada siguiendo esta estrategia frente a los resultados utilizando un muestreo aleatorio.

Método

Se comparan los resultados de dos encuestas realizadas entre octubre y noviembre de 2018 entre los/las colegiados/as del Colegio de Médicos de Bizkaia (N=7754). Las dos personas autoras del presente artículo colaboraron en el diseño del muestreo, pero no realizaron el trabajo de campo (que llevó a cabo el Colegio de Médicos de Bizkaia) ni tuvieron acceso a datos personales. En la primera encuesta, a toda la población objeto de estudio de la que se disponía de dirección (90%) se envió un correo electrónico invitando a participar en el estudio a través de un link, y las respuestas fueron recogidas a través de una página web. Se obtuvo una muestra de n=709 colegiados/as. En la segunda, se seleccionó mediante muestreo aleatorio simple una muestra de individuos, n=382, pertenecientes a la población objeto de estudio, con los que se contactó telefónicamente para realizar la encuesta. El error muestral fue de±5,0% (suponiendo p=q=0,5) y un margen de confianza del 95%. El cuestionario podía ser cumplimentado en la misma llamada telefónica u online. Ambos cuestionarios eran idénticos y el tema era la opinión sobre la eutanasia y el suicidio asistido y su regulación. Las variables de interés se han descrito a partir de la frecuencia absoluta y relativa (n, %), y según el tipo de encuesta. Los resultados se han comparado mediante la prueba estadística de ji al cuadrado, con un nivel de significación de 0,05, y a partir del análisis de los residuos ajustados estandarizados.

Resultados

Las tasas de respuesta fueron del 10,4% en la encuesta online y del 87,8% en la encuesta aleatoria. Las características sociodemográficas de ambas encuestas se presentan en la Tabla 1. No hay apenas diferencias entre las dos encuestas en las variables sociodemográficas; únicamente en la edad hay menos proporción de mayores de 71 años en la encuesta online, aunque las diferencias en esta variable no fueron estadísticamente significativas.

Tabla 1.  Características sociodemográficas según el tipo de encuesta 

  Encuesta con muestreo aleatorio Encuestaonline p
n % n %
Sexo
Hombre 171 44,8 311 44,1 0,821
Mujer 211 55,2 395 55,9  
Edad
Hasta 30 años 37 9,7 70 9,9 0,051
De 31 a 40 años 71 18,6 118 16,6  
De 41 a 50 años 72 18,8 115 16,2  
De 51 a 60 años 89 23,3 201 28,3  
De 61 a 70 años 90 23,6 185 26,1  
71 años o más 23 6 20 2,8  
Ámbito profesional
Atención hospitalaria 168 44 281 39,6 0,322
Atención primaria 120 31,4 248 35  
Jubilado/a 47 12,3 72 10,2  
Otros (mutualidades, medicina del trabajo) 43 11,3 100 14,1  
Universidad 4 1 8 1,1  

En la Tabla 2 se presenta la distribución de respuestas a las preguntas sobre la posible regulación de la eutanasia y del suicidio asistido. En este caso sí se encuentran diferencias significativas entre ambas estrategias muestrales, tanto si la pregunta se categoriza en cinco categorías como si se agrupa en tres. La estrategia online describe un mayor porcentaje en contra de la regulación de la eutanasia, en concreto 4,8 puntos mayor (un 47,5% más), así como un menor porcentaje que no se posiciona o no tiene una opinión definida en el caso del suicidio asistido. En el muestreo aleatorio, el 5,4% manifiesta no saber o no tener una opinión definida, frente al 1,9% en el caso del muestreo online. Además, aunque de manera no significativa, se detecta una mayor tendencia dentro del muestro online a las opiniones más extremas; en todos los casos, el porcentaje que manifestaba una opinión extrema (sí o no) era mayor en el muestro online, sobre todo a favor del suicidio asistido y en contra de la regulación de la eutanasia, donde la diferencia roza la significación estadística.

Tabla 2.  Regulación de la eutanasia y el suicidio asistido según tipo de encuesta y residuos ajustados estandarizados 

  Encuesta muestreo aleatorio Encuesta online   Encuesta muestreo aleatorio Encuesta online
n % (residuo) n % (residuo) p   n % (residuo) n % (residuo) p
Regulación eutanásia
256 67,7 (-0,5) 486 69,1 (0,5) 0,038 330 87,3 (1,7) 587 83,5 (−1,7) 0,042
Sí, pero no estoy seguro/a 74 19,6 (2,2) 101 14,4 (−2,2)          
No, pero no estoy seguro/a 14 3,7 (−1,2) 37 5,3 (1,2) No 38 10,1 (−2,3) 105 14,9 (2,3)
No 24 6,3 (−1,9) 68 9,7 (1,9)          
No lo sé, ni sí, ni no 10 2,6 (1,2) 11 1,6 (−1,2) No lo sé, ni sí, ni no 10 2,6 (1,2) 11 1,6 (−1,2)
Regulación suicidio
189 51,4 (−1,6) 395 56,3 (1,6) 0,001 272 73,9 (0,3) 512 73,0 (−0,3) 0,002
Sí, pero no estoy seguro/a 83 22,6 (2,3) 117 16,7 (−2,3)          
No, pero no estoy seguro/a 27 7,3 (−1,6) 72 10,3 (1,6) No 76 20,7 (−1,6) 176 25,1 (1,6)
No 49 13,3 (−0,7) 104 14,8 (0,7)          
No lo sé, ni sí, ni no 20 5,4 (3,2) 13 1,9 (−3,2) No lo sé, ni sí, ni no 20 5,4 (3,2) 13 1,9 (−3,2)

Conclusiones

El envío online masivo de cuestionarios ayuda a obtener una muestra amplia con pocos recursos. Sin embargo, los resultados de este estudio muestran que esta estrategia de muestreo genera sesgos en los resultados. En concreto, en nuestro caso, sobrestima el porcentaje de personas contrarias a la regulación de la eutanasia, así como el de personas con opiniones extremas. Por el contrario, infraestima el peso de las personas indecisas o con opiniones más intermedias. Este hecho puede atribuirse a que las personas con opiniones más definidas y extremas pueden mostrarse más proclives a contestar una encuesta que las personas con opiniones menos extremas o menos definidas, a las que el cuestionario puede generar menos interés.

Nuestros resultados coinciden con los señalados por otros autores2 y tienen importantes implicaciones para la investigación debido a varios aspectos; en primer lugar, por la magnitud de las diferencias en los resultados de una y otra estrategia. En este punto hay que tener en cuenta que una de las principales limitaciones del estudio es trabajar con una muestra aleatoria pequeña, pero que a pesar de ello presenta diferencias significativas. Segundo, el hecho de que estos resultados se produzcan en una población muy homogénea en la que existe un acceso y un uso generalizado de las tecnologías. Así, las diferencias de magnitud podrían ser mayores en otras poblaciones en las que se uniría el sesgo provocado por errores de cobertura derivados del acceso a las tecnologías. Tercero, las diferencias en las variables resultado se producen a pesar de no haber obtenido diferencias en las variables socioeconómicas. Esto supone que sea un sesgo difícilmente detectable y también difícilmente reparable. Y es que si se comparan las características socioeconómicas de la muestra autoseleccionada con las de la población objeto de estudio no se perciben diferencias, lo que puede llevar a pensar que la muestra es representativa. Además, es difícilmente reparable, ya que la estrategia clásica de ponderación de la muestra según variables socioeconómicas para alcanzar la estructura de la población no solucionaría el sesgo en la distribución de las variables resultado.

Por último, se trata de un error poco considerado al diseñar la investigación y evaluar los posibles sesgos de la estrategia. A pesar de que los estudios por encuesta conllevan varios tipos de error5-6, son los errores de muestreo, y en concreto los derivados de utilizar un determinado tamaño de muestra, los que se tienen más en cuenta, hasta el punto de ser considerada en ocasiones la única fuente de error7. Por ello, al evaluar un estudio que sigue este tipo de estrategia de muestreo, a pesar del tamaño de la muestra, es necesario considerar otro tipo de errores.

Agradecimientos

Al Colegio de Médicos de Bizkaia por haber facilitado la realización del presente estudio.

Bibliografía

1. Díaz de Rada V. Ventajas e inconvenientes de la encuesta por internet. Pap Rev Sociol. 2012;97:193. [ Links ]

2. Fricker S, Galesic M, Tourangeau R, et al. An experimental comparison of web and telephone surveys. Public Opinion Quarterly. 2005;69:370-92. [ Links ]

3. Fan W, Yan Z. Factors affecting response rates of the web survey: a systematic review. Comput Human Behav. 2010;26:132-9. [ Links ]

4. Duffy B, Smith K, Terhanian G, et al. Comparing data from online and face-to-face surveys. Int J Mark Res. 2005;47:615-39. [ Links ]

5. Wills G. Cognitive interviewing: a tool for improving questionnaire design. Thousand Oaks: Sage Publications; 2005. [ Links ]

6. Martín U, González-Rábago Y. Metodología cualitativa para enfocar la mirada cuantitativa: la experiencia de los pretest cognitivos aplicados a la Encuesta de Salud del País Vasco. Empiria Rev Metodol Ciencias Soc. 2019;0:137-58. [ Links ]

7. Castillo M. Utilidad de los métodos de pretest para la evaluación de los cuestionarios en la investigación mediante encuesta. 2009. Tesis doctoral. Granada: Universidad de Granada; 2009. [ Links ]

FinanciaciónEl Colegio de Médicos de Bizkaia ha financiado y realizado las encuestas que son origen de este estudio.

Recibido: 17 de Junio de 2019; Aprobado: 12 de Julio de 2019; : 19 de Noviembre de 2019

*Autora para correspondencia: Correo electrónico: mireia.utzet@ehu.eus (M. Utzet).

Editor responsable del artículo

Carlos Álvarez-Dardet.

Contribuciones de autoría

U. Martin concibió la idea inicial y el diseño del trabajo. El análisis de los datos fue realizado por M. Utzet. U. Martin y M. Utzet participaron en la discusión sobre los resultados y conclusiones del análisis, revisaron la redacción del manuscrito, realizaron importantes contribuciones para su mejora y aprobaron la versión final para su publicación.

Conflictos de intereses

Ninguno.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons