METODOLOGÍA CUALITATIVA
Triangulación de un estudio cualitativo mediante regresión logística*
Triangulation of a qualitative research by logistic regression
Lorena González-García1, Carmen Gómez-González2, Clarice Chemello3, María Dolores Cubiles-de la Vega4, José Manuel Santos-Lozano5,6,7 y Manuel Ortega-Calvo5,7,8
1Grupo de Investigación en Atención Farmacéutica. Hospital Universitario San Cecilio, Universidad de Granada. FIBAO. España.
2U.C.I. Hospital "Infanta Luisa". Sevilla. España. ]]>
3Departamento de Farmacia Social. Facultad de Farmacia. Universidad Federal de Minas Gerais. Belo Horizonte. Brasil.
4Departamento de Estadística e Investigación Operativa. Facultad de Matemáticas. Universidad de Sevilla. España.
5Distrito Sanitario de Atención Primaria Sevilla (Servicio Andaluz de Salud).
6Centro de Salud San Pablo.
7CIBER de Fisiopatología de la Obesidad y la Nutrición (CIBERobn), Instituto de Salud Carlos III, España.
8Centro de Salud Esperanza Macarena. Sevilla. España
Este artículo ha obtenido financiación indirecta de: FIBAO, Hospital Infanta Luisa de Sevilla, y el Instituto de Salud Carlos III
Dirección para correspondencia
Fundamento y Objetivo: La investigación cualitativa complementa su visión de la realidad mediante la triangulación. La regresión logística binaria es un instrumento de predicción de riesgo en epidemiología analítica. Nuestro objetivo ha sido triangular una investigación cualitativa de tipo pedagógico con modelos de regresión logística.
Material y Método: Sobre la información recogida por un grupo focal, organizamos los datos en tres variables: Aforismo / Frase corta (variable dependiente), Profesor y Tipo (variables predictoras) y construimos dos modelos con regresión logística binaria. El error alfa fue del 5 y del 10%. El tamaño muestral venía impuesto por el grupo focal anterior (saturación cualitativa). Se diseñaron rutinas para trabajar con los datos en el programa R.
Resultados: Con 127 elementos (44 aforismos y 83 frases cortas) se obtuvieron significaciones crudas del 10% para dos de los diez profesores con información relevante para el grupo focal (odds ratios de 0.42 y 2.33 respectivamente; índice de Brier escalado = 0.06 y área bajo curva ROC = 0.63) y significaciones menores del 5% para cuatro de los cinco epígrafes en que habíamos dividido la variable tipo (epidemiológicos, epistemológicos, estadísticos y pragmáticos o heurísticos). El epígrafe "Estadístico" fue significativo con respecto a "Epistemológico" (OR=5,00; IC al 95% = 14.431-1.743) y con respecto a "Pragmático" (OR=4.80; IC al 95%=14.602-1.577). El epígrafe "Difusión Científica" no resultó significativo.
Conclusiones: En un entorno de investigación cualitativo-pedagógica sobre aforismos y frases cortas, la regresión logística binaria se ha mostrado eficaz, dentro de una estrategia de triangulación, para identificar docentes originales para el grupo focal (p<0.10) y señalar epígrafes con interés clasificatorio (p<0.05). La capacidad predictiva de los modelos ha sido baja y la capacidad discriminativa aceptable.
Palabras clave: Investigación cualitativa, Epistemología, Triangulación, Modelos logísticos, Docencia, Epidemiología, Estadística, Métodos mixtos.
ABSTRACT
Background and objectives: Qualitative research seeks to enrich its vision of reality through triangulation. Binary logistic regression is a prediction tool in analytical epidemiology. Our aim was to complement a qualitative study by logistic regression models.
Methods: On gathered information by a previous focus group, we organized the data into three variables: Aphorism / short phrase (dependent), Professor and Type (predictive) and built two models with binary logistic regression. The alpha error was 5 and 10%. The sample size was imposed by the previous focus group task (qualitative saturation). Routines were implemented to work with the program R.
Results: With 127 elements (44 aphorisms and 83 short sentences) we obtained a 10% raw signification for two of the ten teachers with relevant information for the focus group (odds ratios of 0.42 and 2.33 respectively; Brier scaled =0.06 and area under ROC curve = 0.63) and significations less than 5% for four the five sections in which we divided the variable "Type" (epidemiological, epistemological, statistical, pragmatic or heuristic). The heading "Statistics" was significant with respect to "Epistemological" (OR = 5.00, CI 95% = 14.431-1.743) and with respect to "Pragmatic" (OR = 4.80, CI 95% = 14.602-1.577). The label "Scientific Spread" was not significant. ]]>
Conclusions: In an environment of qualitative and pedagogical research on aphorisms and short phrases, binary logistic regression has been shown effective in identifying original teachers for focus group (p<0.1) and to identify qualifying entries with interest (p<0.05). The predictive capability of models has been low and acceptable the discriminative capacity.
Key words: Qualitative research, Knowledge, Triangulation, Logistic models, Teaching, Epidemiology, Statistics, Mixed methods.
Dedicado a la memoria de Jorge Rosell Pradas, Cirujano General y de Aparato Digestivo del Hospital San Cecilio de Granada y Profesor de Escritura Científica en la Escuela Andaluza de Salud Pública, por los conceptos y los ejemplos éticos que supo transmitir a sus alumnos.
Introducción
La regresión logística tiene cada vez más importancia como instrumento de análisis estadístico en los estudios epidemiológicos tanto en aquellos con diseño cohorte (que es su hábitat natural)1 como en aquellos otros con diseño de casos y controles. La aplicación de los modelos logísticos en los estudios caso-control fue sugerida y justificada por Mantel2 y por Siegel y Greenhouse.3 Poco después se planteó la estimación de los coeficientes utilizando un argumento condicionado, lo cual permitía aplicarlos en los diseños de casos y controles pareados. Por definición, la regresión logística binaria (RLB) se ha de caracterizar por la existencia de una variable respuesta de tipo categórico con dos posibilidades (sí/no, vivo/muerto, caso/control...).4,5 Su estructura epistemológica y matemática la hace aprovechable para el análisis de investigaciones cualitativas.
La investigación cualitativa por otra parte cada vez tiene más rigor científico dentro de la investigación en salud.6-10 Una de las críticas más serias que se le puede hacer desde el ámbito de la filosofía de la ciencia, es su incapacidad para definir y medir de manera específica la realidad.11,12 Una forma de compensar esa hipoteca es la triangulación. El origen histórico de ese concepto está en la agrimensura y en las técnicas de navegación marítima.
Aunque la investigación sanitaria cualitativa se esté beneficiando de ella, su origen está en las ciencias sociales.13 Norman K Denzin definió tres tipos de triangulación en investigación sociológica.14 La triangulación teórica, la triangulación de datos y la triangulación de investigador. La triangulación solo será efectiva si mantiene un punto fijo de referencia. Para muchos autores, ese es el elemento fundamental y quizás sea la definición más adecuada de su solidez epistemológica.15 La primera referencia en la que se utilizó este término fue la de Campbell y Fiske en el año 1959.16 Ellos se refirieron al concepto de triangulación como método de validación convergente. La metasíntesis por su parte, es una técnica de recogida de información que se considera como triangulación de segundo nivel.17
Con una experiencia previa en la aplicación de análisis de datos categóricos y continuos mediante regresión logística binaria,18,19 nos propusimos analizar la evidencia existente en la aplicación de la RLB a la triangulación de investigaciones cualitativas. Oh y cols. realizaron dos trabajos muy interesantes basándose en árboles de decisión sobre pacientes neoplásicos20 y sobre pacientes afectos de enfermedad neurovascular.21 Bowers y cols. publicaron una investigación sobre la diversidad racial en pacientes psiquiátricos agudos22 y Pati y cols. otro sobre la disposición del mobiliario en las habitaciones de enfermos quirúrgicos según fueran diestros o zurdos.23 Los investigadores de sistemas sanitarios cada vez emplean más las metodologías mixtas para poder medir y describir lo que observan.24 La triangulación para O'Cathain y cols.25 posee dos significados. Se puede emplear en el sentido de que dos conjuntos de datos coincidan o en el sentido que hemos expuesto anteriormente de que dos métodos diferentes ayuden a comprender científicamente una realidad.26,27 El objetivo en este artículo ha sido triangular mediante RLB un estudio cualitativo realizado con el material aportado por un grupo focal.28
]]>Material y métodos
La técnica de recogida de la información había sido mediante un grupo focal y está descrita en otro lugar.28 Nuestras preguntas de investigación han sido el identificar cual era el docente o docentes que habían influido más sobre el alumnado mediante mensajes pedagógicos clasificados como aforismos y como frases pedagógicas cortas (que fue considerada como unidad de observación básica) y también si una segunda clasificación en tipos (epidemiológicos, epistemológicos, estadísticos, de difusión y pragmáticos o heurísticos) había tenido algún tipo de relación con la clasificación dicotómica en aforismos y frases cortas. La definición de las variables y la inclusión de cada elemento en su lugar correspondiente fue decidida por el grupo focal mediante diálogo por correo electrónico. Uno de los miembros actuó de moderador. Las iniciales de las etiquetas de la variable Profesor correspondían a cada uno de los docentes a los que se les seleccionó mensajes con contenido para la investigación.28
La triangulación se realizó mediante regresión logística binaria (RLB), construyendo modelos univariantes con la variable aforismo/frase corta como resultado y la variable "Profesor" como predictora en primer lugar y con la variable "Tipo" después. El grupo focal recogió información de diez de los profesores del curso, por lo que en el modelo resultante había nueve variables dummies y clasificó el material en cinco tipos (véase más arriba), con lo cual se generó otro modelo con cuatro dummies (Figura 1).
Nuestra rutina consistió en ir cambiando la variable dummie de referencia hasta encontrar un modelo con variables significativas. Se construyeron dos modelos monovariantes, uno con "Profesor" y otro con "Tipo" como predictoras. El error alfa aceptado fue del 5% y del 10%. El tamaño muestral venía impuesto por el trabajo del grupo focal anterior de acuerdo a criterios de saturación cualitativa. Se calcularon intervalos de confianza al 90% y al 95%. A las transformaciones de las variables para el estudio con RLB, se les denominó Profesorrec y TIPOrec respectivamente.
Para la construcción de un modelo con RLB es necesario que la variable resultado muestre dos valores posibles que sean complementarios uno de otro, por ejemplo ser caso o control, estar vivo o muerto, padecer una neoplasia o no padecerla.1,4 Nosotros consideramos los valores posibles de la variable resultado (Aforismo o frase corta de tipo positivo) como complementarios y totalmente diferentes uno de otro siguiendo las ideas de Morson.28
El estudio estadístico fue realizado con el programa R29 (versión 2.14.0). Se realizaron curvas de calibración de los modelos obtenidos mediante el paquete rms ("Regression Modelling Strategies") y la función val.prob ("Validate Predicted Probabilities"). Se obtuvieron los permisos éticos correspondientes por parte de los docentes implicados y de la institución, en este caso la Escuela Andaluza de Salud Pública (Granada).
]]>Resultados
Obtuvimos 127 elementos con una distribución de 44 aforismos y 83 frases cortas. Con estos hallazgos alcanzamos una buena saturación cualitativa.
En la tabla 1 mostramos las distribuciones de frecuencia de las variables aforismo / frase corta y profesor. En ella se puede observar que desde la fase descriptiva hay dos docentes que aportan más del 50% de la información relevante para el grupo focal. En la tabla 2 presentamos las distribuciones de frecuencia de la variables aforismo/frase corta y tipo. Se puede identificar en ella al epígrafe "Estadístico" como el más frecuentemente clasificado por el grupo focal.
En la tabla 3 están descritos los coeficientes y las odds ratios (OR) de las dummies significativas para el modelo que contiene la variable "Profesor" como predictora y la variable "Aforismo/Frase Corta" como dependiente. Es quizás la más importante de este trabajo pues señala y desglosa la forma de transmitir de dos de los docentes del curso.
]]>
En la tabla 4 están descritos los coeficientes y las odds ratios (OR) de las dummies significativas para el modelo que contiene la variable "Tipo" como predictora y la variable "Aforismo/Frase Corta" como dependiente. En las figuras 2 y 3 se recogen las gráficas de calibración de los modelos que ocupan el primer lugar en las tablas 3 y 4 respectivamente.
Discusión
Los hallazgos de este original aportan una triangulación a la investigación cualitativa realizada por algunos de nosotros anteriormente. La idea básica de la triangulación fue dicotomizar la información cualitativa disponible para poder aplicar la RLB en dos modelos donde la variable dependiente fuera aforismo o frase corta de tipo pedagógico (Figura 1).
Entre los sesgos debemos reseñar el hecho de que el grupo focal estuvo formado por estudiantes postgraduados que durante casi un año habían compartido aula y que se sentían cercanos por compatibilidad de carácter y de personalidad. Antes del comienzo del curso ninguno de los componentes se conocían. La fase de recogida de la información se abrió al final de los doce meses de formación. Otro dato que pudiera influir en nuestros resultados es que la mayoría de las discusiones fueron virtuales mediante correo electrónico. Entre las características que pueden dar representatividad a nuestro trabajo debemos señalar la diversidad de profesiones sanitarias que tenían los miembros del grupo focal.
Según la tabla 3, los docentes más citados fueron Emilio Sánchez-Cantalejo (ES-C) y Luís Carlos Silva Ayçaguer (LCSA). Se distinguieron de los demás con un error alfa del 10% y con las odds ratios expuestas en la tabla 3. Podríamos haber eliminado los docentes con menos elementos informativos en un segundo análisis para con ello aumentar la proporción de eventos de interés por variable30,31 y quizás aumentar la significación. Es posible que de esa forma hubiéramos obtenido un análisis más robusto.32 No hemos estimado necesario hacerlo y nos quedamos con el 10% de significación cruda.
La interpretación estadística de los coeficientes que aparecen en la tabla 3 es que según los datos de este estudio mixto, L C-S muestra una odds ratio de 2.33 de formular más aforismos que frases pedagógicas cortas con respecto a E S-C, controlando por el resto de los profesores y con un error alfa del 10% (segunda fila de la tabla). E S-C muestra la misma odds ratio con respecto a L C-S para formular más frases cortas pedagógicas que aforismos en clase (primera fila de la tabla; inverso de 0.42 = 2.38 algo diferente por el redondeo pero es un valor contenido en el intervalo de confianza de forma neta).
Además de las características personales de cada docente en cuanto a los contenidos cualitativos que se estaban estudiando, no cabe duda también de que ellos poseían las cargas horarias más altas dentro del curso. La de ESC fue ligeramente mayor que la de LCSA. Con anterioridad a los modelos expuestos en este original, intentamos diseñar una triangulación con regresión multinivel33 pero no obtuvimos resultados interpretables. Hubiera sido una alternativa muy aceptable. Realizamos también un modelo bivariante mediante regresión logística binaria con "Profesor" y "Tipo" como variables predictoras. Obtuvimos un modelo con 13 dummies bastante complejo de interpretar. Con un tamaño muestral como el nuestro y con dos variables predictoras,18 no recomendamos a futuros investigadores interesados en triangular un trabajo cualitativo, que realicen modelos multivariantes.
Los grupos clasificatorios más rentables (tabla 4) en cuanto a fuerza de asociación y precisión fueron: el epígrafe "estadístico" con respecto a "epistemológico" (OR=5,00; IC al 95% = 14.431-1.743) y el epígrafe "estadístico" con respecto al epígrafe "pragmático" (OR=4.80; IC al 95%=14.602-1.577).
Según la terminología expresada por Palinkas y colaboradores34 esta investigación tiene un diseño mixto del tipo: QUAL - quan. Es decir se trata de un trabajo secuencial con recogida y análisis de datos cuantitativos y cualitativos, empezando por estos últimos con el propósito primario de exploración o de generación de hipótesis. La triangulación no solo se emplea en la investigación de los procesos educativos teóricos en salud, también se emplea explorando y analizando aspectos clínicos.35
Nuestro punto fijo de referencia13-15 en la triangulación ha sido la RLB monofactorial. Hemos procedido a una "cuantitización"36 de los datos cualitativos previos para objetivar estadísticamente unos hallazgos. Las ventajas de realizar análisis cuantitativos posteriores a una aproximación cualitativa se pueden obtener desde una óptica científica post-positivista.37,38 La utilización de cuestionarios puede hacer aflorar alguna que otra crítica, porque tienen dificultad para captar la ambigüedad, el flujo y las contradicciones de la realidad subjetiva que ocurre en el día a día.39
]]> En un entorno de investigación cualitativa sobre aforismos y frases cortas, la RLB se ha mostrado eficaz para identificar docentes originales y para identificar epígrafes con interés clasificatorio.1,4 Queremos recordar que el tamaño de la muestra nos vino impuesto por el trabajo anterior del grupo focal y que la RLB ha sido empleada para cuantificar un esfuerzo clasificatorio realizado mediante una óptica cualitativa.1 Berk describió hasta 12 estrategias diferentes para medir la efectividad de la docencia,40,41 quizás la que hemos referido en este trabajo sea otra estrategia más.42-45 Defendemos que la investigación cualitativa no es ciencia de segundo nivel46,47 y también creemos que la exploración de la frontera cualitativo-cuantitativa es apasionante para el investigador.Categorizar una variable continua es una intervención que resta capacidad e intensidad de análisis a la estadística multivariante.48 Pero categorizar de forma inteligente y práctica un cúmulo de datos cualitativos puede enriquecer el abordaje de la realidad desde un punto de vista epistemológico. Aunque la calibración de un modelo logístico con predictoras categóricas esté criticada,49 nosotros hemos incluido ese tipo de análisis. Los índices de Brier escalados obtenidos (0.06 y 0.12, Figuras 2 y 3) nos hacen pensar en la baja capacidad predictiva de los modelos expuestos en las Tablas 3 y 4. Por otra parte, la capacidad discriminativa es moderadamente aceptable con áreas bajo curva ROC de 0.63 y de 0.69 respectivamente (Figuras 2 y 3). En todo caso, nosotros estamos de acuerdo con Muniaín Ezcurra quien ha referido recientemente que: "Tanto en la enseñanza de pregrado como en el postgrado he considerado que los profesores enseñan tanto por lo que saben como por lo que son".50
En resumen, este artículo expone una técnica de triangulación para la investigación cualitativa. Hemos intentado aportar una aplicación de la regresión logística binaria en la frontera epistemológica de lo cualitativo y lo cuantitativo escogiendo para ello la forma de enseñar de dos estadísticos con prestigio. La regresión logística binaria se ha mostrado eficaz, dentro de una estrategia de triangulación, para identificar docentes originales para el grupo focal (p<0.10) y señalar epígrafes con interés clasificatorio (p<0.05). La capacidad predictiva de los modelos ha sido baja y la capacidad discriminativa aceptable.
Bibliografía
1. Sánchez-Cantalejo Ramírez E. Regresión Logística en Salud Pública (Serie Monografías no 26). Granada: Escuela Andaluza de Salud Pública. 2000. Pp. 1-167. [ Links ]
2. Mantel N. Synthetic retrospective studies and related topics. Biometrics 1973; 29: 479-486. [ Links ]
3. Seigel DG, Greenhouse SW. Validity in estimating relative risk in case-control studies. J Chron Dis 1973; 26: 219-226. [ Links ]
4. Silva Ayçaguer LC, Barroso Utra IMa. Regresión Logística. Cuadernos de Estadística. No 27. Ediciones La Muralla. Madrid. 2004. [ Links ]
5. Sheean PM, Bruemmer B, Gleason P, Harris J, Boushey C, Van Horn L. Publishing nutrition research: a review of multivariate techniques-part 1. J Am Diet Assoc. 2011; 111: 103-10. [ Links ]
6. Pérez Andrés, C. Sobre la metodología cualitativa. Rev. Esp. Salud Pública. 2002; 76(5): 373-380. [ Links ]
7. Conde Gutiérrez F. Encuentros y desencuentros entre la perspectiva cualitativa y la cuantitativa en la Historia de la Medicina. Rev. Esp. Salud Pública. 2002; 76(5): 395-408. [ Links ]
8. Green J, Britten N. Qualitative research and evidence based medicine. BMJ 1998; 316: 1230-2. [ Links ]
9. Amezcua M, Gálvez Toro A. Los modos de análisis en investigación cualitativa en salud: perspectiva crítica y reflexiones en voz alta. Rev. Esp. Salud Pública. 2002; 76(5): 423-436. [ Links ]
10. Amezcua M, Carricondo Guirao A. Investigación Cualitativa en España. Análisis de la producción bibliográfica en Salud. Index de Enfermería 2000; 28-29: 26-34. [ Links ]
11. McMillan WJ. Finding a method to analyze qualitative data: using a study of conceptual learning. J Dent Educ. 2009; 73: 53-64. [ Links ]
12. Popay J. Qualitative research and the epidemiological imagination: a vital relationship. Gac Sanit. 2003; 17 Suppl 3: 58-63. [ Links ]
13. Fotheringham D. Triangulation for the assessment of clinical nursing skills: a review of theory, use and methodology. Int J Nurs Stud. 2010; 47: 38-91. [ Links ]
14. Denzin NK (Ed.). Sociological Methods. London: Butterworths, 1970. [ Links ]
15. Pool R, Montgomery CM, Morar NS, Mweemba O, Ssali A, Gafos M, Lees S, Stadler J, Crook A, Nunn A, Hayes R, McCormack S. A mixed methods and triangulation model for increasing the accuracy of adherence and sexual behaviour data: the Microbicides Development Programme. PLoS One. 2010; 5(7): e11600. Disponible en: http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0011600 (acceso: 14/02/2013). [ Links ]
16. Campbell DT, Fiske DW. Convergent and discriminant validation by the multitrait-multimethod matrix. Psychol Bull. 1959; 56: 81-105. [ Links ]
17. Finfgeld-Connett D. Generalizability and transferability of meta-synthesis research findings. J Adv Nurs. 2010; 66: 246-54. [ Links ]
18. Ortega Calvo, M, Cayuela Domínguez, A. Regresión logística no condicionada y tamaño de muestra: una revisión bibliográfica. Rev Esp Salud Pública 2002; 76: 85-93. [ Links ]
19. Villadiego-Sánchez JM, Ortega-Calvo M, Pino-Mejías R, Cayuela A, Iglesias-Bonilla P, García de la Corte, F, Santos-Lozano JM, Lapetra-Peralta J. Multivariate explanatory model for sporadic carcinoma of the colon in Dukes' stages I and IIa. Int J Med Sci 2009; 6: 43-50. [ Links ]
20. Oh H S, Park, H A. Decision tree model of the treatment-seeking behaviors among Korean cancer patients. Cancer Nurs. 2004; 27: 259-66. [ Links ]
21. Oh HS, Park HA. Decision-tree model of treatment-seeking behaviors after detecting symptoms by Korean stroke patients. Taehan Kanho Hakhoe Chi. 2006; 36: 662-70. [ Links ]
22. Bowers L, Simpson A, Nijman H, Hall C. Patient ethnicity and three psychiatric intensive care units compared: the Tompkins Acute Ward Study. J Psychiatr Ment Health Nurs. 2008; 15: 195-202. [ Links ]
23. Pati D, Cason C, Harvey TE Jr, Evans J ; An empirical examination of patient room handedness in acute medical-surgical settings. HERD Fall. 2010; 4: 11-33. [ Links ]
24. Benning A, Ghaleb M, Suokas A, Dixon-Woods M, Dawson J, et al. Large scale organisational intervention to improve patient safety in four UK hospitals: mixed method evaluation. BMJ. 2011; 342: d195. [ Links ]
25. O'Cathain A, Murphy E, Nicholl J. Three techniques for integrating data in mixed methods studies. BMJ. 2010; 341: c4587. [ Links ]
26. Sandelowski M. Triangles and crystals: on the geometry of qualitative research. Res Nurs Health. 1995; 18: 569-74. [ Links ]
27. Moran-Ellis J, Alexander V, Cronin A, Dickinson M, Fielding J, Sleney J, Thomas H. Triangulation and Integration: processes, claims and implications. Qualitative Research. 2006; 6: 45-59. [ Links ]
28. González-García L, Chemello C, García-Sánchez F, Serpa-Anaya DC, Gómez-González C, Soriano-Carrascosa L, et al. Aphorisms and short phrases as pieces of knowledge in the pedagogical framework of the Andalusian School of Public Health. Int J Prev Med. 2012; 3: 197-210. [ Links ]
29. Ihaka R, Gentleman RR. A language for data analysis and graphics. Journal of Computational and Graphical Statistics. 1996; 5: 299-314. [ Links ]
30. Concato J, Perduzzi P, Holford TR, Feinstein AR. Importance of events per independent variable in proportional hazards analysis. I. Background, goals and general strategy. J Clin Epidemiol 1995; 48: 1495-1501. [ Links ]
31. Concato J, Perduzzi P, Holford TR, Feinstein AR. Importance of events per independent variable in proportional hazards regression analysis. II. Accuracy and precision of regression estimates. J Clin Epidemiol 1995; 48: 1503-10. [ Links ]
32. Cutanda Henríquez F. Datos anómalos y regresión logística robusta en ciencias de la salud. Rev Esp Salud Pública. 2008; 82: 617-625. [ Links ]
33. Sánchez-Cantalejo E, Ocaña-Riola R. Los modelos multinivel o la importancia de la jerarquía. Gac Sanit. 1999; 13: 391-8. [ Links ]
34. Palinkas LA, Aarons GA, Horwitz S, Chamberlain P, Hurlburt M, Landsverk J. Mixed method designs in implementation research. Adm Policy Ment Health. 2011; 38: 44-53. [ Links ]
35. Bray M, Heselwood B, Lee W, Taylor L. Students, clinicians and university tutors: triangulation of clinical data. Int J Lang Commun Disord. 1998; 33 Suppl: 226-31. [ Links ]
36. Sandelowski M. Combining qualitative and quantitative sampling, data collection, and analysis techniques in mixed-method studies. Res Nurs Health. 2000; 23: 246-55. [ Links ]
37. Coyle J, Williams B. An exploration of the epistemological intricacies of using qualitative data to develop a quantitative measure of user views of health care. J Adv Nurs. 2000; 31:1235-43. [ Links ]
38. Clark AM. The qualitative-quantitative debate: moving from positivism and confrontation to post-positivism and reconciliation. J Adv Nurs. 1998; 27: 1242-9. [ Links ]
39. Mavaddat N, Kinmonth AL, Sanderson S, Surtees P, Bingham S, Khaw KT. What determines Self-Rated Health (SRH)? A cross-sectional study of SF-36 health domains in the EPIC-Norfolk cohort. J Epidemiol Community Health 2011; 65: 800-806. [ Links ]
40. Berk RA. Survey of 12 strategies to measure teaching effectiveness. Int J Teach Learn Higher Educ 2005; 17: 48-62. [ Links ]
41. Jahangiri L, Mucciolo TW, Choi M, Spielman AI. Assessment of teaching effectiveness in U.S. Dental schools and the value of triangulation. J Dent Educ. 2008; 72: 707-18. [ Links ]
42. Kuper A, Albert M, Hodges BD. The origins of the field of medical education research. Acad Med. 2010; 85: 1347-53. [ Links ]
43. Weatherall D. Science and medical education: is it time to revisit Flexner? Med Educ. 2011; 45: 44-50. doi: 10.1111/j.1365-2923.2010.03761.x. [ Links ]
44. Karimi R. Interface between problem-based learning and a learner-centered paradigm. Advances in Medical Education and Practice 2011; 2: 117-125. [ Links ]
45. Levine D, Bleakley A. Maximising medicine through aphorisms. Med Educ. 2012; 46: 153-62. [ Links ]
46. Shuval K, Harker K, Roudsari B, Groce NE, Mills B, et al. Is Qualitative Research Second Class Science? A Quantitative Longitudinal Examination of Qualitative Research in Medical Journals. PLoS ONE. 2011; 6(2): e16937. doi:10.1371. [ Links ]
47. Oliva P, Buhring K. Investigación cualitativa y evidencia en salud: Respuestas fundamentales para su comprensión. Rev Chil Salud Pública. 2011; 15: 173-179. [ Links ]
48. Cumsille F, Bangdiwala SI. Categorización de variables en el análisis estadístico de datos: consecuencias sobre la interpretación de resultados. Rev Panam Salud Pública. 2000; 8: 348-354. [ Links ]
49. Dalen I, Buonaccorsi JP, Laake P, Hjartåker A, Thoresen M. Regression analysis with categorized regression calibrated exposure: some interesting findings. Emerg Themes Epidemiol. 2006; 3:6. Disponible en: http://www.biomedcentral.com/content/pdf/1742-7622-3-6.pdf (acceso: 12/03/2013). [ Links ]
50. Muniaín Ezcurra MA. Las enfermedades infecciosas: pasado, presente y futuro. Sevilla: Real Academia de Medicina de Sevilla. Discurso de Recepción como Académico Electo. 2013; p.10. [ Links ]
Dirección para correspondencia:
Manuel Ortega-Calvo
106mayorque104@gmail.com