Investigación original

Análisis de la calidad de vida relacionada con la diabetes (ADDQoL) para Portugal:
exploración de la validez y la fiabilidad

An Audit of Diabetes Dependent Quality of Life (ADDQoL) for Portugal: 
exploring validity and reliability

Um exame à Qualidade de Vida dependente da Diabetes (ADDQoL) em Portugal: 
avaliação da validade e fiabilidade

Filipa Alves da COSTA, José Pedro GUERREIRO, Catherine DUGGAN.

ABSTRACT Objective: This paper describes the processes involved to ensure a diabetes-specific quality of life questionnaire [the “Audit of Diabetes Dependent Quality of Life” (ADDQoL)] retained the psychometric properties following cross-cultural adaptation from English to Portuguese. Methods: One hundred patients were recruited through community pharmacies located in Lisbon through a cross-sectional study design. Patients were asked to respond to the questionnaire on one occasion in time. Data were subjected to factor analysis, and internal consistency and discriminatory power analyses were undertaken. Results: In the Portuguese sample, 17 items loaded into one factor, with factor loadings above 0.43. The item “worries about the future” loaded weekly into this factor but if removed its internal consistency estimate increased very slightly (Cronbach’s alpha=0.89 to 0.90). A greater negative impact of diabetes on 16 of the 18 quality of life domains was detected for insulin-treated patients, together with a greater negative impact on 14 of the 18 quality of life domains for patients with diabetic complications. The domain “freedom to eat” revealed the greatest negative impact in all patient subgroups, as described in its original version, so the psychometric properties were retained. Additionally, patients without diabetic complications reported a worse quality of life (greater negative impact) on the first overview item, present quality of life (Z=-2.25; p=0.024); whilst patients on insulin reported a greater negative impact of diabetes on their quality of life (Z=-1.94; p=0.053). Conclusion: Generally, the Portuguese version for Portugal of the ADDQoL has shown to maintain its original psychometric properties, and could be recommended for use and further evaluation in subsequent studies. Key words: Diabetes. Quality of life. Validation studies. Community pharmacy services. Questionnaires. Portugal.

RESUMEN Objetivo: Este artículo describe el proceso realizado para asegurar que un cuestionario de calidad de vida específico para diabetes [el “Audit of Diabetes Dependent Quality of Life” (ADDQoL)] mantiene sus propiedades psicométricas después de una adaptación trans-cultural del inglés al portugués. Métodos: Usando farmacias comunitarias de Lisboa, se reclutó a 100 pacientes mediante un diseño transversal. Se pidió a los pacientes que respondieran el cuestionario una vez. Se sometió a los datos a un análisis factorial, y se realizaron análisis de consistencia interna y de poder discriminatorio. Resultados: En la muestra portuguesa, 17 ítems se incluyeron en un factor con pesos de más de 0,43. El ítem “preocupaciones sobre el futuro” peso poco en este factor, pero si se retiraba la consistencia interna sufría un muy ligero incremento (alfa de Cronbach=0,89 a 0,90). Se detectó un mayor impacto negativo en 16 de los 18 dominios de calidad de vida para los pacientes tratados con insulina, y también se encontró un mayor impacto negativo en 14 de los 18 dominios en pacientes con complicaciones diabéticas. El dominio “libertad para comer” mostró el mayor impacto negativo en todos los subgrupos de pacientes, tal y como describía la versión original, así que se conservaron las propiedades psicométricas. Además, los pacientes sin complicaciones diabéticas comunicaron peor calidad de vida (mayor impacto negativo) en el primer ítem, calidad de vida actual (Z=-2,25; p=0,024); mientras que los pacientes con insulina comunicaron un mayor impacto negativo de la diabetes en su calidad e vida (Z=-1,94; p=0,053). Conclusión: Generalmente, la versión portuguesa para Portugal del ADDQoL ha demostrado mantener sus propiedades psicométricas originales y podría recomendarse para su uso y posterior evaluación en posteriores estudios. Palabras clave: Diabetes. Calidad de vida. Estudios de validación. Servicios de farmacia comunitaria. Cuestionarios. Portugal.

---

Filipa Alves da COSTA, PhD. Instituto de Ciencias de l Salud Egas Moniz (ISCSEM). Centro de Investigación Farmacoepidemiológica (CEFAR), Asociación Nacional de Farmacias (ANF). Lisboa (Portugal).
José Pedro GUERREIRO, Centro de Investigación Farmacoepidemiológica (CEFAR), Asociación Nacional de Farmacias (ANF). Lisboa (Portugal).
Catherine DUGGAN, PhD. Departamento Académico de Farmacia, Barts and The London NHS Trust, Londres (Reino Unido).

 

INTRODUCCIÓN

La diabetes en una enfermedad crónica con varias implicaciones en la vida diaria de las personas diagnosticadas con esa enfermedad. Los profesionales de la salud tienen en deber de monitorizar el control de la diabetes para asegurar que la efectividad del tratamiento prescrito alcanza su potencial. Si el tratamiento óptimo es usado correctamente por los pacientes, deberían alcanzar un mejor control glucémico, que no necesariamente implica que existirá un aumento en la calidad de vida del paciente. Aun así, cualquier objetivo debe ser periódicamente evaluado para guiar a los facultativos a apuntar mejor sus intervenciones para mejor beneficio del paciente.

Los parámetros fisiológicos tradicionalmente controlados en pacientes diabéticos incluyen glucemia, hemoglobina gliosilada, presión arterial, colesterol, y peso. Cuando se evalúa la calidad de vida relacionada con la diabetes, es más beneficioso utilizar una herramienta específica de diabetes y, si se compara entre diferentes enfermedades crónicas se prefiere una herramienta genérica.

Desde 2001 se ha llevado a cabo la implantación de programas de seguimiento farmacoterapéutico y atención farmacéutica en las farmacias comunitarias portuguesas.¹ Actualmente estos servicios son proporcionados por la mayoría de las farmacias del país. Al demostrar su valor añadido a la población, el Gobierno ha iniciado un reembolso a los proveedores en 2004.^2,3 Algunas críticas han provocado que no se haya alcanzado la total implantación, y algunas de estas razones incluyen una falta de cooperación multidisciplinar, especialmente con la profesión médica.⁴ En 2005, ha solicitado una evaluación de los beneficios claros. Los resultados se han presentado en varios foros, que muestran que tales servicios contribuyen a mejorar el control glucémico después de 6 meses de seguimiento del farmacéutico.⁵ Mientras que la filosofía de la atención farmacéutica data de los años sesenta, no fue hasta los noventa hasta que se reconoció que el principal objetivo es mejorar la calidad de vida de los pacientes⁶, sino que las evaluaciones de calidad de vida no se habían considerado hasta esa fecha, centrándose en los resultados clínicos e intermedios disponibles, incluyendo los problemas relacionados con medicamentos. Posteriores desarrollos necesitarán incluir resultados económicos y humanísticos para que la evaluación sea completa.

La implantación de un programa de monitorización de pacientes debería estar precedida por una revisión de las herramientas de medición disponibles. Cuando no se tiene este cuidado, los diseñadores del programa o los evaluadores pueden arriesgarse usando medidas inapropiadas o desarrollar las que existían previamente.

En Portugal, como en casi todos los países de habla no inglesa, los estudios que evalúan la calidad de vida son bastante escasos. Sin embargo, en años recientes, el crecimiento de instrumentos evaluable en portugués ha sido exponencial. Actualmente hay varios estudios donde se han utilizado varios instrumentos bien adaptados y validados a la cultura portuguesa, la mayoría en áreas de ansiedad y depresión^7-10, pero también en enfermedades respiratorias¹¹, entre otras.

La medida de estado de salud más ampliamente utilizada en varia áreas, incluida la diabetes, ha sido el “short-form 36 (SF-36)”; que ha sido comunicada como la más utilizada.¹² Este cuestionario esta disponible en portugués, y podría en teoría utilizarse para evaluar el impacto de un programa de diabetes; sin embargo, esta es una media de estado de salud más que un cuestionario de calidad de vida y si se usa como tal los resultados evaluados podrían ser diferentes. Además, la literatura es abundante en críticas al uso de escalas inespecíficas en enfermedades crónicas, como es la diabetes.

Alternativamente, se ha buscado en la literatura un cuestionario específico de diabetes que haya sido validado al portugués. Se realizó una búsqueda usando 4 bases de datos (Medline, Embase, IPA, y Biosis Previews) con las palabras clave “calidad de vida”, “diabetes” y “portugués” y se identificaron sólo 3 artículos. Repitiendo la misma búsqueda en una base de datos en portugués (B-on Scielo) dio 14 resultados. Entre ellos, 8 eran de Brasil, que eran igualmente inapropiados para su uso en Portugal por razones culturales. De los siete artículos restantes, sólo 5 no utilizaban la palabra “calidad de vida” de modo teórico. Sorprendentemente, cuatro de esos manuscritos usaban la palabra clave calidad de vida pero ninguno de los cuestionarios usados medía este concepto. El Nottingham Health Profile, como el SF-36 es un cuestionario de medición del estado de salud, el Psychological General Well-being también es distinto de la calidad de vida, y el Coping Responses Inventory explora el proceso de manejo de los pacientes para tratar su enfermedad que también es un concepto distinto de la calidad de vida; el quinto, aunque comunicando un trabajo con diabéticos, se centraba en la evaluación e la depresión y usaba el Beck Depression Inventory, una escala que puede ser usada con población en general para investigar la depresión. En resumen, a pesar de haberse usado en estudios con diabetes, ninguno se ha comunicado como un instrumento válido de medida para la diabetes.

En 2004 se publicó una revisión de las herramientas disponibles en esta área, donde se comparaban 13 cuestionarios de calidad de vida para diabéticos.¹³ Esta revisión se publicó después de que la validación del ADDQoL para Portugal, y concluyó que sólo 3 cuestionarios específicos de calidad de vida para diabetes son apropiados para investigación práctica: el ADDQoL, el Appraisal of Diabetes Scale (ADS) y el Diabetes-39 (D-39). El último tiene ventajas cuando se usa en ancianos y en pacientes con bajo nivel cultural, pero tiene la desventaja de comprender un número considerable de ítems y una escala analógica visual que puede ser difícil de leer con deterioro visual. Además, no permite el impacto positivo en la calidad de vida, que en ocasiones puede ocurrir, asumiendo que todo impacto tiene que ser negativo, lo que fue resuelto en el “Audit of Diabetes Dependent Quality of Life” (ADDQoL). Este instrumento comprendía 13 ítems en el momento de su publicación y esta disponible en portugués de Brasil. Actualmente comprende 18 ítems y también esta disponible para portugués de Portugal. Esta herramienta tiene la ventaja de ser individualizada, permitiendo a los pacientes completar sólo los ítems relevantes a ellos y medir la importancia del dominio evaluado para su calidad de vida, así como el impacto de la diabetes en ese dominio. Además, varios estudios atestiguan las buenas propiedades psicométricas del cuestionario.^14,15

Se estableció un proyecto en colaboración entre el Instituto de investigación MAPI, autor original del cuestionario y CEFAR, con el propósito de adaptar culturalmente este cuestionario para Portugal. Una vez finalizado, la versión producida debería mantener las mismas capacidades psicométricas que el original. Este artículo describe el trabajo realizado para verificar la valides y la fiabilidad del ADDQoL para Portugal, así como los futuros trabajos para validad y refinar las posteriores versiones.

 

MÉTODOS

Se uso un diseño transversal y tuvo lugar entre junio y julio de 2003. El tamaño de muestra estimado para un análisis factorial es lo que sea mayor, o 100 o el número de ítems por cinco.¹⁶ Siguiendo esta regla, para un cuestionario de 18 ítems se necesitan 90 individuos, en cuyo caso el objetivo de tamaño de muestra es 100.

El reclutamiento de pacientes se realizó en farmacias comunitarias donde el acceso a pacientes ambulatorios es alto. Las farmacias estaban localizadas en la región de Lisboa, cerca del centro que realizó el estudio (CEFAR).

El ADQoL incluye dos preguntas introductorias y 18 ítems específicos, con el propósito de evaluar, de acuerdo a la perspectiva del paciente, cuanto mejor estaría su vida si no tuviese diabetes y como d importante es cada uno de esos 18 aspectos en la vida para cada individuo.

Las escalas oscilan de -3 a 3 para las percepciones de calidad de vida y de 0 a 3 para atribuir importancia, considerando ambas para obtener una puntuación ponderada (que oscila de -9 a 9). Además de la calidad de vida percibida, se recogieron características demográficas de los pacientes, tipo de diabetes, complicaciones diabéticas existentes, y medicamentos prescritos.

El análisis estadístico se realizó en SAS (versión 8.2. 1999-2001 SAS Institute, Carry NC – USA) y consistió en la evaluación de la validez del instrumento mediante un análisis factorial usando una rotación Varimax y análisis de 1-factor forzado, y análisis de fiabilidad evaluando la consistencia interna a través de una estimación estandarizada del alfa de Cronbach. Se usó el análisis descriptivo para caracterizar las variables y el test de Mann-Whitey para 2 muestras independientes para evaluar el poder discriminatorio, e.d. la capacidad del cuestionario de deyectar diferencias entre subgrupos de pacientes, específicamente entre tratados o no con insulina y entre pacientes con y sin complicaciones diabéticas. Para todos las pruebas se usaron niveles de significación de 1%, 5% y 10% según interesó.

 

RESULTADOS

Se reclutaron 100 pacientes, de los que el 46% eran hombres. La edad oscilaba entre 18 y 89 años, con una media de 61,3 (DE=12,66) y una mediana de 63 años. El tiempo medio desde el diagnóstico de diabetes era de 12 años y la mayoría de los pacientes comunicaron sufrir una diabetes tipo 2 (73%). Menos de la mitad de los pacientes (45%) mencionaron complicaciones de su diabetes. El número medio de medicamentos específicos para la diabetes era de 1,7 oscilando de 0 a 4 (DE=0,73), con una mediana y moda de 2 medicamentos. La mayoría de los pacientes (73%) solo tenían prescritos antidiabéticos orales. (e.d. no insulina).

De acuerdo a estudios previos usando el ADDQoL original, todos los ítems cargan en un solo factor usando el análisis de 1-factor forzado.^14,15 En la muestra portuguesa, 17 ítems cargaban en un factor por encima de 0,43, y sólo el ítem “preocupaciones sobre el futuro” no cargaba en este factor (carga del factor=0,24). La consistencia interna estimada para los 18 ítems fue de un alfa de Cronbach=0,89, considerada muy buena y cercana al valor de la versión original.¹⁵ Al remover este ítem, la consistencia interna estimada se elevó a 0,90. La carga de este ítem fue mucho más baja de 0,4, sugerido en todos los lugares como punto de corte¹⁷, pero la consistencia interna conservándolo era todavía buena, así que se dejó el ítem.

Hubo un mayor impacto negativo en la calidad de vida de los pacientes con insulina para 16 de los 18 ítems, y la diferencia era estadísticamente significativa (considerando un nivel de significación del 10%). Del mismo modo hubo un mayor impacto negativo en la calidad de vida de los pacientes que comunicaron complicaciones para 14 de los 18 ítems, siendo significativo sólo uno de los ítems (p<0,1), menos de los comunicados en las muestras británicas. El impacto en cada ítem para cada uno de los subgrupos se ilustra en la tabla 1 y figura 1.

 

El ítem “libertad para comer” tuvo el mayor impacto negativo en todos los subgrupos de pacientes, como se describió previamente.¹⁵ No hubo diferencias entre los subgrupos de tratamiento en general en los ítems calidad de vida actual y calidad de vida específica de la diabetes.

Los pacientes con complicaciones diabéticas comunicaron una peor calidad de vida (mayor impacto negativo) sobre el primer ítem general, calidad de vida actual (Z=-2,25; p=0,024); mientras que los pacientes con insulina comunicaron un mayor impacto negativo de la diabetes en su calida de vida (Z=-1.94; p=0.053).

 

DISCUSIÓN

En general, la versión portuguesa para Portugal del ADDQoL rindió propiedades psicométricas similares a la versión original. Sin embargo, algunas de las propiedades psicométricas requieren mayor análisis.

El análisis de poder discriminatorio reveló un patrón esperado: la reducida significación estadística se atribuyó parcialmente al tamaño de la muestra, que es menor de los de estudios previos. En cuanto al ítem “libertad para beber” vale la pena mencionar que el consumo del alcohol en Portugal en 2001 estaba por encima de la media de los 25 países de la Unión Europea, con un valor de 10,5 litros per cápita durante este año.18 El hecho de que el Reino Unido este valor ronde los 8,5 litros per cápita, puede explicar parcialmente el impacto diferente los hábitos alcohólicos en estas dos culturas diferentes. En la población portuguesa, tales hábitos están enraizados en la cultura nacional de producción de vino, que puede influir el impacto ponderado encontrado (figura 1) de -2,7, marcadamente negativo. Este problema debería ser más atacado con decisiones de los políticos.

El gran impacto negativo de la diabetes en las ‘condiciones de vida’ en esta muestra portuguesa de usiarios de insulina difiere marcadamente del menor impacto comunicado por los no tratados con insulina en Portugal o en todos los subgrupos de tratamiento en el Reino Unido. Realmente este ítem puntuó mucho más negativamente en Portugal (-2,7) que en Reino Unido (-1,1) en ambos subgrupos de tratamiento.15 El impacto de la diabetes en las ‘condiciones de vida’ puede estar asociado con las infraestructuras de apoyo de la sanidad en cada país. En Reino Unido, existen instituciones para proporcionar apoyo adicional a los diabéticos que necesitan, mientras que en Portugal la actividad de estas organizaciones se centra fundamentalmente en promoción de la salud, estimular la auto-monitorización, adoptar hábitos de vida saludables, y crear equipos multidisciplinarios para apoyar a los pacientes, pero el cuidado domiciliario e incluso el apoyo económico de estos pacientes es muy limitado, lo que puede llevar a los usuarios de inulina que lo necesiten, por ejemplo, a vivir con sus padres mucho más de lo deseado. Alternativamente, puede que el enunciado de este ítem deba ser refinado ya que estos resultados parecen indicar que la afirmación está siendo entendida de modo diferente al que originalmente se trató, asunto a explorar en detalle en el análisis cognitivo durante el desarrollo del ADDQoL-19.

La tendencia a mayor impacto negativo de la diabetes en la calidad e vida global (ítem II) de los tratados con insulina es consistente con los datos previamente publicados.¹⁵

Los datos mostraron que el ítem “preocupaciones sobre el futuro” tiene un impacto positivo en la calidad de vida de los pacientes con complicaciones diabéticas y en los diabéticos tipo 2. Es posible que las complicaciones estuvieran presentes antes del diagnóstico: un fenómeno comúnmente conocido como sesgo protopático. Uno de las limitaciones de este estudio fue la falta de acceso a los historiales clínicos de los pacientes, lo que significa que el sesgo no pudo ser explorado verificando la fecha del diagnóstico y el historial clínico completo a esa fecha. Sería importante tener esta posibilidad en futuros estudios porque es de conocimiento general que la diabetes se diagnostica entre 5 y 7 años después de su aparición en personas con diabetes tipo 2. La posibilidad de que la traducción de “preocupaciones por el futuro” no sea que ideal debería ser considerada. De nuevo, debería prestarse especial atención a entender este ítem en el análisis cognitivo durante el desarrollo del ADDQoL-19.

El hecho de que la muestra no fuese aleatorizada puede haber tenido impacto en que en los datos presentados, estén sobre-representados los pacientes con complicaciones y otros problemas relacionados con la diabetes. Los posibles efectos son sobre la distribución de las puntuaciones pero no representan ningún problema en el componente principal del análisis o en la consistencia interna. Por problemas de factibilidad, se consideró una muestra de conveniencia por ser el abordaje más realista; CEFAR trata de aplicar los conocimientos científicos a la `práctica, de modo que involucre activamente a los farmacéuticos comunitarios sin impactar negativamente en su funcionamiento normal. Tal objetivo a veces afecta a la selección del abordaje. Este estudio es un primer paso para validar un instrumento para uso en Portugal. El estudio ha proporcionado información útil para que los facultativos incluyan la evaluación de la calidad de vida en la práctica.

Utilizando un diseño transversal significó que la evaluación de la sensibilidad al cambio o la evaluación de la estabilidad temporal a través de un test-retest no pudo ser probada. En futuros estudios estas propiedades también pueden ser exploradas, utilizando un diseño longitudinal para evaluar la provisión programas de atención farmacéutica o seguimiento farmacoterapéutico a pacientes diabéticos.

Validar un instrumento de medición es un proceso en marcha y requiere sucesivas y frecuentes modificaciones a la luz de la actualización de conocimientos. En conclusión, la versión actual está lista para su uso, mientras que la nueva versión con 19 ítems está siendo desarrollados donde se revisará el ítem “preocupaciones por el futuro” que fue el de carga más débil en el estudio actual. Esto será incorporado al nuevo estudio.

 

AGRADECIMIENTOS

Los autores agradecen enormemente la contribución de la Prof. Clare Bradley por su consejo y constante apoyo y por la ayuda esencial en la revisión del manuscrito. También agradecemos a Brenda Madureira en el reclutamiento de las farmacias y la entrada de datos; al equipo del Instituto de Investigación MAPI por el procedo de adaptación cultural; a la Dra. Madalena Lisboa por la revisión clínica del cuestionario portugués; a la Dra. Paula Martins por la revisión del manuscrito final.

Este estudio fue enteramente financiado por la Asociación Nacional de las Farmacias.

 

Referencias

1. Costa S, Santos C, Silveira J. Providing Patient Care in Community Pharmacies in Portugal. Ann Pharmacother. (In press).        [ Links ]

2. Anonymous. Atendimento a diabéticos evolui para nível superior. Farmácia Portuguesa 2003;146: 24-5.        [ Links ]

3. Santos MR, Santos R, Costa S, Madeira A, Ferreira AP, Mendes Z et al. Improving Patient Outcomes and Professional Performance. Achieving Political Recognition. Pharmaceutical Care, beyond the pharmacy perspective. Conference Proceedings. 2005.        [ Links ]

4. Roberts AS, Hopp T, Sorensen EW, Benrimoj SI, Chen TF, Herborg H et al. Understanding practice change in community pharmacy: a qualitative research instrument based on organisational theory. Pharm World Sci 2003; 25(5): 227-34.        [ Links ]

5. Costa FA, Ferreira AP, Costa S, Santos R, Horta R, Fontes E et al. Contributos em Saúde para os Diabéticos. Avaliação do Programa de Cuidados Farmacêuticos: Diabetes. CEFAR, ANF. 2006.        [ Links ]

6. Hepler CD, Strand LM. Opportunities and responsibilities in pharmaceutical care. Am J Hosp Pharm 1990; 47(3):533-43.        [ Links ]

7. Areias ME, Kumar R, Barros H, Figueiredo E. Comparative incidence of depression in women and men, during pregnancy and after childbirth. Validation of the Edinburgh Postnatal Depression Scale in Portuguese mothers. Br J Psychiatry 1996; 169(1):30-5.        [ Links ]

8. Coelho AM, Coelho R, Barros H, Rocha-Goncalves F, Reis-Lima MA. [Essential arterial hypertension: psychopathology, compliance, and quality of life]. Rev Port Cardiol 1997; 16(11):873-83.        [ Links ]

9. Coelho R, Martins A, Barros H. Clinical profiles relating gender and depressive symptoms among adolescents ascertained by the Beck Depression Inventory II. Eur Psychiatry 2002; 17(4):222-6.        [ Links ]

10. Coelho R, Ramos E, Prata J, Barros H. Psychosocial indexes and cardiovascular risk factors in a community sample. Psychother Psychosom 2000; 69(5):261-74.        [ Links ]

11. Ferreira PL, Mendonça C, Newparth N, Mata P, Juniper EF, Mear I. Quality of life in asthma: cultural adaptation of the Juniper's AQLQ to Portuguese. Qual.Life Res 1998; 7[7]: 590.        [ Links ]

12. Melchiors AC, Correr CJ, Rossignoli P, Pontarolo R, Fernandez-Llimos F. Humanistic-outcomes questionnaires in diabetes research and practice. Am J Health Syst Pharm 2005; 62(4): 354-5.        [ Links ]

13. Melchiors AC, Correr CJ, Rossignoli P, Pontarolo R, Fernandez-Llimos F. Medidas de avaliação da qualidade de vida em diabetes. Parte II: instrumentos específicos. Seguimiento Farmacoterapéutico 2004; 2(2): 59-72.        [ Links ]

14. Bradley C, Todd C, Gorton T, Symonds E, Martin A, Plowright R. The development of an individualized questionnaire measure of perceived impact of diabetes on quality of life: the ADDQoL. Qual Life Res 1999;8(1-2):79-91.        [ Links ]

15. Bradley C, Speight J. Patient perceptions of diabetes and diabetes therapy: assessing quality of life. Diabetes Metab Res Rev 2002;18(Suppl 3):S64-S69.        [ Links ]

16. Kline P. An Easy Guide to factor Analysis. London: Routledge, 1994.        [ Links ]

17. Todd C, Bradley C. Evaluating the design and development of psychological scales. In: Bradley C, editor. Handbook of Psychology and Diabetes. Hove: Psychology Press; 1994: p.15-42.        [ Links ]

18. Consumo de álcool na Europa. Eurotrials 2005;16:2-3.        [ Links ]