ORIGINAL

 

EVALUACIÓN DE LA IMPLEMENTACIÓN DEL PROGRAMA FAPACÁN
PARA PREVENIR EL RIESGO CONDUCTUAL DE CÁNCER EN USUARIOS
DE ATENCIÓN PRIMARIA DEL NORTE DE ESPAÑA (*)

 

Mª Luisa López González (1, 2), Jose Manuel Fernández Carreira (3,4), Santiago López González (4,5), 
Mª del Olivo del Valle Gómez (1), Juan Bautista García Casas (1,2) y Antonio Cueto Espinar (1,2)
(1) Facultad de Medicina. Área de Medicina Preventiva. Universidad de Oviedo.
(2) Instituto Universitario de Oncología del Principado de Asturias.
(3) Unidad de Investigación del Hospital San Agustín de Avilés.
(4) Departamento de Matemáticas. Universidad de Oviedo.
(5) Área de Enfermería Comunitaria y Salud Pública. Universidad de Cantabria. Escuela Universitaria de Enfermería. 

Correspondencia:
M.ª Luisa López González
Facultad de Medicina (Área de Medicina Preventiva)
Julián Clavería s/n
33006 Oviedo
Correo electrónico: lopez@correo.uniovi.es
(*) Este estudio ha sido financiado por el proyecto FIS. (núm 01/0311) y el proyecto FICyT (núm PC-SPV 01/14)

 

 

 

---

RESUMEN Fundamento: La evaluación del proceso es condición imprescindible para medir correctamente el impacto de intervenciones educativas sobre las conductas, sus determinantes psicosociales y el estadio de cambio, en el marco de la promoción de la salud. El objetivo de este trabajo es evaluar la calidad de implementación del Programa FAPACAN, diseñado para prevenir el riesgo conductual de cáncer en Atención Primaria y para mejorar sus determinantes psicosociales en el Modelo A.S.E. y el estadio de cambio según Prochaska y DiClemente. Métodos: Mediante visita al centro de salud y la cumplimentación de una lista de comprobación in situ y mediante una encuesta telefónica a los individuos que formaban la muestra, se midió la calidad de implementación. Se hallaron medidas de centralización y de asociación (coeficiente de Pearson y de Spearman). Se obtuvo un modelo de regresión múltiple con la puntuación obtenida por el entrevistado (rango de 0 a 8) y las covariables: género, edad, nivel de estudios, localidad e historia familiar de cáncer. Resultados: Las puntuaciones de calidad obtenidas oscilan entre el 72% y el 81% de la calidad óptima. Se encontraron diferencias significativas debidas al administrador (mejor cuanto menos años de ejercicio) y a la persona encuestada (mejor cuanto mayor nivel de estudios). Conclusiones: En conjunto, la calidad de implementación fue más que suficiente, a pesar de la escasa facilitación proporcionada por el sistema sanitario. Palabras clave: Evaluación de proceso (Atención de Salud). Prevención Primaria. Neoplasmas. Educación en Salud. Atención Primaria de Salud. Promoción de la salud.

ABSTRACT  Evaluation of the Implementation of the FAPACÁN Programme to Prevent Cancer Behavioural Risk in Primary Care Users in the North of Spain Background: The evaluation of the process is an essential condition to correctly measure the impact of educational interventions on behaviour, its psychosocial determinants and the state of change, in the context of health promotion. The aim was to evaluate the quality of the implementation of the FAPACAN Programme, designed to prevent behavioural risk of cancer in Primary Care, and to improve its psychosocial determinants in the A.S.E. Model and the state of change according to Prochaska and DiClemente Theory. Methods: The quality of implementation was measured by means of a visit to the health centre, by filling in a checklist 'in situ', and a phone survey with the patient. Centralisation and association measures were found ( Pearson and Spearman's coefficient). A multiple regression model was obtained with the score made by the patient (range of 0 to 8) and the covariables: gender, age, level of education, locality and family history of cancer. Results: The quality scores obtained oscillate between 72% and 81% of optimum quality. Significant differences were found owing to the administrator (better with fewer years of exercise) and the patient (better with higher level of study). Conclusions: In general, the quality of implementation was more than sufficient, in spite of the poor provision by the health system. Key words: Process Assessment (Health Care). Primary Prevention. Neoplasms. Health Education. Primary Health Care. Health Promotion.

---

 

 

INTRODUCCIÓN

La Ley 14/86 General de Sanidad, en su título 6 artículo 106.1, establece que las actividades de investigación habrán de ser fomentadas en todo el sistema sanitario, como elemento fundamental para el progreso del mismo y que la investigación en ciencias de la salud ha de contribuir a la promoción de la salud de la población. Dicha investigación, según la ley, deberá considerar la realidad socio-sanitaria, las causas y mecanismos que la determinan, los modos y medios de intervención preventiva, y la evaluación rigurosa de tales intervenciones¹.

El Programa FAPACÁN (PrFAP) es una intervención educativa basada en el Código Europeo contra el Cáncer² (CEC), en el Modelo ASE^3-5 de determinantes de la conducta y en los estadios de Prochaska y Di Clemente^6-8. Dicho programa trata de difundir los consejos de prevención primaria incluidos en el CEC, sobre tabaco, alcohol, alimentación, peso y protección solar y laboral. El modelo ASE permite hacer intervenciones educativas (IE) y evaluar no sólo las conductas problema que cita el CEC, sino también sus determinantes psicosociales, es decir, la actitud, la influencia social y la autoeficacia. La evaluación de los estadios de Prochaska y Di Clemente posibilita que la IE sea realizada «a medida» del estadio. El objetivo del PrFAP es disminuir las conductas de riesgo de cáncer o, al menos, conseguir mejorar los determinantes ASE y/o el estadio de cambio de dichas conductas, en los usuarios del centro de salud incluidos en el programa.

La implementación del Programa FAPACÁN así concebido es compleja. Por ello se hizo una encuesta Delphi entre los directores médicos y de enfermería de Atención Primaria de Salud (APS) antes del diseño del programa, con el fin de evaluar su pertinencia y su factibilidad; se invitó a participar a los profesionales de APS que voluntariamente decidieron involucrarse en la investigación; se solicitó y consiguió el apoyo explícito de las gerencias de APS y/o las Unidades de Investigación de las áreas sanitarias participantes; se formó a los profesionales mediante un curso de 40 horas, desarrollado con el Método de Aprendizaje Basado en Problemas⁹, que pasa por ser un método idóneo para la formación de adultos, y uno de los que mejor reproduce la realidad en la que lo aprendido habrá de aplicarse.

El PrFAP se está desarrollando durante el trienio 2001-2003, con personas captadas de forma oportunista en APS que tengan entre 15 y 50 años y sean familiar de primero o segundo grado de una persona afectada por cáncer. Para medir el efecto del programa al final del trienio se ha diseñado un estudio casi-experimental, con grupo de intervención y grupo control. A pesar de la participación voluntaria, del entrenamiento de los sanitarios previamente a la implementación y del apoyo explícito de los dirigentes del sistema, si el PrFAP al final de su desarrollo no tiene efecto sobre las conductas de riesgo de cáncer, sus determinantes o el estadio de cambio, siempre cabrá la duda de si ello es debido a deficiencias intrínsecas del programa, o a una inadecuada implementación, sea esta imputable a los profesionales o al sistema sanitario. La fidelidad de dichos profesionales a los protocolos y métodos de intervención es una variable que explica en parte el impacto de la intervención, como se ha demostrado en varias investigaciones sobre Educación para la Salud¹⁰.

Por ello, y en cumplimiento de la Ley General de Sanidad, que ordena la evaluación rigurosa de las investigaciones desarrolladas en el sistema sanitario, la pregunta que nuestra investigación trata de responder es en qué medida el PrFAP ha sido implementado conforme al protocolo. Además, como dice Patton¹¹, cuando la investigación es financiada con fondos públicos, como es nuestro caso, la evaluación del proceso se convierte en una responsabilidad social. Y ambas evaluaciones, la del proceso y la de los resultados, han demostrado ser una ayuda importante en el desarrollo de intervenciones educativas relacionadas con la prevención de factores de riesgo conductual de cáncer¹².

Con estos precedentes, el objetivo de nuestra investigación fue evaluar el proceso de implementación del PrFAP, que consta de una IE compleja, protocolizada, basada en el modelo ASE y en el estadio de Prochaska y Di Clemente, y destinada a reducir el riesgo conductual de cáncer. Dicha intervención educativa debía aplicarse 4 veces a lo largo de 2 años.

 

SUJETOS Y MÉTODO

 Composición de la muestra:

 - 24 profesionales (100% de los participantes) voluntarios y formados, de 14 centros de salud ubicados en 3 comunidades autónomas (Galicia, Cantabria y Asturias) que implementan el PrFAP. También se sometieron a evaluación algunos aspectos del entorno próximo del profesional en su puesto de trabajo. La edad media fue de 44 años, con 21 de ejercicio profesional.

- 485 (32,6%) personas elegidas al azar entre los 1.490 del grupo de intervención, de un total de 3.031 que participan en el mencionado programa. Esta muestra permite admitir un error de 0,06 en las puntuaciones obtenidas, con un nivel de confianza del 95%, estimando mediante pilotaje en la población a estudio una puntuación media de 6,5 y una DE = 0,69.

Método:

Se visitó el centro de salud entre la 2ª y 3ª IE, y se cumplimentó una check list que controla las variables que se detallan en la tabla 1 de resultados, clasificadas en 2 grupos: criterios objetivos y subjetivos. Se evaluó el proceso de intervención mediante una puntuación global objetiva con rango de -7 (pésima implementación) a 39 (óptima implementación).

Era preceptivo identificar a las personas incorporadas al programa, marcando sus historias clínicas con una pegatina ad hoc si estaban en soporte papel, o con un flash electrónico si estaban informatizadas. En relación con los «listados», cada profesional debía realizar los suyos, en papel o en soporte informático, en el momento de la incorporación del paciente al programa. Una vez evaluado el riesgo conductual de cáncer (RCC) con un cuestionario validado¹³, la lectura óptica de dicho cuestionario producía listados informatizados, que el profesional debía cotejar con los suyos, para evitar errores que pudieran implicar pérdidas en el seguimiento, durante los dos años de intervención.

El programa se apoya en distintos materiales: el cuestionario de evaluación del RCC, ya mencionado; un folleto con consejos preventivos que se entrega como refuerzo de las IE, en el que deben marcarse las conductas de riesgo del paciente; y un cartel que sintetiza las conductas de prevención que el programa pretende y que debe exhibirse en lugar accesible.

Se consideró «entorno adecuado» para realizar la evaluación del RCC y las IE: un lugar cerrado y aislado, dentro del Centro de Salud, donde fuera posible concentrarse, y sin ambiente contradictorio con los mensajes preventivos del programa (sin humo de tabaco, ceniceros, colillas, etcétera); que el director médico y de enfermería del centro de salud estuvieran al tanto del programa y lo apoyaran.

Al profesional sanitario se le pidió que se autoevaluara del 1 al 10, subjetivamente, y al evaluador externo se le solicitó que calificara subjetivamente al profesional, según una impresión de conjunto. Estas dos formas de evaluación fueron consideradas «criterios subjetivos».

Se realizó una encuesta telefónica a los usuarios del centro de salud participantes, para controlar las variables que figuran pormenorizadas en la tabla 2 de resultados, lo que permitió obtener una puntuación global, según las respuestas obtenidas, con un rango de 0 a 8 (0=pésima implementación; 8=óptima implementación).

Análisis de datos

Se calcularon las medidas de centralización y dispersión para cada variable. La normalidad de la variable «puntuación» fue contrastada con la prueba de Kolmogorov - Smirnov. La asociación entre variables cuantitativas fue medida con los coeficientes de correlación de Pearson, o de Spearman si las variables no tenían una distribución normal. La homogeneidad de la distribución de las puntuaciones entre los distintos centros de salud fue probada con el test no paramétrico de Kruskall Wallis.

Se obtuvieron los coeficientes de regresión en un modelo de regresión lineal múltiple para la variable dependiente «puntuación obtenida en la conferencia con el paciente», y un conjunto de variables independientes: género, edad, nivel de estudios, localidad e historia familiar de cáncer, que incluye: número de familiares con neoplasias malignas, su supervivencia y número de familiares fallecidos en el último trienio. Las variables se introdujeron en 2 bloques, mediante el método «enter»: en el primer bloque se incorporaron al modelo las variables sociodemográficas, y en el segundo las relativas a la historia familiar de cáncer.

 

RESULTADOS

Evaluación de los profesionales sanitarios

El 86,4% había realizado a tiempo la primera IE a más del 75% de las personas del grupo de intervención. El 72,7% de los profesionales obtuvo la puntuación máxima en identificación del paciente, y el 40,9% en su seguimiento.

El 68,2% obtuvo la puntuación máxima en la elaboración de los listados de pacientes realizados por el propio profesional, pero sólo el 40,9% consiguió esta puntuación relativa a la comprobación de los listados proporcionados por la lectora óptica. En el almacenaje y tenencia de materiales, obtuvieron porcentajes considerados de calidad entre el 68,2% (cartel) y el 90,9% (folletos).

El 77,3% dispuso de un lugar adecuado para la evaluación del paciente y el 90,9% lo tuvo para realizar la IE. El 77,3% tuvo algún apoyo de los directivos médicos y el 68,2% de las direcciones de enfermería. Las puntuaciones promedio, tanto globales como por variables concretas, pueden verse en la tabla 1.

Los años de ejercicio profesional se asociaron significativa e inversamente con la calidad de implementación del programa: el coeficiente de Pearson para la puntuación objetiva fue -0,503 (p<0,001), y para la puntuación subjetiva -0,409 (p=0,017). No se encontró asociación en el análisis bivariante entre la edad del profesional y la calidad de implementación. En un estudio de correlación parcial, controlando el efecto de la edad del profesional sanitario, que puede interaccionar con los años de profesión, la asociación entre la puntuación objetiva y los años de profesión se mantiene (coeficiente de Pearson -0,5010 [p=0,021]), pero desaparece la significación estadística de la asociación entre la puntuación subjetiva y los años de profesión (coeficiente de Pearson -2,460 [p = 0,283]).

Existe una asociación intensa entre la puntuación total objetiva y la subjetiva (Coeficiente de Correlación de Pearson 0,877; p <0,01 y R2=0,7687), como se observa en la figura 1. También se encontró correlación entre las puntuaciones subjetivas del profesional y del evaluador externo (Coeficiente de Correlación de Pearson 0,845; p < 0,001; R²=0,7140).

La prueba de Kruskal Wallis no mostró diferencias estadísticamente significativas (p>0,05) entre los distintos centros de salud, en la puntuación objetiva ni en la subjetiva.

Evaluación según las personas receptoras de la intervención

La puntuación media alcanzada por los usuarios encuestados puede verse en la tabla 2. El 93,6% conocía espontáneamente el programa FAPACÁN, el 67,8% pudo citar 3 o más consejos del CEC y el 84,9% dijo haber recibido el preceptivo folleto, en el que se habían marcado sus conductas de riesgo cancerígeno. El 95,1% estaba satisfecho con el programa.

La prueba de Kolmogorov-Smirnov mostró que la puntuación alcanzada por el paciente no sigue una distribución normal (p<0,0001). En el análisis bivariante, la prueba de Kruskal Wallis evidenció asociación entre la puntuación del paciente y el profesional que implementaba el programa (p=0,002): De 0 a 8, la puntuación promedio máxima alcanzada por los pacientes del profesional con más calidad fue de 7 puntos [6,4 -7,5], y la de menor calidad 6 puntos [5,5 - 6,4].

El análisis multivariante mediante regresión múltiple (tabla 3) puso de manifiesto que las covariables asociadas a una mejor calidad de la implementación son el nivel de estudios del paciente (Coef. Beta estandarizado 0,173 y p = 0,001) y la comunidad autónoma en la que se captó al participante (Coef. Beta estandarizado 0,109 y p=0,03): Tener mayor nivel de estudios y no haber sido captado en Asturias se asocia a una mejor implementación.

 

 

DISCUSIÓN

Siguiendo a Windsor et al¹⁴, la evaluación del proceso se ha llevado a cabo antes de concluir el programa, al objeto de poder detectar puntos de riesgo de mala implementación, susceptibles de ser corregidos. Se ha hecho lo que dichos autores definen como Quality Assurance Review (QAR), mediante observaciones directas y simples, lista de comprobación y minicuestionario para encuesta telefónica.

A pesar de contar con el apoyo explícito y oficial de las autoridades sanitarias correspondientes, los profesionales han tenido algunas dificultades para obtener permisos que les permitieran acudir a las reuniones de seguimiento, a la presentación de comunicaciones a congresos, etc. Por supuesto, no han contado con ninguna reducción en sus obligaciones laborales habituales, por lo que su dedicación al programa ha constituido una actividad añadida y no valorada objetivamente. A pesar de que la mayoría de los profesionales involucrados en el programa es profesional de enfermería, los directivos médicos han prestado un mayor apoyo al programa que los directivos de enfermería. Quizá estos últimos no perciben de la misma forma la importancia de incluir la investigación en el rol enfermero.

Sin embargo, a pesar de este marco no facilitador, la puntuación promedio total objetiva y subjetiva alcanzada por el profesional sanitario, y la puntuación total obtenida por el usuario entrevistado, representan respectivamente el 72,7%, el 85% y el 81% de las puntuaciones correspondientes a la implementación óptima.

No obstante, se han detectado algunos puntos débiles. Por ejemplo, el seguimiento del paciente no ha sido el óptimo. Se entiende por óptimo que el profesional tenga puntual conocimiento de la presencia de la persona incorporada al FAPACÁN en el centro de salud, por cualquier motivo, para poder hacerle la IE de forma oportunista, lo que aumenta la eficiencia y disminuye las molestias al paciente, al evitarle desplazarse específicamente para realizar dicha IE. Los mayores obstáculos han sido algunas relaciones viciadas entre los sanitarios y el personal administrativo en determinados centros, y, más comúnmente, la falta de informatización en otros. Los centros informatizados (que al cierre de este programa serán la inmensa mayoría) permiten poner un aviso que se activa al abrir la historia clínica del paciente, a fin de que se informe al administrador del programa de la presencia del paciente en el centro, por si dicha presencia pudiera ser aprovechada para implementar alguna de las actividades del programa. Debería generalizarse el uso de tales avisos para hacer actividades integradas con distintos protagonistas profesionales, dentro y fuera de nuestro programa, para aumentar la eficacia del sistema y la satisfacción del usuario.

En el capítulo de almacenaje y uso de materiales, la peor calificación la ha obtenido la exhibición del cartel del programa, que incluye los consejos preventivos del CEC. Las causas son diversas y se relacionan con la política de algunos centros destinada a evitar en lo posible la colocación de todo tipo de carteles en sus paredes, con el gusto estético del profesional y con la falta evidente de espacio disponible para su exhibición.

A pesar de que la incorporación de los profesionales al programa fue absolutamente voluntaria, y establecida mediante contrato firmado, después de recibir cumplida información sobre los objetivos y los métodos del programa, y tras un curso de formación, 3 de los 24 profesionales han hecho una implementación del programa realmente deficiente y se han detectado diferencias de calidad entre los distintos profesionales. A este respecto, Green y Lewis¹⁵ advierten de que el proceso puede diferir significativamente según el centro de salud, el puesto de trabajo o el profesional. No obstante, gracias a la evaluación del proceso, este hecho podrá ser controlado en el análisis del impacto de la IE sobre las conductas de riesgo de cáncer de los pacientes. Las personas con menos años de ejercicio profesional lo han implementado mejor, acaso porque conservan mayor energía y entusiasmo por su trabajo, o porque han recibido una formación epidemiológica más amplia, que les faculta y motiva para realizar actividad investigadora.

La intensa asociación entre la puntuación total objetiva y la subjetiva del profesional, y las subjetivas del profesional y del evaluador externo, quizá sugieran que se podría ahorrar el esfuerzo y el coste de hacer la evaluación del proceso in situ y que si el profesional se autoevalúa sinceramente, como parece que ocurre, puede obviarse la comprobación objetiva. Sin embargo, y sin menospreciar en absoluto la sinceridad de los profesionales, puede que esté propiciada por el hecho de que la evaluación objetiva, momentos antes, ha revelado las posibles deficiencias y el evaluador externo le ha solicitado su corrección. Por ello, parece pertinente mantener la evaluación del proceso, en tanto la implementación de programas de investigación en los centros de salud, protagonizados por sus profesionales, no sea la norma que la Ley General de Sanidad preveía.

La doble evaluación (la del profesional en su centro y la del paciente vía telefónica), permite acumular certeza en relación con la calidad de la implementación. En este sentido, las puntuaciones alcanzadas por los pacientes también confirman una calidad de implementación aceptable. Aunque el nivel de estudios del paciente se asocia a la mejor implementación, probablemente debido a que la memoria del paciente es más eficaz y entiende mejor los mensajes preventivos, el profesional y la Comunidad Autónoma también explican la variabilidad en la calidad de aplicación del programa. Si se pretende aplicar un programa en las condiciones rigurosas que exige la investigación es esencial la formación de los profesionales en las habilidades y destrezas necesarias, y motivarles con el argumento cierto de que la investigación en APS es un objetivo institucional, un deber profesional, una fuente de satisfacción y un soporte de la labor profesional, insuficientemente explorados. A pesar de dicha formación y motivación, y de la incorporación voluntaria, cabe esperar la participación de algún profesional, por razones que se nos escapan, que no aplicará el programa o lo hará deficientemente.

La historia familiar de cáncer no ha tenido ningún efecto sobre la puntuación alcanzada por el paciente: se ha publicado que las personas con antecedentes familiares son más permeables a las intervenciones preventivas^16-17. Si es cierto que reciben las IE con más interés y mejor actitud, cabría esperar un mejor recuerdo de éstas y, por tanto, una mejor puntuación en la encuesta telefónica. Sin embargo, ni el número de familiares con cáncer, ni la existencia en la familia de personas fallecidas por cáncer, ni la proximidad o no de tales muertes, se ha asociado a una mejor puntuación. Volveremos a estudiar el posible efecto de la historia familiar cuando evaluemos el impacto del PrFAP sobre el riesgo conductual total de cáncer, una vez realizadas todas las IE.

En conclusión: A pesar de las escasas facilidades que el sistema ha proporcionado a los profesionales participantes en esta investigación, la calidad objetiva de la implementación del programa es aceptable, y similar a la subjetiva. Los profesionales con menos años de ejercicio profesional logran un nivel de calidad superior al de sus compañeros con más años de ejercicio, y es mejor cuanto mayor es el nivel de estudios de sus pacientes. Los proyectos de investigación, sobre todo multicéntricos, rigurosos y financiados, deberían incluirse en la cartera de servicios de APS, y valorar objetivamente la participación responsable de los profesionales en ellos.

 

  AGRADECIMIENTOS

A los profesionales sanitarios de Cantabria, Galicia y Asturias que participan en el programa, y a las personas incluidas en él. A las gerencias, direcciones médicas y de enfermería y unidades de investigación que han apoyado la realización del estudio, y a los organismos que lo han financiado.

  

BIBLIOGRAFÍA

1. Ley 14/1986 General de Sanidad de 25 de Abril. BOE de 29 de Abril de 1986.         [ Links ]

2. Boyle P, Veronesi U, Tubiana M, Alexander FE, da Silva F, Denis LJ, Freire JM, Hakama M, Hirsch A, Kroes R, et al. European School of Oncology Advisory report to the European Commission for the «Europe Against Cancer Programme». European Code Against Cancer. Eur J Cancer 1995;31A (9):1395-405.        [ Links ]

3. Bolman C, De Vries H. Psychosocial determinants and motivational phases in smoking behavior of cardiac inpatients. Prev Med 1998;27: 738-47.        [ Links ]

4. Brug J, Lechner L, De Vries H. Psychosocial determinants of fruit and vegetable consumption. Appetite 1995;25(3): 285-96.         [ Links ]

5. Van Assema P, Pieterse M, Kok G, Eriksen M, De Vries H.The determinants of four cancer-related risk behaviours. Health Educ Res 1993;8, 461-72.         [ Links ]

6. Prochaska JO, Redding CA, Evers KE. The Transtheoretical Model and Stages of Change. En: Glanz K, Lewis FM, Rimer BK, eds. Health Behavior and Health Education: Theory, Research and Practice. 2ª ed. San Francisco: Jossey-Bass Publishers, 1990. p. 60-85.         [ Links ]

7. Prochaska JO. Assessing How People Change. Cancer 1991; 67: 805-7.         [ Links ]

8. Prochaska JO. What causes people to change from unhealthy to health-enhancing behaviour? En: Preventing Cancers. Heller T, Bailey L, Pattinson S, eds. London: Open University Press; 1992. p. 147-54.         [ Links ]

9. Schmidt HG. The Rationale Behind Problem-based Learning. Appendix I in: New Directions in Medical Education. Berlín: Springer Werlag; 1989.p. 105-11.         [ Links ]

10. Green LW, Kreuter MW. Health Promotion Planning. An Educational and Environmental Approach. (2ª ed). Mountain Wiew: Mayfield Pub Com; 1991.         [ Links ]

11. Patton MQ. Practical Evaluation. Beverly Hills: Sage; 1986.         [ Links ]

12. Bridge PD, Gallagher RE, Berry- Bobovsky LC. Using evaluation methods to guide development of a tobacco use prevention curriculum for youth: a case study. J Cancer Educ 2000; 15(2): 95-8.         [ Links ]

13. López ML, García-Cueto E, Fernández JM, López S, del Valle MO, Cueto A. Validation of a questionnaire to evaluate the attitude towards Primary Prevention advice from European Code against cancer. Eur J Cancer Prev 2003; Vol 12(2): 157-64.         [ Links ]

14. Windsor RA, Baranowski T, Clark N, Cutter G. Evaluation of health promotion and education programs. Palo Alto (California): Mayfield Publishing Company; 1983.         [ Links ]

15. Green LW, Lewis FM. Measurement and evaluation in health education and health promotion. Palo Alto (California): Mayfield Publishing Company; 1986.         [ Links ]

16. Weston R. Intervention and prevention. Eur J Cancer Prev 1999; 8: 373-5.         [ Links ]

17. Kristeller JL, Hebert J, Edmiston K, Liepman M, Wertheimer M, Ward A, Luippold R. Attitudes toward risk factor behavior of relatives of cancer patients. Prev Med 1996; 25(2),162-9.         [ Links ]