INSTRUMENTOS

Introducción

Este trabajo pretende analizar la realidad de la evaluación de los programas de promoción de la salud en la población inmigrante en la comunidad autónoma andaluza, así como proponer una metodología para la evaluación de los mismos. La relevancia de la investigación estriba en que la inmigración supone un reto para nuestra sociedad; un reto que, como vemos en otros países de nuestro entorno, no desaparece con el paso del tiempo, sino que permanece latente y que exige intervenciones eficaces para hacerle frente. La inmigración es un complejo fenómeno social que presenta varios frentes, por lo que exige un abordaje multidisciplinar. En el trabajo que nos ocupa, la educación y la salud adquieren un papel protagonista, pero no se deben obviar cuestiones sociológicas, económicas, antropológicas o políticas¹.

El perfil del inmigrante es también una cuestión que debe atraer nuestra atención, puesto que va a suponer el principal agente al que van destinadas nuestras intervenciones. La heterogeneidad de los puntos de procedencia, con la consiguiente variedad cultural, las diferentes necesidades que plantean según la edad, género, razas, etc, suponen una dificultad añadida al proyecto de integración cultural. Pero en este empeño integrador, el inmigrante no es el único agente sobre el que se actúa, sino que el propio personal sanitario asistencial en particular, y la sociedad en general, constituyen también una población diana hacia la que se deben dirigir nuestros programas de educación.

Ante este estado de cosas, no nos debe sorprender que tanto el diseño como la evaluación de los programas de educación para la salud sean de una complejidad considerable y no deben, por tanto, acomodarse a "cuasi evaluaciones"² que se contenten con resultados y objetivos sólo referidos a datos como "número de inmigrantes atendidos en nuestro sistema sanitario", "disminución de inmigrantes en situación irregular", etc. Detrás de esos datos hay una realidad mucho más compleja que exige un análisis multidisciplinar; análisis que supone una fase imprescindible del diseño del programa y en la evaluación propiamente dicha.

Cuando diseñamos y ponemos en marcha actividades para promocionar la salud, estamos manejando una cantidad de recursos humanos, materiales, acciones, etc, y poniéndolas en juego en una planificación que pretende obtener unos resultados que consideramos necesarios a la vista de una situación o unos problemas determinados. Esto es un programa. El inicio de un programa de promoción de la salud parte, normalmente, de la valoración de una necesidad, y esto ya constituye en sí mismo el primer estadío de la evaluación. Por ello, podemos afirmar que evaluación e implementación de un programa son procesos paralelos, que arrancan en el mismo instante y que se deben acompañar hasta el final. En la promoción de la salud no sirven las evaluaciones que no se ocupan de describir, comprender, valorar y enjuiciar la implementación del proceso en su totalidad. Es importante hacer estas definiciones porque cuando propongamos el modelo evaluativo de Stake, nos remitiremos a algunos aspectos básicos aquí comentados.

En cuanto a los modelos de evaluación existentes, es destacable ver como con la evolución histórica el interés se va alejando de los objetivos, desprendiéndose de ese marchamo positivista de los inicios, y se va centrando en las necesidades de los clientes, en definitiva se van asumiendo posturas subjetivistas hasta llegar a los modelos que con esta clasificación se internan directamente en la investigación cualitativa, interesándose en descripciones, interpretaciones, etc. Por otra parte, desde una visión política, se hacen más participativos que los que siguen el dictamen burocrático de algunos modelos objetivistas. Pero no hemos de confundir método con modelo. El modelo respondente nos debe servir de inspiración o de base, pero no se trata de una prescripción exacta a cumplir, menos aun cuando es el mismo autor quien no recomienda seguir pautas establecidas y aconseja que sea el evaluador quien configure libremente el itinerario que inicialmente propone Stake, expuesto más adelante. Abundando en esta idea, autores como Guba y Lincoln³ sitúan a la evaluación en la "cuarta generación" de su evolución, período que se caracteriza por la eclosión de modelos evaluadores (de los que identifican más de cuarenta) con una variada pluralidad conceptual y riqueza de matices que giran alrededor de los modelos inspiradores.

El modelo de respondente

Se puede, por tanto, caracterizar al modelo respondente de Stake⁴ como un modelo de corte subjetivista, que busca captar la singularidad de las situaciones concretas, intentando comprender y valorar los procesos y resultados de los programas; es lo que se llama el "análisis de la contingencia" y el "análisis de congruencia". En esto se diferencia de la evaluación preordenada (como así llama Stake a la que sólo se preocupa de la comparación entre objetivos y resultados), expresada sólo en tests y medidas estadísticas desnudas.

Los análisis antes citados están relacionados con tres estructuras básicas en el modelo de Stake, a saber:

a) Antecedentes: las condiciones existentes antes de la puesta en marcha del programa.

b) Transacciones: las interacciones que se desarrollan a lo largo de la implementación del programa.

c) Resultados: los logros obtenidos al final de la intervención.

En este empeño por comprender la realidad, para Stake los resultados no previstos y los efectos laterales pueden ser, en ocasiones, más importantes incluso que los objetivos inicialmente programados. Pongamos un ejemplo que clarifique la cuestión. Podemos pensar que el grupo de inmigrantes con el que trabajamos colaborará con un programa de inserción social, porque pensamos que quieren integrarse en la comunidad; esto sería un antecedente: el inmigrante quiere integrarse en la comunidad y por ello se acerca al programa. Es un antecedente propuesto. Sin embargo, lo que luego observamos es que la mayoría se han unido porque pensaban que iban a obtener un beneficio a cambio; este sería el antecedente observado. La comparación que surge entre ellos es un análisis de congruencia que relaciona variables y nos permite obtener datos importantes para replantear problemas, incluso cambiar fundamentos del programa.

Imaginemos que planteamos un calendario de actividades que deben cumplir los integrantes del programa para conseguir relaciones entre individuos de diferentes nacionalidades. Son las transacciones propuestas. Pero luego observamos que tales actividades se realizan entre grupos que se conforman de modo natural buscando la afinidad racial. Nuevamente hacemos un análisis de congruencias entre lo planteado y lo que realmente ocurre. Pero ahora también podemos realizar un análisis de contingencia entre antecedentes y transacciones; de esta manera nos podemos preguntar: ¿es razonable pensar que con los antecedentes propuestos se pueden realizar las transacciones propuestas?. Preguntas de este tipo nos ayudan a descubrir las claves de la situación real, la casualidad de algunos efectos no esperados y que, como dijimos más arriba, a veces son más importantes que los propios objetivos del programa.

Al margen de establecer las comparaciones como se indica en la figura, se puede hacer un análisis cuantitativo comparando objetivos y resultados.

Uno de los presupuestos básicos se centra en el cambio de actitudes, opiniones y creencias de los implicados. Por lo tanto, la línea investigadora principal es la cualitativa, aunque complementada con la cuantitativa que, considerada desde este modelo, por sí sola es insuficiente. De todo ello se deriva la importancia otorgada al evaluador y sus frecuentes encuentros con los clientes (quienes encargan la evaluación) y con los agentes implicados en el programa (el personal del programa y las audiencias o población diana). Estas adquieren un protagonismo especial en el modelo respondente, así, los juicios del evaluador van a estar basados principalmente en las opiniones emitidas por las personas implicadas.

Para terminar y con carácter esquemático, el itinerario o guión propuesto por Stake se plasma en unos pasos que se resumen en:

-Contactos con los clientes, el personal del programa y las audiencias, que se celebran a lo largo del desarrollo del programa.

]]> -En un primer contacto con el cliente, se establece el alcance del programa y se puede pactar la posibilidad de introducir cambios cuando la situación lo requiera.

-Dibuja una panorámica de las actividades del programa.

-El contacto con las audiencias le hacen relacionar los propósitos de la evaluación y los intereses de los grupos.

-Planifica la recogida de datos: conceptualiza los problemas y los reformula si es necesario. Esto le ayuda a establecer cuáles son los datos a recoger, selecciona observadores, instrumentos, etc.

-Llega la fase del análisis de la información recogida, de comprobar su validez y de esquematizarla para el paso siguiente.

-Elaboración del informe. Estos dos últimos pasos son los establecidos para cualquier investigación.

Método

El método seguido en esta investigación ha consistido principalmente en la búsqueda activa. Esta ha empezado consultando las políticas generales que emanan de instituciones como el Ministerio de Asuntos Sociales (examinando sus manuales para el diseño y gestión de proyectos de acción social) y de la Consejería de Gobernación de la Junta de Andalucía (estudiando su Política Integral de Atención a la Inmigración). El paso siguiente nos llevó a contactar con instituciones como la Fundación Progreso y Salud (ente público que colabora con la Junta de Andalucía como intermediaria entre esta y ONG's participantes como Andalucía Acoge, Médicos del Mundo y Cruz Roja principalmente). La búsqueda continua con entrevistas a responsables de Málaga Acoge y Médicos del Mundo.

A estas consultas hay que añadir la celebración de una reunión de trabajo multidisciplinar realizada en el Colegio Oficial de Enfermería de Málaga (organizada por su comité de ética), conformada por psicólogos, pedagogos, trabajadores sociales, profesores de universidad y enfermeros de asistencia primaria y hospitalaria, en la que se elaboró un informe sobre las principales necesidades de la población inmigrante en materia de promoción de la salud. Esta búsqueda activa se complementa con la revisión bibliográfica sobre el estado actual de la evaluación de programas en general y sobre la inmigración en nuestro entorno mas inmediato.

Resultados

Los diversos puntos de procedencia hacen de ella una población heterogénea que dificulta el abordaje para la intervención. Si bien en un principio el inmigrante suele acudir al país de destino no acompañado por la familia, ésta suele reunificarse con el paso del tiempo, viniendo con ella mujeres, niños y ancianos que aportan sus propios procesos patológicos y sus necesidades específicas en cuanto a promoción de salud. De igual forma, su concepto de salud suele ser distinto al de nuestra sociedad, con un importante componente supersticioso y mítico, hace especialmente difíciles las actividades preventivas y de promoción de la salud.

Como parte complementaria de este perfil, la población reacciona con una respuesta que recorre un amplio espectro que va desde una tímida aceptación, preocupación, miedo e incluso reacciones xenófobas y racistas. El personal sanitario vive con estrés y ansiedad la atención al inmigrante, principalmente porque:

-Va a tener que invertir más tiempo para su atención.

-Tendrá problemas de comunicación (no sólo lingüísticos).

-Con dificultad conseguirá que se adhiera al plan terapéutico.

-En cuanto a las líneas generales de los programas^6,7 puestos en marcha por las instituciones, hay que destacar el carácter esquemático y simplificador de los diseños propuestos y de las evaluaciones realizadas. Estas se basan en el modelo básico que se centra en la relación entre los resultados esperados para cada objetivo y en los indicadores que miden el grado de cumplimiento de lo programado inicialmente.

Durante el desarrollo de las actividades, hay establecido un calendario de reuniones entre las organizaciones implicadas, que se resumen en jornadas de coordinación (una al año) para la mejora de la información, conocimiento y coordinación de las actividades, y la comisión de seguimiento para planificar agendas (dos anuales en el año 2001 y una al año en el 2002-2003).

El objetivo principal del convenio establecido se enuncia como "preservar la salud individual de la población inmigrante en Andalucía y la salud de la comunidad en la que se desenvuelven, incrementando la accesibilidad... a la atención sanitaria a través del desarrollo de estrategias de captación y seguimiento de la asistencia y de participación en programas de salud". Este a su vez de desglosa en otros secundarios que se resumen en tres bloques, a saber: educación para la salud, captación de inmigrantes para la mejora de la salud y otros (mujeres, niños, drogodependencia, etc). Una vez al año se envía un cuestionario de opinión confeccionado por la Fundación y acordado como sistema de evaluación del programa. Este instrumento detalla los medios, las actividades desarrolladas y trata de identificar los problemas y necesidades detectadas.

Conclusiones

Estos resultados nos ofrecen un panorama en el que el perfil del inmigrante, y la compleja realidad que le acompaña en las relaciones con su entorno, requiere de programas de carácter multidisciplinar, que incluya aspectos legales, psicológicos, educativos, sanitarios, antropológicos, socio-laborales, políticos, etc. Por ello, la evaluación debe incluir una vertiente cualitativa imprescindible que contemple a todos los agentes implicados (inmigrantes, mediadores, sanitarios) y los aspectos señalados así como las relaciones establecidas entre ellos.

Este primer esbozo de la figura del inmigrante, y de la relación inmigrante-personal sanitario, nos hace ver la necesidad de una intervención focalizada principalmente en la educación de aquel en materia de salud, en la formación de mediadores interculturales que faciliten la labor entre los agentes referidos, y la necesidad de una formación continuada del personal sanitario.

En este tipo de programas, una evaluación exclusivamente cuantitativa hace que ésta se reduzca a una "casi evaluación", muy limitada en la valoración total del programa y que, acomodada a unos recuentos estadísticos finales, no ayuda a la toma de decisiones ni a la retroalimentación durante la implementación del programa, con la consiguiente merma en la eficacia y eficiencia de la intervención. La evaluación no debe ser un acto puntual, sino un proceso que abarca todas las fases de diseño del programa y que se inicia en la misma programación y diseño del mismo ⁸.

Aunque no hay nada que reprochar a la bondad de unos objetivos que se ajustan a las necesidades primarias de una población como la expuesta, la evaluación no cumple con su misión, no sólo por limitarse a datos numéricos de inmigrantes "captados" por el sistema de asistencia sanitaria, "número de folletos repartidos", etc, sino porque no contempla la globalidad del proceso. Tras evaluaciones como las revisadas, quedan serias dudas acerca de si han habido cambios de actitudes, opiniones o creencias en los implicados, tanto inmigrantes como agentes de salud⁹; ofrecen escasos datos que nos acerquen a la realidad completa del desarrollo del programa.

En otro orden de cosas, la evaluación de programas en ámbitos sociales y educativos están inseparablemente ligados a la actuación y decisiones políticas. En el tema que nos ocupa, ciencia y política interactúan, y los resultados de la evaluación se pueden poner al servicio de determinadas opciones políticas. No en vano, durante las entrevistas realizadas a los responsables de las ONG's visitadas, se aplaude la propuesta de un evaluador independiente, responsable y competente.

Tras todo lo dicho, podemos afirmar que es recomendable la opción evaluadora basada en el modelo de Stake en los programas de educación para la salud en la población inmigrante. A modo de resumen, ofrecemos las razones principales que lo hacen aconsejable:

-Por su versatilidad y su capacidad de conciliar evaluación cualitativa y cuantitativa, es un modelo de evaluación adaptable a este tipo de programas.

]]> -No sólo atiende a los resultados esperados, sino también a los efectos laterales o no buscados y que puedan ser de interés para la comprensión de la realidad.

-Incluye y enfatiza el concepto de audiencia (los propios participantes del programa), cuyos juicios el evaluador debe recopilar, analizar y reflejar.

-En este sentido, entre sus principales metas está en el cambio de actitudes, opiniones y creencias de la población, algo tan íntimamente unido a la educación para la salud.

-Enfatiza la figura de un evaluador independiente, a la vez que negociador con el cliente y activo, al que recomienda contactos frecuentes y fluidos con los participantes en el programa.

Para concluir, ponemos de manifiesto la necesidad de promocionar la evaluación de los programas y promover una cultura evaluadora, no sólo por motivos obvios, al ser la evaluación un proceso consustancial a cualquier programa, sino incluso por un imperativo ético que nos obliga a la máxima eficiencia cuando usamos recursos públicos.

Bibliografía

1. Solas O, Ugalde A. Inmigración, salud y políticas sociales. Granada: EASP,1995.         [ Links ]

2. Stufflebeam DL, Shinkfield AJ. Evaluación sistemática. Guía teórica y práctica. Barcelona: Ediciones Piados, 1987: 70-72.         [ Links ]

3. Escudero T. Desde los tests hasta la investigación evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluación en educación. Revista ELectrónica de Investigación y Evaluación Educativa, 2003; vol. 9, n. 1. http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm. [Consultado en Marzo de 2003]         [ Links ].

4. Stufflebeam DL, Shinkfield AJ. Evaluación sistemática. Guía teórica y práctica. Barcelona: Ediciones Piados, 1987; 235-292.         [ Links ]

5. García Calvente MM. Evaluación de programas. Salud Materno-Infantil. Andalucía 1984-1994. Granada: EASP; 1996: 15-18.         [ Links ]

6. Aparicio R, Adroher S, Blanco MR, Charro P, Labrador J, López de Cevallos P, Morello J. Manual para el diseño y gestión de proyectos de acción social con inmigrantes. Ministerio de Asuntos Sociales. Dirección General de Migraciones. Documento electrónico: http://www.imsersomigracion.upco.es. [Consultado en febrero de 2003]         [ Links ].

7. Plan para la integración social de los inmigrantes. Ministerio de Asuntos Sociales. Dirección General de Migraciones. Documento electrónico: http://www. imsersomigracion.upco.es. [Consultado en febrero de 2003]         [ Links ].

8. Colás Bravo MP, Rebollo Catalán MA. Evaluación de programas. Una guía práctica. Sevilla: Editorial Kronos; 1993: 42-43.         [ Links ]

9. Hernández Fernández J y Martínez Clares P. Propuesta metodológica para evaluar programas de orientación educativa. RELIEVE, 1996; vol. 2, n. 2. http://www.uv.es/RELIEVE/v2n2/RELIEVEv2n2_1.htm [Consultado en marzo 2003]         [ Links ].