Introducción
La promoción de la salud es el proceso que permite a las personas incrementar el control sobre los determinantes de la salud para poder mejorarla1. La evaluación de este «proceso», del grado de «control» de la población sobre estos determinantes y la constatación de la «mejora» de la salud como resultado de una intervención, es necesaria y compleja y requiere métodos mixtos y enfoques integrales2. Ante la dificultad de disponer de resultados a corto plazo, en promoción de la salud cobra especial relevancia la evaluación de la calidad de la intervención para incorporar mejoras y progresivamente, evaluar su impacto3.
Existen diferentes instrumentos que facilitan la evaluación de la calidad de los programas de promoción de la salud y permiten orientarlos hacia la práctica basada en la evidencia: IDM Best Practices4, European Quality Instrument for Health Promotion (EQUIHP)5, Quint-essenz6, Guide d’autoévaluation «Comment améliorer la qualité de vos actions en promotion de la santé?»7 y Preffi 2.08. Es necesario traducir, adaptar y aplicar este tipo de instrumentos en programas en activo para comprobar su utilidad y aportar conocimiento, tal como plantea el proyecto Evidencias de Efectividad en Promoción de la Salud en América Latina9.
En España, el desarrollo de la Red de Actividades Comunitarias10 y la Red Aragonesa de Proyectos de Promoción de la Salud11 12, entre otras, ha posibilitado el establecimiento de estándares de calidad, optando por modelos coherentes con los principios de promoción de la salud y estableciendo criterios13, métodos e indicadores. Los aspectos para asegurar la calidad son: «1) construir instrumentos de garantía de calidad; 2) acordar estándares de calidad sobre qué indicadores y criterios serán utilizados en el seguimiento y la evaluación; 3) considerar la naturaleza y características específicas de la promoción de la salud; por ejemplo, la orientación hacia procesos dinámicos y la habilidad de responder de manera flexible como criterio de calidad»13 14.
El Programa MIH salud se inició en 2007 en el Centro de Salud Pública de Valencia como un programa de movilización comunitaria y alta difusión en entornos urbanos, cuyo objetivo es promover la salud y la convivencia en poblaciones en situación de vulnerabilidad de la ciudad, favoreciendo el acceso adecuado a los servicios sanitarios a través de la mediación intercultural15, el trabajo en red con asociaciones16, la formación-acción de agentes de salud17 y la acción comunitaria en distintos territorios18. Esta se consigue mediante la dinamización de mapas de activos, el contacto con líderes comunitarios, la apertura de puntos informativos, conversaciones y talleres llevados a cabo por agentes de salud de base comunitaria18.
En 2015, con el objetivo de incorporar criterios de calidad de promoción de la salud a la evaluación continua de MIH salud, se realizó una revisión de los instrumentos disponibles en el ámbito internacional4 5 6 7 8. Se eligió EQUIHP por ser resultado del proyecto Getting Evidence into Practice19 20, consistente en consensuar criterios de calidad en promoción de la salud partiendo de instrumentos similares en varios países europeos21. EQUIHP consta de un listado de preguntas en cuatro áreas: principios de promoción de la salud, desarrollo e implementación, gestión y sostenibilidad (véase el Apéndice online).
El objetivo de este artículo es, por un lado, describir el proceso de traducción y aplicación del instrumento EQUIHP para identificar fortalezas y debilidades del Programa MIH salud, y formular recomendaciones para su mejora continua; por otro, describir la percepción del equipo ejecutor del programa acerca de la aplicabilidad de EQUIHP.
Método
Es un estudio de evaluación mediante traducción y autocumplimentación de EQUIHP por parte del equipo del Programa MIH salud, y la realización de dos entrevistas grupales con todos los componentes de este equipo sobre la percepción de la aplicabilidad del instrumento.
Los diez miembros del equipo que participaron fueron el médico y la enfermera responsables de la coordinación del programa, dos enfermeras especializadas en enfermería familiar y comunitaria, y dos enfermeras residentes de la misma especialidad, dos mujeres y un hombre agentes de salud de base comunitaria, y una técnica de la Asociación de Cooperación entre Comunidades, que colabora en la ejecución del programa. Todos/as dieron su consentimiento para participar. Aunque no todas las personas participantes tenían la misma responsabilidad en el programa, se decidió, por parte de los investigadores y coordinadores de este, que participaran en su totalidad porque, en el momento de realizar el estudio, todas estaban involucradas directamente en su ejecución.
EQUIHP consta de 13 criterios en los que se agrupan 97 indicadores o ítems en un formulario check list con tres opciones de respuesta («sí», «no» y «en parte») sobre si cada indicador ha sido alcanzado por el programa, y un manual de usuario21 (véase el Apéndice online). El objetivo de EQUIPH es ayudar a identificar aquellos aspectos de mejora en las iniciativas de promoción de la salud. Los 13 criterios se distribuyen en cuatro apartados (Fig. 1).
Para aplicar el instrumento se realizó una traducción del inglés al español por parte de los/las autores/as del estudio, revisada y corregida por una persona bilingüe, y se convocó una primera reunión con el equipo del programa. Se realizó una presentación de EQUIHP, se repartió una copia de la traducción y se cumplimentó individualmente. Se recogieron las respuestas y a continuación, se planteó una entrevista grupal para conocer la opinión acerca de la aplicabilidad de EQUIHP mediante una serie de preguntas elaboradas ad hoc (Tabla 1). Se grabaron en audio todas las intervenciones, se anotó toda la información relevante por parte de dos de los investigadores y se concretó una cita para la exposición de los resultados. Transcurridos 2 meses se llevó a cabo una segunda reunión, en la que se expusieron las puntuaciones otorgadas a EQUIHP por las personas del equipo en forma de tablas resumen, y en una segunda parte, como entrevista grupal, se plantearon varias cuestiones sobre su aplicabilidad (Tabla 1). Esta reunión también fue grabada en audio tras solicitar permiso a los asistentes. La duración de cada sesión fue de 2 horas.
Descripción de las entrevistas | Preguntas |
---|---|
Primera entrevista grupal: en sesión de presentación de EQUIPH y realizada tras autocumplimentación individual del mismo | • ¿Qué opináis sobre EQUIPH? |
• ¿Lo consideráis útil? ¿Por qué? | |
• ¿Se han entendido todas las preguntas? ¿Cuáles no? | |
• ¿Os ha resultado fácil contestar a todas las preguntas? | |
Segunda entrevista grupal: realizada en la sesión de puesta en común, después de compartir resultados de aplicar EQUIPH | • ¿Qué os ha aportado? |
• ¿Qué os ha parecido el resultado de aplicar EQUIPH? | |
• ¿Es útil para identificar fortalezas y debilidades o puntos de mejora en el programa? | |
• ¿Facilita la realización de una evaluación de la calidad de este? |
En cuanto al análisis de la información, se distinguen dos aspectos:
1) En relación a la aplicación de EQUIHP al Programa MIH salud, se hizo un sumatorio de las respuestas de los miembros del equipo a cada ítem del instrumento. Se organizaron los resultados según los cuatro apartados y se elaboró una tabla con cada ítem, las opciones de respuesta y las puntuaciones globales en porcentajes y tres posibilidades de valoración:
(+): siete o más personas del equipo opinaban que el programa cumplía y tenía incorporado el ítem de calidad.
(−/+): cinco o seis personas del equipo opinaban que el programa tenía incorporado el ítem.
(−): solo cuatro o menos personas del equipo opinaban que el programa incorporaba el ítem.
Aunque EQUIHP se compone de 97 ítems, siguiendo las indicaciones del manual21 solo se consideraron 95 en la puntuación global, ya que dos no se valoraron porque su formulación generó dudas de comprensión por parte de los participantes. Se obtuvo una nota global asumiendo que todos los ítems de EQUIHP tenían el mismo peso en la calidad del programa. Las respuestas se puntuaron de la siguiente forma:
Número de ítems de criterios de calidad incorporados por el programa × 1 punto.
Numero de ítems de criterios parcialmente incorporados × 0,5 puntos.
Número de ítems no incorporados o débilmente incorporados × 0 puntos.
Puntuación final calculada para una escala de 1 a 10.
Por último, se realizó una transcripción de los comentarios y las aportaciones del equipo del Programa MIH salud en relación a los aspectos de este que cabría mejorar, realizando un vaciado de cada ítem de EQUIHP y elaborando unas conclusiones de mejora de calidad del programa.
2) En relación a la opinión de los miembros del equipo sobre la aplicabilidad de EQUIHP, se realizó una transcripción de las respuestas a las cuestiones formuladas en las dos entrevistas y se realizó un análisis cualitativo temático siguiendo a Valles22. Mediante tres lecturas sucesivas por parte de los/las autores/as, se acotaron fragmentos del discurso que reflejaban opiniones del equipo, favorables o negativas, respecto a la experiencia de aplicar el instrumento, y se elaboraron una serie de conclusiones.
Resultados
En relación con la aplicación de EQUIHP
Según la puntuación del equipo, 52 ítems estarían incorporados en el programa, 20 ítems lo estarían parcialmente y 23 no estarían incorporados o lo estarían escasamente. El Programa MIHsalud podría considerarse de calidad media, al alcanzar una puntuación de 6,5 sobre 10. Los resultados y las propuestas de mejora según las cuatro áreas de EQUIPH serían:
Marco de los principios de promoción de la salud: el programa incorpora todos los indicadores relacionados con estos principios, a excepción de su fundamentación basada en la evidencia, que está contemplada «en parte» (Tabla 2). Las opiniones del grupo fueron coincidentes en señalar que el Programa asume estos principios: «El programa en sí abarca todos los principios de promoción de la salud, es un punto en el que todos estamos de acuerdo»; sin embargo, se generaron opiniones diversas acerca de la comprensión del concepto de la práctica basada en la evidencia: «Cuando hablan de los principios basados en la evidencia, me cuesta entender el concepto». Otro participante aportó: “la evidencia es que tus decisiones, dentro de un programa o una intervención, las bases en lo que se ha demostrado, lo que se dice en los estudios actuales…”.
Criterio | Indicadores | Valoración | Propuestas |
---|---|---|---|
Marco de «Principios de promoción de la salud» | 1. ¿Responde el proyecto al modelo de determinantes de la salud en términos de las habilidades y capacidades de las personas y/o las condiciones sociales y ambientales que influyen en la salud? | + | Actualizar conocimientos sobre los principios basados en la evidencia. Recoger y transmitir toda la información que genera el programa |
2. ¿El proyecto está integrado dentro de un enfoque integral de la promoción de la salud, según se detalla en un plan de políticas (local, regional, nacional o institucional)? | + | ||
3. ¿Funciona el proyecto de acuerdo a los principios basados en la evidencia? | − | ||
4. ¿El proyecto contempla o considera el empoderamiento de las personas participantes? | + | ||
5. ¿El proyecto contempla las desigualdades en salud y la equidad? | + | ||
6. ¿Consideran propio el proyecto todas las personas implicadas? ¿El proyecto crea un espacio propio entre las partes o personas interesadas? | + |
+: indicador alcanzado en el programa; −: indicador no alcanzado; −/+: indicador parcialmente alcanzado.
Desarrollo y ejecución del proyecto: el programa, según la puntuación otorgada, incorpora el criterio «Estrategia de implementación» que ofrece el instrumento. El resto de los criterios («Análisis», «Objetivos», «Población participante», «Intervención» y «Evaluación») son tenidos en cuenta parcialmente (Tabla 3). En general, los miembros del equipo se sienten capacitados para desarrollar el programa, pero hay muchas actividades que se realizan y no están recogidas en forma de informes, con lo que no se visibiliza todo el trabajo llevado a cabo: «La idea es que todos sean más conscientes de lo que están haciendo, del por qué. El problema es que no hemos sabido transmitirlo. Una cosa es tenerlo en el archivo y otra saberlo». En lo que el equipo está de acuerdo es en que los objetivos del programa son difíciles de alcanzar tal como están formulados: «Hay que tener en cuenta que los objetivos del programa son muy ambiciosos para conseguirlos, están orientados de una manera muy genérica». En cuanto al criterio «Población participante», se señala la necesidad de plantearse objetivos y actividades según diferentes poblaciones y motivaciones. Respecto al criterio «Intervención», se constata la necesidad de especificar los mecanismos de cambio que se promueven con el programa. Y en relación al criterio «Evaluación», se aporta que «sería oportuno añadir indicadores de resultados más potentes que demostraran la eficacia de los métodos de intervención».
Criterios | Indicadores | Valoración | Propuestas |
---|---|---|---|
Análisis | |||
1. ¿Existe la evidencia del problema de salud y su impacto en la calidad de vida? ¿Se han recogido datos empíricos sobre la naturaleza, el tamaño y la distribución del problema? ¿Se ha efectuado una revisión del sistema para reunir pruebas en relación con el problema, o se prevé una revisión explícita en el plan del proyecto? ¿Se ha recopilado información sobre el problema a través de la consulta del grupo objetivo, la comunidad u otras partes interesadas? | +/− | Recoger datos sobre la naturaleza, el tamaño y la distribución del problema o problemas que justifican la intervención Realizar una revisión para reunir pruebas o evidencias en relación al problema | |
2. ¿Existe evidencia de los factores de comportamiento y contextuales que influyen en el problema de salud? ¿Se ha hecho uso de modelos teóricos que explican los vínculos entre los problemas de salud, los comportamientos de riesgo y/o los factores ambientales? ¿Se ha examinado la importancia de cada factor determinante para el grupo objetivo? | − | Hacer uso de modelos teóricos que expliquen los vínculos entre el problema, los comportamientos de riesgo y el entorno | |
3. ¿Existe evidencia del contexto en el que se llevará a cabo el proyecto? ¿Está claro en qué contexto se llevará a cabo el proyecto? ¿Se han examinado otros programas que tienen un impacto en el comportamiento o el contexto? ¿Se han examinado los factores sociales, culturales y políticos que influyen en el éxito del proyecto? 4. ¿ Coinciden los objetivos? | +/− | Examinar otros programas que tengan un impacto en el comportamiento o el contexto de la población diana Aportar más información acerca del programa piloto que se hizo antes de implantar el Programa MIH salud | |
Objetivos | |||
1. ¿Existe un documento de condiciones por escrito de los fines y objetivos del proyecto? | + | ||
2. ¿Existe una distinción entre corto plazo, medio plazo y largo plazo? | − | Distinguir y reflejar objetivos que quieren conseguirse a corto plazo, a medio plazo y a largo plazo (objetivos finales) | |
3 ¿Se cumple la formulación de los objetivos SMART?: S: específica M: medibles A: aceptable R: realista T: tiempo estimado Coinciden los objetivos con el análisis | +/− | Construir objetivos realistas, que se adecuen al tiempo y al presupuesto | |
Población beneficiaria | |||
1. ¿Se han identificado las características demográficas relevantes de la población diana? | + | Identificar deseos y normas sociales de la población diana, puesto que son necesidades prioritarias | |
2. ¿Se han identificado los deseos y las normas sociales de la población diana? | |||
3. ¿Se ha segmentado la población diana con respecto a la fase de motivación y posibilidades de cambio? | |||
4. ¿Se ha establecido el tamaño de la población diana (número de sujetos)? | + | ||
5. ¿Está claro cómo se alcanzará a la población diana? | +/− | Segmentar la población diana en dos fases: de motivación y de posibilidades de cambio | |
Intervención | |||
1. ¿Se ha realizado una especificación de los mecanismos que provocan los cambios previstos? | − | Especificar los mecanismos que provocan los cambios previstos, ya sean talleres, foros, reuniones, etc. | |
2. ¿Es la intervención suficientemente completa? | +/− | Utilizar diferentes estrategias para alcanzar los objetivos y así conseguir una intervención lo suficientemente completa | |
3. ¿Se ha demostrado la eficacia de los métodos de intervención? | − | Demostrar la eficacia de los métodos de intervención a través de informes, reuniones, etc. | |
4. ¿Se ha diseñado la intervención en consulta con los socios? | +/− | Diseñar la intervención teniendo en cuenta las opiniones de las distintas partes interesadas: equipo del programa y población participante | |
5. ¿La intervención se ha diseñado teniendo en cuenta la opinión de las distintas partes interesadas? | |||
6. ¿La intervención se ha diseñado teniendo en cuenta la opinión de la población participante? | |||
7. ¿Son los métodos adecuados a la intervención? | |||
8. ¿Es el contenido compatible a nivel cultural? | |||
9. ¿Ha sido eficaz la intervención? | |||
10. ¿Proporciona valor complementario? | |||
11. ¿El proyecto ha sido previamente probado? | |||
Estrategia de implementación | |||
1. ¿Se ha elegido un modo particular de implementación? | + | Adecuar los métodos de intervención a la población diana | |
2. ¿Se ha traducido esta elección en un plan de implementación? | |||
3. ¿Los socios, población diana y/u otros representantes participarán en la ejecución de los proyectos? | |||
4. ¿Está claro, para aquellos que estarán involucrados en la ejecución, los elementos de la intervención esenciales y deben mantenerse sin la adaptación? | + | ||
5. ¿Está claro cómo se supervisará la implementación? | |||
6. ¿El proyecto estará documentado de forma que permita una transferencia de experiencia y los conocimientos relacionados con el «cómo» se ha llevado a cabo(know-how)a otros proyectos? | |||
Evaluación | |||
1. ¿Existe un plan de evaluación? | +/− | Elaborar un plan de evaluación que incluya preguntas de evaluación y cuente con la opinión de usuarios en relación con las actividades y los materiales. | |
Evaluar la efectividad de los indicadores de impacto y criterios de elección, objetivos y rentabilidad del programa | |||
2. ¿El plan de evaluación proyecta claramente: • el propósito de la evaluación? • las preguntas de evaluación? • el diseño, el método y el calendario de la evaluación? • las tareas, funciones y responsabilidades para la evaluación (incluyendo la recopilación de datos, el análisis y la presentación de informes)? | +/- | Adecuar los métodos de recolección de datos de evaluación a las preguntas de evaluación, al presupuesto y al cronograma de informes | |
3. ¿Las preguntas de evaluación se ajustan a los objetivos, el contexto y las expectativas de la población diana y las partes interesadas? | + | ||
4. Se llevará a cabo una evaluación del proceso que incluya estas cuestiones: ¿Las actividades se realizan de acuerdo con el plan? ¿Se tiene en cuenta la opinión de los usuarios en relación con las actividades y los materiales? ¿Están reflejados los obstáculos y dificultades que se han encontrado durante el proceso de implementación? ¿Están reflejadas las sugerencias de mejora? | + | ||
5. Se lleva a cabo una evaluación de la efectividad que incluye estas cuestiones: La recopilación de datos de referencia La elección de los criterios e indicadores de efecto Medición de corto plazo, medio plazo y largo plazo de los objetivos Exclusión de explicaciones alternativas de los posibles efectosa Atribución causal del efecto de la intervención Evaluación de la rentabilidad del proyecto | +/− | ||
6. ¿El diseño y los métodos de recolección de datos de evaluación son los adecuados para las preguntas de evaluación, presupuesto y cronograma de informes? | + | ||
7. ¿La información derivada de la evaluación se difundirá y se mantiene de nuevo a todos los interesados y al grupo objetivo? | + |
+: indicador alcanzado en el programa; −: indicador no alcanzado; −/+: indicador parcialmente alcanzado. a Indicador no valorado por dificultades en su comprensión.
Gestión del proyecto: «Liderazgo» y «Planificación y documentación» son criterios que el programa cumple satisfactoriamente, y de forma parcial el criterio «Capacidad y recursos» (Tabla 4). En «Participación y compromiso» se expresa la necesidad de formalizar, a través de acuerdos, la participación de los/las socios/as internos/as y externos/as del programa. En el criterio «Comunicación» se destaca la ausencia de un plan de comunicación: «Somos bastante claros y transparentes, pero en sí, un plan de comunicación, no tenemos». Manifiestan que, como equipo, se mantiene una buena comunicación, notificando el trabajo que se realiza y las dificultades que surgen: «A nivel interno, no tenemos un documento que hable de plan de evaluación, comunicación, etc. Pero sí que buscamos resultados». Hay acuerdo generalizado en que la participación es uno de los puntos más sólidos del programa, pero con posibilidades de mejora: «Uno de nuestros puntos fuertes es la participación; si no les pedimos a ellos opinión para nada, lo estamos decidiendo nosotros».
Criterios | Indicadores | Valoración | Propuestas de mejora |
---|---|---|---|
Liderazgo | 1. ¿Hay una clara división de responsabilidades entre el coordinador y los otros colaboradores? | + | |
2. ¿El coordinador está capacitado para adquirir las habilidades necesarias? | + | ||
3. ¿El coordinador tiene autoridad suficiente para alcanzar los objetivos del proyecto? | + | ||
4. ¿Es capaz el coordinador de utilizar los recursos disponibles de una manera flexible? | + | ||
Planificación y documentación | 1. ¿El plan del proyecto está lógicamente estructurado y escrito? | + | |
2. ¿El plan del proyecto especifica los momentos de toma de decisiones importantes? | +/− | Especificar momentos de toma de decisiones importantes | |
3. ¿Están descritos claramente en el plan de trabajo cómo se realizarán las actividades? | + | ||
4. ¿Están claramente definidos y documentados los aspectos organizativos de la intervención? | + | ||
5. ¿Hay un plazo realista para el proyecto? | +/− | Establecer un plazo realista del programa | |
Capacidad y recursos | 1. Personal competente: ¿Existe un perfil de las competencias y conocimientos necesarios para cada fase del proyecto? | + | |
¿La cualificación y las capacidades de los miembros están adaptadas a las necesidades del proyecto? | + | ||
¿Se han especificado posibilidades para mejorar las habilidades a través de la supervisión y/o formación? | + | ||
2. Recursos financieros: | +/− | Reflejar si existe un plan de presupuesto y adaptarlo a las necesidades del programa (recursos materiales: ordenadores, Internet, teléfonos, etc.) | |
¿Existe un plan de presupuesto para el proyecto? | |||
¿Se han identificado las fuentes de financiación? | + | ||
¿El presupuesto es realista? | +/− | ||
3. El proyecto dispone de los materiales necesarios para llevar a cabo el programa (necesidades administrativas: teléfonos, fax, ordenadores, Internet, etc.) | +/− | ||
4. ¿Los recursos no materiales para el proyecto están identificados? | +/− | Identificar claramente los recursos no materiales para el programa | |
¿Se ha realizado una evaluación de las habilidades y capacidades de la población diana? | Evaluar las habilidades y las capacidades disponibles de la población diana | ||
¿Se han identificado las posibilidades de trabajo en red a nivel local? | + | ||
¿Está claro cómo se han movilizado, mejorado y ampliado los «activos» o capacidades locales? | + | ||
Participación y compromiso | 1. ¿Se especifica claramente cómo se han conseguido la colaboración y las sinergias (el trabajo en red)? | + | |
2. ¿Se han identificado qué socios internos y externos son necesarios para proporcionar apoyo y compromiso adecuado en cada etapa del proyecto? | + | ||
3. Los métodos de trabajo que se han utilizado, ¿han tenido en cuenta las diferentes perspectivas y contribuciones de las distintas personas o agentes implicados? | + | ||
4. ¿Está prevista la participación en la organización del proyecto (p. ej., la creación de un comité asesor para la dirección)?a | |||
¿Se han identificado obstáculos para la realización del proyecto? | − | Identificar socios externos e internos que sean necesarios para proporcionar apoyo y compromiso adecuado en cada etapa del programa, así como posibles oponentes y obstáculos para la realización del mismo | |
¿La participación de los socios se ha formalizado a través de acuerdos? | − | Formalizar la participación de todos los socios a través de acuerdos | |
Comunicación | 1. ¿Se ha hecho un plan de comunicación? | − | Especificar un plan de comunicación del programa identificando diferentes canales para su transmisión y adaptándolo a la población diana |
2. ¿Es el plan de comunicación el adecuado para el contenido de la comunicación? | − | ||
3. ¿Está el estilo de comunicación del plan adaptado al grupo objetivo? | − | ||
4. ¿Se han identificado los diferentes canales de comunicación en el plan de comunicación? | − | ||
5. ¿La información dirigida a la comunidad, la población diana y las partes interesadas es clara y transparente? | + | ||
Sostenibilidad | 1. ¿Se ha realizado una evaluación de la sostenibilidad del proyecto? | − | Evaluar la sostenibilidad del programa revisando fines, objetivos y resultados desde la perspectiva de la continuidad |
2. ¿Se han revisado los fines, objetivos y resultados del proyecto desde la perspectiva de la continuidad? | +/− | ||
3. ¿Están claramente especificados los beneficios del proyecto para la población participante y la comunidad? | +/− | Especificar los beneficios del programa para la población participante y la comunidad | |
4. ¿Se han identificado una o más organizaciones que podrían continuar el proyecto? | + |
+: indicador alcanzado en el programa; −: indicador no alcanzado; −/+: indicador parcialmente alcanzado. a Indicador no valorado por dificultades en su comprensión.
El criterio «Sostenibilidad» se valoró como incorporado parcialmente (tabla 4) y se expresó la necesidad de una evaluación formal de la sostenibilidad por parte de la dirección del programa: «lo que falla es que un plan de evaluación de la sostenibilidad como tal no tenemos…».
Valoración de la percepción de utilidad de EQUIHP
EQUIHP, según el equipo del Programa MIH salud, es un instrumento que permite un análisis exhaustivo del programa: «Es bastante intenso, te das cuenta de lo que sabes y de lo que te falta saber del proyecto» y que facilita la evaluación de los aspectos más relevantes del mismo: «Te hace plantearte, ver todos los puntos del programa y además entra en el detalle». EQUIHP permite identificar los puntos críticos del programa y la formulación de propuestas de mejora: «Está bien para mejorar los puntos más débiles y mejorar los demás».
EQUIHP, según las personas participantes, puede servir para todo tipo de programas de salud, ya que abarca todos los aspectos evaluables y, además, presenta un apartado específico sobre «Principios de promoción de la salud»: «Es un instrumento completo, puede servir tanto para programas muy generales como para un programa más pequeño […] hay una parte muy común respecto al punto de planificación y otra parte más peculiar en cuanto a la promoción de la salud».
En cuanto a posibles mejoras, se indica la inclusión de «No lo sé» como opción de respuesta en elcheck listy la lectura grupal de los ítems, previa a la autocumplimentación individual, para mejorar la comprensión de algunos de estos: «He podido contestar algunas preguntas porque se han debatido en la reunión, pero que yo sola en casa me hubiera costado más entenderlas, y no las hubiese contestado».
Discusión
Las evaluaciones que se han realizado en el Programa MIH salud siguen la perspectiva de la evaluación participativa de cuarta generación23 24, evidenciando que el programa aborda satisfactoriamente las acciones individuales de mediación intercultural15, la formación-acción de agentes de salud17, las conversaciones informales25 y el impacto del programa en mujeres en situación de vulnerabilidad26. Sin embargo, la novedad de este estudio respecto a los anteriores es aplicar un enfoque global de evaluación de calidad al programa mediante la traducción y la autocumplimentación de un instrumento de ámbito europeo, EQUIHP, basado en los fundamentos de la promoción de la salud y generar propuestas de mejora de forma participativa.
Siguiendo un planteamiento similar, cabe destacar los estudios realizados en España por la Red Aragonesa de Proyectos de promoción de la salud11, que se han orientado a establecer estándares de calidad asumiendo las dificultades y la complejidad de la evaluación en este ámbito. No obstante, en nuestro estudio resulta clave el enfoque de autoevaluación participativa de EQUIPH (implicándose desde coordinadores/as hasta agentes de salud de base comunitaria), con el objeto de introducir mejoras en un programa en activo. Desde este enfoque, la aplicación y la discusión de EQUIHP es un método tanto para facilitar que las personas implicadas en el Programa MIH salud mejoren en efectividad y eficiencia como para ser un proceso educativo en el cual las personas participantes aumentan su comprensión de los factores que afectan su situación24.
Según Springett14, la evaluación de proyectos de promoción de la salud debe basarse en las condiciones propias de cada contexto, y no puede aplicarse una lista única de indicadores para evaluar los programas. En EQUIHP se hace énfasis en interrelacionar el contenido y el contexto de los programas de promoción de la salud y valorar de forma flexible la importancia de criterios e indicadores según el tipo de intervención21. Así pues, aunque los instrumentos como EQUIHP son útiles para la mejora de las intervenciones, su utilización habría que enmarcarla en proyectos de evaluación más globales, tal como se señala en los ítems del propio EQUIPH. En este sentido, el presente estudio se alinea con el proyecto Evidencias de Efectividad en Promoción de la Salud en América Latina9, que trata de fortalecer la capacidad para desarrollar, publicar y usar resultados de las evaluaciones para mejorar las decisiones relacionadas con la promoción de la salud. Como el propio equipo manifiesta, se comparte la necesidad de recursos específicos, adicionales a los de la intervención, para elaborar un plan o proyecto de evaluación y comunicación y que, en cada país, debería existir un proyecto similar al de América Latina9.
Aplicaciones del estudio
En relación a la aplicación de EQUIHP al Programa MIH salud, ha facilitado la formulación de mejoras en el programa: formalizar a través de acuerdos la participación de los socios, especificar los mecanismos que provocan los cambios en el programa (talleres, foros, etc.), sistematizar el trabajo y manifestar los cambios producidos, relacionar datos cualitativos con cuantitativos, etc. Sin embargo, algunos aspectos de mejora, como la necesidad de un plan de comunicación, la evaluación o la sostenibilidad, no dependen tanto del propio equipo sino del nivel directivo y político, que no ha intervenido en el proceso de aplicación del instrumento.
En cuanto a la percepción de la aplicabilidad de EQUIHP, se valora su utilidad como instrumento de ámbito europeo para evaluar la calidad de un programa, dando a conocer la herramienta a los implicados en este, experimentando su aplicación y generando reflexión acerca de las ventajas y las dificultades. La percepción inicial de la complejidad de EQUIPH se fue diluyendo y traduciendo en una toma de conciencia de todos los criterios e indicadores a valorar. Compartir los resultados de su aplicación ha supuesto la satisfacción con EQUIPH por parte de todo el equipo del programa.
En cuanto a las limitaciones, cabe señalar no haber contado con el instrumento EQUIHP traducido y adaptado al contexto español, y no haber incorporado la opinión de otros actores clave del programa, como personas del ámbito directivo y sobre todo, la propia población beneficiaria. Una propuesta que se deriva de este trabajo sería realizar la traducción y la adaptación de EQUIPH al español para favorecer su difusión y utilización entre profesionales de promoción de la salud.
¿Qué se sabe sobre el tema?
La evaluación en promoción de la salud es necesaria, pero resulta compleja y requiere métodos mixtos y enfoques integrales. Actualmente se dispone de diferentes instrumentos, como EQUIHP, que facilitan la evaluación de la calidad de los programas de promoción de la salud y permiten orientarlos hacia la práctica basada en la evidencia, pero hay una brecha entre el desarrollo de estos instrumentos y su utilización normalizada en la práctica.
¿Qué añade el estudio realizado a la literatura?
Esta investigación describe los resultados satisfactorios de traducir y aplicar EQUIHP a un programa comunitario de promoción de la salud en activo y la opinión favorable del equipo ejecutor del mismo acerca de su aplicabilidad. Es posible incorporar un instrumento de evaluación de la calidad en la práctica de la promoción de la salud en forma de autoevaluación participativa y generar una mirada reflexiva sobre las actividades que las y los profesionales llevan a cabo diariamente.