SciELO - Scientific Electronic Library Online

 
vol.32 issue2Employee reactions to the use of management control systems in hospitals: motivation vs. threatEvaluation of an association between long sleep duration and periodontal disease among men and women using nationally representative data author indexsubject indexarticles search
Home Pagealphabetic serial listing  

My SciELO

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Gaceta Sanitaria

Print version ISSN 0213-9111

Gac Sanit vol.32 n.2 Barcelona Mar./Apr. 2018  Epub Dec 07, 2020

https://dx.doi.org/10.1016/j.gaceta.2017.01.007 

Originales

Aplicabilidad y percepción de utilidad del European Quality Instrument for Health Promotion (EQUIHP) en un programa de promoción de la salud

Applicability and perceived utility of the European Quality Instrument for Health Promotion (EQUIHP) in a health promotion programme

Rebeca Cerdá-Gómeza  , Joan J Paredes-Carbonellb  c  d  , M Pilar López-Sáncheze  * 

aResidencia Nova Edat, Sedaví, Valencia, España

bDirección General de Salud Pública, Conselleria de Sanitat de la Generalitat Valenciana, Valencia, España

cFundación para la Investigación Sanitaria y Biomédica de la Comunitat Valenciana (FISABIO), Valencia, España

dDepartament d’Infermeria, Universitat de València, Valencia, España

eCentro de Salud Pública de Valencia, Dirección General de Salud Pública, Conselleria de Sanitat de la Generalitat Valenciana, Valencia, España

Resumen

Objetivo:

Describir los resultados de la aplicación del European Quality Instrument for Health Promotion (EQUIHP) en el Programa MIH salud y la percepción de su utilidad por el equipo ejecutor de este.

Método:

Estudio de evaluación aplicando EQUIHP a un programa de promoción de la salud. Autocumplimentación de EQUIHP por ocho mujeres y dos hombres del equipo MIH salud, y realización de dos entrevistas grupales con este equipo sobre la percepción de su utilidad.

Resultados:

El programa ha obtenido una puntuación global de calidad de 6,5 sobre 10. EQUIPH ha permitido identificar los aspectos más débiles dentro del programa, como la falta de un plan de comunicación y las propias evaluabilidad y sostenibilidad; y los más fuertes, como la inclusión de principios de promoción de la salud. Se considera que EQUIPH es un instrumento útil que facilita una valoración exhaustiva de los componentes de un programa desde la práctica profesional de la promoción de salud.

Conclusión:

La aplicación de EQUIHP ha permitido evaluar la calidad del programa y formular recomendaciones para su mejora. Asimismo, es aplicable a otros programas e intervenciones.

Palabras clave: Encuestas y cuestionarios; Evaluación; Calidad; Programa; Promoción de la salud

Abstract

Objective:

To describe the results of applying the European Quality Instrument for Health Promotion (EQUIHP) tool in the MIHsalud programme and to discuss its perceived utility by the programme's team members.

Method:

Evaluation study applying EQUIHP to a health promotion programme. A total of ten MIHsalud staff (eight women and two men) completed the EQUIHP and participated in two group interviews to discuss its perceived utility.

Results:

The programme obtained a total score of 6.5 points out of 10 in quality. The use of EQUIHP enabled the programme's weaknesses to be identified, such as lack of a communication plan, evaluability and sustainability; as well as its strengths, such as the inclusion of health promotion principles. The MIHsalud team believes that the EQUIHP is a useful tool which can facilitate a comprehensive evaluation of the programme in terms of a health promotion initiative.

Conclusion:

The use of the EQUIHP has made it possible to evaluate the quality of the programme and to make recommendations for its improvement, and it could be applied to other programmes and activities.

Keywords: Surveys and questionnaires; Evaluation; Quality; Programme; Health promotion

Introducción

La promoción de la salud es el proceso que permite a las personas incrementar el control sobre los determinantes de la salud para poder mejorarla1. La evaluación de este «proceso», del grado de «control» de la población sobre estos determinantes y la constatación de la «mejora» de la salud como resultado de una intervención, es necesaria y compleja y requiere métodos mixtos y enfoques integrales2. Ante la dificultad de disponer de resultados a corto plazo, en promoción de la salud cobra especial relevancia la evaluación de la calidad de la intervención para incorporar mejoras y progresivamente, evaluar su impacto3.

Existen diferentes instrumentos que facilitan la evaluación de la calidad de los programas de promoción de la salud y permiten orientarlos hacia la práctica basada en la evidencia: IDM Best Practices4, European Quality Instrument for Health Promotion (EQUIHP)5, Quint-essenz6, Guide d’autoévaluation «Comment améliorer la qualité de vos actions en promotion de la santé?»7 y Preffi 2.08. Es necesario traducir, adaptar y aplicar este tipo de instrumentos en programas en activo para comprobar su utilidad y aportar conocimiento, tal como plantea el proyecto Evidencias de Efectividad en Promoción de la Salud en América Latina9.

En España, el desarrollo de la Red de Actividades Comunitarias10 y la Red Aragonesa de Proyectos de Promoción de la Salud11 12, entre otras, ha posibilitado el establecimiento de estándares de calidad, optando por modelos coherentes con los principios de promoción de la salud y estableciendo criterios13, métodos e indicadores. Los aspectos para asegurar la calidad son: «1) construir instrumentos de garantía de calidad; 2) acordar estándares de calidad sobre qué indicadores y criterios serán utilizados en el seguimiento y la evaluación; 3) considerar la naturaleza y características específicas de la promoción de la salud; por ejemplo, la orientación hacia procesos dinámicos y la habilidad de responder de manera flexible como criterio de calidad»13 14.

El Programa MIH salud se inició en 2007 en el Centro de Salud Pública de Valencia como un programa de movilización comunitaria y alta difusión en entornos urbanos, cuyo objetivo es promover la salud y la convivencia en poblaciones en situación de vulnerabilidad de la ciudad, favoreciendo el acceso adecuado a los servicios sanitarios a través de la mediación intercultural15, el trabajo en red con asociaciones16, la formación-acción de agentes de salud17 y la acción comunitaria en distintos territorios18. Esta se consigue mediante la dinamización de mapas de activos, el contacto con líderes comunitarios, la apertura de puntos informativos, conversaciones y talleres llevados a cabo por agentes de salud de base comunitaria18.

En 2015, con el objetivo de incorporar criterios de calidad de promoción de la salud a la evaluación continua de MIH salud, se realizó una revisión de los instrumentos disponibles en el ámbito internacional4 5 6 7 8. Se eligió EQUIHP por ser resultado del proyecto Getting Evidence into Practice19 20, consistente en consensuar criterios de calidad en promoción de la salud partiendo de instrumentos similares en varios países europeos21. EQUIHP consta de un listado de preguntas en cuatro áreas: principios de promoción de la salud, desarrollo e implementación, gestión y sostenibilidad (véase el Apéndice online).

El objetivo de este artículo es, por un lado, describir el proceso de traducción y aplicación del instrumento EQUIHP para identificar fortalezas y debilidades del Programa MIH salud, y formular recomendaciones para su mejora continua; por otro, describir la percepción del equipo ejecutor del programa acerca de la aplicabilidad de EQUIHP.

Método

Es un estudio de evaluación mediante traducción y autocumplimentación de EQUIHP por parte del equipo del Programa MIH salud, y la realización de dos entrevistas grupales con todos los componentes de este equipo sobre la percepción de la aplicabilidad del instrumento.

Los diez miembros del equipo que participaron fueron el médico y la enfermera responsables de la coordinación del programa, dos enfermeras especializadas en enfermería familiar y comunitaria, y dos enfermeras residentes de la misma especialidad, dos mujeres y un hombre agentes de salud de base comunitaria, y una técnica de la Asociación de Cooperación entre Comunidades, que colabora en la ejecución del programa. Todos/as dieron su consentimiento para participar. Aunque no todas las personas participantes tenían la misma responsabilidad en el programa, se decidió, por parte de los investigadores y coordinadores de este, que participaran en su totalidad porque, en el momento de realizar el estudio, todas estaban involucradas directamente en su ejecución.

EQUIHP consta de 13 criterios en los que se agrupan 97 indicadores o ítems en un formulario check list con tres opciones de respuesta («sí», «no» y «en parte») sobre si cada indicador ha sido alcanzado por el programa, y un manual de usuario21 (véase el Apéndice online). El objetivo de EQUIPH es ayudar a identificar aquellos aspectos de mejora en las iniciativas de promoción de la salud. Los 13 criterios se distribuyen en cuatro apartados (Fig. 1).

Figura 1 Apartados y criterios de EQUIPH a considerar en un proyecto de promoción de la salud. 

Para aplicar el instrumento se realizó una traducción del inglés al español por parte de los/las autores/as del estudio, revisada y corregida por una persona bilingüe, y se convocó una primera reunión con el equipo del programa. Se realizó una presentación de EQUIHP, se repartió una copia de la traducción y se cumplimentó individualmente. Se recogieron las respuestas y a continuación, se planteó una entrevista grupal para conocer la opinión acerca de la aplicabilidad de EQUIHP mediante una serie de preguntas elaboradas ad hoc (Tabla 1). Se grabaron en audio todas las intervenciones, se anotó toda la información relevante por parte de dos de los investigadores y se concretó una cita para la exposición de los resultados. Transcurridos 2 meses se llevó a cabo una segunda reunión, en la que se expusieron las puntuaciones otorgadas a EQUIHP por las personas del equipo en forma de tablas resumen, y en una segunda parte, como entrevista grupal, se plantearon varias cuestiones sobre su aplicabilidad (Tabla 1). Esta reunión también fue grabada en audio tras solicitar permiso a los asistentes. La duración de cada sesión fue de 2 horas.

Tabla 1 Preguntas utilizadas en las entrevistas grupales de aplicación de EQUIPH al Programa MIH salud 

Descripción de las entrevistas Preguntas
Primera entrevista grupal: en sesión de presentación de EQUIPH y realizada tras autocumplimentación individual del mismo • ¿Qué opináis sobre EQUIPH?
• ¿Lo consideráis útil? ¿Por qué?
• ¿Se han entendido todas las preguntas? ¿Cuáles no?
• ¿Os ha resultado fácil contestar a todas las preguntas?
Segunda entrevista grupal: realizada en la sesión de puesta en común, después de compartir resultados de aplicar EQUIPH • ¿Qué os ha aportado?
• ¿Qué os ha parecido el resultado de aplicar EQUIPH?
• ¿Es útil para identificar fortalezas y debilidades o puntos de mejora en el programa?
• ¿Facilita la realización de una evaluación de la calidad de este?

En cuanto al análisis de la información, se distinguen dos aspectos:

1) En relación a la aplicación de EQUIHP al Programa MIH salud, se hizo un sumatorio de las respuestas de los miembros del equipo a cada ítem del instrumento. Se organizaron los resultados según los cuatro apartados y se elaboró una tabla con cada ítem, las opciones de respuesta y las puntuaciones globales en porcentajes y tres posibilidades de valoración:

  • (+): siete o más personas del equipo opinaban que el programa cumplía y tenía incorporado el ítem de calidad.

  • (−/+): cinco o seis personas del equipo opinaban que el programa tenía incorporado el ítem.

  • (−): solo cuatro o menos personas del equipo opinaban que el programa incorporaba el ítem.

Aunque EQUIHP se compone de 97 ítems, siguiendo las indicaciones del manual21 solo se consideraron 95 en la puntuación global, ya que dos no se valoraron porque su formulación generó dudas de comprensión por parte de los participantes. Se obtuvo una nota global asumiendo que todos los ítems de EQUIHP tenían el mismo peso en la calidad del programa. Las respuestas se puntuaron de la siguiente forma:

  • Número de ítems de criterios de calidad incorporados por el programa × 1 punto.

  • Numero de ítems de criterios parcialmente incorporados × 0,5 puntos.

  • Número de ítems no incorporados o débilmente incorporados × 0 puntos.

  • Puntuación final calculada para una escala de 1 a 10.

Por último, se realizó una transcripción de los comentarios y las aportaciones del equipo del Programa MIH salud en relación a los aspectos de este que cabría mejorar, realizando un vaciado de cada ítem de EQUIHP y elaborando unas conclusiones de mejora de calidad del programa.

2) En relación a la opinión de los miembros del equipo sobre la aplicabilidad de EQUIHP, se realizó una transcripción de las respuestas a las cuestiones formuladas en las dos entrevistas y se realizó un análisis cualitativo temático siguiendo a Valles22. Mediante tres lecturas sucesivas por parte de los/las autores/as, se acotaron fragmentos del discurso que reflejaban opiniones del equipo, favorables o negativas, respecto a la experiencia de aplicar el instrumento, y se elaboraron una serie de conclusiones.

Resultados

En relación con la aplicación de EQUIHP

Según la puntuación del equipo, 52 ítems estarían incorporados en el programa, 20 ítems lo estarían parcialmente y 23 no estarían incorporados o lo estarían escasamente. El Programa MIHsalud podría considerarse de calidad media, al alcanzar una puntuación de 6,5 sobre 10. Los resultados y las propuestas de mejora según las cuatro áreas de EQUIPH serían:

Marco de los principios de promoción de la salud: el programa incorpora todos los indicadores relacionados con estos principios, a excepción de su fundamentación basada en la evidencia, que está contemplada «en parte» (Tabla 2). Las opiniones del grupo fueron coincidentes en señalar que el Programa asume estos principios: «El programa en sí abarca todos los principios de promoción de la salud, es un punto en el que todos estamos de acuerdo»; sin embargo, se generaron opiniones diversas acerca de la comprensión del concepto de la práctica basada en la evidencia: «Cuando hablan de los principios basados en la evidencia, me cuesta entender el concepto». Otro participante aportó: “la evidencia es que tus decisiones, dentro de un programa o una intervención, las bases en lo que se ha demostrado, lo que se dice en los estudios actuales…”.

Tabla 2 Valoración del Programa MIH salud según los indicadores EQUIPH del marco de «Principios de promoción de la salud» 

Criterio Indicadores Valoración Propuestas
Marco de «Principios de promoción de la salud» 1. ¿Responde el proyecto al modelo de determinantes de la salud en términos de las habilidades y capacidades de las personas y/o las condiciones sociales y ambientales que influyen en la salud? + Actualizar conocimientos sobre los principios basados en la evidencia. Recoger y transmitir toda la información que genera el programa
2. ¿El proyecto está integrado dentro de un enfoque integral de la promoción de la salud, según se detalla en un plan de políticas (local, regional, nacional o institucional)? +
3. ¿Funciona el proyecto de acuerdo a los principios basados en la evidencia?
4. ¿El proyecto contempla o considera el empoderamiento de las personas participantes? +
5. ¿El proyecto contempla las desigualdades en salud y la equidad? +
6. ¿Consideran propio el proyecto todas las personas implicadas? ¿El proyecto crea un espacio propio entre las partes o personas interesadas? +

+: indicador alcanzado en el programa; −: indicador no alcanzado; −/+: indicador parcialmente alcanzado.

Desarrollo y ejecución del proyecto: el programa, según la puntuación otorgada, incorpora el criterio «Estrategia de implementación» que ofrece el instrumento. El resto de los criterios («Análisis», «Objetivos», «Población participante», «Intervención» y «Evaluación») son tenidos en cuenta parcialmente (Tabla 3). En general, los miembros del equipo se sienten capacitados para desarrollar el programa, pero hay muchas actividades que se realizan y no están recogidas en forma de informes, con lo que no se visibiliza todo el trabajo llevado a cabo: «La idea es que todos sean más conscientes de lo que están haciendo, del por qué. El problema es que no hemos sabido transmitirlo. Una cosa es tenerlo en el archivo y otra saberlo». En lo que el equipo está de acuerdo es en que los objetivos del programa son difíciles de alcanzar tal como están formulados: «Hay que tener en cuenta que los objetivos del programa son muy ambiciosos para conseguirlos, están orientados de una manera muy genérica». En cuanto al criterio «Población participante», se señala la necesidad de plantearse objetivos y actividades según diferentes poblaciones y motivaciones. Respecto al criterio «Intervención», se constata la necesidad de especificar los mecanismos de cambio que se promueven con el programa. Y en relación al criterio «Evaluación», se aporta que «sería oportuno añadir indicadores de resultados más potentes que demostraran la eficacia de los métodos de intervención».

Tabla 3 Valoración del Programa MIH salud según los indicadores EQUIHP de «Desarrollo e implementación» 

Criterios Indicadores Valoración Propuestas
Análisis
1. ¿Existe la evidencia del problema de salud y su impacto en la calidad de vida? ¿Se han recogido datos empíricos sobre la naturaleza, el tamaño y la distribución del problema? ¿Se ha efectuado una revisión del sistema para reunir pruebas en relación con el problema, o se prevé una revisión explícita en el plan del proyecto? ¿Se ha recopilado información sobre el problema a través de la consulta del grupo objetivo, la comunidad u otras partes interesadas? +/− Recoger datos sobre la naturaleza, el tamaño y la distribución del problema o problemas que justifican la intervención Realizar una revisión para reunir pruebas o evidencias en relación al problema
2. ¿Existe evidencia de los factores de comportamiento y contextuales que influyen en el problema de salud? ¿Se ha hecho uso de modelos teóricos que explican los vínculos entre los problemas de salud, los comportamientos de riesgo y/o los factores ambientales? ¿Se ha examinado la importancia de cada factor determinante para el grupo objetivo? Hacer uso de modelos teóricos que expliquen los vínculos entre el problema, los comportamientos de riesgo y el entorno
3. ¿Existe evidencia del contexto en el que se llevará a cabo el proyecto? ¿Está claro en qué contexto se llevará a cabo el proyecto? ¿Se han examinado otros programas que tienen un impacto en el comportamiento o el contexto? ¿Se han examinado los factores sociales, culturales y políticos que influyen en el éxito del proyecto? 4. ¿ Coinciden los objetivos? +/− Examinar otros programas que tengan un impacto en el comportamiento o el contexto de la población diana Aportar más información acerca del programa piloto que se hizo antes de implantar el Programa MIH salud
Objetivos
1. ¿Existe un documento de condiciones por escrito de los fines y objetivos del proyecto? +  
2. ¿Existe una distinción entre corto plazo, medio plazo y largo plazo? Distinguir y reflejar objetivos que quieren conseguirse a corto plazo, a medio plazo y a largo plazo (objetivos finales)
3 ¿Se cumple la formulación de los objetivos SMART?: S: específica M: medibles A: aceptable R: realista T: tiempo estimado Coinciden los objetivos con el análisis +/− Construir objetivos realistas, que se adecuen al tiempo y al presupuesto
Población beneficiaria
1. ¿Se han identificado las características demográficas relevantes de la población diana? + Identificar deseos y normas sociales de la población diana, puesto que son necesidades prioritarias
2. ¿Se han identificado los deseos y las normas sociales de la población diana?
3. ¿Se ha segmentado la población diana con respecto a la fase de motivación y posibilidades de cambio?
4. ¿Se ha establecido el tamaño de la población diana (número de sujetos)? +
5. ¿Está claro cómo se alcanzará a la población diana? +/− Segmentar la población diana en dos fases: de motivación y de posibilidades de cambio
Intervención
1. ¿Se ha realizado una especificación de los mecanismos que provocan los cambios previstos? Especificar los mecanismos que provocan los cambios previstos, ya sean talleres, foros, reuniones, etc.
2. ¿Es la intervención suficientemente completa? +/− Utilizar diferentes estrategias para alcanzar los objetivos y así conseguir una intervención lo suficientemente completa
3. ¿Se ha demostrado la eficacia de los métodos de intervención? Demostrar la eficacia de los métodos de intervención a través de informes, reuniones, etc.
4. ¿Se ha diseñado la intervención en consulta con los socios? +/− Diseñar la intervención teniendo en cuenta las opiniones de las distintas partes interesadas: equipo del programa y población participante
5. ¿La intervención se ha diseñado teniendo en cuenta la opinión de las distintas partes interesadas?
6. ¿La intervención se ha diseñado teniendo en cuenta la opinión de la población participante?
7. ¿Son los métodos adecuados a la intervención?
8. ¿Es el contenido compatible a nivel cultural?
9. ¿Ha sido eficaz la intervención?
10. ¿Proporciona valor complementario?
11. ¿El proyecto ha sido previamente probado?
Estrategia de implementación
1. ¿Se ha elegido un modo particular de implementación? + Adecuar los métodos de intervención a la población diana
2. ¿Se ha traducido esta elección en un plan de implementación?
3. ¿Los socios, población diana y/u otros representantes participarán en la ejecución de los proyectos?
4. ¿Está claro, para aquellos que estarán involucrados en la ejecución, los elementos de la intervención esenciales y deben mantenerse sin la adaptación? +
5. ¿Está claro cómo se supervisará la implementación?
6. ¿El proyecto estará documentado de forma que permita una transferencia de experiencia y los conocimientos relacionados con el «cómo» se ha llevado a cabo(know-how)a otros proyectos?
Evaluación
1. ¿Existe un plan de evaluación? +/− Elaborar un plan de evaluación que incluya preguntas de evaluación y cuente con la opinión de usuarios en relación con las actividades y los materiales.
Evaluar la efectividad de los indicadores de impacto y criterios de elección, objetivos y rentabilidad del programa
2. ¿El plan de evaluación proyecta claramente: • el propósito de la evaluación? • las preguntas de evaluación? • el diseño, el método y el calendario de la evaluación? • las tareas, funciones y responsabilidades para la evaluación (incluyendo la recopilación de datos, el análisis y la presentación de informes)? +/- Adecuar los métodos de recolección de datos de evaluación a las preguntas de evaluación, al presupuesto y al cronograma de informes
3. ¿Las preguntas de evaluación se ajustan a los objetivos, el contexto y las expectativas de la población diana y las partes interesadas? +  
4. Se llevará a cabo una evaluación del proceso que incluya estas cuestiones: ¿Las actividades se realizan de acuerdo con el plan? ¿Se tiene en cuenta la opinión de los usuarios en relación con las actividades y los materiales? ¿Están reflejados los obstáculos y dificultades que se han encontrado durante el proceso de implementación? ¿Están reflejadas las sugerencias de mejora? +  
5. Se lleva a cabo una evaluación de la efectividad que incluye estas cuestiones: La recopilación de datos de referencia La elección de los criterios e indicadores de efecto Medición de corto plazo, medio plazo y largo plazo de los objetivos Exclusión de explicaciones alternativas de los posibles efectosa Atribución causal del efecto de la intervención Evaluación de la rentabilidad del proyecto +/−  
6. ¿El diseño y los métodos de recolección de datos de evaluación son los adecuados para las preguntas de evaluación, presupuesto y cronograma de informes? +  
7. ¿La información derivada de la evaluación se difundirá y se mantiene de nuevo a todos los interesados y al grupo objetivo? +  

+: indicador alcanzado en el programa; −: indicador no alcanzado; −/+: indicador parcialmente alcanzado. a Indicador no valorado por dificultades en su comprensión.

Gestión del proyecto: «Liderazgo» y «Planificación y documentación» son criterios que el programa cumple satisfactoriamente, y de forma parcial el criterio «Capacidad y recursos» (Tabla 4). En «Participación y compromiso» se expresa la necesidad de formalizar, a través de acuerdos, la participación de los/las socios/as internos/as y externos/as del programa. En el criterio «Comunicación» se destaca la ausencia de un plan de comunicación: «Somos bastante claros y transparentes, pero en sí, un plan de comunicación, no tenemos». Manifiestan que, como equipo, se mantiene una buena comunicación, notificando el trabajo que se realiza y las dificultades que surgen: «A nivel interno, no tenemos un documento que hable de plan de evaluación, comunicación, etc. Pero sí que buscamos resultados». Hay acuerdo generalizado en que la participación es uno de los puntos más sólidos del programa, pero con posibilidades de mejora: «Uno de nuestros puntos fuertes es la participación; si no les pedimos a ellos opinión para nada, lo estamos decidiendo nosotros».

Tabla 4 Valoración del Programa MIH salud según los indicadores EQUIHP de «Gestión y sostenibilidad» 

Criterios Indicadores Valoración Propuestas de mejora
Liderazgo 1. ¿Hay una clara división de responsabilidades entre el coordinador y los otros colaboradores? +
2. ¿El coordinador está capacitado para adquirir las habilidades necesarias? +
3. ¿El coordinador tiene autoridad suficiente para alcanzar los objetivos del proyecto? +
4. ¿Es capaz el coordinador de utilizar los recursos disponibles de una manera flexible? +
Planificación y documentación 1. ¿El plan del proyecto está lógicamente estructurado y escrito? +  
2. ¿El plan del proyecto especifica los momentos de toma de decisiones importantes? +/− Especificar momentos de toma de decisiones importantes
3. ¿Están descritos claramente en el plan de trabajo cómo se realizarán las actividades? +  
4. ¿Están claramente definidos y documentados los aspectos organizativos de la intervención? +  
5. ¿Hay un plazo realista para el proyecto? +/− Establecer un plazo realista del programa
Capacidad y recursos 1. Personal competente: ¿Existe un perfil de las competencias y conocimientos necesarios para cada fase del proyecto? +  
¿La cualificación y las capacidades de los miembros están adaptadas a las necesidades del proyecto? +  
¿Se han especificado posibilidades para mejorar las habilidades a través de la supervisión y/o formación? +  
2. Recursos financieros: +/− Reflejar si existe un plan de presupuesto y adaptarlo a las necesidades del programa (recursos materiales: ordenadores, Internet, teléfonos, etc.)
¿Existe un plan de presupuesto para el proyecto?
¿Se han identificado las fuentes de financiación? +  
¿El presupuesto es realista? +/−  
3. El proyecto dispone de los materiales necesarios para llevar a cabo el programa (necesidades administrativas: teléfonos, fax, ordenadores, Internet, etc.) +/−  
4. ¿Los recursos no materiales para el proyecto están identificados? +/− Identificar claramente los recursos no materiales para el programa
¿Se ha realizado una evaluación de las habilidades y capacidades de la población diana? Evaluar las habilidades y las capacidades disponibles de la población diana
¿Se han identificado las posibilidades de trabajo en red a nivel local? +  
¿Está claro cómo se han movilizado, mejorado y ampliado los «activos» o capacidades locales? +  
Participación y compromiso 1. ¿Se especifica claramente cómo se han conseguido la colaboración y las sinergias (el trabajo en red)? +  
2. ¿Se han identificado qué socios internos y externos son necesarios para proporcionar apoyo y compromiso adecuado en cada etapa del proyecto? +  
3. Los métodos de trabajo que se han utilizado, ¿han tenido en cuenta las diferentes perspectivas y contribuciones de las distintas personas o agentes implicados? +  
4. ¿Está prevista la participación en la organización del proyecto (p. ej., la creación de un comité asesor para la dirección)?a  
¿Se han identificado obstáculos para la realización del proyecto? Identificar socios externos e internos que sean necesarios para proporcionar apoyo y compromiso adecuado en cada etapa del programa, así como posibles oponentes y obstáculos para la realización del mismo
¿La participación de los socios se ha formalizado a través de acuerdos? Formalizar la participación de todos los socios a través de acuerdos
Comunicación 1. ¿Se ha hecho un plan de comunicación? Especificar un plan de comunicación del programa identificando diferentes canales para su transmisión y adaptándolo a la población diana
2. ¿Es el plan de comunicación el adecuado para el contenido de la comunicación?  
3. ¿Está el estilo de comunicación del plan adaptado al grupo objetivo?  
4. ¿Se han identificado los diferentes canales de comunicación en el plan de comunicación?  
5. ¿La información dirigida a la comunidad, la población diana y las partes interesadas es clara y transparente? +  
Sostenibilidad 1. ¿Se ha realizado una evaluación de la sostenibilidad del proyecto? Evaluar la sostenibilidad del programa revisando fines, objetivos y resultados desde la perspectiva de la continuidad
2. ¿Se han revisado los fines, objetivos y resultados del proyecto desde la perspectiva de la continuidad? +/−  
3. ¿Están claramente especificados los beneficios del proyecto para la población participante y la comunidad? +/− Especificar los beneficios del programa para la población participante y la comunidad
4. ¿Se han identificado una o más organizaciones que podrían continuar el proyecto? +  

+: indicador alcanzado en el programa; −: indicador no alcanzado; −/+: indicador parcialmente alcanzado. a Indicador no valorado por dificultades en su comprensión.

El criterio «Sostenibilidad» se valoró como incorporado parcialmente (tabla 4) y se expresó la necesidad de una evaluación formal de la sostenibilidad por parte de la dirección del programa: «lo que falla es que un plan de evaluación de la sostenibilidad como tal no tenemos…».

Valoración de la percepción de utilidad de EQUIHP

EQUIHP, según el equipo del Programa MIH salud, es un instrumento que permite un análisis exhaustivo del programa: «Es bastante intenso, te das cuenta de lo que sabes y de lo que te falta saber del proyecto» y que facilita la evaluación de los aspectos más relevantes del mismo: «Te hace plantearte, ver todos los puntos del programa y además entra en el detalle». EQUIHP permite identificar los puntos críticos del programa y la formulación de propuestas de mejora: «Está bien para mejorar los puntos más débiles y mejorar los demás».

EQUIHP, según las personas participantes, puede servir para todo tipo de programas de salud, ya que abarca todos los aspectos evaluables y, además, presenta un apartado específico sobre «Principios de promoción de la salud»: «Es un instrumento completo, puede servir tanto para programas muy generales como para un programa más pequeño […] hay una parte muy común respecto al punto de planificación y otra parte más peculiar en cuanto a la promoción de la salud».

En cuanto a posibles mejoras, se indica la inclusión de «No lo sé» como opción de respuesta en elcheck listy la lectura grupal de los ítems, previa a la autocumplimentación individual, para mejorar la comprensión de algunos de estos: «He podido contestar algunas preguntas porque se han debatido en la reunión, pero que yo sola en casa me hubiera costado más entenderlas, y no las hubiese contestado».

Discusión

Las evaluaciones que se han realizado en el Programa MIH salud siguen la perspectiva de la evaluación participativa de cuarta generación23 24, evidenciando que el programa aborda satisfactoriamente las acciones individuales de mediación intercultural15, la formación-acción de agentes de salud17, las conversaciones informales25 y el impacto del programa en mujeres en situación de vulnerabilidad26. Sin embargo, la novedad de este estudio respecto a los anteriores es aplicar un enfoque global de evaluación de calidad al programa mediante la traducción y la autocumplimentación de un instrumento de ámbito europeo, EQUIHP, basado en los fundamentos de la promoción de la salud y generar propuestas de mejora de forma participativa.

Siguiendo un planteamiento similar, cabe destacar los estudios realizados en España por la Red Aragonesa de Proyectos de promoción de la salud11, que se han orientado a establecer estándares de calidad asumiendo las dificultades y la complejidad de la evaluación en este ámbito. No obstante, en nuestro estudio resulta clave el enfoque de autoevaluación participativa de EQUIPH (implicándose desde coordinadores/as hasta agentes de salud de base comunitaria), con el objeto de introducir mejoras en un programa en activo. Desde este enfoque, la aplicación y la discusión de EQUIHP es un método tanto para facilitar que las personas implicadas en el Programa MIH salud mejoren en efectividad y eficiencia como para ser un proceso educativo en el cual las personas participantes aumentan su comprensión de los factores que afectan su situación24.

Según Springett14, la evaluación de proyectos de promoción de la salud debe basarse en las condiciones propias de cada contexto, y no puede aplicarse una lista única de indicadores para evaluar los programas. En EQUIHP se hace énfasis en interrelacionar el contenido y el contexto de los programas de promoción de la salud y valorar de forma flexible la importancia de criterios e indicadores según el tipo de intervención21. Así pues, aunque los instrumentos como EQUIHP son útiles para la mejora de las intervenciones, su utilización habría que enmarcarla en proyectos de evaluación más globales, tal como se señala en los ítems del propio EQUIPH. En este sentido, el presente estudio se alinea con el proyecto Evidencias de Efectividad en Promoción de la Salud en América Latina9, que trata de fortalecer la capacidad para desarrollar, publicar y usar resultados de las evaluaciones para mejorar las decisiones relacionadas con la promoción de la salud. Como el propio equipo manifiesta, se comparte la necesidad de recursos específicos, adicionales a los de la intervención, para elaborar un plan o proyecto de evaluación y comunicación y que, en cada país, debería existir un proyecto similar al de América Latina9.

Aplicaciones del estudio

En relación a la aplicación de EQUIHP al Programa MIH salud, ha facilitado la formulación de mejoras en el programa: formalizar a través de acuerdos la participación de los socios, especificar los mecanismos que provocan los cambios en el programa (talleres, foros, etc.), sistematizar el trabajo y manifestar los cambios producidos, relacionar datos cualitativos con cuantitativos, etc. Sin embargo, algunos aspectos de mejora, como la necesidad de un plan de comunicación, la evaluación o la sostenibilidad, no dependen tanto del propio equipo sino del nivel directivo y político, que no ha intervenido en el proceso de aplicación del instrumento.

En cuanto a la percepción de la aplicabilidad de EQUIHP, se valora su utilidad como instrumento de ámbito europeo para evaluar la calidad de un programa, dando a conocer la herramienta a los implicados en este, experimentando su aplicación y generando reflexión acerca de las ventajas y las dificultades. La percepción inicial de la complejidad de EQUIPH se fue diluyendo y traduciendo en una toma de conciencia de todos los criterios e indicadores a valorar. Compartir los resultados de su aplicación ha supuesto la satisfacción con EQUIPH por parte de todo el equipo del programa.

En cuanto a las limitaciones, cabe señalar no haber contado con el instrumento EQUIHP traducido y adaptado al contexto español, y no haber incorporado la opinión de otros actores clave del programa, como personas del ámbito directivo y sobre todo, la propia población beneficiaria. Una propuesta que se deriva de este trabajo sería realizar la traducción y la adaptación de EQUIPH al español para favorecer su difusión y utilización entre profesionales de promoción de la salud.

¿Qué se sabe sobre el tema?

La evaluación en promoción de la salud es necesaria, pero resulta compleja y requiere métodos mixtos y enfoques integrales. Actualmente se dispone de diferentes instrumentos, como EQUIHP, que facilitan la evaluación de la calidad de los programas de promoción de la salud y permiten orientarlos hacia la práctica basada en la evidencia, pero hay una brecha entre el desarrollo de estos instrumentos y su utilización normalizada en la práctica.

¿Qué añade el estudio realizado a la literatura?

Esta investigación describe los resultados satisfactorios de traducir y aplicar EQUIHP a un programa comunitario de promoción de la salud en activo y la opinión favorable del equipo ejecutor del mismo acerca de su aplicabilidad. Es posible incorporar un instrumento de evaluación de la calidad en la práctica de la promoción de la salud en forma de autoevaluación participativa y generar una mirada reflexiva sobre las actividades que las y los profesionales llevan a cabo diariamente.

Anexo. Material adicional

Se puede consultar material adicional a este artículo en su versión electrónica disponible en el doi:10.1016/j.gaceta.2017.01.007.

Agradecimientos

Al equipo de trabajo del programa MIH salud por su dedicación y compromiso en el desarrollo de la salud comunitaria y a Viola Cassetti por el apoyo en las tarea de traducción.

Bibliografía

1. OMS. Promoción de la salud. Glosario. Madrid: Ministerio de Sanidad y Consumo; 1998. (Consultado el 5/1/2017.) Disponible en: Disponible en: http://www.msssi.gob.es/profesionales/saludPublica/prevPromocion/docs/glosario.pdfLinks ]

2. L. Potvin,S. Haddad, K.L. Frohlich . Más allá de la evaluación del proceso y el resultado: un enfoque integral para evaluar los programas de promoción de la salud. Evaluación en promoción de la salud, principios y perspectivas, OPS/OMS. (2007). (Consultado el 5/1/2017.) Disponible en: Disponible en: http://apps.who.int/iris/handle/10665/173929Links ]

3. A. Williams. The nature, meaning and measurement of health and illness: an economic viewpoint. Social Sci Med., 20 (1985), pp. 1023-1027 [ Links ]

4. IDM Best Practices. Home. Canadá. Barbara Kahan. (Consultado el 2/7/2015.) Disponible en: Disponible en: http://www.idmbestpractices.ca/idm.phpLinks ]

5. European Quality Instrument for Health Promotion (EQUIHP). European Project Getting Evidence into Practice. Bruselas (Belgica). European Commission. 2005. (Consultado el 2/7/2015.) Disponible en: Disponible en: http://ec.europa.eu/health/ph_projects/2003/action1/docs/2003_1_15_a10_en.pdfLinks ]

6. Quint essenz. Health Promotion. Home. Switzerland. Günter Ackermann. 3 de marzo de 2014. (Consultado el 2/7/2015.) Disponible en: Disponible en: http://www.quint-essenz.ch / [ Links ]

7. E. Hamel (coord.), G. Calvez (ed.). Comment améliorer la qualité de vos actions en promotion de la santé? Guide d’autoévaluation construit par et pour des associations. Saint-Denis (Francia). 2009. (Consultado el 2/7/2015.) Disponible en: Disponible en: http://www.inpes.sante.fr/CFESBases/catalogue/pdf/1250.pdfLinks ]

8. Institut Néerlandais pour la Promotion de la Santé et pour la Prévention des Maladies. Outil de pilotage et d’analyse de l’efficacité attendue des interventions en promotion de la santé. Preffi 2.0. Woerden, Países Bajos. Institut Néerlandais pour la Promotion de la Santé et pour la Prévention des Maladies (NIGZ). 2003. (Consultado el 2/7/2015.) Disponible en: Disponible en: http://www.inpes.sante.fr/preffi/Preffi2_Outil.pdfLinks ]

9. L. De Salazar, J.A. Vélez. Hacia la búsqueda de efectividad en promoción de la salud en América Latina. Ciência & Saúde Coletiva., 9 (2004), pp. 725-730 http://dx.doi.org/10.1371/journal.pgen.1007201. [ Links ]

10. S. March,M. Ramos,M. Soler. Revisión documental de experiencias de actividad comunitaria en atención primaria de salud. Aten Primaria., 43 (2011), pp. 289-296 http://dx.doi.org/10.1016/j.aprim.2010.04.011. [ Links ]

11. J. Gallego-Diéguez. Calidad en promoción de la salud: la experiencia de la Red Aragonesa de Proyectos de Promoción de la Salud (RAPPS). Gobierno de Aragón, Dirección General de Salud Pública, (2010) [ Links ]

12. J. Gallego-Diéguez,P. Aliaga,C.B. Benedé. Las redes de experiencias de salud comunitaria como sistema de información en promoción de la salud: la trayectoria en Aragón. Gac Sanit., 30 (2016), pp. 55-62 http://dx.doi.org/10.1016/j.gaceta.2016.05.016. [ Links ]

13. C. Granizo,J. Gallego. Criterios de calidad de la Red Aragonesa de Proyectos de Promoción de la Salud. Gobierno de Aragón, Departamento de Salud y Consumo, (2007) [ Links ]

14. J. Springett. ¿Qué tipo de calidad para qué tipo de promoción de la salud?. Comité Europeo para el Desarrollo de la Promoción de la Salud, (1998) [ Links ]

15. M Alcaraz, JJParedes-Carbonell, CSancho. Atención a mujeres inmigrantes en un programa de mediación intercultural en salud. Rev Esp Salud Pública., 88 (2014), pp. 301-310 http://dx.doi.org/10.4321/S1135-57272014000200012. [ Links ]

16. L. Castro-Rojas,M. Crisanto,A.Martín-Garcia. Salud en nuestra agenda: guía para impulsar acciones comunitarias en salud desde las asociaciones. Generalitat Valenciana, (2016) [ Links ]

17. P. López-Sánchez,J.J. Paredes-Carbonell, M. Alcaraz. Re-diseñando un curso de formación-acción de agentes de salud de base comunitaria 2009-2012. Index de Enfermería., 22 (2013), pp. 166-170 [ Links ]

18. J.J. Paredes-Carbonell,M. Alcaraz,P. López. MIHSALUD: una experiencia de dinamización comunitaria con población inmigrante de la ciudad de Valencia. Revista Comunidad., 14 (2012), pp. 29-32 [ Links ]

19. Molleman G, Van den Broucke S, Kok H, et al. European Project Getting Evidence into Practice (GEP). (Consultado el 8/1/2017.) Disponible en: http://ec.europa.eu/health/ph_projects/2003/action1/docs/2003_1_15_a13_en.pdfLinks ]

20. A.A. Aro,S. Van den Broucke,S. Räty. Toward European consensus tools for reviewing the evidence and enhancing the quality of health promotion practice. Global Health Promotion., 12 (2005), pp. 10-14. (Consultado el 8/1/2017.) Disponible en: Disponible en: http://journals.sagepub.com/doi/abs/10.1177/10253823050120010105x [ Links ]

21. C. Bollars, H. Kok, S. Van den Broucke. User manual, European Quality Instrument for Health Promotion. The Getting Evidence into Practice Project (GEP). Netherlands Institute of Health Promotion and Disease Prevention (NIGZ), (2005) [ Links ]

22. M.S. Valles. Técnicas cualitativas de investigación social. Síntesis Sociología: Madrid, (2007) [ Links ]

23. M. Alcaraz. Evaluación socioeconómica del servicio de mediación intercultural en un programa de promoción de la salud y participación ciudadana. 2015. Programa MIH salud, en la ciudad de Valencia. Universitat Politècnica de València, (2015). [Tesis doctoral] [ Links ]

24. J. Springett. Enfoques participativos para la evaluación en promoción de la salud. Evaluación en promoción de la salud, principios y perspectivas, OPS, (2007). (Consultado el 8/1/2017.) Disponible en: Disponible en: http://apps.who.int/iris/handle/10665/173929Links ]

25. M. Alcaraz, J.J. Paredes-Carbonell , P. López-Sánchez. Conversaciones informales en un programa de salud comunitaria: evaluación del proceso. Index de Enfermería., 22 (2013),. (Consultado el 15/8/2014.) Disponible en: Disponible en: http://www.index-f.com/index-enfermeria/v22n4/9193.phpLinks ]

26. M. Alcaraz, F.Hurtado-Murillo, J.J. Paredes-Carbonell. Evaluación del impacto de la atención individual a mujeres inmigrantes en un programa de mediación intercultural en salud. Revista de Sexología., 4 (2015), pp. 11-25 [ Links ]

1Traducido por Rebeca Cerdá, Pilar López-Sánchez, Viola Cassetti y Joan J. Paredes-Carbonell

2Nota de la traducción: preferimos utilizar “población participante” o “grupo beneficiario o destinatario” al término población o grupo objetivo o diana.

Historia del artículo: Recibido el 17 de noviembre de 2016; Aceptado el 19 de enero de 2017; On-line el 24 de marzo de 2017.

Financiación: Ninguna.

Recibido: 17 de Noviembre de 2016; Aprobado: 19 de Enero de 2017

*Autora para correspondencia: M. Pilar López-Sánchez, lopez_pilsan@gva.es

Conflictos de intereses: Ninguno.

Contribuciones de autoría: R. Cerdá-Gómez, J.J. Paredes-Carbonell y M.P. López-Sánchez han participado en la concepción del estudio, el análisis y la interpretación de los datos, y la redacción, la revisión y la aprobación del manuscrito remitido. R. Cerdá-Gómez realizó también la recogida de datos.

Editor responsable del artículo: Andreu Segura.

Declaración de transparencia: La autora principal (garante responsable del manuscrito) afirma que este manuscrito es un reporte honesto, preciso y transparente del estudio que se remite a Gaceta Sanitaria, que no se han omitido aspectos importantes del estudio, y que las discrepancias del estudio según lo previsto (y, si son relevantes, registradas) se han explicado.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons