SciELO - Scientific Electronic Library Online

 
vol.34 número6Accesibilidad de las mujeres sordas al sistema público sanitario del País VascoSubregistro de los suicidios en el Boletín Estadístico de Defunción Judicial en Málaga índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Gaceta Sanitaria

versión impresa ISSN 0213-9111

Gac Sanit vol.34 no.6 Barcelona nov./dic. 2020  Epub 05-Jul-2021

https://dx.doi.org/10.1016/j.gaceta.2019.01.001 

Originales

Evaluación del impacto de un plan multisectorial de promoción de la salud y el bienestar social en Andalucía

Impact assessment of a multisectoral plan for the promotion of health and social wellbeing in Andalusia (Spain)

Federico Alonso-Trujilloa  b  *  , José A. Salinas-Pérezb  c  , Mencía R. Gutiérrez-Colosíab  c  , Juan Luis González-Caballerob  d  , Sandra Pinzón Pulidoe  , Soledad Jiménez Gonzálezf  , Purificación Gálvez Dazaf  , Manuel Martínez Domeneg  , Luis Salvador-Carullab  d  h 

a Agencia de Servicios Sociales y Dependencia de Andalucía, Junta de Andalucía, Sevilla, España

b Asociación Científica PSICOST, Sevilla, España

c Departamento de Métodos Cuantitativos, Universidad Loyola Andalucía, Sevilla, España

d Universidad de Cádiz, Cádiz, España

e Escuela Andaluza de Salud Pública, Granada, España

f Secretaría General de Servicios Sociales, Consejería de Igualdad y Políticas Sociales, Junta de Andalucía, Sevilla, España

g Viceconsejería de Igualdad y Políticas Sociales, Junta de Andalucía, Sevilla, España

h Centre for Mental Health Research, Research School of Population Health, ANU College of Health and Medicine, Australian National University, Camberra, Australia

Resumen

Objetivo

Evaluar el impacto del Plan de Promoción de la Autonomía Personal y Prevención de la Dependencia de Andalucía (2016-2020) en 13 organismos públicos participantes tras su primer año, y analizar la usabilidad y la fiabilidad de la escala de evaluación del impacto que se ha empleado.

Método

El Plan aborda la promoción de la autonomía personal y la prevención de la discapacidad y la dependencia con un enfoque multisectorial. Se estructura en líneas, objetivos y actuaciones que han sido evaluadas mediante la escala Adoption Impact Ladder (AIL). El análisis de la validez simple, la viabilidad y la fiabilidad de la escala se ha realizado en 30 actuaciones evaluadas por 20 expertos de la Administración pública y un evaluador externo independiente.

Resultados

En 2017 se pusieron en marcha 176 actuaciones y programas del Plan. Se han implementado el 67,2% de las actuaciones propuestas y solo uno de los 16 objetivos no se ha asociado a actuaciones ejecutadas en el primer año. Siete de los 15 objetivos ejecutados fueron enteramente multisectoriales, involucrando a tres o más consejerías. La validez simple, la viabilidad y la fiabilidad interexaminadores de la escala AIL fueron buenas (κ: 0,72).

Conclusiones

El Plan ha proporcionado un marco novedoso para coordinar un amplio rango de políticas y actuaciones en la Administración pública de Andalucía. Por primera vez se presenta un análisis del impacto multisectorial que proporciona una guía efectiva para el seguimiento, la planificación y el establecimiento de prioridades públicas en salud, servicios sociales y atención a personas mayores y personas con discapacidad.

Palabras clave: Evaluación; Análisis de impacto; Planificación; Políticas sociales; Políticas sanitarias; Autonomía personal; Prevención de la dependencia; Envejecimiento activo y saludable

Abstract

Objective

To evaluate the impact of the Plan for the promotion of personal autonomy and prevention of disability in Andalusia (2016-2020) in 13 public administrations during the first year of its implementation; and to analyse the usability and feasibility of the impact assessment ladder used.

Method

The Plan addresses the promotion of personal autonomy and the prevention of disabilities and dependencies through a multisectoral approach. It is structured in strands or lines of work, objectives and actions that have been assessed through the Adoption Impact Ladder (AIL). The analysis of the face validity, feasibility and inter-rater reliability of the impact assessment ladder was carried out in 30 actions of the Plan that were rated by 20 experts from the 13 ministries and public agencies involved in the Plan, and an external rater.

Results

176 actions and programmes were launched in 2017. Of these, 67.2% were implemented during the first year. Only one of the 16 objectives had no action initiated during the first year. Moreover, 7 out of 15 objectives implemented were fully multisectoral involving more than three Regional Ministries. The face validity, feasibility and inter-rater reliability of the AIL were good (κ: 0.72).

Conclusions

This Plan has provided a novel framework to coordinate a broad range of proposed policies and actions within the public administration of Andalusia. For the first time, a multisectoral impact analysis has been conducted providing an effective guide for monitoring, planning and setting public priorities in health, social services, ageing and disabilities.

Keywords: Evaluation; Impact analysis; Planning; Social policies; Health policies; Personal autonomy; Prevention of dependence; Active and healthy ageing; Adoption Impact Ladder

Introducción

El Plan Andaluz para la Promoción de la Autonomía Personal y Prevención de la Dependencia (PAP&PD) (2016-2020)1 tiene como finalidad la promoción de la autonomía personal, la prevención secundaria de la discapacidad y la prevención terciaria en personas ya dependientes. El PAP&PD se estructura en dos etapas bianuales y se dirige a toda la población andaluza de más de 6 años, con una especial atención a las personas mayores, con discapacidad, dependientes o con fragilidad, cuidadores y población con factores de riesgo como sedentarismo, tabaquismo, alcoholismo, consumo de drogas, juego o trastornos alimenticios.

El PAP&PD sigue las directrices trazadas por la Ley Nacional 39/2006 de promoción de la autonomía personal y atención a las personas en situación de dependencia2 (en este contexto, «dependencia» se refiere a personas con discapacidad funcional grave), la Ley 9/2016 de Servicios Sociales de Andalucía3 y el Libro blanco del envejecimiento activo4. Su marco conceptual se basa también en el IV Plan Andaluz de Salud5, las recomendaciones de la Organización Mundial de la Salud (OMS) sobre envejecimiento y salud6,7, el Informe Mundial de Discapacidad8 y la coordinación con el Plan de Atención Integral a Menores de 6 años en situación de dependencia o en riesgo de desarrollarla de Andalucía9.

El Plan integra programas de 13 organismos públicos de la Junta de Andalucía: Dirección General de Personas Mayores, Dirección General de Personas con Discapacidad, Secretaría General de Servicios Sociales y Agencia de Servicios Sociales y Dependencia (Consejería de Igualdad y Políticas Sociales), Consejería de Salud, Consejería de Educación, Servicio Andaluz de Empleo (Consejería de Empleo, Empresa y Comercio), Consejería de Fomento y Vivienda, Consejería de Cultura, Consejería de Turismo y Deporte, Instituto Andaluz de Administración Pública (Consejería de Hacienda y Administración Pública), Escuela de Seguridad Pública de Andalucía (Consejería de Justicia e Interior) y Fundación Pública Andaluza para la Integración Social de Personas con Enfermedad Mental.

Este Plan forma parte de las actuaciones de Andalucía en el consorcio europeo para la innovación en el envejecimiento activo y saludable (European Innovation Partnership on Active and Healthy Ageing - EIPonAHA), que ha identificado a esta comunidad autónoma como una de las 74 áreas de referencia10 para el intercambio de conocimiento en Europa11. Estas áreas promocionan el envejecimiento activo y saludable con un modelo de «cuádruple hélice», en el que se implican los gobiernos, la ciudadanía, las universidades y las empresas12.

La coordinación de las políticas públicas del PAP&PD requiere un sistema de evaluación y seguimiento sencillo, comprensible y accesible para diferentes responsables técnicos y políticos de la Administración pública y partícipes de grupos de interés que proceden de ámbitos y disciplinas muy diversos. El análisis del impacto constituye uno de los mayores retos de la evaluación de estrategias transectoriales en el ámbito sociosanitario. La Comisión Europea13 y la Guía práctica para la medición y la gestión del impacto de la European Venture Philanthropy Association (EVPA)14, editada y adaptada por la Asociación Española de Fundaciones15, señalan los cinco pasos básicos para evaluación de la calidad: 1) fijar objetivos; 2) analizar los agentes involucrados; 3) medir los resultados; 4) verificar y valorar el impacto; y 5) seguimiento y presentación de los resultados.

Las aproximaciones existentes para evaluar el impacto se basan fundamentalmente en técnicas narrativas16 o en valoraciones cuantitativas globales17 que no permiten una comparación efectiva de la implementación en organizaciones muy dispares, o se centran exclusivamente en la valoración del impacto en la práctica y, por tanto, no son idóneas para la evaluación del impacto de una política sobre programas de acción y sobre su traducción en acciones en el conjunto del sistema público. Además, los sistemas de evaluación del impacto existentes carecen de una taxonomía de base y de un marco conceptual que incluya tipos, jerarquías o definiciones y unidades de análisis comunes para facilitar comparaciones multisectoriales y entre diferentes territorios.

La evaluación del impacto del PAP&PD se ha basado en la «adopción» de la estrategia por otros organismos públicos de la misma región. La adopción se considera un dominio relevante del impacto17, junto con el compromiso (engagement)18 y la difusión de una estrategia17. Se define como adopción aquella parte del impacto que consiste en «tomar un conocimiento o tecnología como propio», y se refiere a «la proporción y la representatividad de las organizaciones y de los agentes de un entorno (profesionales, organizaciones o comunidades) que adoptan una política o un conocimiento determinado»19.

Este estudio tiene dos objetivos: 1) evaluar el impacto del PAP&PD en la política transversal e intersectorial de la Junta de Andalucía en sus primeros 12 meses de implementación a través de la escala Adoption Impact Ladder (AIL); y 2) analizar la usabilidad de la escala AIL en España mediante el estudio de su validez simple, usabilidad y fiabilidad.

Métodos

Evaluación del PAP&PD

El PAP&PD fue elaborado por 167 expertos/as durante un periodo de 8 meses en 2014-2015 siguiendo una metodología cualitativa con nueve grupos focales20 (véase Fig. I en el Apéndiceonline). Para su gestión se nombró un director del Plan21 y se crearon una Comisión Permanente, una Comisión Técnica Interadministrativa y ocho Comisiones Técnicas de Ámbito Provincial22.

El PAP&PD definió seis líneas prioritarias para las que se establecieron 16 objetivos (véase Tabla I en el Apéndiceonline) que debían implementarse mediante 110 «actuaciones propuestas» por los grupos focales que redactaron el Plan. Las actuaciones propuestas se dividieron en programas, actividades y acciones. Las «actuaciones en ejecución» corresponden a actividades que ya se han puesto en marcha. Para su ejecución se contó con 13 coordinadores/as, uno/a por cada entidad pública participante y con una serie de servicios de referencia en diferentes organismos públicos23,24.

La valoración del impacto se efectuó mediante la escala AIL para la evaluación de los resultados de la investigación en política y práctica. Este instrumento se ha utilizado previamente en Australia para la evaluación del impacto de un programa de política estatal en la práctica (programa EdLINQ en Queensland)25 y del impacto de la diseminación internacional de una clasificación de la gestión de casos en discapacidad y dependencia26,27. La AIL es una escala ordinal con siete categorías: 1) sin impacto; 2) información/concienciación; 3) asimilación; 4) traslación; 5) asignación; 6) provisión; y 7) monitorización. La Tabla 1 muestra la definición de cada categoría.

Tabla 1.  Escala de adopción del impacto (AIL, Adoption Impact Ladder

Nivel de valoración Impacto de la implementación de la actuación
1 Sin impacto El proyecto no tiene ningún impacto en la organización objetivo (la organización objetivo no sabe nada sobre el proyecto)
2 Información /concienciación La organización objetivo y las personas responsables de la toma de decisiones específicas dentro de la organización son conscientes del tema, han tomado medidas para mejorar sus conocimientos sobre el tema, y han recibido y proporcionado retroalimentación sobre la información entregada
3 Asimilación Existe evidencia de que la organización objetivo y las personas responsables de tomar decisiones específicas dentro de la organización han incorporado la información en su propia base de conocimientos y estrategia organizativa existentes
4 Traslación La organización objetivo ha transferido los nuevos conocimientos a la legislación, los planes, los programas, las normativas o los indicadores oficiales
5 Asignación La traslación de los nuevos conocimientos ha tenido un impacto en el presupuesto, la financiación o la asignación de recursos en el entorno objetivo
6 Provisión Se han puesto a disposición servicios de atención, incluidos servicios, intervenciones o tecnologías directamente relacionados con los nuevos conocimientos, y son utilizados por la población objetivo en el entorno objetivo
7 Monitorización La organización objetivo ha incorporado los nuevos conocimientos en sus propios sistemas de evaluación, vigilancia y monitorización
Impacto valorado:
-Nivel de información y concienciación de la necesidad por las personas responsables de la organización.
-Nivel de asimilación en las estrategias de la organización.
-Nivel de asignación y dotación de recursos.
-Nivel de publicación científica y desarrollo.
-Nivel de difusión y comunicación (excluidas las publicaciones científicas).
-Nivel de impacto en los medios de comunicación y los medios sociales.
-Nivel de colaboración con otras organizaciones y población diana.
-Nivel de impacto de la implementación en la organización y la población diana.
-Nivel de monitorización y seguimiento de las actuaciones.

La información necesaria para la evaluación se recogió mediante una ficha básica estandarizada (véase Tabla II en el Apéndiceonline). La evaluación la realizaron 24 técnicos/as de las entidades participantes siguiendo las instrucciones de la IAL. Esta primera evaluación fue posteriormente verificada por el director del Plan, dando lugar a una evaluación final de cada actuación.

La valoración del impacto se representó visualmente mediante diagramas de araña cuya escala eran los siete niveles de impacto y los vértices eran las diferentes actuaciones. Los diagramas de araña permitieron representar tanto los resultados de las actuaciones de cada línea y objetivo del Plan como las valoraciones de cada entidad participante.

Análisis de la usabilidad y la fiabilidad de la escala AIL

El procedimiento de evaluación del impacto del PAP&PD incluyó también el análisis de la usabilidad y la fiabilidad de la AIL (véase Fig. II en el Apéndiceonline).

La usabilidad o utilidad general de un instrumento para su uso en la práctica es una de las dimensiones de calidad de los instrumentos de evaluación de salud28. La evaluación de la usabilidad de la AIL para la evaluación del impacto del PAP&PD se basó en un inventario que recogió diferentes dimensiones: relevancia, utilidad, eficiencia, efectividad, novedad y potencial (véase Inventario en el Apéndiceonline). La validez simple de la escala fue analizada mediante la primera dimensión, mientras que su viabilidad lo fue a través del resto de dimensiones. El inventario fue cumplimentado por 20 de los 24 técnicos/as de las diferentes consejerías que participaron en la evaluación del Plan. Todas las agencias y las consejerías estuvieron representadas en el estudio de usabilidad. La usabilidad se midió con una escala cualitativa de cinco niveles de «bajo» a «alto», y con otra escala cuantitativa de 0 a 10.

El estudio de fiabilidad interexaminadores se basó en una muestra aleatoria estratificada por las 13 entidades participantes que incluyó 30 de las actuaciones en ejecución. Una evaluadora externa (MR) efectuó una evaluación independiente con los datos disponibles en la ficha técnica. Dado que este instrumento utiliza una escala Likert ordinal con siete valores, se utilizó el coeficiente kappa ponderado29 por pesos cuadráticos. Fleiss y Cohen30 han mostrado que este valor de kappa es equivalente al coeficiente de correlación intraclases29.

Resultados

Evaluación del PAP&PD

Durante el primer año se han ejecutado actuaciones en las seis líneas prioritarias del Plan y en 15 de sus 16 objetivos. El único objetivo que no se ha asociado a ninguna actuación en 2017 ha sido el 6.2 de investigación e innovación. Siete de los 15 objetivos han implicado a tres o más consejerías, lo que indica la alta multisectorialidad del Plan. Los objetivos que han aglutinado un mayor número de organismos públicos son los destinados a promover una efectiva autonomía personal (21 actuaciones en ejecución), fomentar la accesibilidad universal (24 actuaciones) y facilitar el trabajo intersectorial entre los organismos públicos, y la promoción de las tecnologías de la información y la comunicación y de la investigación (30 actuaciones). Por el contrario, los objetivos que están por debajo del número de actuaciones propuestas en el Plan son los dirigidos a fomentar la autonomía personal y la participación activa de las mujeres con discapacidad o dependencia, así como de las personas que cuidan, a promover la formación de todas las personas trabajadoras y de los agentes implicados con la finalidad de desarrollar las competencias necesarias, y a la investigación e innovación. Ninguna entidad ha propuesto actuaciones para el impulso de productos, servicios y contenidos tecnológicos de prevención de la dependencia.

De las 110 actuaciones iniciales propuestas en el Plan, 36 no se han ejecutado en el primer año (32% del total) y podrían implementarse en 2018 o en el bienio 2019-2020. Sin embargo, durante el primer periodo se han puesto en marcha 66 actuaciones más de las previstas, agrupadas según la entidad coordinadora principal31. El incremento hasta el total de 176 actuaciones ejecutadas se debe a actuaciones por parte de los diferentes organismos de la Administración pública que no figuraban en el Plan original. Por otro lado, ocho actuaciones se han duplicado en diferentes consejerías y ha sido necesario armonizarlas por parte de la entidad coordinadora del Plan, asignándolas a la Consejería que tenía un papel más relevante en dicha actuación previo consenso del resto. En la Tabla 2 se muestra el número de actuaciones propuestas y en ejecución por objetivos para cada consejería y ente público, junto a las no acometidas en 2017.

Tabla 2.  Número de actuaciones del PAP&PD en 2017 por línea y objetivo del plan, y por consejería, entidad pública o centro directivo 

Líneas y objetivos Situación de las actuaciones N° actuaciones en ejecución en 2017 (fichas) N° consejerías+otras entidades
N° acciones propuestas N° acciones ejecutadas, fichas N° acciones no acometidas CIPS SGPS CIPS DGPM CIPS DGPD CIPS ASSDA FAISEM CS / SAS CEDU CEEC CFV CHAP / IAAP CJI / ESPA CCUL CTD
Línea 1. Promoción de la autonomía
1.1. Promoción autonomía personal (condiciones y apoyos) 12 21 2 0 0 3 5 2 7 0 0 0 0 1 3 0 4+1
1.2. Promoción autonomía personal (vida saludable) 5 20 0 0 1 2 1 0 10 0 0 0 1 0 0 5 4
Línea 2. Prevención de la dependencia
2.1. Prevención dependencia (primaria) 3 10 0 0 1 0 0 1 7 0 0 0 0 1 0 0 3+1
2.2. Prevención dependencia (secundaria) 5 9 0 0 0 1 2 1 5 0 0 0 0 0 0 0 2+1
Línea 3. Reducción del impacto
3.1. Reducción de impacto (terciaria) 10 15 1 0 2 0 4 5 3 0 0 0 0 0 0 1 3+1
3.2. Reducción de impacto (accesibilidad universal) 4 24 1 0 0 3 1 2 4 0 0 0 3 0 6 5 5+1
3.3. Reducción de impacto (calidad servicios) 5 6 1 0 0 0 2 1 3 0 0 0 0 0 0 0 2+1
3.4. Reducción de impacto (facilitación acceso a SSS) 7 8 1 0 1 0 1 0 6 0 0 0 0 0 0 0 2
3.5. Reducción de impacto (género, participación) 5 1 4 0 0 0 1 0 0 0 0 0 0 0 0 0 1
Línea 4. Intersectorialidad y participación
4.1. Intersectorialidad y participación (marco normativo de coordinación) 3 3 1 0 0 0 0 0 0 0 2 0 1 0 0 0 2
4.2. Intersectorialidad y participación (trabajo intersectorial) 12 30 6 0 0 2 2 0 5 4 6 2 0 1 8 0 7
4.3. Intersectorialidad y participación (promoción de la participación) 8 9 3 0 4 0 1 2 0 0 1 0 0 1 0 0 3+1
Línea 5. Formación y sensibilización
5.1. Formación y sensibilización (difusión) 6 8 1 0 4 2 2 0 0 0 0 0 0 0 0 0 1
5.2. Formación y sensibilización (formación) 12 8 5 0 3 0 0 0 0 0 0 0 1 4 0 0 3
Línea 6. Investigación e innovación
6.1. Investigación e innovación (I+D+I) 11 4 8 0 1 0 0 1 0 0 0 0 0 0 0 0 2+1
6.2. Investigación e innovación (ayudas técnicas) 2 0 2 2 0 0 0 0 0 0 0 0 0 0 0 0 1
Total 110 176 36 2 17 13 22 15 50 4 9 2 6 8 17 11

ASSDA: Agencia de Servicios Sociales y Dependencia de Andalucía; CCUL: Consejería de Cultura; CEDU: Consejería de Educación; CEEC: Consejería de Economía, Empleo y Comercio; CFV: Consejería de Fomento y Vivienda; CHAP: Consejería de Hacienda y Administración Pública; CIPS: Consejería de Igualdad y Políticas Sociales; CJI: Consejería de Justicia e Interior; CS: Consejería de Salud; CTD: Consejería de Turismo y Deporte; DGPD: Dirección General de Personas con Discapacidad; DGPM: Dirección General de Personas Mayores; ESPA: Escuela de Seguridad Pública de Andalucía; FAISEM; Fundación Andaluza para la Integración Social de Personas con Enfermedad Mental; IAAP: Instituto Andaluz de Administración Pública; SAE: Servicio Andaluz de Empleo; SAS: Servicio Andaluz de Salud; SGSS: Secretaría General de Servicios Sociales.

La Consejería de Igualdad y Políticas Sociales y la Consejería de Salud son las que han puesto en marcha más actuaciones (54 y 50, respectivamente). Estas actuaciones desarrollan actividades de terapia ocupacional, estimulación cognitiva, rehabilitación, prevención de la fragilidad y otros apoyos, programas de educación para la salud en centros sanitarios, sociales y educativos, medidas de incorporación o permanencia en el mercado laboral, impulso a la participación ciudadana a través de colectivos y asociaciones, medidas de control de la seguridad, formación y recualificación de profesionales, y actuaciones de investigación e innovación.

La evaluación del impacto de la adopción de las actuaciones del Plan figura en la Tabla 3. El 49,4% de las actuaciones en ejecución fueron valoradas con el máximo nivel de impacto, 7 (monitorización). Los niveles 6 (provisión) y 4 (traslación) fueron identificados en el 18,8% y el 15,9% de las actuaciones, respectivamente. La adopción del 9,7% de las actuaciones alcanzo un nivel 3 (asimilación). Finalmente, el 4% de ellas tenían un impacto de nivel 2 (información/concienciación) y el 2,3% un impacto de nivel 5 (asignación de recursos). Cabe destacar que las actuaciones que habían tenido repercusión presupuestaria, y por tanto fueron evaluadas en los niveles 5, 6 y 7, son el 70,5% de las actuaciones en ejecución.

Tabla 3.  Evaluación del impacto de la adopción de las actuaciones en ejecución del PAP&PD por organismo público participante. Porcentajes y número de actuaciones (entre paréntesis) 

CIPS SGPS CIPS DGPM CIPS DGPD CIPS ASSDA FAISEM CS / SAS CEDU CEEC / SAE CFV CHAP / IAAP CJI / ESPA CCUL CTD Total
1. Sin impacto - - - - - - - - - - - - - -
2. Información / concienciación - 17.6% (3) - 4.3% (1) - - - - - 16.7% (1) - 11.8% (2) - 4.0% (7)
3. Asimilación - - 7.7% (1) 13.0% (3) 7.1% (1) 14.0% (7) - - - - 50.0% (4) - 9.1% (1) 9.7% (17)
4. Traslación - - 7.7% (1) 13.0% (3) - 40.0% (20) - 22.2% (2) - - - - 18.2% (2) 15.9% (28)
5. Asignación - - - - 7.1% (1) - - - - - - - 27.3% (3) 2.3% (4)
6. Provisión - 35.3% (6) - 13.0% (3) - 28.0% (14) 75.0% (3) 11.1% (1) - - 50.0% (4) 11.8% (2) - 18.8% (33)
7. Monitorización 100.0% (2) 47.1% (8) 84.6% (11) 56.5% (13) 85.7% (12) 18.0% (9) 25.0% (1) 66.7% (6) 100.0% (2) 83.3% (5) - 76.5% (13) 45.5% (5) 49.4% (87)
N° actuaciones en ejecución 2 17 13 23 14 50 4 9 2 6 8 17 11 176

ASSDA: Agencia de Servicios Sociales y Dependencia de Andalucía; CCUL: Consejería de Cultura; CEDU: Consejería de Educación; CEEC: Consejería de Economía, Empleo y Comercio; CFV: Consejería de Fomento y Vivienda; CHAP: Consejería de Hacienda y Administración Pública; CIPS: Consejería de Igualdad y Políticas Sociales; CJI: Consejería de Justicia e Interior; CS: Consejería de Salud; CTD: Consejería de Turismo y Deporte; DGPD: Dirección General de Personas con Discapacidad; DGPM: Dirección General de Personas Mayores; ESPA: Escuela de Seguridad Pública de Andalucía; FAISEM; Fundación Andaluza para la Integración Social de Personas con Enfermedad Mental; IAAP: Instituto Andaluz de Administración Pública; SAE: Servicio Andaluz de Empleo; SAS: Servicio Andaluz de Salud; SGSS: Secretaría General de Servicios Sociales.

Las entidades participantes con un porcentaje de más del 75% de las actuaciones en ejecución valoradas con el máximo nivel de impacto fueron las consejerías competentes en servicios sociales, fomento y vivienda, y cultura, junto con las entidades públicas destinadas a la Administración pública y la integración de las personas con enfermedad mental. Por el contrario, las consejerías competentes en salud y justicia, e interior, todavía tenían el 50% de sus actuaciones sin asignación económica o de recursos en el primer año.

La Figura 1 muestra los diagramas de araña que permiten ver el progreso de la implementación del Plan anualmente por línea prioritaria y por objetivo estratégico, y en la Figura 2 se muestra este progreso por entidad participante.

Figura 1.  Diagramas del nivel de implementación de las actuaciones en ejecución del PAP&PD por línea prioritaria (P) y objetivo estratégico (OBJ). ASSDA: Agencia de Servicios Sociales y Dependencia de Andalucía; CCUL: Consejería de Cultura; CEDU: Consejería de Educación; CEEC: Consejería de Economía, Empleo y Comercio; CFV: Consejería de Fomento y Vivienda; CHAP: Consejería de Hacienda y Administración Pública; CIPS: Consejería de Igualdad y Políticas Sociales; CJI: Consejería de Justicia e Interior; CS: Consejería de Salud; CTD: Consejería de Turismo y Deporte; DGPD: Dirección General de Personas con Discapacidad; DGPM: Dirección General de Personas Mayores; ESPA: Escuela de Seguridad Pública de Andalucía; FAISEM; Fundación Andaluza para la Integración Social de Personas con Enfermedad Mental; IAAP: Instituto Andaluz de Administración Pública; SAE: Servicio Andaluz de Empleo; SAS: Servicio Andaluz de Salud; SGSS: Secretaría General de Servicios Sociales. 

Figura 2.  Diagramas del nivel de implementación de las actuaciones en ejecución del PAP&PD por consejería o entidad pública de la Junta de Andalucía, en 2017. ASSDA: Agencia de Servicios Sociales y Dependencia de Andalucía; CCUL: Consejería de Cultura; CEDU: Consejería de Educación; CEEC: Consejería de Economía, Empleo y Comercio; CFV: Consejería de Fomento y Vivienda; CHAP: Consejería de Hacienda y Administración Pública; CIPS: Consejería de Igualdad y Políticas Sociales; CJI: Consejería de Justicia e Interior; CS: Consejería de Salud; CTD: Consejería de Turismo y Deporte; DGPD: Dirección General de Personas con Discapacidad; DGPM: Dirección General de Personas Mayores; ESPA: Escuela de Seguridad Pública de Andalucía; FAISEM; Fundación Andaluza para la Integración Social de Personas con Enfermedad Mental; IAAP: Instituto Andaluz de Administración Pública; SAE: Servicio Andaluz de Empleo; SAS: Servicio Andaluz de Salud; SGSS: Secretaría General de Servicios Sociales. 

Análisis de la usabilidad y la fiabilidad de la escala AIL

La usabilidad de la AIL para la evaluación de la adopción del Plan ha sido muy favorable. La validez simple o de criterio fue alta, ya que los participantes puntuaron la relevancia con una media de 7,7/10 y la valoraron mayoritariamente como «media-alta» (55%) o «alta» (25%). Por otro lado, la viabilidad de la AIL para el objetivo propuesto también ha sido buena. Los participantes valoraron mayoritariamente como «media-alta» todas las dimensiones del inventario de viabilidad, alcanzando porcentajes entre el 50% y el 65%. Entre el 20% y el 35% dieron una valoración máxima («alta») a los diferentes dominios. La valoración «media-baja» en alguno de los ítems osciló entre el 5% y el 10%, excepto para la novedad, que no recibió esta valoración. Por su parte, las puntuaciones numéricas medias fueron superiores a 7/10 en todas las dimensiones, alcanzando 8/10 en las de novedad y potencialidad. La novedad fue la dimensión con una media de puntuación más alta (8,4/10), mientras que la eficiencia y la efectividad obtuvieron la media menor (7,4/10). Finalmente, la fiabilidad interexaminadores de la AIL fue buena (κ=0,721; IC95%: 0,51-0,94) (véase Tabla III en el Apéndiceonline).

Discusión

El PAP&PD ha requerido la cooperación y la coordinación de 13 organismos públicos y de un amplio espectro de representantes de los diferentes grupos de interés y partícipes sociales. Para ello, se adoptó una estrategia de escalabilidad y despliegue de las actuaciones tradicionales junto con otras prácticas innovadoras, lo que ayudó a reforzar los servicios de prevención y promoción de la autonomía personal de la Junta de Andalucía. No obstante, la complejidad del Plan y de sus intervenciones no ha podido evitar algunas duplicidades y ha dificultado su seguimiento al no haber sido consensuados previamente los indicadores de seguimiento entre todas las entidades. Asimismo, los objetivos del Plan son muy ambiciosos en términos temporales y económicos.

El número de actuaciones en ejecución en su primer año de funcionamiento, junto con los resultados obtenidos en la evaluación de su impacto a través de las 176 fichas de seguimiento, avalan el desarrollo y la implementación del Plan. El método adoptado ha permitido cuantificar el paso del nivel estratégico al operativo durante la primera etapa de implantación. En 2018 se están finalizando las actuaciones comprometidas para el primer bienio, y en 2019 se procederá a una evaluación global y a la difusión de los resultados.

La evaluación del PAP&PD ha tenido una especial utilidad para monitorizar y visualizar la progresión en las diversas políticas públicas y en el fomento de la participación social de las personas mayores y de las personas con discapacidad, lo que tiene una gran importancia para el desarrollo de estrategias de atención integral centradas en la persona, como la propuesta en la estrategia de la OMS32 y sus directrices para la Atención Integral de las Personas Mayores33. La evaluación de planes que promueven la participación activa de las personas mayores y de las personas con discapacidad, como el PAP&PD, permite visualizar y difundir a la sociedad los valores que suponen una convivencia activa, integradora, intergeneracional y participativa.

Dado el número de actuaciones puestas en marcha en 2017, su alta transversalidad y el nivel de ejecución alcanzado, el PAP&PD constituye una herramienta de especial interés para las estrategias regionales de envejecimiento activo y saludable, de servicios sociales y de programas europeos como el EIPonAHA. Esta experiencia puede permitir su aplicación en otras estrategias multisectoriales y multidimensionales en el ámbito de la salud y de la atención social.

Este estudio muestra que es posible utilizar la AIL y su representación gráfica para la evaluación del impacto de planes institucionales complejos, multidimensionales y multisectoriales en los que participan un gran número de agentes sociales. La metodología AIL ha permitido evaluar la implementación y el desarrollo del Plan de una forma coordinada, visualmente amigable y ordenada. También ha posibilitado el seguimiento de los objetivos con independencia de la fase en que se encuentre el Plan y el trabajo avanzado por cada entidad participante.

La evaluación de la fiabilidad interexaminadores de la escala apunta a que el mayor número de no coincidencias se produce en los niveles de evaluación 3 y 4 (asimilación-traslación) y en la puntuación 6 y 7 (provisión-monitorización), por lo que podría plantearse una mejora en la definición o una simplificación de esos niveles. Por su parte, la valoración de la viabilidad de su uso fue mayoritariamente favorable, sobre todo en los dominios de novedad y potencialidad.

Como principal limitación del estudio cabe señalar que es la primera vez que se utiliza la escala AIL del impacto de la adopción en nuestro país. Esta situación ha podido dificultar su utilización por parte de los expertos de la Administración pública y podría haber lastrado los resultados de fiabilidad interexaminadores. Por otra parte, las fichas de seguimiento de las actuaciones del Plan han sido cumplimentadas por expertos de cada agencia, lo que podría introducir un sesgo de la valoración hacia posiciones más positivas. No obstante, la revisión del director del Plan y del evaluador externo posiblemente redujo los posibles sesgos.

En conclusión, el carácter multisectorial del PAP&PD es una fortaleza, pero al mismo tiempo dificulta su seguimiento y evaluación al implicar a agentes con objetivos y funcionamientos muy diferentes. La evaluación del impacto de la adopción del Plan mediante la escala AIL descrita en este estudio ha permitido conocer de una forma efectiva y fácilmente comprensible para los decisores el estado de las actuaciones propuestas por el Plan en su primer año de implementación. Este conocimiento permitirá identificar y gestionar las actuaciones que no han sido desarrolladas de la forma prevista y mejorar la planificación de otras actuaciones durante el marco temporal del Plan. Por último, este estudio también ha constatado que la escala AIL presenta una alta usabilidad y una buena fiabilidad para la evaluación del impacto de la adopción de políticas y planes sociosanitarios de alta complejidad, como son los multisectoriales.

¿Qué se sabe sobre el tema?

El envejecimiento de la población como consecuencia del aumento de la esperanza de vida, con el consiguiente incremento de los problemas de cronicidad, pluripatología, fragilidad, discapacidad y finalmente dependencia, empieza a ser uno de los mayores problemas sociosanitarios y de salud pública, tanto para los gobiernos de todo el mundo como para la viabilidad de los sistemas públicos de atención y cuidados. Desde las instituciones responsables se está demandando la búsqueda urgente de nuevas medidas innovadoras que permitan controlar y paliar esta situación. Es necesario que las autoridades sociosanitarias pongan en marcha estas medidas para que la ciudadanía cambie sus hábitos y se empodere en los programas de prevención y de autonomía personal.

¿Qué añade el estudio realizado a la literatura?

Este estudio ha posibilitado el seguimiento de una actuación innovadora en Andalucía de un plan que está coordinando todas las políticas y del que no tenemos constancia que se haya realizado en otras comunidades autónomas de España. Además, está utilizando un nuevo modelo de evaluación del impacto de la implementación no utilizado anteriormente en análisis de programas o planes en Europa, y que no es habitual en el entorno de los servicios sociales. Además, se ha realizado el esfuerzo de validación de la escala Adoption Impact Ladder.

Agradecimientos

Deseamos expresar nuestro agradecimiento por su colaboración en la coordinación interinstitucional a A. Pérez-Lucena, P. Parrado, F.J. Martín (D.G. Personas Mayores, Consejería de Igualdad y Políticas Sociales), M. Presencio, C. Vélez, G. Rivas (D.G. Personas con Discapacidad, Consejería de Igualdad y Políticas Sociales), A. Velasco, M. Serradilla, M. Robert, M. García-Sáez, E. Aguilar (Agencia de Servicios Sociales y Dependencia de Andalucía), A.M. Vázquez, M.D. Cardero (Consejería de Empleo, Empresa y Comercio), M.M. Uña, J.L. Romero, J.M. García (Consejería de Cultura), J.M. Espinosa Almendros (Consejería de Salud), M.D. Gallardo, L.F. Anguas, D. Pérez (Consejería de Justicia e Interior), M. Vázquez-Uceda, I. Prieto (D.G. Participación y Equidad, Consejería de Educación), M.L. Martínez, C. Gómez, F.J. Morales (Instituto Andaluz de Administración Pública), M.I. Adán (Consejería de Fomento y Vivienda), R. García-Soto, M. Nogales (Consejería de Turismo y Deporte), A. López-Pardo y S. González (Fundación Pública Andaluza para la Integración Social de las Personas con Enfermedad Mental).

Apéndice

Material adicional

Se puede consultar material adicional a este artículo en su versión electrónica disponible en doi: 10.1016/j.gaceta.2019.01.001

Bibliografía

1. CISPS. Plan Andaluz de Promoción de la Autonomía Personal y Prevención de la Dependencia (2016-2020). Sevilla: Consejería de Igualdad, Salud y Políticas Sociales; 2015. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/export/drupaljda/publicacion/16/06/Plan%20Autonom%C3%ADa%20Personal Definitivo%20Maquetaci%C3%B3n%2030 0616.pdfLinks ]

2. Jefatura de Estado. Ley de Promoción de la Autonomía Personal y Atención a las personas en situación de dependencia. L. N.º 39/2006 (14 diciembre 2006). BOE 299 de 15 de diciembre de 2006. (Consultado el 24/11/2018.) Disponible en: https://www.boe.es/buscar/act.php?id=BOE-A-2006-21990Links ]

3. Junta de Andalucia. Ley de Servicios Sociales de Andalucía. L. N.º 9/2016 (27 diciembre 2016). BOJA 248 de 29 diciembre de 2016. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/boja/2016/248/1Links ]

4. CIBS. Libro blanco del envejecimiento activo en Andalucía. Sevilla: Consejería de Igualdad y Bienestar Social; 2011. (Consultado el 24/11/2018.) Disponible en: http://envejecimiento.csic.es/documentos/documentos/andalucia-libroblanco-01.pdfLinks ]

5. CISPS. IV Plan Andaluz de Salud. Sevilla: Consejería de Igualdad, Salud y Políticas Sociales; 2013. (Consultado el 24/11/2018.) Disponible en: http://www.andaluciasana.es/PAS/links/IV PAS v9.pdfLinks ]

6. WHO. WHA66/2013/REC/1. Sixty-sixth World Health Assembly: Resolutions and Decisions, Annexes. Geneva: WHO; 2013. (Consultado el 24/11/2018.) Disponible en: http://apps.who.int/gb/ebwha/pdf files/WHA66-REC1/A66 REC1-en.pdfLinks ]

7. WHO. WHO Global Disability Action Plan 2014-2021. Better people health with for disability all people with disability. Geneva: WHO; 2015. (Consultado el 24/11/2018.) Disponible en: http://www.who.int/disabilities/policies/actionplan/Disability action plan faq.pdfLinks ]

8. UN. Convention on the rights of persons with disabilities. New York: United Nations General Assembly. Resolution 61/106 (13 diciembre 2006). (Consultado el 24/11/2018.) Disponible en: http://www.un.org/en/development/desa/population/migration/generalassembly/docs/globalcompact/ARES61106.pdfLinks ]

9. CIPS. I Plan andaluz de atención integral a personas menores de 6 años en situación de dependencia o en riesgo de desarrollarla (2017-2020). Sevilla: Consejería de Igualdad y Políticas Sociales; 2017. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/export/drupaljda/publicacion/17/04/planmenoresmayo2017.pdfLinks ]

10. EIPonAHA. Reference sites. European Innovation Partnership on Active and Healthy Ageing. (Consultado el 24/11/2018.) Disponible en: https://ec.europa.eu/eip/ageing/reference-sites enLinks ]

11. Bousquet J, Bewick M, Cano A, et al. Building bridges for innovation in ageing: synergies between action groups of the EIP on AHA. J Nutr Health Aging. 2017;21:92-104. [ Links ]

12. García-Sáez M, Carriazo AM, Alonso-Trujillo F, et al. Consorcio europeo para la innovación del envejecimiento activo y saludable - EIPonAHA - actuaciones en servicios sociales de Andalucía. Paraninfo Digit. 2017;26:1-11. [ Links ]

13. Rodert A. Dictamen del Comité Económico y Social Europeo sobre el tema «Medición del impacto social» INT/721. Bruselas: Comité Económico y Social Europeo; 2013. (Consultado el 24/11/2018.) Disponible en: https://eurlex.europa.eu/legal-content/ES/TXT/?uri=CELEX%3A52013IE6135 . [ Links ]

14. Hehenberger L, Harling A, Scholten PA. Practical guide to measuring and managing impact. Berlin: EVPA; 2013. p. 124. (Consultado el 24/11/2018.) Disponible en: http://www.oltreventure.com/wp-content/uploads/2015/05/EVPAAPracticalGuidetoMeasuringand-ManagingImpactfinal.pdfLinks ]

15. Hehenberger L, Harling A, Scholten PA. Guía práctica para la medición y la gestión del impacto. Madrid: Asociación Española de Fundaciones; 2015. p. 236. (Consultado el 24/11/2018.) Disponible en: http://www.fundaciones.org/EPORTALDOCS/GENERAL/AEF/DOC-cw5537916e2a002/GuIaimpacto-EVPA-AEF-2015.pdfLinks ]

16. Greenhalgh T, Raftery J, Hanney S, et al. Research impact: a narrative review. BMC Med. 2016;14:78. [ Links ]

17. Cohen G et al. Does health intervention research have real world policy and practice impacts: testing a new impact assessment tool. Heal Res Policy Syst. 2014; 13: 3. [ Links ]

18. Parks S, Ioppolo B, Stepanek M, et al. Guidance for standardising quantitative indicators of impact within REF case studies. Cambridge: RAND Corporation; 2018. (Consultado el 24/11/2018.) Disponible en: https://www.rand.org/pubs/research reports/RR2463.htmlLinks ]

19. Glasgow RE, Klesges LM, Dzewaltowski DA, et al. Evaluating the impact of health promotion programs: using the RE-AIM framework to form summary measures for decision making involving complex issues. Health Educ Res. 2006;21:688-94. [ Links ]

20. Hamui-Sutton A, Varela-Ruiz M. La técnica de grupos focales. Investig Educ Médica. 2013;2:55-60. [ Links ]

21. Junta de Andalucia. Nombramiento director del Plan Andaluz de Promoción de la Autonomía Personal y Prevención de la Dependencia (2016-2020). Orden de 19 de octubre de 2016. BOJA 205 de 25 de octubre de 2016. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/boja/2016/205/BOJA16-205-00225.pdfLinks ]

22. Alonso-Trujillo F, García-Sáez M, Jiménez González S, et al. Metodología para la redacción del Plan andaluz de promoción de la autonomía personal y prevención de la dependencia (2016-2020) y previsión de resultados. Paraninfo Digit. 2017:26. [ Links ]

23. CIPS. Listados de centros de personas con discapacidad. Consejería de Igualdad y Políticas Sociales. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/organismos/igualdadypoliticassociales/areas/entidades-centros/personas-discapacidad.htmlLinks ]

24. Ramírez Navarro J, Jimenez González S, Alonso-Trujillo F. The digital map of social services in Andalusia: an innovative tool for the region. WORKSHOP 3. 26. En: ESN. Libro de ponencias de la 26th European Conference of Social Services - European Social Network - ESN Invest, innovate and transform - Empowering people and Communities; 28 de mayo de 2018; Sevilla, España. European Social Network; p. 2. [ Links ]

25. Mendoza J, Wands M, Salvador-Carulla L, et al. Evaluation of the Ed-LinQ Initiative for the Queensland Mental Health Commission. October 2014. Brisbane: ConNetica; (Consultado el 24/11/2018.) Disponible en: https://www.qmhc.qld.gov.au/sites/default/files/wp-content/uploads/2014/11/Final-Complete-Ed-LinQ-Report.pdfLinks ]

26. Lukersmith S. A taxonomy of case management: development, dissemination and impact. 2017. [Tesis doctoral]. Sydney: University of Sydney; 2017. (Consultado el 24/11/2018.) Disponible en: https://ses.library.usyd.edu.au/bitstream/2123/17000/1/LukersmithPhDthesis1172017.pdfLinks ]

27. Lukersmith S, Millington M, Salvador-Carulla L. What is case management? A scoping and mapping review. Int J Integr Care. 2016;16:2. [ Links ]

28. Salvador-Carulla L, González-Caballero JL. Assessment instruments in mental health: description and metric properties. En: Thornicroft G, Tansella M, editores. Mental health outcome measures. 3 rd ed. London: RCPsych Publications; 2010. p. 28-62. [ Links ]

29. Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979;86:420-8. [ Links ]

30. Fleiss JL, Cohen J. The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability. Educ Psychol Meas. 1973;33: 613-9. [ Links ]

31. Alonso-Trujillo F, Gálvez P, Velasco A, et al. Informe de progreso y gestión año 2017. I Plan Andaluz de Promoción de la Autonomía Personal y Prevención de la Dependencia (2016-2020). Sevilla: Secretaría General de Servicios Sociales; 2017. Consejería de Igualdad y Políticas Sociales de la Junta de Andalucía. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/export/drupaljda/publicacion/16/06/PAP PD INFORME 2017.pdfLinks ]

32. UN. Framework on integrated people-centred health services. New York: United Nations General Assembly. A69/39. (15 de abril de 2016). (Consultado el 24/11/2018.) Disponible en: http://apps.who.int/gb/ebwha/pdffiles/WHA69/A69 39-en.pdf?ua=1 . [ Links ]

33. WHO. Integrated care for older people: guidelines on community-level interventions to manage declines in intrinsic capacity. Geneva: World Health Organization; 2017. (Consultado el 24/11/2018.) Disponible en: http://apps.who.int/iris/bitstream/10665/258981/1/9789241550109-eng.pdf?ua=1. [ Links ]

Financiación: Este artículo emana del programa de comunicación del PAP&PD y de la European Innovation Partnership on Active and Healthy Ageing de la Comunidad Europea, cuya participación es sostenida por fondos propios de la Consejería de Igualdad y Políticas Sociales de la Junta de Andalucía.

Recibido: 13 de Septiembre de 2018; Aprobado: 12 de Enero de 2019; : 01 de Marzo de 2019

*Autor para correspondencia: federico.alonso@juntadeandalucia.es (F. Alonso-Trujillo).

Editor responsable del artículo

Mariano Hernán.

Contribuciones de autoría

Todas las personas firmantes cumplen los criterios de autoría. F. Alonso-Trujillo y L. Salvador-Carulla diseñaron y dirigieron el estudio en cada etapa y realizaron la redacción del borrador del artículo y su versión final. J.A. Salinas-Pérez y M.R. Gutiérrez-Colosía participaron en el análisis de utilidad de la escala de impacto y contribuyeron en el primer manuscrito del artículo y en las revisiones. J.L. González-Caballero y J.A. Salinas-Pérez realizaron la selección de metodologías y el análisis estadístico. P. Gálvez Daza y M. Martínez Domene participaron en la concepción del Plan, la organización, el diseño, la coordinación de grupos focales y las comisiones interinstitucionales de trabajo. S. Pinzón Pulido y S. Jiménez González trabajaron en la redacción y la revisión, así como en el análisis, la verificación y la interpretación de datos de seguimiento del PAP&PD. Todas las personas firmantes han aprobado la versión final del manuscrito.

Conflictos de intereses

Ninguno.

Declaración de transparencia

El autor principal (garante responsable del manuscrito) afirma que este manuscrito es un reporte honesto, preciso y transparente del estudio que se remite a Gaceta Sanitaria, que no se han omitido aspectos importantes del estudio, y que las discrepancias del estudio según lo previsto (y, si son relevantes, registradas) se han explicado.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons