ESPACIO ABIERTO

 

Necesidades de evaluación de las organizaciones sociales

Evaluation needs of the social organizations

 

 

Isabel María Herrera Sánchez^*

José María León Rubio^*

Silvia Medina Anzano^*

Departamento de Psicología Social, Universidad de Sevilla^*

 

 

RESUMEN

Se examinan los aspectos teóricos y prácticos que regulan el proceso de la evaluación cuando el objeto de la misma lo conforman las organizaciones sociales que colaboran con la Administración Pública para la prestación de servicios sociales. De este modo, se pretende dar respuesta a las necesidades de evaluación en lo que se refiere a: 1) el conocimiento de las características del objeto de la evaluación; 2) la formulación de los criterios que serán empleados para su valoración; 3) el procedimiento a través del cual se obtendrá información relevante de cara a la valoración; y 4) la utilización de los resultados de la evaluación. Todo ello encaminado a la formulación de un modelo que pueda orientar la práctica de la evaluación de las organizaciones sociales.

ABSTRACT

The theoretical and practical aspects regulating the evaluation process are examined when the object is made up of social organizations collaborating with the Government Agencies for the social services. In this way, it responds to the evaluation needs regarding following: 1) the knowledge of the characteristics of the object being evaluated; 2) the formulation of the criteria that will be used for their assessment; 3) the procedure through which the relevant data needed for assessment is obtained; and 4) the use of the results of the evaluation. All of these are directed to the formulation of a model that guides the evaluation practice of the social organizations.

Palabras clave

Organizaciones sociales, Servicios sociales, Criterios de evaluación, Modelos.

Key words

Social organizations, Social services, Evaluation criteria, Models.

 

 

En las últimas décadas, la participación de las organizaciones sociales privadas en la prestación de servicios sociales se ha visto incrementada de forma vertiginosa, conformando un nuevo mapa económico y social, que se ha venido a denominar Tercer Sector, para referirse a las organizaciones que reúnen las características de tener un origen privado, de carácter no lucrativo y de beneficiarse en buena medida de la aportación voluntaria (Salomon y Anheier, 1994).

Las razones de este crecimiento pueden situarse en los acontecimientos que se produjeron en España entre los años ochenta y noventa (Álvarez de Mon, Martín y Martínez, 1998). Entre ellos: la consolidación de la democracia, el crecimiento económico y el acceso a los fondos comunitarios, la mayor presencia en la vida pública de la labor de las OONNGG, las reformas de la gestión pública con la creación de organismos encargados de canalizar las dotaciones económicas y la descentralización de la gestión pública propiciando la cercanía con la iniciativa social, sobre todo, en el nivel municipal (López-Cabanas y Chacón, 1997). Otros factores de carácter sociológico fueron, la mayor disponibilidad del tiempo libre, el retraso en la incorporación al mercado laboral y el cambio en los sistemas de valores en la sociedad democrática española tales como solidaridad o salvaguardia de los derechos humanos.

Hoy en día, hay amplio consenso entre los agentes sociales a la hora de destacar y valorar el papel que están ejerciendo estas organizaciones, en particular, su contribución en el bienestar individual y social. Lo que ha llevado a reconocer y confiar su colaboración en la gestión y provisión de los servicios sociales. En este sentido, se asume que su participación en la atención de las necesidades y los problemas sociales de la comunidad contribuye de manera significativa en la acción social, ya que no sólo colaboran con la Administración en la prestación de servicios, desde una planificación de la política social de arriba-abajo, sino que, ofrecen respuestas a los problemas sociales en una labor de abajo-arriba en la búsqueda de soluciones a estos problemas (López-Cabanas y Chacón, 1997; Villasante, 1993).

Sin embargo, esta creciente demanda no se ha visto acompañada de una respuesta eficaz por parte de las entidades sociales, produciéndose un importante desconocimiento de sus acciones, como se ha llegado a lamentar (Álvarez de Mon et al., 1998).

Esta situación ha llevado a que cada vez estén más presionadas por sus donantes y por la sociedad en su conjunto para que, al igual que la Administración, rindan cuentas de su actuación. Por ello, es necesario introducir mecanismos para evaluar con objetividad e independencia estas organizaciones, lo que sin duda exige desarrollar modelos que nos permitan valorarlas para facilitar la toma de decisiones y elaborar propuestas de cara a ofrecerles una asistencia técnica y formativa ajustada a sus necesidades.

Este trabajo tiene por finalidad establecer los aspectos teóricos y prácticos centrales que caracterizan la evaluación de las organizaciones sociales en el marco de su colaboración con la Administración para la prestación de servicios sociales. Para ello, se ha seguido la línea de trabajo de Shadish, Cook y Leviton (1991), y, en particular, la última revisión de Shadish (1994), que siguiendo los argumentos de Scriven (1980) considera que la mejor evaluación debe ser aquella que responda a las necesidades a que se enfrenta; esto es, al uso de prácticas viables para la construcción del conocimiento del valor del evaluando, que pueden ser utilizadas para mejorar los problemas sobre los que el evaluando es relevante (p. 352).

 

Características del objeto de evaluación

Sistematizar el proceso de evaluación de la intervención social y comunitaria implica considerar los evaluandos que en un momento dado pueden llegar a ser objetos de análisis.

Utilizando la terminología empleada por Cook, Leviton y Shadish (1985), se podría situar en un primer nivel la investigación evaluativa orientada a la política social y a su desarrollo a través de los planes que la conforman. En este caso, se trataría de una evaluación que examinaría en sentido crítico las asunciones de la política social, identificando tres clases de análisis: a) la valoración de las necesidades detectadas, por lo general, en organizaciones de bienestar social; b) el análisis distributivo de los recursos y su uso en un determinado programa; c) los estudios de asignación, a partir del análisis de un problema o programa social de cara a determinar las elecciones políticas (véase Rebolloso y Morales, 1996).

En un segundo nivel se sitúan los programas, que suponen el esfuerzo de concreción operativa de dicha política social. De éstos, se desprenden, a su vez, dos componentes más específicos: el proyecto, que sería el proceso de implantación y ajuste de ese programa a un contexto social específico, y los elementos del programa que se suponen necesarios y suficientes para la consecución de las metas del mismo.

En este nivel, la evaluación es una fase más en el desarrollo del programa ya que proporciona información relevante sobre el mismo en virtud de la cual se determina si el programa objeto se ajusta, en qué medida lo hace y cómo podemos optimizar en todo momento ese proceso de ajuste, a los objetivos y previsiones de toda naturaleza (recursos invertidos, metas cubiertas, infraestructura empleada, etc.); comprendidas en la planificación rigurosa del programa, en su implementación a lo largo del tiempo y en su culminación (León y Gómez, 1998).

Uno de los factores que determinarán el éxito de un programa lo constituirán aquellos elementos organizativos que la institución responsable del programa o servicio pone en marcha para su implementación. Por tanto, podemos situar en este mismo nivel las organizaciones de servicios sociales como objeto de evaluación, ya que forman los escenarios desde donde se desarrollan los programas sociales (Aguilar y Ander-Egg, 1992; Medina, 1997; Rogers y Hough, 1995; Rossi, Freeman y Lipsey, 1999).

En nuestro caso, el evaluando al que hacemos referencia, lo constituyen aquellas organizaciones voluntarias y de economía social que participan, junto con la Administración, en los proyectos y programas que están dirigidos a la atención de las necesidades y los problemas sociales. Esto significa un conjunto diverso de organizaciones tales como asociaciones, fundaciones, organizaciones no gubernamentales, empresas de carácter social, etc. Heterogeneidad que no impide que puedan establecerse rasgos definitorios que son comunes a éstas. Éstos son los siguientes:

• Origen. La acción social comienza con la percepción de un problema, carencia o necesidad que motiva a una persona o un colectivo a tomar la iniciativa de resolución e iniciar la auto-organización. Por otro lado, gran parte de estas entidades, emergen de la acción directa de los movimientos sociales que evolucionan hacia estructuras organizativas estables con el objetivo de ofrecer una respuesta más institucional que pueda resolver los problemas sociales. En estos casos, las organizaciones sociales se sienten legitimadas y fortalecidas puesto que representan el sentir de una comunidad (López-Cabanas y Chacón, 1997).

• Función social. La participación de estas organizaciones sociales viene a asegurar los principios democráticos de solidaridad, participación y cooperación. Siendo, en su mayoría, el modelo de participación adoptado, el de complementariedad de las acciones del Estado.

• Estructura. Estas entidades se configuran como acción social institucionalizada (Rueda, 1988, cit. en López-Cabanas y Chacón, 1997). Es decir, un sistema que requiere, además de una clara definición de su misión, unas estructuras formales de organización.

• Carácter. Son organizaciones de servicios sociales cuyas características básicas son: la intangibilidad de la prestación del servicio, la simultaneidad de la producción y su consumo, la dificultad para su estandarización, la imposibilidad de almacenamiento, y la variabilidad que está sujeta a la relación que se establece entre el profesional y el usuario.

• Responsabilidad. Como consecuencia de lo anterior, a estas organizaciones se les exige una gestión cada vez más profesional, por lo que necesitan los medios necesarios para que incorporen las técnicas, los conocimientos y las herramientas de gestión y actuación del sector privado, teniendo en cuenta las singularidades del sector social (Álvarez de Mon et al., 1998; Vernis, Iglesias, Sanz, Urgell, Solernou y Vidal, 1998).

• Gestión de los recursos humanos. La intervención de estas organizaciones será posible si cuenta con el equipo necesario que aporte los conocimientos y las habilidades necesarias encaminadas a: dirigir y liderar en función de unos valores y normas de funcionamiento, desarrollar las actividades desde una actuación profesional del servicio, administrar la gestión y, en ciertos casos, disponer de un colectivo que se compromete de forma voluntaria de acuerdo con una motivación personal. Así, la presencia del voluntariado constituye un eje relevante para la actuación de muchas de estas organizaciones; por lo que, en la gestión de los recursos humanos, entran en juego otros factores ajenos a la simple relación contractual de tipo laboral.

• Medio de relación y comunicación. Dado que estas organizaciones cooperan con la Administración en el desarrollo de los programas sociales, la comunicación entre estas entidades y la Administración resulta esencial. Ello va a requerir una coherencia interna de su actuación que se logra, además, si mantiene una adecuada comunicación con la población que es objeto de su intervención.

• Fuentes de financiación (públicas-privadas). Por un lado, son organizaciones ajenas al funcionamiento del mercado, y, por otro, están institucionalmente separadas del gobierno, aunque, una gran parte de su financiación depende del apoyo institucional público. Por tanto, el camino hacia su independencia económica va a estar determinado por la capacidad para movilizar los recursos necesarios hacia una diversificación del origen de los fondos (públicos y privados) y por la capacidad de gestión de los mismos (Álvarez de Mon et al., 1998).

 

El proceso de valoración

Consideramos la evaluación como un proceso por el cual se determina el valor o mérito del evaluando por su comparación con un conjunto de estándares. Esto significa, ante todo, seleccionar los criterios más pertinentes para establecer un juicio de valor. Para la consideración de estos criterios deben conjugarse, por un lado, los valores que provienen del contexto social y político en el que se encuentran inmersas estas organizaciones, y, por otro, los que hacen referencia explícita a su gestión.

En primer lugar, un contexto caracterizado por la existencia de un marco jurídico favorable a la participación de estas organizaciones, la inclusión de políticas de subvenciones oportunas, la canalización de sistemas de cooperación entre lo público y lo privado, y por último, la presencia de una acción colectiva cada vez más arraigada, es un exponente de la confluencia de valores tales como salvaguardia de los derechos humanos, justicia social, ciudadanía, igualdad y compromiso social. En última instancia, estos valores propios de las sociedades democráticas tienen una repercusión directa sobre el modo en que estas entidades quedan perfiladas. Así, pueden destacarse aspectos tales como: configuración de una acción social institucionalizada para resolver los problemas sociales a los cuales se comprometen, apoyo financiero de la Administración que corresponde con el compromiso de fomento del asociacionismo y de participación de la iniciativa social y, por último, presencia de voluntariado respondiendo al compromiso de solidaridad. Todas estas consideraciones deberán quedar explícitas cuando se inicia un proceso de evaluación.

El segundo aspecto que debemos examinar también con especial atención tiene que ver con la responsabilidad que deben asumir estas entidades para dar cuenta a la sociedad de su acción (Wholey y Newcomer, 1997). Como señalan Álvarez de Mon et al. (1998), en el momento en que exista una mayor transparencia de los objetivos que persiguen, el origen y la aplicación de los recursos alcanzados, así como los resultados alcanzados, la sociedad dispondrá de los elementos objetivos para valorar si son instituciones dignas de confianza(p. 17).

En fin, junto a las características intrínsecas de las organizaciones sociales, que les confiere una cierta idiosincrasia (solidaridad, compromiso, etc.) dado el contexto donde se promueven, hay una necesidad de fomentar una cultura de gestión de eficacia y la eficiencia.

De lo expuesto, debemos reflexionar sobre los criterios que deben considerase para determinar el éxito o fracaso de la colaboración de las organizaciones sociales con la Administración pública. Para ello, nos centraremos en los aspectos relativos a las cuatro fases señaladas por Scriven (1980) en su Lógica de Evaluación, éstas son: 1) establecimiento de los criterios de mérito que determinan la forma de etiquetar el objeto de evaluación para ser juzgado como bueno o útil; 2) elaboración de estándares o normas de funcionamiento que especifican niveles o grados de mérito; 3) recogida de información sobre el desempeño del objeto sometido a evaluación y comparación con los estándares de funcionamiento establecidos previamente; y 4) síntesis o integración de los datos dentro de un juicio de valor.

Respecto a la selección de los criterios de valor (primer paso), desde un punto de vista descriptivo, diferentes grupos de interés mantendrán ideas diferentes sobre lo que constituye una participación eficaz. Desde aquellos que asignan los recursos (donantes), a las organizaciones objeto de las ayudas, considerando también las personas voluntarias, la población que recibe los servicios que prestan estas organizaciones, los distintos grupos y organizaciones que representan los intereses de diferentes sectores de población, los movimientos sociales, la comunidad científica y, por último, la sociedad civil. Así, por ejemplo, la Administración podrá demandar la evaluación para tomar decisiones relativas a la adjudicación de recursos, en este sentido, los criterios de evaluación se relacionarán con la supervisión y el control de los fondos públicos concedidos. Por su parte, las entidades sociales podrán demandar la evaluación para juzgar la consecución de los objetivos propios de la Acción Social, esto es, la creación de los cauces formales de participación.

En consecuencia, la presencia de distintos grupos de interés que participan o están implicados en la selección de los criterios de valor, será, sin duda, uno de los principales problemas que se plantea en el proceso de evaluación, puesto que esta pluralidad va a significar la confluencia de valores, en muchas ocasiones conflictivos. Más aún, las posibles discrepancias que puedan existir entre ellos, también afectarán a la selección de los indicadores más pertinentes para definir cada uno de estos criterios (Newcomer, 1997).

Por esta razón, pensamos que la selección de los criterios de valor va a suponer, también, un proceso prescriptivo, dado que, como ya hemos visto, valores sociales tales como solidaridad o compromiso social son factores que condicionan la relación o colaboración que se establezca con la Administración Pública en la prestación de un servicio social, por lo que deberán estar presentes en todo momento de la evaluación.

En cuanto al segundo paso de la lógica de la evaluación, supone establecer una comparación que determine el grado en que el evaluando satisface un conjunto de estándares o normas de desempeño. Esta comparación puede tener su base en referencia a unas normas siguiendo un criterio absoluto o bien con relación a otros evaluandos bajo criterios relativos (Cook, Leviton y Shadish, 1985). Así, cuando los evaluadores están interesados en medir los efectos o resultados de una organización, bajo estándares absolutos, éstos se establecen por el nivel deseado de desempeño en el sentido prescriptivo y normativo. Para ello, puede implicarse a determinados grupos (expertos, gestores de los programas, etc.) o bien seguir normas legislativas o consideraciones éticas que determinan los valores absolutos. Cuando los estándares siguen criterios comparativos, entre las opciones posibles se encontrarían: partir de la selección de un grupo de control sin tratamiento, establecer variaciones planificadas de alternativas posibles, o bien, comparar el desempeño de un evaluando con el logro de otros.

El tercer paso, la selección de las variables e indicadores que permitan verificar los criterios de mérito, supone que las organizaciones sociales introduzcan de forma paulatina una serie de medidas de desempeño orientadas no sólo a demostrar la eficacia de sus programas sino también la capacidad institucional o capacidad de actuación de las organizaciones receptoras del apoyo financiero, respondiendo así al movimiento reciente de evaluación del desarrollo (Piccioto, 1997). Estas medidas de desempeño abarcan cuatro componentes: los insumos (input), las actividades, los productos (output) y los resultados (outcome).

Por último, el proceso de valoración culmina con la integración o combinación de los resultados en un juicio final (cuarto paso); bien con la suma de los hallazgos discretos de cada uno de los criterios de mérito identificados, que puede complementarse con la asignación de ponderaciones establecidas de forma cuantitativa o cualitativa, o bien, disponiendo de un perfil del conjunto de puntuaciones dispuestas en un histograma. Este procedimiento lleva a la categorización del evaluando o un juicio de su valor. De este modo, con la síntesis se llega a un mayor entendimiento del evaluando al ofrecer conclusiones justificadas sobre la base de los estándares y la recogida de información de su ejecución.

Este último paso ha sido, sin lugar a dudas, el más cuestionado por los autores. Así, para Stake y Migotsky (1997) este modelo sigue un razonamiento formal que no es habitual en la práctica actual, dado que la determinación del mérito de un objeto es un proceso complejo y condicional. La naturaleza cambiante del evaluando significa que los criterios de mérito y la asignación de pesos también pueden cambiar a lo largo del proceso de evaluación. En este sentido, el evaluador deberá recopilar los valores de otros, examinarlos de forma escéptica y describirlos, siendo los receptores de la evaluación los que organizarán y analizarán los datos obtenidos y emitirán los informes de la manera que consideren más apropiada.

La conclusión que podemos sacar de todo lo expuesto es que la secuencia de pasos de Scriven es un claro esfuerzo para ofrecer valoraciones objetivas. Ahora bien, en el contexto social, la naturaleza multivariada, no uniforme y cambiante de las políticas, programas o servicios hace más difícil que el evaluador pueda seguir de manera racional estos pasos. Todo lo cual exige la negociación con las partes implicadas, sobre todo, en aquellos contextos donde la evaluación tiene importantes implicaciones políticas y donde los valores e ideologías de los grupos implicados son bastantes divergentes (Rossi, Freeman y Lipsey, 1999).

 

Construcción del conocimiento

Para realizar un juicio de valor no basta sólo con la selección de los criterios pertinentes de valoración y sus estándares de desempeño, también son imprescindibles unas bases conceptuales del objeto de evaluación y un método sistemático para acceder a este conocimiento. Como consecuencia, es necesario que en todo proceso de evaluación se disponga de una amplia base conceptual que permita, por un lado, realizar una evaluación ajustada a las características que presenta el evaluando, y, por otro, contrastar, verificar o sugerir nuevas vías de investigación. Sólo así, la evaluación podrá servir para el avance del conocimiento. Lo cual nos lleva a considerar los modelos teóricos que sirven de base para el conocimiento de las organizaciones sociales y guían su evaluación.

Teniendo en cuenta que los modelos evaluativos son inseparables de los modelos de intervención, como han señalado López-Cabanas y Chacón (1997), y que las organizaciones sociales funcionan dentro de un sistema social complejo, los modelos teóricos que acompañen la evaluación de estas organizaciones deben partir de un enfoque multidisciplinar y multinivel. Uno de estos modelos es el modelo transaccional ecológico propuesto por Seidman (1983), desde el cual se identifican las organizaciones sociales como sistemas de distribución, siendo éste el eslabón directo entre el exosistema, esto es, la estructura económica y política que determina los planes y políticas y el sistema receptor, los individuos y microsistemas que son los beneficiarios de las políticas y programas sociales.

Por otra parte, considerando los principios del modelo ecológico (Kelly, 1966; Trickett, Kelly y Todd, 1972), la evaluación debe: 1) Llegar a conocer a las transacciones que mantienen las organizaciones sociales con los diferentes exosistemas y con el sistema receptor (principio de interdependencia entre los elementos de un sistema); 2) Incidir en la capacidad de la comunidad o de la institución para movilizar, identificar y resolver los problemas sociales siguiendo el principio de adaptación, esto es, las conductas necesarias para que el individuo, grupo o sistema pueda evolucionar en cada contexto (véase Parker, Eng, Schulz e Israel, 1999); 3) Considerar la evolución de la comunidad, y las organizaciones sociales en particular, esto es, cómo van reaccionando y adaptándose a la intervención (principio de sucesión, la historia que representa tanto la continuidad como los cambios de los sistemas en los distintos contextos); y 4) Centrar su atención en aspectos tales como la utilización y cobertura de los recursos, partiendo del principio de recursos cíclicos que considera la utilización y reposición de las distintas formas de energías de los sistemas para adaptarse a las demandas del medio (López-Cabanas y Chacón, 1997).

En definitiva, nos encontramos ante un evaluando complejo, con efectos y resultados múltiples, y sobre todo, que tiene lugar dentro de un contexto particular producto de las acciones y significados de todos los involucrados. Por esta razón, respecto al método, se defiende una postura ecléctica y flexible, como propone Patton (1997). En este sentido, los argumentos que deben servir para la selección del método, ya sea de índole cuantitativa o cualitativa, no tienen por qué depender de la adhesión a un paradigma determinado y sí del entorno específico donde se plantea la evaluación, de las exigencias del problema de investigación y de las necesidades de información de las audiencias identificadas, bien sea para producir conocimiento generalizable que pueda ser usado para la planificación de futuras intervenciones (véase Lipsey, 1997), o bien, promover la transferencia del conocimiento y las habilidades entre los evaluadores y los grupos implicados a través de procesos que conducen al aprendizaje y el empowerment (Parker et al., 1999).

De esta forma, Cook (1997) reconoce que cada paradigma ofrece un camino legítimo para el conocimiento y comprensión de la realidad, por lo que la utilización de diferentes clases de métodos puede ser lo más apropiado para aprender sobre diferentes clases de fenómenos. Razón por la cual, el uso de la triangulación, en particular, la mezcla de métodos con el objetivo de proporcionar una información coincidente desde diversas estimaciones independientes (por ejemplo, las opiniones sobre los programas, las razones para el uso o el no uso de los servicios o el impacto específico de un proyecto), facilitaría una evaluación más completa y válida en orden a comprender los complejos fenómenos. En cambio, advierte que estos métodos no son intercambiables: mientras que los métodos cualitativos no son buenos para generar estimaciones cuantitativas, los métodos cuantitativos no permiten explorar los procesos, a menos que tengan una considerable información a priori sobre el programa o que sus planteamientos teóricos queden explícitos. No obstante, la evaluación necesita ambos tipos de métodos para llegar a un conocimiento válido y fiable.

 

Utilización de los resultados

Sin duda, una de las cuestiones que mayor interés ha suscitado dentro y fuera de la comunidad evaluativa ha sido el modo en que el conocimiento generado por la evaluación es luego utilizado en política social y los programas sociales. Así, la evaluación de las organizaciones sociales debe considerar los posibles usos que puedan derivarse de ellas, esto es: 1) Instrumental, donde los resultados de la evaluación se utilizarían como inputs centrales en la toma de decisiones; 2) Conceptual, proporcionando nuevos conocimientos y una mayor comprensión del objeto de la evaluación, sin tener que derivar en actuaciones concretas; o 3) Político, donde se utilizarían los resultados de la evaluación en un debate político como ejercicio de persuasión (Cronbach, 1982; Lewinton y Hughes, 1981; Weiss, 1998).

Por otra parte, es importante también considerar el contexto de acción en el que se desarrollan los programas de evaluación (Shulha, y Cousins, 1997). En particular, los usuarios que van a hacer uso de la evaluación. Siguiendo a Weiss (1998), habría que identificar, en primer lugar, los financieros, directores, personal, clientes, etc., es decir, los grupos de interés implicados en la evaluación e interesados en tener un mejor conocimiento y comprensión del evaluando. En segundo lugar, la organización, esto es, la organización que aprende para adaptarse a un entorno complejo y cambiante; por último, la sociedad civil, aquel segmento del público que presta la atención en los temas políticos y sociales, en definitiva, el público informado.

En fin, el análisis del uso de la evaluación, significa considerar el contexto social y político en el que tiene lugar la evaluación; las múltiples necesidades de información que necesitan las personas implicadas así como sus intereses particulares respecto a la información que pueda proporcionar la evaluación; y, por último, las diferentes estrategias para optimizar la utilización de los resultados o el propio proceso de la evaluación.

 

La práctica de la evaluación de las organizaciones sociales

Finalmente, como señalan Shadish et al. (1991), los profesionales van a requerir conceptos prácticos que orienten las estrategias generales que deben adoptar para conducir una evaluación. Por lo tanto, la teoría de la práctica es un elemento central en la teoría de la evaluación, ya que ayuda a clarificar las prioridades del contexto y las negociaciones que se llevan a cabo para la toma de decisiones de la tarea evaluativa, dados unos recursos, un tiempo disponible y unas destrezas determinadas.

Todo lo cual nos sirve para ilustrar una serie de lecciones aprendidas que pueden sugerir líneas prácticas para la evaluación de las organizaciones sociales, considerando que la elección de las mejores estrategias y tácticas en el trabajo profesional del evaluador dependerá de los contextos específicos donde tiene lugar y, sobre todo, de los propósitos de evaluación: rendición de cuentas o responsabilidad, obtención de conocimiento acerca del evaluando y evaluación para el desarrollo y aprendizaje (Chelimsky, 1997). En función de estos propósitos, un plan de evaluación supondría: 1) La elaboración de un modelo conceptual que oriente las preguntas de evaluación; 2) El establecimiento de los criterios de valor; y 3) La selección de los métodos y técnicas de recogida de información; y 4) La especificación de los caminos intencionados para ejercer una influencia en los implicados. Pasemos a comentar cada uno de estos aspectos.

La elaboración de un modelo conceptual. Este modelo orienta las preguntas de evaluación acerca de la estructura, características y funcionamiento de las organizaciones sociales así como de los procesos que ponen en marcha su colaboración con la Administración. La determinación de este modelo se basaría en la identificación de los elementos prioritarios que los políticos y técnicos de la Administración, los representantes de las entidades y los expertos consideran necesarios que se incluyan en dicho modelo. De este modo, pueden plantearse diversas cuestiones de evaluación relacionadas con los procesos (tanto de la organización responsable del servicio como de la propia prestación del servicio) y los resultados (bien considerándose el efecto del apoyo gubernamental a estas organizaciones o bien los beneficios alcanzados por los beneficiarios más directos los servicios que prestan tales entidades), siendo la negociación un medio necesario para articular y compatibilizar estas prioridades.

El establecimiento de los criterios de valor, respetando los principios que sustentan la colaboración de las organizaciones sociales desde un punto de vista prescriptivo. Entre tales criterios se podrían considerar los siguientes: pertinencia (adecuación de los resultados y objetivos de la organización al contexto en el que opera), capacidad institucional (capacidad de gestión de las instituciones receptoras de apoyo financiero), sostenibilidad (grado en que las organizaciones pueden continuar su acción una vez que se ha retirado la ayuda externa) eficacia (relación entre los resultados alcanzados y los objetivos previstos por la organización responsable del servicio); eficiencia (logros alcanzados en función de los recursos empleados), impacto (contribución de la organización en un contexto más amplio).

Hay que tener presente que estos criterios quedarán sujetos a la particular visión que cada uno de los implicados pueda tener acerca de ellos. Por ejemplo, para la Administración una organización será pertinente si su actuación responde a las necesidades sociales establecidas con criterios normativos, en cambio desde la perspectiva de los miembros de las organizaciones o incluso de sus beneficiarios lo será en la medida que ofrece respuestas alternativas a las deficiencias que, bajo su punto de vista, muestra el Estado en la resolución de los problemas que les afectan de forma directa. Por esta razón, desde una aproximación descriptiva deben considerarse las múltiples percepciones de valor de los grupos implicados. De este modo, y de cara a la valoración y propuestas de mejora, éstos participarían en la designación de los criterios de valoración y en el análisis de los datos recogidos.

Al igual que ocurre con la selección de los criterios de valor, deben establecerse, además, las medidas de desempeño de forma que se recojan aquellos aspectos que son de mayor interés para los diversos grupos de implicados. Por lo general, éstas pueden quedar representadas, desde un marco lógico, en términos de contexto (aspectos históricos, políticos, jurídicos, económicos, etc.), insumos (función social de la organización, recursos, dispositivos de comunicación dentro de la organización y fuera de ella, diseño de las actuaciones, etc.), actividades (movilización de la comunidad, reestructuración de los servicios, etc.), productos (contabilidad financiera, servicios prestados, adherencia a estándares de calidad, etc.) y resultados (los cambios sobre los individuos, familias, organizaciones, instituciones o la comunidad). La recogida de información siguiendo este modelo lógico servirá para la interpretación y asignación de significado de tales medidas, de tal modo que medir insumosactividades- productos puede ser indicativo de la capacidad de la organización para conseguir con mayor probabilidad resultados (Wholey y Newcomer, 1997).

La selección de los métodos y técnicas de recogida y análisis de la información en función de los criterios de valoración y las medidas de desempeño especificadas. Así, por ejemplo, ante el interés por realizar un seguimiento del gasto público en la financiación de las entidades sociales colaboradoras, el evaluador puede optar por realizar un análisis comparativo de tales entidades en el contexto específico de la colaboración con la Administración Pública con la finalidad de explicar las fuentes de variación inter-organizacional en ese contexto. O bien, realizar estudios de casos para analizar con detenimiento una organización e identificar ciertas características y procesos sociales que ocurren dentro de ella, evaluando de forma constante sus fortalezas y debilidades. Sin embargo, ambas alternativas presentan limitaciones debidas, en el primer caso, a las dificultades para el establecimiento de dimensiones generales relevantes que hagan posible una explicación adecuada de la variabilidad entre las organizaciones, y, en el segundo, a la imposibilidad de establecer relaciones entre variables (Peiró, 1991). Quizás, por ello, la utilización de diferentes clases de métodos y técnicas de recogida de información pueden ayudar en la obtención y generación de conocimiento válido y fiable. Por ejemplo, la combinación de estudios de casos con métodos cuantitativos, permitiendo obtener un conocimiento comprehensivo a la vez que analítico (véase Datta, 1997).

La especificación de los caminos intencionados para ejercer una influencia en los grupos implicados. Ésta quedará sujeta a los propósitos de la evaluación, así, la evaluación que demanda la Administración, estará más orientada a obtener de las organizaciones sociales una mayor responsabilidad pública de sus acciones y a la toma de decisiones políticas para mejorar la eficacia de la colaboración con las organizaciones sociales. Por otra parte, los investigadores buscarán la mejor comprensión y explicación de los procesos que circunscriben la acción de estas entidades. Mientras que, las personas que dirigen y lideran las organizaciones sociales disponen de la evaluación para mejorar la gestión y eficacia de sus actuaciones. De este modo, la evaluación, para los primeros casos, asume un modelo lineal de carácter sumativo, mediante acciones correctivas. En los últimos, la evaluación, siguiendo un modelo no lineal, de carácter formativo y participativo, servirá como instrumento que facilita los procesos de aprendizaje que contribuyan al cambio organizacional, esto es, la transferencia del conocimiento que proporciona la evaluación a las particularidades de las organizaciones, convirtiéndolas en agentes de su propio cambio.

 

A modo de conclusión

Las dimensiones teóricas propuestas por Shadish, Cook y Leviton, (Shadish, 1994; Shadish et al., 1991) nos parecen apropiadas porque obligan a los evaluadores a ser explícitos sobre las teorías y asunciones que ellos de forma implícita usan en su trabajo. En particular, esta perspectiva nos ha servido para encaminar la evaluación de las organizaciones que colaboran con la Administración en la resolución de los problemas sociales teniendo en cuenta las particularidades de este contexto.

En primer lugar, considerando la estructura y las características del objeto de evaluación, es manifiesto que se está ante un tipo de evaluando complejo, tanto por su heterogeneidad (desde organizaciones de autoayuda a organizaciones más centradas en la prestación de servicios) como por sus objetivos (promover la participación social y resolver los problemas sociales), en un contexto con una elevada susceptibilidad política y sensibilidad social (colaboración con los poderes públicos). En segundo lugar, hay muchos valores adheridos a la participación social, al igual que también hay diferentes grupos de interés que difieren sobre qué medir. Por lo tanto, si queremos asegurar que los diferentes puntos de vista queden representados, debemos considerar una evaluación multicriterio, sin olvidar los valores considerados fundamentales en la Sociedad del Bienestar. En tercer lugar, el conocimiento del evaluando desde una perspectiva ecológica tiene fuertes implicaciones para la evaluación, por cuanto exige examinar múltiples sistemas que interactúan unos con otros. Por ello, tanto las aproximaciones cuantitativas como las cualitativas deben ser utilizadas conjuntamente en orden a conducir una evaluación más adecuada a los propósitos enmarcados. Finalmente, teniendo en cuenta el marco de acción en el que tiene lugar la evaluación, ésta ejercería su influencia sobre los individuos, interesados en obtener un mejor conocimiento y comprensión del evaluando, las entidades públicas y privadas interesadas en aprender para tomar decisiones en la dirección adecuada y la sociedad civil que persigue el bienestar social.

 

Bibliografía

Aguilar, M. J. y Ander-Egg, E. (1992). Evaluación de servicios y programas sociales. Madrid: Siglo XXI.        [ Links ]

Álvarez de Mon, S., Martín, J. y Martínez, J.L. (1998). El tercer sector: retos y propuestas para el próximo milenio. Madrid: Ministerio de Trabajo y Asuntos Sociales.        [ Links ]

Chelimsky, E. (1997). The coming transformations in evaluation. En E. Chelimsky y W. Shadish (Eds.), Evaluation for the 21 st. century: A handbook (1-29). Thousand Oaks, CA: Sage.        [ Links ]

Cook, T.D. (1997). Lessons learned in evaluationover the past 25 years. En E. Chelimsky y W. Shadish (Eds.), Evaluation for the 21 st. century: A handbook (30-52). Thousand Oaks, CA: Sage.        [ Links ]

Cook, T.D., Leviton, L.C. y Shadish, W.R.(1985). Program Evaluation. En G. Lindzey y E. Aronson (Eds.), Handbook of Social Psychology (699-777). New York, NY: Random House.        [ Links ]

Cronbach, L.J. (1982). Designing evaluations of educational and social programs. San Francisco, CA: Jossey-Bass.        [ Links ]

Datta, L. (1997). Multimethod evaluations. Using case studies together with other methods. En E. Chelimsky y W. Shadish (Eds.), Evaluation for the 21 st. century: A handbook (344-359). Thousand Oaks, CA: Sage.        [ Links ]

Kelly, J.C. (1966). Ecological constraints on mental health services. American Psychologist, 21, 535-539.        [ Links ]

León, J.M. y Gómez, T. (1998). Evaluación de programas de salud: modelos y una guía para su ejecución. En E. Rebolloso (Ed.), Evaluación de programas: ámbitos de aplicación (147-159). Barcelona: Textos Universitarios “Saint Jordi”.        [ Links ]

Leviton, L.C. y Hughes, E.F. (1981). Research on the utilization of evaluations: a review and synthesis. Evaluation review, 5 (4), 525-548.        [ Links ]

Lipsey, M.W. (1997). What can you build with thousands of bricks? Musings on the accumulation of knowledge in program evaluation. New directions for evaluation, 76, 7-23.        [ Links ]

López-Cabanas, M. y Chacón, F. (1997). Intervención psicosocial y servicios sociales. Un enfoque participativo. Madrid: Síntesis.        [ Links ]

Medina, M.E. (1997). Utilidad de la evaluación en los servicios sociales comunitarios. Apuntes de Psicología, 49-50, 127-151.        [ Links ]

Newcomer, K.E. (1997). Using performance measurement to improve programs. New directions for evaluation, 75, 5-14.        [ Links ]

Parker, E., Eng, E., Schulz, A.J. e Israel, B. (1999). Evaluating community-based health’s programs that seek to increase community capacity. New directions for evaluation, 83, 37-54.        [ Links ]

Patton, M.Q. (1997). Utilization-focused evaluation: The new century text. Thousand Oacks, CA: Sage.        [ Links ]

Peiró, J.M. (1991). Psicología de la Organización. Tomo 1 (5ª ed.). Madrid: Universidad Nacional de Educación a Distancia.        [ Links ]

Picciotto, R. (1997). Evaluation in the World Bank: Antecedents, instruments and concepts. En E. Chelimsky y W. Shadish (Eds.), Evaluation for the 21 st. century: A handbook (220-213). Thousand Oaks, CA: Sage.        [ Links ]

Rebolloso, E. y Morales, J.F. (1996). Evaluación de programas y psicología social. En Álvaro, J.L., Garrido, A. y Torregrosa, J.R. (Eds.), Psicología social aplicada (475-510). Madrid: McGrawHill.        [ Links ]

Rogers, P. y Hough, G. (1995). Improving the effectiveness of evaluations: Making the link to organizational theory. Evaluation and program planning, 18 (4), 321-332.        [ Links ]

Rossi, P.H., Freeman, H.E. y Lipsey, M.W. (1999). Evaluation. A systematic approach. Sixth edition. Thousand Oaks, CA: Sage.        [ Links ]

Salomon, L. M. y Anheier, H. K. (1994). The Emerging Sector: The nonprofit sector in comparative perspective. An Overview. Baltimore: Johns Hopkins University.        [ Links ]

Scriven, M. (1980). The logic of evaluation. Inverness, CA: Edgepress.        [ Links ]

Seidman, E. (ed.) (1983). Handbook of Social Intervention. Beverly Hills, CA: Sage.        [ Links ]

Shadish, W.R. (1994). Need-based evaluation Theory. What do you need to Know to do good evaluation?. Evaluation Practice, 15 (3), 347-358.        [ Links ]

Shadish, W.R., Cook, T.D. y Leviton, L.C. (1991). Foundations of Program Evaluation: Theories of Practice. Newbury Park, CA: Sage.        [ Links ]

Shulha, L.M. y Cousins, J.B. (1997). Evaluation use: theory, research, and practice since 1986. Evaluation practice, 18 (3), 195-208.        [ Links ]

Stake, R. E. y Migotsky, C. (1997). The evolving syntheses of program value. Evaluation practice, 18 (2), 89-103.        [ Links ]

Trickett, E.J., Kelly, J.G. y Todd, D.M. (1972). The social environment of the school: Guidelines for individual change and organizational redevelopment. In S. Golam y C. Eisdorfer (Eds.), Handbook of community mental health (331-406). New York: Appleton-Century-Crofts.        [ Links ]

Vernis, A., Iglesias, M, Sanz, B., Urgell, J. Solernou, M. y Vidal, P. (1998). La gestión de las organizaciones no lucrativas. Bilbao: Deusto.        [ Links ]

Villasante, T.R. (1993). Experiencias y propuestas de participación ciudadana. Intervención psicosocial, 2 (5), 17-31.        [ Links ]

Weiss, C.H. (1998). Evaluation. Second edition. Englewood Cliffs, NJ: Prentice Hall.        [ Links ]

Wholey, J.S. y Newcomer, K.E. (1997). Clarifying goals, reporting results. New direction for evaluation, 75, 91-98.        [ Links ]

 

Fecha de Recepción: 02-04-04

Fecha de Aceptación: 06-02-06