Evaluación de proyectos. Metodología e instrumentos. El sistema de información GEYSA by C3IT Centro de Investigación

TESIS DOCTORAL

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS. METODOLOGÍA E INSTRUMENTOS. EL SISTEMA DE INFORMACIÓN GEYSA

por María José Asensio Coto

Dirigida por: Profª. Drª. Manuela Adelaida de Paz Báñez

Departamento de Economía General y Estadística Universidad de Huelva 2006

Mª JOSÉ ASENSIO COTO.

Índice Capítulo 1. Introducción, metodología y fuentes ____________________ 5 Capítulo 2. Conceptualización _________________________________ 27 2.1. Aproximación histórica_______________________________________29 2.2. Aproximación conceptual _____________________________________36 2.2.1. Evaluación centrada en la medición del logro de objetivos ______________ 2.2.2. Evaluación ligada a la finalidad ___________________________________ 2.2.3. Evaluación centrada en el proceso de recogida de información ___________ 2.2.4. Evaluación ligada al método _____________________________________ 2.2.5. Evaluación ligada al estudio del cambio ____________________________ 2.2.6. Evaluación global______________________________________________

38 39 40 41 42 43

2.3. Tipología___________________________________________________45 2.3.1. En función de la extensión de la evaluación respecto de la totalidad del programa evaluado. ¿qué se evalúa? _______________________________ 45 2.3.2. En función del momento en el que se realiza la evaluación: ¿cuándo se evalúa? ____________________________________________________________ 52 2.3.3. En función de quién realiza la evaluación, los actores de la evaluación o posición del evaluador: ¿Quién evalúa? _____________________________ 55 2.3.4. En función de su finalidad _______________________________________ 58

2.4. Elementos que definen la evaluación ____________________________59 2.4.1. Evaluación e investigación_______________________________________ 59 2.4.2. Elementos que definen la evaluación: una propuesta___________________ 64

2.5. Enfoques___________________________________________________66 2.5.1. Evaluación clásica _____________________________________________ 68 2.5.2. Evaluación pluralista ___________________________________________ 73

Capítulo 3: La metodología evaluativa: modelos y herramientas ______ 87 3.1. Modelos de evaluación _______________________________________89 3.1.1. Modelos de evaluación clásica y modelos de transición ________________ 91 3.1.2. Modelos de evaluación pluralista_________________________________ 107 3.1.3. Una reflexión sobre los modelos pluralistas ________________________ 118 3.1.4. Una aplicación de elementos pluralistas para el diseño de un sistema de evaluación global participativa___________________________________ 123

3.2. Herramientas para la recogida y tratamiento de la información ____129 3.2.1. ¿Qué tipo de información es relevante? ____________________________ 131 3.2.2. La recogida y tratamiento de la información. Herramientas convencionales 141 3.2.3. La recogida y tratamiento de la información. Herramientas participativas _ 152

3.3. Sistemas de información para la evaluación de acciones centradas en el individuo _____________________________________________________ 158 3.3.1. La optimización del ciclo experiencia-aprendizaje como estrategia de gestión de la acción __________________________________________________159 3.3.2. Cuestiones generales sobre la eficacia de los sistemas de información en las organizaciones ________________________________________________162 3.3.3. Componentes esenciales de los sistemas de información útiles para la evaluación ___________________________________________________163 3.3.4. El paquete metodológico Catalyse: un conjunto integrado de herramientas _166

Capítulo 4. Diseño y puesta en marcha de un sistema de información para la evaluación y el seguimiento de acciones: el proyecto Geysa ______ 177 4.1. Marco institucional y antecedentes ____________________________ 177 4.1.1. Marco institucional ____________________________________________178 4.1.2. Antecedentes _________________________________________________181

4.2. El Centro de Inserción Sociolaboral Valdocco___________________ 182 4.2.1. El modelo de intervención de Valdocco ____________________________183 4.2.2. Fases del itinerario de inserción __________________________________184

4.3. Objetivos y características del sistema de información GEYSA ____ 186 4.3.1. Objetivos y requisitos del sistema _________________________________188 4.3.2. Características del sistema de información __________________________190

4.4. Elementos del sistema_______________________________________ 191 4.4.1. Unidad de recogida de información________________________________191 4.4.2. El Dossier de recogida de información: el expediente individual _________193 4.4.3. Los contenidos________________________________________________198 4.4.4. El soporte informático __________________________________________202 4.4.5. La salida del sistema y el tratamiento de la información________________208

Capítulo 5. Aplicación y evaluación del sistema __________________ 209 5.1. Aplicación del sistema para la evaluación ______________________ 210 5.1.1. Evaluación de la coherencia global de acciones individualizadas _________210 5.1.2. El método de análisis___________________________________________212 5.1.3. Análisis y evaluación___________________________________________217

5.2. Evaluación del sistema Geysa ________________________________ 254 5.2.1. Primera etapa: evaluación global del contenido del sistema _____________256 5.2.2. Segunda etapa: evaluación de los elementos del sistema _______________260 5.2.3. Utilización de los resultados de la evaluación ________________________262

Conclusiones ______________________________________________ 265 Bibliografía _______________________________________________ 275 Anexos

Capítulo 1 Introducción, metodología y fuentes Actuar para transformar la realidad ha sido una constante en la historia del ser humano. Actuar para transformar la propia realidad, la de los suyos y la del entorno en el que vive. La necesidad de conocer los efectos de la acción es una necesidad derivada de esta actitud transformadora. En esta tesis doctoral, afrontamos esta necesidad desde una perspectiva científica que queremos explicitar en estos párrafos introductorios. Comenzamos, por tanto, dedicando unas líneas a la Ciencia, las disciplinas científicas y su clasificación, tomando como referencia la controversia que aún persiste, en cierto modo, en relación a la parcelación del cuerpo científico y el alcance de ésta. Argumentamos aquí la consideración de la Ciencia como una unidad jerarquizada, el Sistema Ciencia, en el que el papel que juega cada disciplina vendrá dado por la naturaleza del objeto de estudio que le es propio. Abordamos también la cuestión de la Ciencia Económica intentando delimitar ésta a partir de tres elementos fundamentales: el lugar que ocupa dentro del Sistema Ciencia; el objeto de estudio de la Economía; y, finalmente, el marco conceptual desde el que afrontamos el estudio de los fenómenos económicos. Cada uno de estos tres elementos requiere asimismo un posicionamiento con relación a sendas controversias que, con mayor o menor intensidad, perviven en la actualidad en el seno de la Economía.

Mª JOSÉ ASENSIO COTO.

Con relación al primero, insistimos en la consideración de la Economía como Ciencia Social, lo que implica para nosotros la necesidad de integrar lo social con lo económico, al tiempo que la situamos en la frontera Ciencias Sociales – Ciencias Naturales al considerar que los fenómenos económicos se caracterizan no sólo por las relaciones entre los hombres, sino también por las relaciones entre los hombres y su entorno material. En lo que se refiere al objeto de estudio, frente a la consideración de la riqueza como elemento clave para definirlo, la pobreza. Considerada como la otra cara de la misma moneda, el estudio de la pobreza nos obliga a poner el énfasis más en la distribución que en la producción, más en el “qué riqueza” que en el “cuánta riqueza”; en definitiva, el énfasis en lo cualitativo y en lo humano. Finalmente, en lo que se refiere al marco conceptual, dedicaremos unas líneas a reflexionar sobre la controversia individualismo versus holismo metodológico. En latín scientia, vocablo del que se deriva etimológicamente la palabra ciencia, tiene un sentido muy amplio que gira en torno a ideas como conocimiento, práctica, doctrina, erudición... al tiempo que el verbo griego del que procede su raíz (el verbo latino scio se deriva a su vez del griego isemi) equivale también a una noción amplia relacionada con el conocer, tener noticia de, estar informado... Del mismo modo, el significado de la palabra ciencia en las lenguas modernas tiene un carácter general que se refiere a toda clase de saber. No obstante, la primera definición de la palabra ciencia que recoge el Diccionario de la Lengua Española de la R.A.E. reza “Conocimiento cierto de las cosas por sus principios y causas”; asimismo, en su segunda definición esta misma fuente la identifica como “Cuerpo de doctrina metódicamente formado y ordenado, que constituye un ramo particular del saber humano”. En efecto, siguiendo a Sierra Bravo (Sierra Bravo, 1992:17 y ss.), la ciencia puede definirse, en sentido estricto, en torno a tres elementos: un contenido, un campo de actuación y un procedimiento o forma de actuar. En cuanto al contenido, la ciencia está constituida por un conjunto de conocimientos sobre la realidad en forma de ideas dado que el hombre sólo puede captar la realidad conceptualmente. El campo de actuación es la realidad observable, “lo no empírico, lo trascendente, cae fuera del campo de la ciencia”. El procedimiento o forma de actuar, el camino para alcanzar ese conocimiento propio de la ciencia es el método científico. No

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

obstante, el conocimiento científico no se distingue de otros tipos de conocimiento por los objetos sobre los que versa, ni tan siquiera por su contenido que, esencialmente lo constituyen ideas, la ciencia no es otra cosa que un conjunto de conocimientos obtenidos por la aplicación del método científico, es el resultado de este método. En este sentido, suele distinguirse (Ferrater Mora, 1971:601-602) entre conocimiento vulgar, conocimiento científico y conocimiento filosófico básicamente en función del camino seguido para alcanzarlo; el primero sería el que se adquiere por medio de la experiencia y el sentido común que ni se cuestiona ni se interpreta; el segundo es conocimiento elaborado, objetivado y validado que se obtiene por medio del método científico, aportando con ello una explicación sistemática de los hechos, que determina la forma en que éstos se presentan; el tercero es aquel que profundiza en la búsqueda y aprehensión de la causa primera. La segunda definición de ciencia de la RAE se acerca más al concepto más restringido de disciplina científica. Fundamentalmente en función del objeto de estudio, la Ciencia se divide en ramas, a las cuales se denomina asimismo Ciencias o disciplinas. Una de las múltiples clasificaciones, y con la que en gran medida coincidimos, es la de Di Fenizio (en Guzmán y Rallo, 1998:7-9), según el cual las Ciencias pueden clasificarse en dos grandes grupos, las Ciencias Formales y las Ciencias Empíricas o Fácticas. Esta distinción procede básicamente de la diferente naturaleza del objeto de estudio. Así, las Ciencias Empíricas o Fácticas serían aquellas que, con una mayor o menor carga teórica, se dedican al estudio de una realidad determinada. Por el contrario, el objeto de estudio de las Ciencias Formales no es un objeto real, las Ciencias Formales serían aquellas de naturaleza teórica o abstracta que no poseen una traducción empírica propia, pero que son instrumentos fundamentales, e incluso imprescindibles, para analizar los fenómenos y desarrollar los conocimientos de las Ciencias Empíricas; ejemplos de este tipo de Ciencias serían la Lógica o las Matemáticas. También atendiendo a la naturaleza del objeto de estudio, lo que llamábamos siguiendo a Sierra Bravo campo de actuación, dentro de las Ciencias Empíricas cabe distinguir entre Ciencias Naturales y Ciencias Sociales. Las Ciencias Naturales serían aquellas en cuyo objeto de estudio no está involucrado el comportamiento humano y, por tanto, es susceptible de ser manipulado por el investigador. Así,

Mª JOSÉ ASENSIO COTO.

el investigador se percibe situado frente a la realidad estudiada de forma objetiva y aséptica, para realizar experimentaciones controladas con las que observar las distintas reacciones producidas; ejemplos de este tipo de Ciencias serían aquellas pertenecientes al grupo de la Física o de la Biología. Las Ciencias Sociales serían aquellas cuyo objeto de estudio es algún aspecto del comportamiento humano en sociedad, por lo que aquí el investigador se encuentra a ambos lados del proceso, como investigador y como parte del objeto de investigación. En las Ciencia Sociales la experimentación en sentido estricto no es posible, por lo que los métodos científicos de investigación habrán de ser de diferente naturaleza; ejemplos de este tipo de Ciencias serían la Política, el Derecho, la Sociología, la Historia o la Economía. Así, cada disciplina científica se ha ido caracterizando a lo largo de la historia de la ciencia por su contenido, campo de actuación e incluso procedimiento, dado que el desarrollo del método es una respuesta a las necesidades del proceso de investigación. No obstante, la diversidad de disciplinas científicas ya sea en función del objeto de estudio, del método, de los objetivos o fines que persigue, etc., no es más que la manifestación de una enriquecedora pluralidad en el seno de una unidad. En este sentido, coincidimos plenamente con Emilia Currás cuando afirma que “Cada una de las distintas ciencias compone un eslabón dentro del conjunto de la unidad de la ciencia. Ese eslabón viene influenciado por distintos eslabones, ciencias, en mayor o menor grado, según el ámbito de conocimiento de cada una de ellas en relación con las demás, o con aquella concreta, objeto de un estudio determinado. Para acceder al conocimiento completo de cada una de las ramas de la ciencia se debe partir de aquella que puede servir de base e ir subiendo o bajando, introduciendo otras ciencias que impliquen mayor complejidad o medios complementarios, dentro del ámbito del saber a que haga referencia nuestra ciencia de estudio” (Currás, 1994:31). En efecto, cada disciplina influye y es influenciada por todas las demás con mayor o menor intensidad en función de la relación existente entre los objetos y fines del estudio. En este sentido, las fronteras que separan las diferentes ramas son más o menos difusas según los casos y, en todos ellos, ficticias, cuya razón de ser no procede de la realidad sino de las necesidades del mundo de las ideas. El proceso científico es descrito así, por Emilia Currás, como

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

un proceso de aproximación al conocimiento que, tomando como punto de partida una determinada disciplina científica, va enriqueciéndose con conocimientos, métodos, fines, etc., procedentes de otras disciplinas. De forma que una ciencia única y multidisciplinar es la mejor manera de profundizar en el conocimiento de una realidad única y multidimensional. La ciencia implica, por tanto, el conjunto de saberes acumulados hasta ahora, así como la manera de llegar a ellos y el camino para adquirir nuevos conocimientos. La ciencia concebida como unidad de saberes. La ciencia se concibe de este modo como un sistema cuya totalidad estaría configurada por las distintas ramas del saber humano, que serían los elementos del sistema, y las relaciones entre ellas. Dentro de cada una de las ciencias, disciplinas o ramas del saber se produce una jerarquización de forma tal que en un caso una ciencia será principal y en otro caso esa misma tendrá un papel complementario. Así, las distintas ramas tienen influencias unas en otras en distinto grado y a diferentes niveles. Las interrelaciones que se establecen entre ellas afectan tanto a la evolución parcial de cada disciplina como a la evolución del sistema principal, unidad de la ciencia. La cuestión que abordamos aquí, la caracterización de la Ciencia Económica, se desarrolla en torno a tres elementos básicos que planteamos en forma de interrogantes: cuál es el lugar que ocupa la Ciencia Económica en el sistema ciencia, cuál es el objeto de estudio de la Ciencia Económica, ligado a su finalidad, en la que se enmarca nuestra tarea tanto docente como investigadora; cuál es el marco conceptual en el que encuadrar nuestra investigación, es decir, el conjunto de conceptos generales, principios, instrumentos, problemas, métodos que nos permitan acercarnos a una descripción científica de la realidad económica. Aceptando la clasificación de las Ciencias de Di Fenizio con las matizaciones que hemos argumentado más arriba, la Economía se sitúa en el grupo de las llamadas Ciencias Sociales y, desde nuestro punto de vista, como tal ha de ser entendida, enseñada y estudiada. Ello significa que el resto de los elementos sociales han de ser tenidos en cuenta; la actividad económica se da en un contexto social y aquella no puede ser aislada de éste. Entendemos, por tanto, que en el estudio de los procesos económicos en el que la Ciencia Económica sería el elemento principal del sistema Ciencia,

Mª JOSÉ ASENSIO COTO.

el resto de las llamadas Ciencias Sociales, los conocimientos, métodos y objetos de estudio de las mismas, deben ser tenidos en cuenta como elementos muy relevantes. La intensa imbricación de las realidades objeto de estudio debe corresponderse con una intensa relación entre las respectivas ramas del saber científico. Así mismo, entendemos que la posición de la Ciencia Económica en el sistema Ciencia, aunque enmarcada en el seno de las Ciencias Sociales como acabamos de afirmar, se sitúa en la frontera Ciencias Sociales – Ciencias Naturales. Esto es así básicamente por la naturaleza del objeto de estudio de la Ciencia Económica, cuestión que abordaremos un poco más detenidamente a continuación, caracterizado no sólo por las relaciones entre los hombres sino también, y en gran medida, por las relaciones entre los hombres y su entorno material, tanto natural como construido. En efecto, en lo que se refiere al entorno material natural, “La historia del hombre ha sido la búsqueda constante de instrumentos y formas de establecer relaciones con la naturaleza, y, a través de este proceso histórico, la ha ido utilizando y adaptando a sus necesidades. Dicha modificación permanente de la naturaleza afecta al mismo tiempo al hombre, originando cambios en sus condiciones de vida y en las relaciones con sus semejantes” (Bifani, 1984:19). Entre los sistemas sociales y el entorno natural existe un mediador: la tecnología, que determina la forma en la que el grupo social opera en su constante interrelación con la naturaleza generando lo que hemos llamado entorno material construido. Por tanto, la dinámica de las relaciones sociales en general y de las relaciones económicas en particular está estrechamente vinculada a la dinámica de los fenómenos naturales que configuran el entorno físico en el que éstas se desarrollan. Ambas evolucionan conjuntamente en un proceso en el que las influencias son mutuas. No obstante, lo cierto es que no existe un claro consenso entre los economistas con relación a la naturaleza del objeto de estudio de la Economía (Guzmán y Rallo, 1998:3 y ss.); y, por tanto, en la posición que ésta debe ocupar en el seno de la Ciencia. La dificultad estriba fundamentalmente en el carácter ficticio que, como afirmábamos anteriormente, presenta cualquier intento de parcelación de la actividad científica que se manifiesta claramente cuando intentamos la correspondencia de dicha parcelación con las características de la realidad a estudiar. Además, como cualquier otra disciplina científica, las contribuciones que han tenido lugar a

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

lo largo de la historia del pensamiento económico marcan en gran medida la situación actual. Y, éstas a su vez, están condicionadas por los contextos históricos que determinan la configuración de los objetivos o fines de la actividad científica. En este sentido, la ortodoxia o corriente dominante de nuestra disciplina encuentra sus orígenes en la Economía Política de Adam Smith. Hemos de remontarnos al siglo XVI para encontrar el primer enunciado de la expresión “Economía Política”, debida a Montcheretien, quien concebía esta disciplina como la Ciencia de la adquisición de la riqueza que no sólo interesa a la familia sino también al Estado. Pero no es hasta el nacimiento de la Escuela Clásica, en el siglo XVIII, cuando puede hablarse de una Economía Política científica; es el propio Adam Smith quien completa la primitiva definición incorporando dos fines diferentes a la Economía Política: primero, proveer a la población de una renta o subsistencia abundante o, más exactamente, ponerla en situación de contribuir por sí misma a ello; y segundo, proporcionar al Estado o a la República una renta suficiente para prestar los servicios públicos. La concepción de Economía Política de John Stuart Mill también incorporaba contenido social, ya que entiende ésta como aquella Ciencia que enseña o investiga la naturaleza de la riqueza y las leyes de su producción y distribución, incluyendo la actuación de todas las causas por las que la situación de cualquier sociedad prospera o decae respecto al objetivo universal de los deseos humanos. En los autores clásicos, en definitiva, la definición de Economía Política se articula en torno a la riqueza como objeto de estudio y a la existencia de un objetivo de carácter eminentemente social. Hasta el propio Alfred Marshall, uno de los más importantes economistas neoclásicos, de los que deriva la ortodoxia de la Economía, concebía ésta como una Ciencia de la Riqueza, al tiempo que la consideraba una parte de la Ciencia Social dado que se ocupa de la acción del hombre en sociedad. Sin embargo, a partir del desarrollo del pensamiento neoclásico, y en particular del marginalismo, el contenido de la Economía se fue deslizando hacia una concepción más alejada de lo social en un claro intento de acercamiento a otras Ciencias con mayor tradición, como es el caso de la Física o de las Matemáticas. La economía neoclásica realiza un gran esfuerzo en el perfeccionamiento del instrumental analítico basado en la formalización del

Mª JOSÉ ASENSIO COTO.

comportamiento individual del hombre bajo ciertos supuestos de racionalidad. De esta forma, el método se sitúa en primer lugar hasta el punto de condicionar el objeto de estudio y los fines de la Ciencia Económica en un intento de construir una Ciencia, entendida ésta de manera aséptica, sin connotaciones subjetivas y cargada de hipótesis abstractas cuantificables y cálculos matemáticos. Hoy día, el debate sobre el carácter social de la Economía sigue estando presente y la versión ortodoxa presenta un claro vacío social en el que el análisis económico prácticamente ignora los comportamientos humanos e institucionales. A lo largo de la historia de la Ciencia Económica hemos pasado de la Economía Política de los clásicos, donde los demás aspectos sociales jugaban un importante papel, hasta la mera Economía, donde variables y parámetros dominan el análisis y fuerzan la exclusión de todos los aspectos sociales que no pueden ser cuantificados. La Economía actual parece haber renegado de su filiación eliminando el apellido Política, en un claro intento por cambiar de familia científica. El extremo de esta concepción tecnicista es la identificación que hizo Joan Robinson de la Economía con una “caja de herramientas”. Sin llegar a dicho extremo, la definición de Economía más conocida y utilizada es la acuñada por Lionel Robbins (Robbins, 1980:65), que se refiere a la misma como “la ciencia que estudia el comportamiento humano como una relación entre los fines y los medios escasos que tienen usos alternativos”. Esta definición pone el énfasis en la elección, es decir, en la optimización de la conducta humana en relación con un fin determinado que se materializa en la relación entre medios y fines, pero no se ocupa expresamente ni del estudio de los medios ni de los fines. Esta concepción ortodoxa de la Economía ha sido contestada por diferentes economistas de corrientes heterodoxas, la mayoría de las cuales coinciden en criticar precisamente la ausencia de dimensión social. Como alternativa a la misma suele presentarse la definición de Oscar Lange (Lange, 1973:11) que se refiere a la Economía como “la ciencia que estudia las leyes sociales que rigen la producción y la distribución de los medios materiales aptos para satisfacer las necesidades humanas”. De esta forma el carácter social de la Economía queda marcado tanto por el objeto de estudio (leyes

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

sociales) como por el fin de la actividad económica (satisfacer las necesidades humanas). Aceptada la consideración de la Economía como Ciencia Social, debemos ahora identificar cuál es el objetivo principal que ha de perseguir nuestra Ciencia. En este punto, en lo que respecta a los objetivos instrumentales de la Economía1, entendidos éstos como los instrumentos para conseguir un objetivo último, existen en la literatura económica dos posiciones enfrentadas por el mayor énfasis que cada una otorga a la comprensión o a la explicación de los fenómenos económicos como objetivos de la Economía. La posición que uno adopte con relación a esta controversia tiene relevancia en la medida en la que condiciona tanto los criterios para la medición del progreso científico como el desarrollo del método. Para los primeros, la actividad científica debe encaminarse hacia la comprensión de los fenómenos de forma que lo cualitativo adquiere mayor relevancia frente a la cuantificación y la predicción. Para otros, el objetivo instrumental básico es la explicación entendiendo que “una situación concreta es un ejemplo de un principio general” (Calle Sáiz, 2001:39). En el enfoque de la explicación adquieren especial relevancia la medición, la predicción cuantitativa, el control de los fenómenos, la contrastación de hipótesis; se somete en mayor medida a una “racionalidad” que previamente es definida y delimitada. Como ha señalado Mark Blaug (1985:21), “la operación denominada explicación, implica las mismas reglas de la inferencia lógica que la operación denominada predicción, siendo la única diferencia que las explicaciones vienen después de los acontecimientos y las predicciones antes de los mismos”2. Según este mismo autor, cuando ofrecemos una explicación que no genera predicción, lo que estamos aportando es sólo comprensión. Algunas consideraciones o reflexiones en torno a esta cuestión, a nuestro entender, podrían argumentar una mejor adecuación de la primera postura. En primer lugar, sin renunciar a la cuantificación, 1

Partimos de la exposición que hace Ricardo Calle Sáiz sobre las discrepancias metodológicas básicas en economía (Calle Sáiz, 2001:39 y ss).

Mark Blaug desarrolla esta idea a partir de una afirmación de Marshall en este sentido. En la página 285 de La metodología de la economía (Blaug, 1985) encontramos: “Marshall solía decir que la explicación científica es simplemente una «predicción vista atrás». Pero la proposición inversa es falsa, es decir, la predicción no es necesariamente una explicación vista hacia delante”.

Mª JOSÉ ASENSIO COTO.

advertimos los peligros que conlleva el sometimiento a la misma. El análisis cuantitativo entendido como instrumento ha demostrado a lo largo de la historia de la ciencia una extraordinaria utilidad, pero también entraña ciertos peligros cuando éste se convierte en objetivo de la actividad científica. En nuestro caso, lo cualitativo tiene que seguir siendo lo relevante dado que existen elementos fundamentales para comprender los fenómenos económicos como son la creatividad, la innovación, la organización, el poder, etc..., que difícilmente pueden ser sometidos a cuantificación. En segundo lugar, sin renunciar a los intentos de predicción, entendemos que las circunstancias en las que ésta es posible son extraordinariamente limitadas, dado que sólo en ausencia de cambios estructurales y de sometimiento del comportamiento humano a la racionalidad en la que ésta se basa, es posible realizar predicciones fiables. En definitiva, la concepción de Hayek sobre el objetivo instrumental más relevante para la Ciencia Económica: “facilitar la comprensión de la existencia y el carácter de las estructuras ordenadas que se derivan de las relaciones de intercambio voluntario entre la gente” (en Calle Sáiz, 2001:41), se muestra más útil para la consecución del objetivo último de la Economía. En cuanto a la naturaleza de los fenómenos a los que la Economía está llamada a comprender, y siguiendo a José Luís Sampedro, para el economista, la realidad presenta dos caras con aspectos bien diferentes, que se traducen en dos formas también diferentes de definir el objeto propio de esta ciencia: la riqueza y la pobreza. Por un lado, se identifica la economía como la ciencia de la riqueza de forma que encontramos multitud de definiciones como la de John Stuart Mill: la economía es la "ciencia que estudia la riqueza y las leyes de su producción y de su distribución" (en Castañeda, 1982:4). Desde Adam Smith la Ciencia Económica ha desarrollado todo el cuerpo teórico en torno a esta visión. Por el contrario, asomándose a la otra cara de la realidad, en la que observamos la pobreza como fenómeno masivo aún en la actualidad, Sampedro propone que entendamos la economía como la ciencia de la pobreza. Así, siguiendo con el símil de la montaña3 3

"...imitamos la juiciosa conducta del viajero que, para no perderse por una comarca desconocida, toma como referencia la cumbre de una gran montaña lejana y se orienta por ella procurando perderla de vista lo menos posible. Aunque cada etapa tenga su objetivo concreto, todo el itinerario estará dominado

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

afirma: "En la realidad económica veremos siempre la pobreza de la mayoría humana dominando el panorama como una sombría montaña cuya cima ha de guiarnos. Claro que alguna vez la perderemos de vista, ocupados en problemas intermedios e instrumentales, pero será para verla luego aún mejor. Lo mismo que el viajero que camina por el hondo desfiladero se encuentra, cuando sale, más cerca de su objetivo, si ha seguido la buena dirección" (Sampedro y Martínez Cortiña, 1975:23). Es esta segunda concepción la que para nosotros delimita más satisfactoriamente el objeto de la Ciencia Económica. La pobreza, las diferentes manifestaciones de la misma como fenómeno complejo que determina las posibilidades de desarrollo de la condición humana, sus causas y los caminos alternativos para acercarnos a su erradicación constituyen nuestro objeto de estudio. Es en este sentido en el que, a nuestro entender, la economía es una ciencia antropocéntrica y cada una de las subdisciplinas, ramas o materias en las que se desarrolle cualquier tipo de actividad científica, la perspectiva económica, ha de estar centrada en el hombre y encaminadas a la consecución del bienestar humano. Por muy grato que resulte encontrarse reiteradamente la palabra riqueza en la extensa literatura económica, en nuestra opinión, no es ésta la palabra clave. Finalmente, en lo que respecta al marco conceptual, en los últimos años han aparecido multitud de trabajos que, desde todas las ramas de la Ciencia proponen una renovación conceptual que, frente al paradigma clásico newtoniano, ofrezca respuestas más satisfactorias en la explicación de la realidad. Uno de los elementos centrales en este intento de renovación es el holismo metodológico. Entre los científicos sociales y, en particular entre los economistas, ya es tradicional la controversia en torno al individualismo metodológico: si las ciencias sociales deben proceder según criterios individualistas o, por el contrario, deben poner el centro de atención en el estudio de totalidades. Ricardo Calle Sáiz en “La relevancia de la metodología para la Ciencia Económica: unas reflexiones orientativas” (Calle Sáiz, 2001:35) sintetiza ambas posiciones como sigue: “Según el enfoque individualista, cualquier explicación o comprensión de los fenómenos sociales, sólo puede considerarse por esa cima, que, por así decirlo, sirve de base de organización y da sentido sistemático a toda la ruta. Así se convierte el disperso vagabundeo en la eficacia del viaje planeado con método.” (Sampedro y Martínez Cortiña, 1975:22).

Mª JOSÉ ASENSIO COTO.

completo cuando ha sido vinculado a fines, percepciones y acciones de los individuos; los fenómenos sociales, en definitiva, son solamente la suma de sus partes, y esas partes son las acciones individuales. (...) Por su parte, el punto de vista holístico considera los fenómenos a un nivel más agregado. El holismo metodológico sostiene que las partes que forman un conjunto no pueden comprenderse o describirse individualmente, sino solamente considerando su relación con el conjunto, es decir, algunos fenómenos sociales macro-nivel, no son reducibles al nivel individual.” Es esta segunda en la que se sitúa la renovación conceptual a la que nos referimos, en la que se integran, como decíamos más arriba, multitud de trabajos que, de una forma u otra, se guían para el análisis de la realidad de la combinación de los conceptos de totalidad e interdependencia. Ambos conceptos forman parte esencial de la metodología estructural en economía, así como de la definición de sistema que, en términos más generales, es la base de lo que se ha dado en llamar el paradigma sistémico o enfoque de sistema. Siendo la economía una ciencia de carácter eminentemente finalista, la acción se convierte en el punto de referencia. La determinación de fines, objetivos y medios así como las relaciones entre ellos, ha sido el campo de estudio tradicional de la economía, cuestiones que se han afrontado en nuestra disciplina fundamentalmente desde la política económica. El desarrollo y aplicación de métodos e instrumentos para conocer los efectos de la acción, para analizar si el camino emprendido a partir de ésta es el correcto o no, para tomar decisiones, en definitiva, la evaluación de la política económica es un campo de investigación de gran interés teórico para nuestra disciplina. En la práctica, los trabajos sobre evaluación de políticas en el campo de la economía se desarrollan fundamentalmente desde la generalización de la intervención pública en las economías nacionales con la implementación de políticas keynesianas a mediados del siglo pasado. Paralelamente, y como consecuencia de la aparición de las políticas sociales como forma de intervención para mejorar la situación de personas o colectivos desfavorecidos en los países desarrollados, la evaluación de políticas sociales emprende su propio camino en la búsqueda de métodos e instrumentos para la evaluación de la

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

acción social. Lo cierto es que ambas disciplinas afrontan esta tarea por separado. La parcelación de la ciencia a la que aludíamos al inicio va acompañada de la parcelación de la acción -la intervención social y la intervención económica- y, por supuesto, la parcelación de la evaluación, tanto en los aspectos científicos como en la práctica evaluativa. La situación actual respecto de la acción es bien diferente. La parcelación de la acción ha sido sustituida por la acción integral4; el sector va dejando paso al territorio como unidad de acción. La política económica y la política social se encuentran en las políticas de desarrollo, en las políticas laborales y educativas. Desde los años ochenta se viene perfilando esta tendencia a la multidimensionalidad en los diagnósticos, diseños y ejecución de la intervención y también en las disciplinas sobre las que se sustenta. ¿Cuál es el reflejo de esta situación en el campo de la evaluación? ¿En qué sentido evoluciona la metodología evaluativa? La tesis que planteamos y argumentamos en esta investigación es que el estadio actual, respecto a la cuestión metodológica en el campo de la evaluación, es el de crisis en el sentido en el que Kuhn utiliza este término, al igual que ocurre en el conjunto de las ciencias sociales. Hablar de paradigma no tiene sentido en la disciplina evaluativa, es el ámbito científico en el que ésta se desarrolla el que aporta enfoque, método y herramientas. De manera que, nuestra primera hipótesis, teórico/metodológica, la podríamos enunciar así: la crisis del paradigma clásico en ciencias sociales se manifiesta, en el ámbito de la evaluación, en el cuestionamiento de la evaluación clásica y la proliferación de nuevos enfoques y modelos evaluativos, la evaluación pluralista. El primer objetivo que nos planteamos, por tanto, es demostrar esta afirmación. Nos basaremos en la revisión y análisis de la bibliografía especializada disponible y otras fuentes. Después de analizar las características de esta renovación en la metodología evaluativa, y dada la naturaleza eminentemente empírica de la evaluación, nos planteamos un segundo interrogante: ¿cómo repercute en la práctica evaluadora el cambio de paradigma sobre el que se sustenta esta actividad? 4

A nuestro entender, desde el punto de vista teórico, esta opción es bien clara; en la práctica siguen existiendo dificultades derivadas de la lenta evolución de la cultura del trabajo.

Mª JOSÉ ASENSIO COTO.

El segundo objetivo de esta tesis es dar respuesta a esta cuestión. Para abordarlo, consideramos dos posibilidades inicialmente. Focalizar nuestra atención en un tipo de intervención y analizar un conjunto suficientemente amplio de evaluaciones reales para obtener conclusiones susceptibles de generalizar (estudios de casos), es decir, ir de lo particular a lo general; o afrontarlo desde una perspectiva más global e integradora. Elegimos esta segunda opción de manera que, bajo la hipótesis de que el diseño de los modelos y la selección de herramientas son la manera en que las cuestiones conceptuales y metodológicas se materializan en la práctica evaluadora, analizamos los modelos más representativos y las herramientas de recogida y tratamiento de información. Los primeros resultados de esta investigación, respecto de las cuestiones planteadas, nos han llevado a considerar que uno de los elementos claves en la evolución metodológica hacia los nuevos enfoques evaluativos, es la información: la naturaleza de la información relevante y los métodos de recogida y tratamiento de la misma. En el centro de la discusión está la cuestión de la objetividad, tan traída y llevada, si se me permite la expresión, en el campo de la filosofía de la ciencia. Esto es así hasta el punto que es muy frecuente encontrar planteamientos que se centran en la dicotomía entre evaluación cuantitativa y evaluación cualitativa. Desde nuestro punto de vista, la renovación va mucho más allá de un acercamiento a lo cualitativo, como creemos queda demostrado a lo largo de esta tesis, pero no por ello el papel de la cuantificación deja de ser una cuestión muy relevante. La elección de herramientas para seleccionar y tratar la información relevante para la evaluación está en función de la naturaleza de la acción que se pretende evaluar y la naturaleza de la evaluación que se pretende llevar a cabo. Por otro lado, el diseño de la propia actividad evaluadora está fuertemente condicionado por las limitaciones derivadas de la existencia, o no, de información disponible, o de recursos para obtenerla. En este sentido, nuestra tercera hipótesis es que algunos de los elementos característicos del enfoque renovador, evaluación pluralista, pueden ser captados a partir del establecimiento de sistemas de información adecuados. Así, nos planteamos como tercer objetivo de esta investigación analizar las posibilidades que el establecimiento de sistemas de información ofrece a la evaluación pluralista. Focalizamos nuestra

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

atención en este punto en la evaluación de un modelo determinado de intervención: la acción integral centrada en el individuo. Para ello, acudimos una vez más a las fuentes para analizar las herramientas que habitualmente se utilizan en la recogida y tratamiento de la información en diferentes tipos de evaluaciones en sus diversos campos de aplicación, y las características específicas de los sistemas de información para la evaluación de acciones centradas en el individuo. En este punto, también ha sido relevante para nosotros la experiencia de entidades que han afrontado esta tarea desde el campo de la acción en el terreno, así como la de otros centros de investigación. Así mismo, nuestra propia experiencia investigadora, dado que fue objeto de un primer acercamiento a la cuestión en la tesis de licenciatura. El cuarto objetivo de nuestra investigación tiene carácter aplicado. Se trata de diseñar y experimentar un sistema de información útil para la evaluación de acciones y entidades que se ocupan de realizar acciones centradas en el individuo. Para ello, hemos contado con la colaboración del Centro de Inserción Sociolaboral Valdocco, entidad en la que se ha puesto en marcha el sistema, que trabaja desde hace veinte años en una zona especialmente conflictiva de la Ciudad de Huelva. Los aspectos metodológicos de esta aplicación son también fruto de nuestra colaboración con el centro de investigación MTI@SHS (Méthodes de Traitement de l'Information appliquées aux Sciences de L'Homme et de la Société) de la Universidad del Franco Condado (Francia) con el que trabajamos en proyectos conjuntos desde 1993 en el marco de diversos proyectos de ámbito comunitario. El antecedente del sistema de Gestión, Evaluación y Seguimiento de Acciones (GEYSA) que hemos puesto en marcha en el Centro de Inserción Sociolaboral Valdocco se remonta a una investigación preliminar en la que comenzamos a trabajar en 1996 para la definición y experimentación de un sistema de seguimiento y evaluación de los itinerarios de inmigrantes usuarios de la Asociación Comisión Católica Española de Migración (ACCEM), entidad de ámbito nacional. Este trabajo fue asumido en el marco de la tesis de licenciatura. De esta forma hemos tenido la oportunidad de continuar una línea de trabajo que, en aquel momento, se centró en la definición de un conjunto de instrumentos capaces de integrar en el análisis las diferentes dimensiones que configuran el fenómeno de la exclusión social, así como la aplicación de los mismos a una realidad concreta.

Mª JOSÉ ASENSIO COTO.

El Centro de Inserción Sociolaboral Valdocco centra su actividad en el diseño y seguimiento de itinerarios de inserción sociolaboral con individuos en situación o riesgo de exclusión. Las acciones de la entidad, focalizada en el individuo, tienen un marcado carácter integral. También existe una fuerte vinculación con el territorio en el que realiza su intervención, de manera que es uno de los actores más relevantes de la zona. La aplicación del sistema Geysa forma parte de un proyecto más global (Catalyse) que se desarrolla en la actualidad en el marco de la Red Europea de Inteligencia Territorial (REIT) de la que el centro de investigación en el que realizamos toda nuestra tarea investigadora, el Observatorio Local de Empleo de la Universidad de Huelva, es miembro fundador. La REIT es una red de investigación internacional que aglutina equipos de investigación universitarios y actores del territorio que participan en la conceptualización, operativización y difusión de la inteligencia territorial. El objetivo con el que se constituye la REIT es integrar los trabajos de los equipos de investigación, investigadores, actores del territorio y expertos que participen en la emergencia y la difusión de la inteligencia territorial. El centro de investigación MTI@SHS, la asociación ACCEM, y el Centro de Inserción Sociolaboral Valdocco forman parte de dicha red. Catalyse5 desarrolla soluciones metodológicas y técnicas que ponen en ejecución los principios de inteligencia territorial: participación de los usuarios, partenariado de los operadores, aproximación global, calidad y accesibilidad de la información. Estos instrumentos participativos de observación y de evaluación pueden ser utilizados por los actores locales en el marco de proyectos territoriales de desarrollo económico y social sostenible. Nuestro cuarto objetivo se centra, por tanto, en desarrollar y experimentar un dispositivo de observación cooperativa y de evaluación pluralista, sobre la situación socio-económica de los colectivos desfavorecidos en un contexto territorial concreto, orientado por los principios de participación, aproximación global del territorio, partenariado de los actores locales, uso de las

La aplicación de la metodología Catalyse en otro contexto y con contenidos muy diferentes se recoge en Delvoye y Girardot, 2005. Se trata de una aplicación en el marco de una acción de salud comunitaria en Seraing, Bélgica.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

tecnologías de la información y accesibilidad y calidad de la información. Una de las características del conjunto de herramientas Catalyse es su flexibilidad y accesibilidad para los actores que ejecutan las acciones. En el caso del sistema de información Geysa las técnicas estadísticas que proponemos para la evaluación son claras y ágiles, orientadas a facilitar la utilización e interpretación por parte de personal no experto. Las fuentes utilizadas en una y otra parte de este trabajo son de distinta naturaleza. En un primer momento nos han sido de gran ayuda, para un acercamiento al estado de la cuestión en distintos campos de la evaluación, cuatro tesis doctorales de reciente elaboración. En primer lugar, ¿Cómo evaluar programas y servicios públicos? realizada por Xavier Ballart. La obra consultada es la publicación resultante de dicha tesis (1992) por el Ministerio para las Administraciones Públicas. Ballart se centra en la evaluación de programas y realiza una breve, pero clarificadora, presentación de algunos modelos de evaluación. A su vez, aporta luz a la conceptualización general de la evaluación y presenta las opciones metodológicas que en la actualidad imperan en la evaluación de programas. La tesis de Jose María Larrú Ramos: La evaluación de los proyectos de cooperación al desarrollo de las ONGs españolas, presentada en 1999 en la Universidad San Pablo-CEU y publicada en 2000 por esta misma Universidad, nos ha resultado de gran utilidad para comprender la especificidad de la evaluación en ámbitos territoriales diferentes de nuestro entorno inmediato y las formas en que la metodología evaluativa afronta estas cuestiones desde el enfoque pluralista. En este sentido, también es clarificador el artículo del mismo autor: “Empoderamiento y participación en la evaluación de acciones de cooperación al desarrollo: del discurso teórico a la práctica española”, 2003. En tercer lugar, desde el campo de la evaluación de políticas públicas: La evaluación de la política regional: propuestas para evaluar las nuevas políticas regionales, realizada por María Ángeles Díez López en el departamento de Economía Aplicada I de la Universidad del País Vasco y publicada por el Servicio de Publicaciones de dicha Universidad en 2001. En este trabajo, además de los aspectos específicos de las políticas regionales hay

Mª JOSÉ ASENSIO COTO.

dos capítulos que abordan la cuestión metodológica de la evaluación de políticas y la renovación conceptual. La cuarta tesis a la que nos referimos procede del campo de la evaluación educativa. La tesis doctoral de Omar Ramírez: Evaluación comparativa de programas de formación ocupacional (Ramírez, 2002), recoge un exhaustivo análisis del concepto de evaluación. Ha sido nuestro punto de partida para la realización del primer capítulo de esta tesis. Respecto de las monografías, los autores de referencia obligada en materia de conceptualización y metodología evaluativa son Rossi y Freeman, Stufflebeam y Shinkfield, las evaluadoras americanas Guba y Lincoln, M. Scriven, R.S. Weiss y M.Q. Patton. También hemos consultado algunos manuales de evaluación, fundamentalmente relacionados con la evaluación de proyectos sociales. Destaca por su sencillez y claridad Metodología de la evaluación de programas de Francisco Alvira Martín, publicado por el CIS en la colección Cuadernos Metodológicos. El manual de Ernesto Cohen y R. Franco: Evaluación de proyectos sociales sigue siendo de referencia obligada. Otros trabajos publicados en revistas, ya sean impresas o electrónicas, que nos han resultado de gran utilidad para profundizar en cuestiones concretas, son los de Bustelo Ruesta, Fetterman, Pasqual y Escudero Escorza. Para las aplicaciones en contextos diferentes, los trabajos publicados por la Revista Española de Desarrollo y Cooperación, así como las organizaciones internacionales de cooperación. Así mismo, documentos de trabajo de las sociedades de evaluación ya sean nacionales o internacionales que quedan referenciadas en la bibliografía de esta tesis y algunas publicaciones online, fundamentalmente Journal of MultiDisciplinary Evaluation, editada por Michael Scriven y E. Jane Davidson desde el centro de evaluación de Western Michigan University y, en castellano la revista electrónica de investigación y evaluación educativa RELIEVE. La segunda parte de la tesis, eminentemente práctica, se basa en los trabajos del profesor J.J. Girardot del centro MTI@SHS y de otros investigadores de los centros que participan en la REIT. Así mismo, la documentación facilitada por las entidades que actúan en el campo de la acción territorial y colaboran en la experimentación de Catalyse, fundamentalmente ACCEM y Centro de Inserción

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

Sociolaboral Valdocco ha servido de referencia para realizar la parte práctica. Finalmente, los datos necesarios para realizar la evaluación del Centro de Inserción Sociolaboral Valdocco han sido íntegramente obtenidos del sistema de información Geysa. El elemento fundamental del análisis de datos que hemos utilizado en la evaluación del Centro de Inserción Sociolaboral Valdocco es la síntesis obtenida a través del análisis exploratorio que se realiza utilizando técnicas de análisis multivariables. La técnica de análisis multidimensional que hemos utilizado es el Análisis de Correspondencias en el Plano Factorial. La aplicación de esta técnica de síntesis estadística nos ha permitido conservar la multidimensionalidad a lo largo de todo el proceso evaluativo, detectar los factores de organización de los datos, así como las relaciones entre las variables. Hemos podido realizar un análisis global y cualitativo de la información a pesar de tener ésta carácter cuantitativo. En cuanto a la estructura de la tesis, tras esta introducción, comenzamos el capítulo dos acotando nuestro objeto de estudio. Para ello, partimos de la conceptualización de la evaluación desde una triple vertiente. En un primer apartado, realizamos una aproximación desde la evolución de la práctica evaluativa y de la actividad científica que se genera en torno a ella: “aproximación histórica”. En un segundo apartado, analizamos su contenido y alcance a partir de las definiciones que han aportado los autores más relevantes en el campo de la evaluación desde diferentes disciplinas. En un tercer apartado presentamos una taxonomía de la evaluación que entendemos puede ayudarnos a comprender la pluralidad conceptual evidenciada. En el cuarto apartado de este capítulo, tras analizar la relación entre evaluación e investigación, realizamos una propuesta sobre los elementos que definen la evaluación. Finalizamos este capítulo con un quinto apartado en el que abordamos nuestro primer objetivo, es decir, el análisis de las manifestaciones, en el ámbito de la evaluación, del cambio de paradigma en las ciencias sociales, que se materializa en dos grandes tendencias: evaluación clásica y evaluación pluralista. En el capítulo tres abordamos el segundo y tercer objetivo de esta investigación. En un primer apartado: “modelos de evaluación”, sin pretensión de presentar una propuesta cerrada, hemos recogido,

Mª JOSÉ ASENSIO COTO.

clasificado y analizado los modelos evaluativos más representativos. Para ello, guiados por la bibliografía consultada, hemos tomado algunas decisiones previas. En primer lugar, hemos optado por considerar modelo evaluativo en una acepción amplia, de manera que hablamos de aportaciones metodológicas y/o conceptuales que se presentan como propuestas para su utilización en la evaluación en un cuerpo estructurado. En segundo lugar, dado que no tenía sentido para el objeto de este trabajo, elaborar una relación exhaustiva de los modelos evaluativos, hemos seleccionado las aportaciones que se han mostrado más utilizadas y referenciadas, tanto desde la práctica evaluadora, como en la investigación sobre evaluación. Finalmente, como criterio de clasificación, distinguimos dos grandes grupos guiados por los enfoques descritos en el capítulo anterior: modelos de evaluación clásica y de transición; modelos de evaluación pluralista. Finalizamos este apartado con algunas reflexiones y conclusiones derivadas del análisis de los modelos seleccionados, y presentando una aplicación de elementos pluralistas, para el diseño de un sistema de evaluación global participativa, y su aplicación a una acción concreta: el Plan Integral del Distrito V de la Ciudad de Huelva. Dedicamos un segundo apartado de este tercer capítulo a las herramientas para la recogida y tratamiento de la información. Nos referimos, en primer lugar, a las características de la información relevante para la evaluación, y nos centramos posteriormente en las herramientas convencionales y participativas de recogida y tratamiento de la información. Finalizamos este capítulo, con un tercer bloque en el que analizamos el papel de los sistemas de información, para la evaluación de un tipo específico de intervenciones: las acciones centradas en el individuo. Para abordar el último objetivo de esta tesis, diseñar y experimentar un sistema de información útil para la evaluación y el seguimiento de acciones, hemos contado con la colaboración de varias entidades. En el capítulo cuatro, se describen las características del sistema diseñado y el marco institucional en el que se han encuadrado los trabajos necesarios para la realización de esta tarea. Es en el capítulo cinco en el que mostramos los resultados obtenidos de la aplicación del sistema a una entidad concreta, el Centro de Inserción Sociolaboral Valdocco. En el primer apartado

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

mostramos una evaluación de la entidad realizada a partir de la información recogida en el sistema de información. Para terminar el capítulo, realizamos una evaluación del diseño del sistema a partir de la experiencia de cinco años en la propia entidad. Por último, no quisiera terminar esta introducción sin agradecer su colaboración y apoyo a las personas que han hecho posible este trabajo. En primer lugar a la Doctora Manuela A. de Paz Báñez, directora de esta tesis, cuyos consejos, dedicación y paciencia han hecho posible que, por fin, este barco llegara a puerto. Durante todos estos años ha sido para mí un placer aprender con ella a trabajar con rigor, con paciencia y con prisas, que de todo un poco es necesario en esta tarea a la que nos dedicamos. Al profesor Jean-Jaques Girardot que desde el primer momento me ha prestado todo su apoyo y ha contribuido a proporcionarme la formación necesaria para afrontar esta investigación. También quiero agradecerle la celeridad con la que ha dado respuesta siempre a mis llamadas de socorro. Debo agradecer también a Maribel Franco de la Fundación Valdocco toda la colaboración prestada en largas horas de trabajo conjunto. En ningún momento he encontrado dificultad alguna para recopilar toda la información que ha sido necesaria. También quiero hacer extensivo mi agradecimiento a los profesionales de la Fundación Valdocco, sin su aportación hubiera resultado imposible completar esta investigación. Tengo que agradecer a Antonio Moreno que se ha ocupado de las cuestiones informáticas, fundamentalmente el diseño y programación del sistema Geysa. Su capacidad para explicarnos lo que no se puede hacer es sólo comparable a la alegría con la que afronta cualquier tipo de actividad. También Jesús Asensio colaboró en los trabajos de programación de la primera versión del sistema. A él quiero agradecerle que, además de hacerlo bien, lo hiciera con cariño. También, por supuesto, quiero agradecer el apoyo de mis compañeros del Observatorio Local de Empleo, que me preguntaron una y mil veces cómo iba la cosa, se interesaron por cuándo acababa, y me echaron una mano siempre.

Mª JOSÉ ASENSIO COTO.

A mi prima Blanca Miedes, le agradezco su compañía. Saber que siempre está produce una sensación muy agradable en los momentos buenos y los no tan buenos. Por último, y muy especialmente, a mi familia.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

Capítulo 2 Conceptualización A la hora de precisar el contenido y alcance de la evaluación, nos encontramos con una dificultad derivada de la existencia, en la literatura científica especializada, de multitud de definiciones de evaluación. Y éstas no son formas diferentes de definir lo mismo, sino que son formas diferentes de entenderla. Además, encontramos grandes dificultades cuando intentamos clarificar el estado actual de la cuestión, el estado del arte, en esta materia. A nuestro entender, esto es así por diversas razones. En primer lugar, porque el inicio de los estudios científicos en este campo es relativamente reciente. No es hasta el último cuarto del siglo pasado cuando la evaluación se convierte en objeto de estudios científicos de forma generalizada. Aunque es cierto que en algunos campos concretos, fundamentalmente en el de la evaluación educativa, presenta desde sus inicios un gran dinamismo. En segundo lugar, la práctica evaluadora se extiende rápidamente aportando gran cantidad de evidencias empíricas sobre la base de trabajos teóricos que la mayor parte de las veces se realizan desde las necesidades inmediatas de la propia actividad evaluadora. Esto ha dado lugar a una intensa y prolífica producción de documentos metodológicos que de forma no sistematizada presentan enfoques, conceptos, métodos y técnicas desde diferentes disciplinas. La tarea de organización epistemológica y análisis científico de toda esta producción aún no ha sido seriamente emprendida.

Mª JOSÉ ASENSIO COTO.

En tercer lugar, la actividad evaluadora es eminentemente multidisciplinar lo que hace que esta tarea científica tímidamente emprendida se esté realizando desde varias disciplinas de forma independiente. No abundan los trabajos multidisciplinares en este campo. Esto hace que en la bibliografía disponible no exista un lenguaje común, ni tampoco son comunes los puntos fuertes de interés ya que éstos vienen marcados por el lenguaje y los intereses de cada disciplina por separado. A todo ello hay que añadir que el contexto científico y cultural en el que se están desarrollando estos trabajos, tanto los empíricos como los teóricos, es un contexto en fase de transición. Fundamentalmente en el campo de “lo socioeconómico” el enfoque tradicional convive con elementos discordantes que están materializándose en un cambio de paradigma. Esto se refleja en la forma en que es abordada tanto la tarea evaluadora como la tarea científica en torno a ella. En palabras de Díez López “La evaluación es una disciplina teórica en la que conviven diferentes filosofías sobre el papel de la investigación evaluativa, y cada paradigma afecta al sentido y al método de la actividad evaluadora. Pero, además, para complicar aún más esta aproximación al mundo de la evaluación, estas diferentes filosofías han generado una práctica altamente diversificada, donde coexisten experiencias evaluadoras muy diferentes entre sí” (Díez López, 2001:115). El objetivo de este capítulo es delimitar nuestro objeto de estudio. Lo hacemos desde una óptica científica determinada, concretamente desde una forma de entender la disciplina en la que nosotros nos encuadramos: la Ciencia Económica, que ha quedado expuesta de forma sucinta en la introducción. Focalizamos nuestra atención en la evaluación de políticas públicas y la evaluación de proyectos sociales. No obstante, aunque no de forma central, acudiremos a menudo a conceptos y métodos procedentes de la evaluación educativa porque durante mucho tiempo ha estado a la vanguardia de los estudios sobre evaluación desde las ciencias sociales. Evitaremos la evaluación institucional como criterio general, no porque consideremos que carezca de interés tanto metodológico como empírico, sino por focalizar nuestra atención en la finalidad general de este trabajo de investigación. Así, intentaremos acercarnos a la conceptualización de la evaluación desde tres frentes. Partimos de una aproximación

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

histórica en el convencimiento de que un acercamiento cronológico, que considere tanto la evolución de la práctica evaluadora como de la actividad científica que se genera en torno a ella, nos puede ayudar a clarificar su alcance y contenido actual. Posteriormente hacemos un repaso de las diferentes definiciones de evaluación que encontramos en la extensa bibliografía existente al respecto. Y, finalmente buscamos en la clasificación un instrumento clarificador que nos permita recoger y analizar los diferentes aspectos considerados para, en el último apartado, concluir con los elementos que definen la evaluación. 2.1. Aproximación histórica El origen de la actividad evaluadora en el campo de la intervención social y económica y, en general, en el de las políticas públicas, está directamente ligado a la puesta en marcha de políticas sociales y a la intervención pública. Ya sea por la necesidad de conocer los efectos, de controlar y justificar las aplicaciones presupuestarias, o por razones de carácter político ligadas a la defensa de un determinado modelo de Estado que legitima la intervención, a partir de los años cincuenta del siglo pasado la evaluación se desarrolla con profusión fundamentalmente en Estados Unidos para extenderse posteriormente a Europa. El florecimiento de la actividad evaluadora en Estados Unidos está ligado (Rossi y Freeman, 1989:16), en primer lugar, al impulso de la investigación social aplicada desde la década de los treinta del siglo pasado. Fundamentalmente durante la Segunda Guerra Mundial, la Oficina de Información de Guerra empezó a utilizar técnicas de investigación social para evaluar cuestiones como la moral de los soldados, evaluación de personal, de propaganda, evaluar campañas de control de precios o campañas para modificar los hábitos alimenticios de la población. Un segundo impulso se deriva del florecimiento de la intervención pública tras la Segunda Guerra Mundial en asuntos relacionados con la salud, educación, vivienda, etc., que acarreó un notable incremento de los gastos públicos y con ello la necesidad de control y conocimiento de los resultados. El perfeccionamiento de las técnicas estadísticas y el desarrollo de la industria informática contribuyeron de forma muy relevante a la expansión del movimiento evaluativo. Así, el sector público norteamericano es el pionero en la puesta en marcha de forma sistemática de evaluaciones a raíz del éxito de

Mª JOSÉ ASENSIO COTO.

Sistema de Presupuestación y Gestión por Programas en el Departamento de Defensa6, sistema que implicaba, como requisito para aprobar la ejecución de cada programa, la realización de una evaluación ex ante de programas alternativos. De manera que, la elección del programa a implementar es el resultado de la competencia entre diferentes programas bajo el criterio de la contribución de cada uno a los objetivos de la intervención. “El PPBS contribuyó a desarrollar una cultura de análisis y evaluación en relación con el proceso de toma de decisiones políticas que se mantendría hasta nuestros días” (Ballart, 1992:55)7. La intención de este sistema es asegurar la eficacia de la acción mediante la selección basada en las previsiones sobre los efectos del programa aunque también existe intención de control. La evaluación se realiza mediante la medición de resultados previstos de programas alternativos y su comparación antes de la puesta en marcha (evaluación ex ante). Se trata de un método de selección. En un marco en el que la intervención estatal8 es recibida desde algunos sectores con reticencias y escepticismo, la evaluación se torna instrumento necesario para dar credibilidad a los programas; proporcionar información sobre la actividad creciente de la Administración; construir evidencia empírica sobre la que fundamentar el debate y las decisiones políticas, e incluso proporcionar argumentos para fundamentar las críticas. De manera que el interés por la actividad evaluativa es creciente y los esfuerzos por mejorar las técnicas y garantizar su credibilidad y fiabilidad también lo son. Esto se traduce en los años siguientes en un importante desarrollo de la bibliografía especializada. En los años sesenta aparecen numerosos textos y en los setenta proliferan las publicaciones9 especializadas. La expansión e institucionalización de la cultura de la evaluación se produce de forma rápida desde Estados Unidos, Canadá y algunos 6

Programing, Planning and Budgeting System (PPBS).

En Ballart (1992) y Rossi y Freeman (1989) se relata con profusión el desarrollo e institucionalización de la evaluación en EE.UU.

“La progresiva intervención del gobierno federal en áreas como la educación, la salud o el bienestar social podía, en ocasiones, ser interpretada como una incursión abusiva... en el ámbito de actuación de los estados o de las organizaciones privadas” (Ballart, 1992:53).

En Rossi y Freeman (1989:19) se recogen las referencias de las publicaciones más destacadas de los años sesenta y principios de los setenta.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

países europeos como Suecia, Alemania y Reino Unido durante los años setenta; ya en la década siguiente se incorporan a esta institucionalización Dinamarca, Holanda, Noruega y Suiza y, poco a poco al resto del mundo, fundamentalmente a través de las organizaciones internacionales. La Unión Europea recoge en su reglamentación la obligatoriedad de realización de evaluación de todos los proyectos financiados con fondos comunitarios desde 1988. Esto, además de introducir la evaluación en la totalidad de los países miembros, está generando un profuso trabajo de unificación técnica y metodológica, fundamentalmente a través de la Comisión, que se ha ocupado en los últimos años de realizar importantes aportaciones metodológicas y difusión de buenas prácticas. No obstante, es en el campo de la educación donde encontramos las primeras investigaciones relacionadas con la metodología evaluadora, dado que en este ámbito el interés por la evaluación y la propia actividad evaluadora es pionera. Tyler, considerado por muchos el padre de la evaluación educativa, es la referencia fundamental en torno a la que se sitúan las diversas etapas en los análisis diacrónicos que en esta materia suelen remontarse al siglo XIX. Lo que despierta el interés por el desarrollo de métodos de evaluación rigurosos y marca el comienzo de la actividad científica en este campo es la necesidad de conocer los resultados de las acciones educativas sobre los alumnos. Aunque en la mayor parte de la bibliografía que se ocupa de la evaluación de proyectos, programas y políticas es obviada esta circunstancia y sitúan en los años cincuenta del siglo pasado las primeras evaluaciones. En efecto, en el campo de la evaluación educativa, algunos autores10 establecen seis épocas: época de la reforma, que se sitúa a lo largo de todo el siglo XIX; época de la eficiencia y del testing, desde principios de siglo hasta 1930; época de Tyler, de 1930 a 1945; época de la inocencia, hasta 1956; expansión, desde 1957 hasta 1972; y, a partir de 1973 hasta nuestros días, época de profesionalización. En otros autores, la referencia a Tyler es mucho más determinante a la hora de distinguir las etapas de manera que distinguen tres épocas: precedentes, nacimiento y desarrollo. 10

En Escudero Escorza, 2003:12. Escudero hace referencia a Stufflebeam y Shinkfield, 1993; Madaus et al., 1991.

Mª JOSÉ ASENSIO COTO.

Consideran que el nacimiento de la actividad evaluadora coincide con los años que van de 1930 a 1945. Las evaluadoras americanas Guba y Lincoln, en Fourth Generation Evaluation (Guba y Lincoln, 1989), realizan una clasificación no estrictamente diacrónica ya que está centrada en modelos evaluativos dominantes que se solapan a lo largo del tiempo. Estas autoras, desde el campo de la evaluación de políticas públicas, distinguen cuatro generaciones desde el nacimiento de la investigación sobre evaluación hasta la actualidad: - Primera generación: medición. - Segunda generación: descripción. - Tercera generación: emisión de juicios. - Cuarta generación: evaluaciones emergentes en la actualidad centradas en las necesidades de los demandantes y/o sujetos implicados, los stakeholders. En cualquier caso, el nacimiento de la actividad evaluativa hay que enmarcarlo en un movimiento generalizado en las ciencias humanas que desde finales del siglo XIX muestra gran interés por la medición científica de las conductas humanas asumiendo el positivismo de las ciencias físico-naturales. Esta tendencia se produce en todas las disciplinas desde la pedagogía, psicología, sociología y, por supuesto, en la ciencia económica. Escudero destaca este elemento como impulsor, pero lo sitúa en el mismo plano con otras circunstancias que permiten el desarrollo de la evaluación: - El florecimiento de las corrientes filosóficas positivistas y empíricas que introducen la exigencia de rigor científico y objetividad en la medición en todas las ciencias. - La influencia de las teorías evolucionistas. - El desarrollo de los métodos estadísticos que favorecen e incrementan las posibilidades de “lo cuantitativo”. - El desarrollo de la sociedad industrial que potencia la necesidad de seleccionar y acreditar a los individuos. En este contexto comienza a proliferar en los sistemas educativos y también en el campo de la psicología, y de forma incipiente de la salud pública, fundamentalmente en Estados Unidos, una intensa actividad evaluadora centrada en la medición con el objetivo de establecer diferencias entre los individuos para determinar la posición relativa de los sujetos dentro de un grupo. Evaluación y

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

medición son sinónimas y la razón que la impulsa es la selección. El instrumento para realizar estas mediciones es el test, es la época que Stufflebeam, Shinkfield y Madaus denominan testing en la que la evaluación aún no se liga a objetivos. El papel del evaluador en la evaluación-medición es estrictamente técnico ejerciendo esta función como especialista en el uso de instrumentos y conocedor de las técnicas disponibles de medición. Según Guba y Lincoln, esta primera generación, centrada en la medición, permanece todavía viva. Aunque ya en los años veinte surgen las primeras críticas, sobre todo en Francia11, relativas fundamentalmente a la desconexión con los objetivos, no es hasta la aparición de los trabajos de Tyler cuando se produce una verdadera transformación en la actividad evaluadora. Tyler presenta su método sistemático de evaluación como un proceso surgido para determinar en qué medida han sido alcanzados los objetivos previamente establecidos. La referencia central en la evaluación son los objetivos preestablecidos. Las propuestas de este autor transforman la evaluación de manera radical hasta convertirla en un proceso de recogida de información acerca del grado de consecución de unos objetivos previamente definidos. A partir de este momento, son los objetivos los que guían la actividad evaluadora, determinan la elección de las variables a tener en cuenta y constituyen los criterios de valoración para evaluar tanto la actividad educativa como los programas sociales. En el ámbito de las políticas públicas y los programas sociales, “esta segunda generación de evaluaciones concentra sus esfuerzos en identificar y describir las fortalezas y debilidades de las políticas públicas en relación con ciertos objetivos previamente establecidos” (Díez López, 2001: 125). Se trata ya de una evaluación científica que debe servir para perfeccionar la calidad del programa o política evaluada en función del grado de cumplimiento de los objetivos. “La noción de objetivo se erige así claramente en norma de referencia. Con ella deben contrastarse los resultados obtenidos a partir de la medición de los cambios que se han operado en las conductas estudiadas antes y después de la aplicación de una política” (Monnier, 1995:23).

En Francia se inicia en los años veinte una corriente independiente conocida como docimología que supone un primer acercamiento a la verdadera evaluación educativa.

Mª JOSÉ ASENSIO COTO.

Con esta nueva visión, el evaluador continúa manteniendo su función técnica pero, al existir una clara distinción entre evaluación y medida, se amplía su campo de actuación. Ahora la medición es sólo un instrumento del evaluador que además debe describir el proceso evaluado y orientar sus trabajos de la manera que los objetivos le marquen. En los años cincuenta, la evaluación de políticas públicas y programas de intervención social toma el relevo en lo que a innovación metodológica se refiere frente a la evaluación educativa en la que hay que esperar a la década siguiente para encontrar un nuevo impulso en este sentido. Comienza así lo que Guba y Lincoln denominan tercera generación, caracterizada por la emisión de juicios. La proliferación de programas sociales después de la Segunda Guerra Mundial genera una dinámica creciente en la evaluación de programas, fundamentalmente de intervención social. La forma de concebir la evaluación durante este período responde al pensamiento científico aún dominante que se sustenta sobre una filosofía positivista de las ciencias sociales. De esta manera, “se intentó transformar la política en una actividad racional e, incluso, científica y la evaluación en una investigación objetiva que en su aplicación utilizaba el método experimental para evaluar los programas y servicios públicos. Surgió así la idea de la sociedad Experimental y la evaluación basada en la experimentación social” (Díez López, 2001:118). Durante esta década, como hemos afirmado anteriormente, proliferan en Estados Unidos iniciativas públicas de lucha contra la pobreza y fomento del desarrollo y bienestar social, fundamentalmente en las zonas urbanas. Bajo la lógica dominante, en torno a estos proyectos se desarrollan los primeros programas de evaluación de tipo experimentalista12, la experimentación como forma de evaluación, basada en los trabajos de Campbel quien concibe la política como un proceso de experimentación continua y cualificada bajo la dirección de las ciencias sociales. “La política debía parecerse lo más posible a la ciencia” (Ibídem). Las soluciones 12

Entre los experimentos sociales de evaluación más citados en la literatura destacan el programa de Mantenimiento de Rentas Mínimas, el experimento evaluador del Impuesto sobre Rentas Negativas y la evaluación de los Bonos de Vivienda, todos ellos realizados en Estados Unidos durante la década de los cincuenta.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

a los problemas que se plantean en la sociedad se buscan en la racionalidad científica y es ésta la que debe garantizar la correcta implementación de las políticas. En la década siguiente se consolida e intensifica esta nueva dinámica en Estados Unidos. Weiss describe claramente en el párrafo que sigue la visión dominante durante la década de los sesenta: “Existían grandes esperanzas acerca de la racionalidad que la ciencia social traería al mundo desordenado del gobierno. Ofrecería datos duros para la planificación (…) y teorías causaefecto para la elaboración de las políticas; de esta manera, los estadistas conocerían qué variables alterar para producir los efectos deseados. Traería a las valoraciones de políticas alternativas un conocimiento de los costes relativos y de los beneficios, de forma que los responsables de las decisiones podrían seleccionar las opciones de mayor beneficio. Y una vez que las políticas estuvieran funcionando, ofrecería evaluaciones de su efectividad de forma que las modificaciones que fueran necesarias para mejorar su funcionamiento se podrían realizar” (Weiss, 1972 citado en Patton, 1987:6 y 7). Aunque la evaluación de programas y servicios públicos no se generaliza fuera de Estados Unidos hasta los años ochenta, países como Canadá, Noruega o Dinamarca comienzan a introducir estos métodos de evaluación. También, a través de la intervención de organismos internacionales como el Banco Mundial comienza a introducirse en países receptores de ayudas al desarrollo. Esta etapa, la tercera generación, se caracteriza por una ampliación del campo funcional de la evaluación al añadir a la función cognoscitiva, la función normativa. La emisión de juicios sobre el programa evaluado, partiendo de la descripción, forma parte de la actividad evaluadora. Díez López señala la nueva transformación que esto supone sobre el papel del evaluador que además de realizar las funciones técnica y descriptiva, ejerce el rol de juez. Guba y Linconln se refieren a una cuarta generación de evaluaciones que se desarrolla a partir de los años setenta como respuesta a la necesidad de contemplar la existencia de una pluralidad de valores en las sociedades donde se ejecutan los programas o políticas evaluadas. La cuestión de los valores siempre ha estado presente en la evaluación de forma implícita. La nota distintiva según estas autoras es la posibilidad de contemplar el establecimiento de los valores que orientan la evaluación a partir de

Mª JOSÉ ASENSIO COTO.

la negociación entre agentes con concepciones diferentes sobre la acción sometida a evaluación. No obstante, lo que está pasando en la comunidad científica que se ocupa del estudio de la evaluación a partir de los años setenta, va mucho más allá de un cambio de actitud frente los valores. Lo que se observa es una extraordinaria proliferación de modelos evaluativos. En el trasfondo de todo ello hay una renovación metodológica y conceptual de gran calado que aún en la actualidad convive con las concepciones clásicas. Si hay algo que caracteriza la investigación evaluativa en la actualidad es la pluralidad conceptual y metodológica. Esta diversidad se puede atribuir a la pluralidad de campos de aplicación y objetos de evaluación, pero también a diferencias de planteamientos, diferentes concepciones teóricas y metodológicas sobre la evaluación. Escudero Escorza (2003:22 y 23) resalta la apertura que esto supone en lo que se refiere a la selección de la información necesaria para la evaluación y la naturaleza de los resultados a considerar. De manera que encontramos procesos evaluativos centrados en los resultados pretendidos, otros que consideran no sólo los resultados pretendidos sino que también asumen la búsqueda de efectos no deseados de la acción evaluada, e incluso evaluaciones en las que no se tienen en cuenta los objetivos pretendidos. Esta pluralidad se extiende también a las funciones de la evaluación, diferencias en el papel jugado por el evaluador, pluralidad de destinatarios de la evaluación y, por consiguiente, pluralidad en los informes de evaluación. Todo esto confiere gran dificultad a la tarea de conceptualización general de la evaluación. En el siguiente apartado afrontamos esta tarea partiendo, a la luz de lo expuesto hasta aquí, de la existencia de diferentes conceptos de evaluación. 2.2. Aproximación conceptual En términos generales evaluar es “señalar el valor de algo” (RAE) “emitir un juicio de valor sobre un objeto” (Alvira, 1991:8), entendiendo por valor el “grado de utilidad o aptitud de las cosas para satisfacer las necesidades o proporcionar bienestar o deleite” (RAE). Por tanto, es una actividad inherente a cualquier proceso de

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

toma de decisión. Pero muchos autores señalan que es el uso de métodos científicos en la recogida y análisis de la información lo que determina la existencia de la evaluación como disciplina ligada a la investigación aplicada, fundamentalmente, como hemos visto, a partir de la segunda mitad del siglo pasado. En lo que se refiere al campo de aplicación, al objeto evaluado, la evaluación es multidisciplinaria. Ha alcanzado un importante desarrollo en el campo educativo, sanitario, social, económico y, más recientemente, ambiental. Las diferencias que encontramos en la definición de evaluación en la bibliografía especializada responden, en algunos casos, a visiones parciales del proceso evaluativo, de forma que es identificada con una etapa o elemento del mismo. En otros casos responden a la intención del autor de hacer hincapié sobre alguna característica o elemento que considera de vital importancia para su conceptualización. También se dan las diferencias lógicas en función de la disciplina desde la que cada autor se acerca a la actividad evaluadora. Y, finalmente, estas diferencias también responden a la propia evolución de la actividad evaluadora que, como decíamos antes, ha alcanzado un importante desarrollo ampliando tanto su ámbito de aplicación como los propios objetivos. En este apartado hemos partido de una doble referencia. En relación con los contenidos y la naturaleza de la definición que buscamos, Xavier Ballart, en ¿Cómo evaluar programas y servicios públicos? Una aproximación sistemática y estudios de casos (Ballart, 1992), apunta la idea de la ampliación progresiva del ámbito de la evaluación como hilo conductor. De forma que, partiendo del concepto inicial, a medida que se va desarrollando y extendiendo la actividad evaluadora ésta va ampliando su propio contenido. Así, la definición se va ampliando recogiendo los avances en el ámbito de la evaluación. Nosotros nos acercamos aquí a la conceptualización de la evaluación fundamentalmente desde dos ámbitos: la evaluación de políticas públicas y la evaluación de proyectos y programas sociales. En lo que se refiere al esquema seguido aquí, la referencia más directa es el esquema de Omar Ramírez en su tesis doctoral Evaluación comparativa de programas de formación ocupacional (Ramírez, 2002), en la que se recogen cuatro grupos de definiciones de evaluación: definiciones con relación al logro de objetivos; determinación del mérito o valor; la evaluación como proceso de

Mª JOSÉ ASENSIO COTO.

recogida de información para la toma de decisiones; definiciones que recogen las anteriores. Dado que no se trata de una clasificación, sino simplemente una forma de ilustrar las afirmaciones con las que nos vamos aproximando al concepto de evaluación, en algunos casos hemos alterado la posición de la definición respecto de los grupos establecidos por O. Ramírez. 2.2.1. Evaluación centrada en la medición del logro de objetivos En los inicios de los trabajos sobre evaluación de programas, ésta se centra en la medición de los efectos del programa evaluado en relación con el cumplimiento de los objetivos previstos por éste. La evaluación de programas es entendida como “la evaluación de los efectos netos de los programas -es decir, aquellos efectos que no se hubieran producido en ausencia del programa- en relación con los objetivos inicialmente propuestos” (Rossi y Wright, 1984:51). Del mismo modo, en el ámbito de la evaluación educativa, “la evaluación tiene por objeto descubrir hasta qué punto las experiencias de aprendizaje, tales como se las proyectó, producen realmente los resultados apetecidos” (Tyler, 1973:108)13. En ambos casos, los procesos internos al objeto evaluado son ajenos a la evaluación, de forma que éstos son considerados en términos de caja negra. Son sólo las entradas y salidas el interés de la evaluación. De esta forma, se requiere una definición operativa de los objetivos previstos, de forma que el proceso evaluador consiste en la medición de los resultados y su comparación con indicadores previamente establecidos. La evaluación entendida así, en términos de comparación entre resultados esperados y obtenidos, entraña una dificultad y una limitación. La dificultad estriba en identificar con exactitud los cambios en los indicadores elegidos producidos estrictamente por el programa evaluado, es decir, aquellos cambios que no se hubieran producido en ausencia del programa. La limitación radica fundamentalmente en que ignoramos los posibles efectos no previstos.

Tomado de Ramírez, 2002:99.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

2.2.2. Evaluación ligada a la finalidad Como decíamos más arriba, el objetivo que se persigue en todo proceso evaluador es emitir un juicio de valor. En términos de comparación de objetivos/resultados, se identifica la evaluación con el “acto de comparar una medida con un estándar y emitir un juicio basado en la comparación” (Mager, 1973:20)14. No obstante, lo que caracteriza a la evaluación es que este juicio de valor tiene carácter finalista. En este sentido, encontramos multitud de autores que hacen hincapié, a la hora de intentar precisar la naturaleza de la actividad evaluadora, en el objetivo que se persigue. En términos generales, “la evaluación lleva consigo la manipulación de hechos y argumentos con el fin de valorar o determinar la conveniencia de algo”15 (House, 1994:134)16. No obstante, en la mayor parte de las definiciones encontramos alusiones, de forma más o menos directa, a la toma de decisiones como fin último de la evaluación. En este caso diríamos que persigue “determinar la conveniencia de algo” para tomar decisiones. Así, Cronbach, refiriéndose al caso concreto de la evaluación de programas, define la evaluación como “la recogida y utilización de información con el fin de tomar decisiones respecto a un programa” (Cronbach, 1963:672)17. La misma concepción, centrada en la finalidad, se recoge en Investigación Evaluativa (Weiss, 1972:4): “El propósito de la Investigación Evaluativa es medir los efectos de un programa en relación con los objetivos que se propone alcanzar, como medio de contribuir al proceso subsiguiente de toma de decisiones sobre el programa, y por tanto como medio de mejorar la programación futura”. En general, la actividad evaluadora, como venimos afirmando, es una actividad de carácter finalista y esta finalidad está encaminada a informar la toma de decisiones sobre el programa evaluado. No obstante, con el importante desarrollo de las técnicas de evaluación en sus diferentes campos de aplicación, se ha revelado como una 14

Ramírez la sitúa en el grupo “Determinación del mérito o valor”.

El subrayado es nuestro.

En Ramírez, esta definición y la que recogemos a continuación (Cronbach, 1963:672), ilustran el grupo “proceso de recogida de información para la toma de decisiones”. Tomado de Ramírez, 2002:101.

Mª JOSÉ ASENSIO COTO.

fuente importante de recursos útiles para ir más lejos. Nos referimos a la utilización de los resultados obtenidos en los procesos de evaluación como fuente de conocimiento. Así, a todos los elementos hasta ahora citados: emitir un juicio de valor inspirado en la comparación empírica entre resultados y objetivos para tomar decisiones sobre la actividad evaluada, se añade, también respecto de los objetivos de la actividad evaluadora, el aprendizaje, la adquisición de conocimiento. Así, se define la evaluación como “juicios analíticos que abordan resultados de políticas públicas, organizaciones o programas, que ponen de relieve la fiabilidad y la utilidad de resultados. Su papel es mejorar la información y reducir la incertidumbre” (OCDE, 1997)18. Como afirma Cohen en la introducción de Evaluación de proyectos sociales (Cohen y Franco, 1988:3), la evaluación nos brinda la posibilidad de “aprender de la experiencia”. Del mismo modo, en el Libro Blanco sobre la reforma de la Comisión encontramos la siguiente definición de evaluación: “Juicio de intervenciones según sus resultados, impactos y las necesidades que aspiran a satisfacer. Un proceso en el que las direcciones generales y los servicios se comprometen a identificar lo que se puede aprender para la política y la planificación”19 (CEC, 2001). 2.2.3. Evaluación centrada en el proceso de recogida de información Dado que se trata de una actividad de carácter eminentemente empírico, la selección y recogida de información relevante para la evaluación, para emitir un juicio de valor, juega un papel central en la actividad evaluadora. Tan es así, que en muchos casos, fundamentalmente en el caso de evaluaciones externas a las que más adelante nos referiremos con detalle, encontramos una total identificación entre una y otra actividad. De manera que es habitual encontrar textos en los que se define la evaluación como la selección y recogida de información: “Evaluación es el proceso de obtener información y usarla para formar juicios que a su vez se utilizarán para la toma de decisiones”20 (Tenbrink, 1981:22)21. En relación con

Tomado de Mairate, 2003:49.

El subrayado es nuestro.

En la misma línea, Davis la define como “el proceso de delimitar, obtener y facilitar información útil para tomar decisiones y hacer juicios” (Davis, 1981:49).

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

la evaluación de programas, siguiendo la misma línea, Herman, Morris y Fitz-Gibbon22 entienden que evaluar un programa consiste en “recoger información, de forma sistemática, sobre cómo opera un programa y sobre los efectos que pueda tener”. Cesáreo Amezcua (Amezcua, 1996:2) destaca el hecho de que evaluar es comparar, ya sean objetivos con resultados o situación inicial con situación final, sobre la base de la observación. La observación es, por tanto el elemento sobre el que se asienta cualquier proceso evaluativo. De ahí, la especial relevancia del papel que juega la recogida de información. Esto trae como consecuencia, en primer lugar, confusión, ya que nos puede llevar a entender que evaluar es recoger información, lo que es claramente una forma de visión parcial del proceso evaluativo. En segundo lugar, la validez de los resultados de la evaluación va a estar estrechamente ligada al rigor en la recogida y tratamiento de información, al método. 2.2.4. Evaluación ligada al método La siguiente definición incluye todos los elementos considerados hasta aquí haciendo especial hincapié en el rigor que debe garantizar el método en la recogida de la información: “es un proceso continuo ordenado y sistemático de recogida de información cuantitativa y cualitativa que responde a ciertas exigencias –válida, dependiente, fiable, útil- obtenida a través de diversas técnicas y diversos instrumentos que después de ser comparadas con criterios previamente establecidos nos permite emitir juicios de valor fundamentados que faciliten la toma de decisiones que afectarán al objeto evaluado” (Jiménez, 2001). A medida que el ámbito de la evaluación se va ampliando y va más allá de una forma de recoger información para tomar decisiones, la cuestión del método va tomando mayor relevancia: “Utilizar los métodos de investigación de las ciencias sociales para apreciar los efectos reales de una política, una vez que ésta ha sido aplicada” (Nioche, 1982:21). La insistencia en el uso de métodos de investigación se recoge también en la siguiente definición que lo sitúa como uno de los tres elementos definitorios de la actividad evaluadora: “Evaluación 1. 21

Tomado de Ramírez donde ilustra el cuarto grupo “Definiciones que recogen las anteriores”. Herman, Morris y Fitz-Gibbon, 1987.

Mª JOSÉ ASENSIO COTO.

Valora la eficacia de un programa en funcionamiento, en alcanzar sus objetivos, 2. Se basa en los principios del diseño investigativo para distinguir los efectos de un programa de aquellos de otras fuerzas operando en una situación determinada, y 3. Se dirige a mejorar el programa a través de la modificación de las operaciones corrientes” (Wholey et al., 1975:23). 2.2.5. Evaluación ligada al estudio del cambio Como venimos afirmando, junto al objetivo general de mejorar la calidad de los programas o proyectos, y ligado a éste, un segundo objetivo ha ido formando parte de la razón de ser de la propia metodología evaluativa: demostrar la utilidad de la intervención evaluada. Y, tanto el aprendizaje como los juicios de valor que nos proporciona la evaluación se sustentan sobre la observación, medición y análisis de los efectos operados sobre la realidad que la intervención está dirigida a transformar. Así, Ruthman define la evaluación como “Proceso de aplicar procedimientos científicos para acumular evidencias válidas y fiables sobre la manera y grado en que un conjunto de actividades especificas producen resultados o efectos concretos” (Ruthman, 1977)23. Esto ha llevado a centrar la actividad evaluadora en el análisis del cambio. La metodología se ha desarrollado como un instrumento para medir la eficacia en función de los cambios operados. En este sentido, algunos autores señalan que esta circunstancia lleva a olvidar otras cuestiones relevantes por no poder ser evaluadas dentro de este esquema. Así, fundamentalmente en el campo de la evaluación de proyectos de desarrollo, se han ido aportando distintas soluciones metodológicas para eliminar el sesgo hacia los resultados. Los nuevos enfoques que se derivan de esta actitud, ponen especial hincapié en la importancia de procesos como la participación, el aprendizaje, la retroalimentación y el desarrollo de capacidades. “Es necesario devolver a la evaluación su primitivo objetivo dirigido a mejorar las intervenciones como acercamiento más adecuado de cara al seguimiento y evaluación del desarrollo” (Díaz Puente, 2003:4). En el capítulo siguiente profundizaremos en el análisis de los diferentes enfoques metodológicos derivados de esta actitud. En cualquier caso, todos ellos implican la evaluación

Tomado de Franco Ligenfert, 2001:29.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

global de todos los procesos involucrados en la implementación del proyecto o programa a evaluar. 2.2.6. Evaluación global La definición de Herman, Morris y Fitz-Gibbon que hemos reproducido en el apartado 2.2.3, ya no sólo se centra en la comparación de las salidas, sino que se fija también en cómo opera el programa evaluado. Del mismo modo, Marvin y Hedrik hacen hincapié en la forma en la que se logran los resultados: “la evaluación de programas consiste en la valoración sistemática de cómo un programa está alcanzando los objetivos establecidos en la legislación autorizante” (Marvin y Hedrik, 1974:328). De manera que, en la evaluación global, son objeto de evaluación cada uno de los elementos y/o etapas del proceso, la forma en la que las actividades se están desarrollando, las dinámicas implicadas en las mismas. Esto significa la necesidad de establecer mecanismos de realimentación entre el proceso evaluador y el evaluado, contribuyendo así al aprendizaje, corrección de desviaciones y enriquecimiento de todos los actores implicados en la actividad evaluada. La evaluación global significa: “La aplicación sistemática de procedimientos de investigación social para valorar la conceptualización y diseño, implementación y utilidad, de los programas de intervención social” (Rossi y Freeman, 1985:19-20). “Un examen independiente y objetivo del contexto, los objetivos, las actividades, los resultados y los medios desplegados, con vistas a extraer lecciones que puedan ser de más amplia aplicación" (MEANS, 1999). “La evaluación es un medio para saber de dónde arranca, por dónde pasa y dónde termina una actividad. Esto se hace por medio de tecnologías validadas de medición, arrojando resultados de gran valor especialmente para quieres tienen la responsabilidad de planificar y adoptar decisiones que afectan a colectivos” (Amezcua, 1996:2). A todo lo anterior habría que añadir, siguiendo a Escudero Escorza (2003:22) que las diferentes formas de definir, y por tanto, de entender la evaluación responde a diferentes ópticas generales y que se materializa en la existencia de diferentes criterios para la valoración de la información.

Mª JOSÉ ASENSIO COTO.

Desde la óptica de la consecución de metas, el criterio fundamental es una buena y operativa definición de los objetivos. Desde la perspectiva de las decisiones y situados dentro de un contexto político, algunos autores como Stufflebeam y colaboradores, Alkin y MacDonald llegan a sugerir incluso la no valoración de la información por parte del evaluador, siendo el que toma las decisiones el responsable de su valoración. Las definiciones de evaluación que acentúan la determinación del «mérito» como objetivo de la evaluación, utilizan criterios estándares sobre los que los expertos o profesionales están de acuerdo. Se trata de modelos relacionados con la acreditación y el enjuiciamiento profesional (Popham, 1980). Los autores (Stake, 1975; Parlett y Hamilton, 1977; Guba y Lincoln, 1989; House, 1973) que acentúan el proceso de evaluación al servicio de determinar el «valor» más que el «mérito» de la entidad u objeto evaluado, abogan porque el criterio de valoración fundamental sean las necesidades contextuales en las que ésta se inserta. Así, Guba y Lincoln (1989) refieren los términos de la comparación valorativa: de un lado, las características del objeto evaluado y, de otro, las necesidades, expectativas y valores del grupo al que les afecta o con el que se relaciona el objeto evaluado. Gráfico 1. Criterios evaluativos.

Fuente: SIDEC, 2000:9.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

En definitiva, lo que caracteriza a la evaluación es la emisión de juicios de valor basados en una observación con los únicos requisitos de fiabilidad y validez. La fiabilidad está ligada al rigor en el método y la validez a la credibilidad y a la utilidad de la propia evaluación, lo que requiere una determinada presentación de resultados en tiempo y forma. La condición necesaria es producir información útil para mejorar las futuras intervenciones. La evaluación es un “instrumento de reflexión sobre la eficacia global de las intervenciones públicas” (CIDEC. 2000:9). 2.3. Tipología Hasta ahora hemos mostrado cómo ha ido evolucionando la actividad evaluadora y cómo esta evolución se manifiesta en diferentes formas de entender el propio concepto de evaluación. Para entender esta pluralidad conceptual, creemos que es útil presentar una taxonomía de la evaluación en la que también encontramos diversidad. Cada evaluación debe ser diseñada para el proyecto o programa concreto a evaluar, de manera que, en función de las características de éste y el objetivo con el que se evalúa será necesario aplicar un tipo u otro de evaluación. La tipología está relacionada con el tipo de pregunta que la evaluación pretende contestar, los objetivos de la misma y el criterio de valor a utilizar. Todo ello condiciona el diseño de la evaluación. En la literatura especializada encontramos diversas clasificaciones que responden a criterios diferentes. 2.3.1. En función de la extensión de la evaluación respecto de la totalidad del programa evaluado. ¿qué se evalúa? Rossi y Freeman (1989:25) distinguen tres clases de investigación evaluativa: “el análisis relativo a la conceptualización y el diseño de las intervenciones, la verificación de la puesta en marcha del programa y la valoración de su utilidad”, a las que añade un cuarto grupo de evaluaciones que incluyen estas tres actividades: las evaluaciones integrales. La extensión de cada evaluación va a depender del grado de evolución del programa evaluado y del propósito específico de cada evaluación. Por esto, en algunos textos encontramos esta misma clasificación, con ciertas variaciones, vinculada a criterios de clasificación diferentes: el propósito de la evaluación (para qué se evalúa); grado de ejecución del programa (en qué momento operativo se realiza la evaluación); y otras, tal como

Mª JOSÉ ASENSIO COTO.

recogemos nosotros, vinculada al criterio de extensión de la evaluación (qué se evalúa). a) Evaluación de la conceptualización y el diseño La evaluación de la conceptualización y diseño está directamente vinculada al origen mismo de la existencia del programa o proyecto a evaluar. Cualquier tipo de intervención se deriva de la existencia de un problema y la intención de realizar acciones para resolverlo. Por tanto, éste es un tipo de evaluación que mira hacia la realidad que se quiere transformar, toma como referencia el resultado que se pretende obtener y analiza las posibilidades de éxito de la intervención planeada. En ocasiones, se incluye como paso previo a este tipo de evaluación, o como primera etapa dentro de ella, la evaluación de necesidades. La evaluación de la conceptualización y el diseño se completa con la evaluación de la evaluabilidad del proyecto. Evaluación de necesidades Se ocupa de identificar, seleccionar y priorizar los problemas, población y/o territorios sobre los que se va a intervenir. Se trata en definitiva de aplicar la metodología evaluadora a la elaboración de un diagnóstico sobre el que se apoye el diseño de la intervención. Cuando el elemento territorial juega un papel central, hablamos de evaluación del contexto. Por tanto, el objeto de la evaluación es la realidad objeto de intervención con el objetivo de “conocer el alcance del problema y sus características básicas para poder hacerle frente”. La evaluación de necesidades debe ser el punto de partida de la conceptualización y diseño del programa de intervención. La evaluación de necesidades no siempre compete a los evaluadores dado que, en muchos casos, la propia existencia del programa se sustenta sobre un diagnóstico previo. En función del campo de actuación en el que se desenvuelva el programa, este diagnóstico está mucho más cercano a la investigación que a la propia evaluación. Evaluación del diseño La evaluación del diseño se centra en el análisis de las estrategias del programa y los procedimientos que éste establece en aras de la consecución de sus objetivos, así como los medios, recursos, etc., que se ponen a disposición del mismo. El objetivo es garantizar que exista:

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

- Correspondencia de las acciones diseñadas con la extensión y localización de los problemas que desea solucionar. - Disponibilidad de recursos humanos y financieros. - Correspondencia entre la asignación de recursos prevista y las prioridades de la acción. - Búsqueda de posibles alternativas que generen un impacto agregado superior. Evaluación de la evaluabilidad Alvira añade la necesidad de realizar una evaluación previa de la evaluabilidad del programa, es decir, analizar la capacidad de evaluar la intervención en función de las características de su diseño. El objetivo de la evaluación de la evaluabilidad es asegurar que la definición tanto de los objetivos, como de las actuaciones, aplicación de medios y organización del proyecto contribuye a la posterior evaluación del mismo, evitando así, ya sea la imposibilidad de evaluarlo o bien un excesivo esfuerzo a la hora de hacerlo. De manera que, en función de los diferentes criterios clasificatorios mencionados al principio, el propósito de la evaluación de la conceptualización y el diseño es conocer el alcance del problema y sus características básicas para poder hacerle frente; garantizar la coherencia interna del programa; y facilitar la posterior evaluación del mismo. Respecto del grado de ejecución del programa, el momento para evaluar, lo aconsejable es realizar la evaluación de la conceptualización y el diseño antes de la puesta en marcha de la intervención (evaluación ex ante) y, finalmente, respecto de la extensión de la evaluación, ésta debe contemplar el diagnóstico o evaluación de necesidades, la racionalidad interna del proyecto y su viabilidad lógica y económica. b) Evaluación de la ejecución Se trata de evaluar la marcha del programa. Contempla fundamentalmente elementos relacionados con el funcionamiento interno, pero también permite constatar, en función del tipo de programa, la consecución de objetivos parciales, posibles desviaciones en el impacto, cobertura, etc. El objetivo es, por tanto, detectar las posibles discrepancias de procedimiento entre lo proyectado y lo implementado para tomar decisiones correctoras.

Mª JOSÉ ASENSIO COTO.

También para detectar debilidades o posibles desviaciones respecto de los objetivos previstos, en cuyo caso se pueden corregir incidiendo sobre los procesos o estrategias implicados en esas desviaciones. Alvira (1991:40 y ss.) recoge tres tipos de evaluación que se corresponden con tres formas diferentes de evaluar la ejecución de un programa: evaluación de la implementación; evaluación de la cobertura y monitorización y seguimiento del programa. Evaluación de la implementación Se centra en el análisis de la implementación del programa evaluado que, según recoge Alvira (1991:39), implica la realización de las siguientes tareas: “Descripción resumida de qué es lo esencial en un programa de intervención”... según los documentos en los que se recoge su diseño. “Recogida empírica de información sobre estos elementos clave que constituyen el programa, cómo se aplican, cómo funcionan, etc. Comparación del programa en sus partes constitutivas esenciales tal y como estaba diseñado en la teoría y tal como funciona realmente deduciendo si la implementación es o no adecuada.” Evaluación de la cobertura La evaluación de la cobertura se ocupa de constatar en qué medida las acciones que se están desarrollando en el seno del programa evaluado están llegando a la población definida como población objeto del mismo. El análisis de la cobertura implica comprobar si las acciones en marcha llegan o no a la población objeto y en qué medida. También, es objeto de la evaluación de la cobertura, comprobar posibles desviaciones en relación con ésta como sobrecobertura o sesgo en la misma (está llegando a otra población). Dentro de la evaluación de la cobertura es también necesario el análisis de la accesibilidad (conocimiento del programa por parte de la población objeto, accesibilidad física, aceptación...). Monitorización y seguimiento del programa Una forma cada vez más habitual de realizar la evaluación de la ejecución de programas, fundamentalmente en los casos en los que éstos no adquieren una gran magnitud o se realizan en unidades pequeñas de ejecución, es la monitorización de programas. Consiste básicamente en el establecimiento de un sistema continuo de

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

seguimiento y control de las actividades y acciones que conllevan la realización del programa y el análisis periódico de la información que este sistema genera. Este tipo de evaluación permite establecer un mecanismo de realimentación que detecte y corrija desviaciones o disfuncionalidades durante la marcha del propio programa. En definitiva, el propósito de la evaluación de la ejecución es emitir juicios de valor sobre el funcionamiento del programa para tomar decisiones que corrijan o mejoren los procesos y acciones puestas en marcha. Respecto del grado de ejecución del programa, lo habitual es realizar la evaluación durante la implementación del mismo, ya sea mediante una evaluación continua, como es el caso de la monitorización, o simplemente mediante una evaluación intermedia. c) Evaluación de la utilidad La evaluación de la utilidad, se ocupa de emitir juicios de valor sobre los logros del proyecto o programa evaluado. La evaluación se extiende, por tanto, a los efectos de la intervención -ya sean éstos positivos o negativos, previstos o no- y al alcance de los mismos, es decir, a qué población o territorios ha afectado y en qué sentido y medida. El tipo de evaluación de la utilidad que cuenta con más tradición es la evaluación centrada en el logro de objetivos. No obstante, en los comienzos de la actividad evaluadora, como hemos reseñado al principio, ésta se limitaba a comparar resultados con efectos deseados o previstos. Y en la actualidad, la tendencia es a ampliar la evaluación de la utilidad a los procesos de aprendizaje que el propio proyecto genera. Tradicionalmente, se suelen identificar tres tipos de resultados: cambios en la población objeto o usuarios del programa (eficacia); efectos sobre población o elementos no directamente identificados como objeto de intervención (impacto); y resultados económicos (eficiencia). Evaluación de resultados Se trata de analizar los cambios producidos sobre la población objeto de intervención a causa de la puesta en marcha del programa evaluado. El problema básico de este tipo de evaluación es la atribución de los efectos al programa, es decir, distinguir de entre los cambios observados, aquellos que se derivan de la puesta en

Mª JOSÉ ASENSIO COTO.

marcha del programa y los que se hubieran producido en ausencia de él. Por tanto, la evaluación de resultados tiene por objeto emitir juicios de valor relativos a la eficacia o efectividad de programa. Siguiendo a Mairate, la “medición de los efectos del programa sobre los objetivos iniciales es un indicador clave del éxito o fracaso del programa”. Se deben incluir efectos directos e indirectos así como los previstos y no previstos. ¿Se han producido cambios en la dirección establecida por los objetivos? ¿se pueden medir estos cambios? “Una parte esencial de la evaluación de la eficacia es demostrar que los cambios detectados se han producido a causa del programa” (Mairate, 2003:68). Evaluación de impacto Se ocupa de evaluar los efectos producidos sobre el entorno en el que se desarrolla el programa. La diferencia entre evaluación de resultados y evaluación de impacto no siempre está clara. La clave está en la población objeto. En la evaluación de resultados se analizan los efectos del programa sobre los usuarios del mismo y sólo sobre ellos. En el caso de la evaluación de impacto, el objeto de análisis de la evaluación son los efectos que se han producido sobre una población más amplia que abarca, según el caso, una comunidad, ciudad, o un grupo de población definida con unas características, en definitiva, el entorno del programa. El problema básico de la evaluación de impacto es la delimitación de la extensión (temporal, espacial, poblacional) que debe abarcar el análisis. En los casos en los que la evaluación se ocupa de todos los efectos posibles y no sólo de los objetivos deseados, la evaluación de resultados puede llegar a confundirse con la evaluación de impacto. Evaluación económica Se trata de analizar la eficiencia económica del proyecto o programa evaluado. Esto implica en primer lugar, verificar que la inversión y gastos previstos se han aplicado en todos sus apartados. En segundo lugar, realizar análisis de rentabilidad, ya sea estrictamente monetario (coste/beneficio) o no (coste/eficacia). En la evaluación económica, por tanto, el centro del análisis es la relación entre los costes del proyecto y el valor económico de los resultados obtenidos. El problema básico de este tipo de evaluación es la valoración monetaria de los efectos del programa. La

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

evaluación económica requiere el paso previo de la evaluación de resultados y la valoración monetaria de éstos, para culminar con la evaluación económica propiamente dicha, habitualmente utilizando el análisis coste/beneficios. d) Evaluación integral La evaluación integral cierra la clasificación propuesta por Rossi y Freeman. Se trata de extender la evaluación a todas las fases de ejecución del programa, desde el diseño, hasta los últimos resultados. Implica la realización de los tres tipos de evaluación anteriores de manera que la evaluación acompaña a la planificación e implementación en todas sus etapas. Gráfico 2. Esquemas evaluativos.

Mª JOSÉ ASENSIO COTO.

Alvira recoge los dos esquemas que reproducimos en el gráfico 2 para ilustrar dos formas de entender la posición de la evaluación en el conjunto del programa. En el esquema A, el programa se desarrolla linealmente y la evaluación se ocupa sólo de los resultados finales del mismo. En el esquema B se ilustra lo que sería un sistema de evaluación integral en el que la evaluación se realiza sobre cada una de las etapas, rompiendo así la linealidad, al existir interacciones entre las evaluaciones de cada etapa y la propia implementación del proyecto. Cada tipo de evaluación hasta aquí descrito responde a necesidades diferentes, por lo que la elección de una modalidad u otra dependerá de los requerimientos de la entidad que solicite la evaluación. El primer criterio para seleccionar la más adecuada es la utilidad para dicha entidad. No obstante, en cada disciplina existe una mayor tradición por un tipo u otro ligada a la historia de la propia disciplina. Alvira destaca en este sentido que: - El análisis coste/beneficios procede de las ciencias económicas. - El análisis de la implementación de las ciencias administrativas y políticas. - La evaluación de resultados de la psicología, sociología y pedagogía. - La evaluación de impacto, primero de la ingeniería y luego del conjunto de las ciencias sociales. Finalmente, Alvira insiste en la necesidad de contemplar una jerarquización lógica entre las diferentes tipologías de evaluación: - “La evaluación económica presupone la evaluación de resultados; - ésta presupone la evaluación de la implementación, y - en principio no debería realizarse ninguna de las tres sin una evaluación de la evaluabilidad. - Del mismo modo que no debería intervenirse sin una previa evaluación de las necesidades”. 2.3.2. En función del momento en el que se realiza la evaluación: ¿cuándo se evalúa? En la tradición económica, el criterio de clasificación más utilizado es el que se establece en función del momento operativo, del

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

proyecto o programa objeto de evaluación, en el que se realiza la evaluación. a) Evaluación ex ante La evaluación ex ante o evaluación previa se realiza antes de la puesta en marcha del proyecto, por tanto, su alcance está limitado, el objeto de evaluación no puede ser más que la conceptualización y el diseño del mismo. El propósito de la evaluación realizada ex ante está relacionado en algunos casos con la puesta en marcha o no el programa evaluado, o bien para seleccionar un proyecto de entre un grupo a partir de la jerarquización o clasificación que la evaluación nos proporcione (es el mejor de los propuestos, es el que más se adecua a la situación concreta a la que va dirigido). Además, la evaluación previa a la puesta en marcha se realiza para garantizar la coherencia interna del proyecto como vimos en el apartado que hemos dedicado a la evaluación del diseño. b) Evaluación intermedia Se realiza durante la ejecución del programa o proyecto evaluado. En la literatura especializada, habitualmente se identifica la evaluación intermedia con la que se realiza en un momento determinado durante la fase de ejecución del programa evaluado a modo de corte transversal. En función de la duración del mismo, se realiza esta evaluación intermedia una o varias veces, para detectar posibles desviaciones. La evaluación intermedia mira hacia delante a partir de la experiencia adquirida en el transcurso del proyecto. c) Evaluación ex post La evaluación ex post o evaluación final, se realiza transcurrido un tiempo desde la finalización del programa evaluado. La evaluación final mira hacia atrás para evaluar tanto eficiencia como eficacia, e impacto. Es el momento de la evaluación de la utilidad del proyecto para tomar decisiones relativas a futuros proyectos. Volver a ponerlo en marcha tal y como se concibió, mejorarlo en próximas oportunidades o simplemente abandonar esa línea de trabajo. En definitiva, la evaluación ex post informa la toma de decisiones a futuro.

Mª JOSÉ ASENSIO COTO.

d) Evaluación continua Algunos autores identifican la evaluación continua con la concatenación de evaluación ex ante, intermedia y ex post en los diferentes momentos operativos del programa evaluado. A nuestro entender esto es un error. Este tipo de evaluación es un proceso continuo que corre paralelo en el tiempo con la implementación del proyecto evaluado. Puede ser complementada con una o varias evaluaciones intermedias, sustentarse sobre una evaluación previa y completarse con una evaluación final, pero constituye un proceso evaluador de diferente naturaleza. Gráfico 3. Evaluación continua.

Fuente: Mairate, 2003: 69.

Otra fuente de confusión se produce cuando se identifican evaluación de proceso y evaluación continua. La diferencia estriba en que responden a criterios diferentes. La evaluación continua es una forma de evaluar respecto del tiempo del proyecto evaluado. El criterio sobre el que se define, es el tiempo. Por el contrario, la evaluación de proceso se define en función de los elementos del proyecto que son objeto de evaluación. En efecto, la evaluación continua es una forma, seguramente la más adecuada, de evaluación de proceso, pero también es posible evaluarlo utilizando

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

otro tipo de técnicas que no necesariamente signifiquen un acompañamiento en paralelo del proceso evaluado. El gráfico 3, tomado de Mairate 2003, ilustra la forma en que se entrelazan las dos clasificaciones que hasta ahora hemos presentado. La referencia son las evaluaciones de los proyectos cofinanciados por los Fondos Estructurales de la Unión Europea. 2.3.3. En función de quién realiza la evaluación, los actores de la evaluación o posición del evaluador: ¿Quién evalúa? Otro criterio habitualmente utilizado para clasificar los diferentes tipos de evaluación se refiere a las personas que realizan la evaluación. En función de la posición del evaluador respecto de la acción evaluada habitualmente se distingue entre evaluaciones externas, internas o mixtas. a) Evaluación Externa Las evaluaciones externas son realizadas por personas ajenas a la organización o proyecto evaluado. En general, se considera que los evaluadores externos pueden aportar objetividad, independencia y competencia al proceso evaluador (Ballart, 1992). En efecto, se considera conveniente que sea un evaluador externo por una o varias de las siguientes razones. En primer lugar, es necesario un conocimiento (aspecto técnico) de las metodologías evaluadoras, una cierta especialización y no siempre existe en el seno de la propia organización o proyecto evaluado alguien que responda a esa necesidad. Además de las cuestiones metodológicas, el evaluador puede aportar experiencia y conocimientos adquiridos a partir de otras evaluaciones, contrastar procedimientos, resultados, etc. En definitiva, una mayor competencia que puede contribuir a garantizar la calidad de la evaluación. Una segunda razón aducida para argumentar la necesidad de un evaluador externo está relacionada con la necesidad de garantizar, en la medida de lo posible, la objetividad de la evaluación. El evaluador externo es ajeno a los intereses implicados en el objeto evaluado. Además, la evaluación externa permite una visión más global y alejada del proyecto o programa evaluado. Facilita el espíritu crítico del proceso evaluador. No obstante, la evaluación externa puede acarrear algunos inconvenientes. El principal inconveniente radica en el menor conocimiento sobre el objeto evaluado, los elementos que lo

Mª JOSÉ ASENSIO COTO.

conforman y los procesos internos del mismo. Respecto de la objetividad, el hecho de que el evaluador no se encuentre inmerso en el juego de intereses del proyecto, no garantiza que no tenga intereses propios relacionados con el resultado de la evaluación, intereses derivados, por ejemplo, de la procedencia del encargo y los intereses de la entidad que lo contrata o la propia. “Los riesgos de falta de objetividad e independencia persisten, en la medida que satisfacer al cliente con unos buenos resultados puede ser la única vía de obtener un nuevo contrato” (Ballart, 1992:81). Además, algunos autores destacan que los evaluadores externos tienden a dar más importancia al método que a la realidad que están observando. Habría que añadir, respecto de la actitud del evaluado, que la presencia de un evaluador externo puede despertar suspicacias, reticencias en las personas cuya actividad se está evaluando. Rechazo y/o desconfianza respecto de las intenciones del proceso evaluador. No sólo por los intereses individuales respecto de la calificación de la actividad que uno desarrolla, sino por las posibles resistencias al cambio que el resultado de un proceso evaluador puede generar (cambio en los objetivos, en los procedimientos, etc.) Esto repercute en la calidad de la información, que en este caso es clave, que se ponga a disposición de la evaluación. Finalmente, y al hilo de esto, la dependencia de la información que se recoja específicamente para la evaluación es mucho mayor que en el caso de que la evaluación se produzca desde dentro. En estos casos es más fácil que la evaluación acabe centrándose en los aspectos fácilmente cuantificables, al estar más lejos de la percepción de lo cualitativo. b) Evaluación Interna La evaluación es realizada por personas vinculadas a la organización o proyecto evaluado. El hecho de que el evaluador esté directamente implicado en el programa evaluado reduce las dificultades derivadas de la actitud y de la dependencia de la información. Se mejora la percepción integral y cualitativa del proceso evaluado ya que existe un mejor conocimiento de las dinámicas internas y, por tanto, se elimina la dependencia de lo cuantitativo. Esto facilita la comprensión del programa y de los problemas que se puedan observar. En definitiva, la evaluación interna aporta un mayor conocimiento y mayor colaboración del personal evaluado.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

En la medida en que la evaluación interna sea realizada por las personas que ejecutan la acción o proyecto evaluado, los implicados se convierten en evaluadores, podemos hablar de autoevaluación. En el caso de la evaluación interna, fundamentalmente si es autoevaluación, cobra más importancia el propio proceso evaluador como espacio de reflexión y aprendizaje para las personas implicadas en la buena marcha del proyecto. No obstante, en primer lugar hemos de referirnos a la menor garantía de objetividad que este tipo de evaluación ofrece. La objetividad se pone en duda no sólo por el juego de intereses en el que el evaluador está inmerso, sino también por el conjunto de ideas preconcebidas que, al pertenecer a la organización evaluada, puede tener el evaluador. En definitiva, esto se traduce en una menor capacidad para realizar valoraciones objetivas. A esto habría que añadir que no garantiza que no existan choques de intereses, dado que pueden existir conflictos internos o disparidad de intereses respecto de los resultados de la evaluación en el seno de la propia organización o proyecto. Finalmente, como apunta Ballart (1992:81) es necesario garantizar la libertad del evaluador para evitar que la evaluación interna se convierta en una evaluación/justificación. c) Evaluación Mixta La evaluación mixta se realiza mediante la colaboración de evaluadores externos con miembros del proyecto a evaluar que también hacen el papel de evaluador. La evaluación mixta puede disfrutar de las ventajas de las dos anteriores y eliminar la mayor parte de los inconvenientes. Este tipo de evaluación permite crear sinergias entre la competencia y experiencia técnica del evaluador y el conocimiento de la realidad que se somete a evaluación por parte de los implicados. Al tiempo, permite crear estas sinergias entre dos subjetividades diferentes. Si admitimos que ninguno de los implicados, incluidos los evaluadores, están libres de subjetividad, es enriquecedor para todo el proceso analizarlas y trabajar desde ellas. Esto sólo es posible mediante la evaluación mixta. No obstante, en muchos casos lo que se denomina evaluación mixta no es más que una concatenación de evaluaciones internas y externas. En este caso, se pierden la mayor parte de las ventajas que el trabajo conjunto de la evaluación mixta genera.

Mª JOSÉ ASENSIO COTO.

2.3.4. En función de su finalidad En la literatura especializada es frecuente encontrar la distinción entre evaluación formativa y evaluación sumativa en función de la finalidad que se persigue con la evaluación. Algunos autores (Ramírez, 2002:115) añaden a esta tipología la evaluación diagnóstica que se corresponde con el tipo de evaluación que hemos recogido en el primer apartado como evaluación de necesidades. La finalidad de la evaluación diagnóstica es mejorar el conocimiento de la realidad sobre la que se pretende actuar. a) Evaluación Sumativa La finalidad de la evaluación sumativa es juzgar. Sólo pretende emitir un juicio de valor en sentido positivo o negativo sobre su utilidad. En general, tiene carácter de evaluación final o, en su caso, pretende valorar la idoneidad o no del programa, juzgar un programa con la intención de mantenerlo o hacerlo desaparecer. Es un tipo de evaluación que requiere el transcurso de un cierto intervalo de tiempo desde la puesta en marcha del programa, por tanto, se ha de realizar al final de un ejercicio completo (ex post) y suele ser de carácter estático. Se corresponde, en relación con la extensión de la evaluación respecto de la implementación del programa con la evaluación de resultados cuando ésta se realiza ex post. b) Evaluación Formativa Esta concepción de la evaluación fue enunciada por M. Scriven24 en el campo de la evaluación educativa. La finalidad es ayudar en la implementación, el buen funcionamiento, modificación, etc. del programa evaluado. Implica un seguimiento de las diferentes actividades, de la forma en que éstas se realizan, y de los resultados parciales que se van obteniendo. Se trata, por tanto, de un proceso evaluador dinámico que debe contemplar relaciones de realimentación entre éste y el objeto evaluado de forma que permita corregir posibles desviaciones. En cuanto a las cuestiones o elementos que son objeto de evaluación, la evaluación formativa coincide con la evaluación de la conceptualización, del diseño y de implementación de los programas. 24

Scriven, 1967.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

Clarificadora es también la distinción que hace Scriven entre evaluación intrínseca y evaluación extrínseca, como dos formas diferentes de valorar un elemento de la enseñanza. En una evaluación intrínseca se valora el elemento por sí mismo, mientras que en la evaluación extrínseca se valora el elemento por los efectos que produce en los alumnos. Esta distinción resulta muy importante a la hora de considerar el criterio a utilizar, pues en la evaluación intrínseca el criterio no se formula en términos de objetivos operativos, mientras que sí se hace en la evaluación extrínseca. 2.4. Elementos que definen la evaluación En este punto de la investigación, creemos estar en condiciones de aportar una conceptualización de la evaluación. Tomando como referencia lo expuesto hasta ahora, presentamos en este apartado lo que consideramos caracteriza a nuestro objeto de estudio. No obstante, antes de presentar lo que a nuestro entender son los elementos que definen la evaluación, realizamos una última reflexión sobre la relación entre la actividad evaluadora y la investigadción. 2.4.1. Evaluación e investigación Fundamentalmente cuando se trata de investigación aplicada de carácter empírico, existe una clara asociación (¿confusión?) entre investigación y evaluación. Cesáreo Amezcua aduce principalmente tres razones que explican esta identificación. En primer lugar, porque las herramientas y técnicas para la recogida y tratamiento de la información utilizadas son comunes. En segundo lugar, con la evaluación se pretende aprender desde la experiencia, lo que se corresponde con un tipo concreto de investigación que contribuye al conocimiento desde la experiencia. En tercer lugar, existe un interés común por la descripción y la comprensión de relaciones causales. En definitiva, tanto en relación con el método como al contenido, evaluación e investigación se identifican una con otra, “lo que identifica a la evaluación no es el método ni su contenido, sino su propósito” (Amezcua, 1996:5). No obstante, es conveniente matizar estas afirmaciones. Es el propósito lo que condiciona todo el proceso evaluativo, y en muchos casos el propósito de la evaluación no es adquirir conocimientos, sino su utilización para tomar decisiones. Esto tiene

Mª JOSÉ ASENSIO COTO.

implicaciones directas sobre la evaluación que no se dan en el caso de la investigación. Por un lado, en lo que se refiere al método, lo que caracteriza a la investigación es el método científico que sólo es condicionado por la necesidad de adquirir conocimiento. El diseño de la investigación puede requerir una serie de controles que sean contraproducentes para la evaluación. La necesidad de uso práctico de la evaluación marca, por ejemplo, los tiempos. En el caso de la actividad científica, los tiempos vienen marcados por las necesidades que, en aras de la garantía científica, debe satisfacer el método. En la evaluación, el ritmo lo marca el objeto evaluado, dado que tiene que tener una utilidad inmediata y el grado de inmediatez va en función del ritmo del programa evaluado. El tiempo condiciona todo el diseño de la evaluación. No se elige el mejor desde el punto de vista científico, sino el útil en relación con el uso de los resultados para la toma de decisiones. La diferencia en la finalidad también tiene consecuencias sobre la implicación de las partes. El papel del evaluador es diferente al del investigador. En el diseño de la evaluación, las personas o entidades a las que va dirigida influyen directamente en el tipo de información, forma de recogida, métodos, etc. También en la puesta en marcha y desarrollo del proceso evaluativo la participación de los implicados es imprescindible para lograr que los resultados sean útiles. En definitiva, el hecho de que el propósito sea el elemento fundamental que distingue al proceso evaluador afecta al método y, por tanto, sí existen diferencias con relación a él. Por otro lado, en lo que se refiere al contenido, lo que caracteriza a la evaluación es la emisión de juicios de valor basados en la observación con el único requisito de fiabilidad y validez. Esto no siempre requiere o permite el análisis con profundidad de las dinámicas internas al proceso evaluado. No obstante, es cierto que en el caso de evaluaciones globales, en las que se realiza un seguimiento completo de todos los procesos implicados en el programa evaluado, sí existe ese interés por la descripción y la comprensión de las relaciones causales al que hemos aludido. Es en este caso en el que muchos autores identifican investigación con evaluación.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

A todo lo anterior habría que añadir que “la evaluación requiere emitir un juicio de valor, mientras que la investigación, aún siendo aplicada, no lo requiere” (Alvira, 1991:7). En definitiva, la evaluación se sustenta sobre teorías científicas pero no las produce. Puede contribuir de forma muy interesante a la tarea científica, fundamentalmente en el caso de las ciencias sociales en el que no es posible la experimentación. Los resultados de la evaluación pueden ser una fuente interesante para la investigación. Aun en el caso en que se identifique investigación con empirismo como hacen autores como Segone: “la investigación es un proceso de aprendizaje que se basa en desarrollar, explorar y probar hipótesis y/o teorías por medio de la observación y la medición de la realidad” (Segone, 1998:17); no existe identificación investigación-evaluación ya que esta última no se ocupa de probar hipótesis o teorías científicas. Trochim (1996) destaca el papel de la responsabilidad en el caso de la evaluación como uno de los elementos básicos de distinción entre evaluación e investigación. Este autor establece tres interrogantes que pueden ser tratados por la investigación: descriptivos, de relación o de causa. En el primer caso, los descriptivos, el estudio básicamente describe la realidad. En el segundo, la ciencia se ocupa del estudio de las relaciones entre variables. Para responder a los interrogantes de causa, la actividad científica se ocupa de determinar si una o más variables causan o afectan una o más variables de resultado. Está claro que no existen elementos de responsabilidad (accountability) en los objetivos y procesos de la investigación. Investigación acción25 Quisiéramos hacer mención aquí, aunque sea brevemente a otra confusión frecuente que, a nuestro entender se deriva de la falta de sistematización que aún persiste en la disciplina evaluativa y de errores de interpretación derivados de la falta de lenguaje común entre disciplinas. El término “investigación acción” es utilizado en algunas ocasiones como si se tratara de un modelo de evaluación, concretamente un modelo de evaluación de tipo participativo (Action Research Model). 25

No vamos a profundizar aquí en la investigación acción como método de estudio. Para ello nos remitimos a la extensa bibliografía existente. Una selección de trabajos especializados en esta materia se reseña en el apartado de bibliografía.

Mª JOSÉ ASENSIO COTO.

El término "investigación acción" fue utilizado por primera vez en 1944 por Kurt Lewis que lo describe como una forma de investigación que combina el enfoque experimental de las ciencias sociales con programas de acción. Mediante la investigación acción, se pretenden lograr en forma simultánea avances teóricos y cambios sociales. Posteriormente recibe un importante impulso desde América Latina a partir de los años setenta como “investigación acción participativa” (IAP) con base en la orientación de la teoría de la dependencia siendo uno de sus aspectos claves el dar el valor que se merece a la acción y a la comunidad que quiere protagonizar el cambio. La IAP aparecería entonces como un tipo de investigaciónacción que intensifica el papel de la participación de los actores implicados en el proceso de generación del conocimiento colectivo26. Es un enfoque de investigación que responde a la tendencia creciente desde finales del siglo XX en el seno de la comunidad científica, fundamentalmente en el campo de las ciencias sociales, que, sin perder el carácter de cientificidad, busca un mayor impacto de los resultados de la investigación y de las reflexiones inherentes al propio proceso sobre comunidad implicada. En la actualidad, se ha desarrollado bastante esta forma de vincular la investigación con la realidad objeto de estudio entendiendo que “un proyecto de investigación acción se concibe como una experiencia teórico-práctica de investigación para la acción, transformadora o de generación de conocimientos útiles para transformar y mejorar situaciones colectivas de un grupo, de una comunidad o de toda la sociedad” (Instituto Colombiano para el Desarrollo de la Ciencia y la Tecnología) http://www.colciencias.gov.co. “La investigación acción es un enfoque investigativo y una metodología de investigación, aplicada a estudios sobre realidades humanas” (Rojas). Como enfoque se sustenta sobre una filosofía, un marco conceptual, es una orientación teórica; como metodología utiliza procedimientos específicos para realizar la tarea investigadora. Según Rafael Bisquera (1989) la investigación acción es una forma de hacer investigación en ciencias sociales que busca junto a la 26

Los teóricos de la Investigación acción participativa se reconocen inspirados por las aportaciones en diversas disciplinas como son: Marx, Freud, Habermas Foucault, Jesús Ibáñez, T. Kuhn, Edgar Morin, Paulo Freire…

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

comprensión de los aspectos de la realidad existente, la identificación de las fuerzas sociales y las relaciones que están detrás de la experiencia humana. Rojas describe el cambio que esto supone desde el punto de vista epistemológico y metodológico. Epistemológicamente esto supone romper con el binomio clásico de sujeto y objeto de la investigación. La investigación acción renuncia a la separación sujeto-objeto tal como ha sido planteada en la teoría tradicional del conocimiento por razones tanto epistemológicas como ético-políticas. “Esto supone un cambio grande en las concepciones de trabajo científico, de la metodología y de la teoría misma” (Rojas). De manera que la teoría va a ser el resultado de las aportaciones de los actores implicados en la realidad objeto de estudio que, mediante métodos científicos son justificadas y validadas. La investigación parte de la realidad y el objetivo final es la transformación de ésta, lo que implica operar también en el interior del sistema estudiado27. El proceso de investigación – acción constituye un proceso cíclico y retroalimentado, donde se van dando los momentos de diagnóstico, diseño de una propuesta de cambio, aplicación de la propuesta y evaluación, para luego reiniciar un nuevo ciclo. La evaluación forma parte del proceso que proporciona evidencias del alcance y las consecuencias de las acciones emprendidas. Uno de los criterios fundamentales, a la hora de evaluar la nueva situación y sus consecuencias, es en qué medida el propio proceso de investigación y transformación ha supuesto un proceso de cambio, implicación y compromiso de los propios involucrados. La investigación acción es contextual, no se pretende que la muestra de sujetos sea representativa y, generalmente participativa. Permite reflexionar juntos sobre el proceso de investigación y acumular evidencia empírica a través de la acción. También permite recoger diversidad de interpretaciones que enriquezcan la visión de la realidad estudiada. Proceso interactivo que va provocando un aumento de conocimiento (teorías) y una mejora inmediata de la realidad concreta. De manera que la investigación acción es un enfoque de investigación participativa que utiliza como un elemento constitutivo del proceso de investigación la evaluación. Es 27

Esta discusión ha sido ampliamente abordada en nuestra disciplina desde la política económica (Fernández Díaz et al. 1995).

Mª JOSÉ ASENSIO COTO.

investigación para el cambio y es investigación contextual. Probablemente estos elementos hacen que no sea nítida la frontera entre investigación participativa y evaluación. 2.4.2. Elementos que definen la evaluación. Lo que realmente distingue a la evaluación como disciplina con entidad propia es la naturaleza de su objeto de análisis. Desde cualquier disciplina desde la que se afronte la actividad evaluadora ya sea evaluación educativa, de políticas públicas, de proyectos o programas, etc., el objeto de análisis de la actividad evaluadora es siempre “una acción finalista y planificada”. Junto a esto hay dos elementos más que se refieren a la intención última de la evaluación y al método que creemos contribuyen a su conceptualización. En lo que se refiere a la intención última de la evaluación, a su finalidad, es siempre emitir un juicio de valor. Y, finalmente, el análisis de la realidad que informa ese juicio de valor está dirigido por un método. De manera que definiríamos la evaluación como el análisis de una acción finalista y planificada para emitir un juicio de valor mediante un método. Como hemos visto a lo largo de este capítulo, hay mucho escrito sobre la finalidad de la evaluación. Hay tendencias que indican una finalidad concreta para identificar la evaluación: controlar, aprender, seleccionar, determinar la conveniencia de alto, etc. Nosotros consideramos que lo que caracteriza a la evaluación es que se realiza “para emitir un juicio de valor” independientemente de la finalidad de ese juicio e independientemente también de los criterios y valores que orienten ese juicio. También es independiente de quien emita el juicio: el evaluador, el cliente o los actores implicados en la acción evaluada. Estas distinciones califican la evaluación de manera que, como hemos visto, hablamos de evaluación interna, externa o autoevaluación, pero no la caracterizan. Lo mismo ocurre con la finalidad del juicio de valor que se pretende realizar con el proceso de evaluación, el criterio con el que éste se elabora o los valores que lo inspiran; la califican, pero no la definen. Del mismo modo, respecto del método, la evaluación se caracteriza porque analiza una acción utilizando un método. Podríamos hablar de “método evaluativo”; pero las características de ese método no están, de momento, claramente definidas. En muchas ocasiones, como se ha mostrado en el capítulo anterior, se incluye en la definición de evaluación la utilización de métodos científicos para

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

recoger y analizar la información relevante. Esto nos lleva a la discusión sobre “lo científico”: cualitativo versus cuantitativo; objetivo-subjetivo; individualista-sistémico, etc. La visión que desde cada enfoque científico predomina en relación al método está interfiriendo en la conceptualización de la evaluación que al fin y al cabo pertenece al campo de lo real. La evaluación es en sí misma una acción. En algunos modelos de evaluación, el método se va construyendo a lo largo del propio proceso evaluativo, las evaluaciones coevolucionarias, por ejemplo. Pero, esto también es un método y, aunque probablemente desde el punto de vista científico habría reticencias para calificarlo de método científico, no hay duda de que es un método evaluativo. La única característica común a todos los métodos utilizados en la actividad evaluativa es el empirismo. El método evaluativo es empírico. Esto se deriva de la característica esencial de la evaluación, es decir, de su objeto de análisis: una acción concreta de carácter finalista. Por tanto, se hace necesaria la recogida de información sobre esa acción y analizar el significado de ésta. Además, queremos hacer hincapié en que el objeto de la evaluación es individual. Aunque es cierto que los aprendizajes que obtenemos mediante la evaluación de acciones pueden ser posteriormente generalizables y fuente de información para, mediante el método científico, elaborar teorías, demostrarlas o falsarlas. Posteriormente a la realización de la evaluación, mediante la inducción o la comparación con otras evaluaciones o cualquier combinación de métodos evaluativos y métodos científicos podamos realizar estudios sobre un grupo concreto de acciones (programas de desarrollo, proyectos sociales, etc.). El objeto de análisis de la actividad evaluadora puede ser de diferente naturaleza: un proyecto, un programa, incluso una evaluación (metaevaluación). El requisito es que éste sea una acción finalista y planificada. Que tenga objetivos, aunque no centremos el proceso evaluador en el cumplimiento de éstos. De hecho, podemos evaluar el proceso de establecimiento de objetivos. Por tanto, para caracterizar la evaluación no podemos centrarnos en: - La existencia de criterios preestablecidos. Ya que podemos establecerlos durante el proceso e incluso cambiarlos a lo largo de la evaluación;

Mª JOSÉ ASENSIO COTO.

- La medición del logro de objetivos. De hecho hay una tendencia creciente en la experiencia y en la literatura especializada hacia la evaluación libre de objetivos. - Concretar la finalidad de la evaluación más allá de la emisión de un juicio de valor. Como hemos afirmado, ésta puede ser de muy diversa naturaleza: controlar, acreditar, aprender, empoderar o conducir el proceso evaluado. - Utilización del método científico. Es necesario un método. Aunque en muchos modelos evaluativos este elemento es central y en otros forma parte de algunas de las etapas de la evaluación. Sí es necesario siempre la recogida de información ya que el método evaluativo es empírico. Finalmente, añadiremos una última consideración respecto de otro elemento que consideramos completa la conceptualización de la evaluación. Dado que lo que se evalúa es una acción finalista, podemos considerar que al fin y a la postre evaluar es analizar un cambio. Previsto o no, deseado o no, de forma cualitativa o cuantitativa, en cualquier caso si existe una acción finalista es porque se pretende un cambio y debemos considerar que de una u otra manera la evaluación de esa acción lleva implícito el estudio del cambio. 2.5. Enfoques Las exigencias que plantea la evaluación de programas y políticas de una parte, y la evaluación para la toma de decisiones sobre los individuos de otra, conducen a una gran variedad de esquemas evaluativos reales utilizados. En la razón de esta diversidad subyacen diferentes concepciones teóricas y metodológicas sobre la evaluación, pero también responden a la gran diversidad en la naturaleza de las acciones evaluadas. La tesis que defendemos en este apartado respecto de la cuestión metodológica es que, siguiendo la terminología de Kuhn, el estadío en el que se sitúa en la actualidad el desarrollo de la metodología evaluativa es lo que este autor denomina Crisis. En efecto, si aceptamos el enfoque historicista con el que Kuhn analiza el devenir de la ciencia28, según el cual, la ciencia se desarrolla siguiendo determinadas fases: establecimiento de un paradigma; Ciencia 28

Como queda reflejado en La estructura de las revoluciones científicas, 1962.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

Normal; crisis; revolución científica y establecimiento de un nuevo paradigma; estamos en la tercera fase, la fase de crisis. Esto no es más que el reflejo de lo que está ocurriendo en el conjunto de lo que llamamos Ciencias Sociales, inmersas en el cuestionamiento, por parte de un nutrido grupo de científicos de diferentes campos, de lo que hasta ahora ha constituido la ciencia normal. En sentido estricto, no consideramos que sea correcto hablar de paradigmas propios de la disciplina evaluativa, sino que éstos dependen de los grandes enfoques o paradigmas del ámbito científico en el que se desarrolla. Es tanto como decir que estamos ante un cambio de paradigma29, es decir, un cambio de la perspectiva bajo la que se analizan los problemas y se buscan soluciones. El paradigma clásico, la ciencia normal, el enfoque clásico en materia de evaluación está siendo fuertemente cuestionado. En los trabajos consultados a lo largo de esta investigación hemos encontrado numerosas expresiones relativas a la necesidad de ampliar los objetivos de la actividad evaluadora, afrontar nuevos problemas, extender el significado de la evaluación, nuevos modelos, técnicas e instrumentos. En definitiva, aparecen nuevas preguntas y nuevas formas de buscar las respuestas. En torno a todo ello, fundamentalmente en lo que se refiere a la evaluación en los ámbitos económico y social, aparecen los llamados nuevos enfoques que modifican el papel de la evaluación, del evaluador y de los individuos implicados en “lo evaluado”. Desde la evaluación clásica (normal) no es posible afrontar los retos que la extensión de la actividad evaluadora supone. De manera que el paradigma en conjunto comienza a ponerse en cuestión y los científicos comienzan a buscar un nuevo marco más adecuado, otra forma de abordar los problemas. La crisis supone la proliferación de nuevos enfoques, nuevos marcos conceptuales, que a lo largo de este apartado vamos a analizar bajo el nombre genérico de enfoques pluralistas o evaluación pluralista frente a la evaluación clásica tradicional a la que nos referiremos en primer término.

29Kuhn

define paradigma como “…realizaciones científicas universalmente reconocidas que, durante cierto tiempo, proporcionan modelos de problemas y soluciones a una comunidad científica".

Mª JOSÉ ASENSIO COTO.

2.5.1. Evaluación clásica Comenzamos señalando las características más significativas del enfoque clásico sin profundizar en el análisis de las mismas. Lo haremos así porque es un enfoque sobre el que existe una extensa bibliografía a la que nos remitimos. Nosotros recogemos en la bibliografía de este documento una selección que hemos considerado interesante y suficiente para conocer en profundidad el contenido y alcance de este enfoque evaluativo. En cualquier caso, sí hemos considerado necesario al menos introducir los elementos clave de la evaluación clásica ya que nos facilita la comprensión y la exposición de los enfoques pluralistas. El análisis de estos enfoques sí lo abordaremos con mayor detenimiento en el apartado siguiente. a) Caracterización general de la evaluación clásica El elemento fundamental que caracteriza la evaluación clásica, desde sus inicios con los trabajos de Tyler, es la focalización del proceso evaluador en el grado de cumplimiento de los objetivos preestablecidos. Es evaluación por objetivos. La finalidad de la evaluación se distinguir, calificar: éxito o fracaso. También comparar, jerarquizar programas para elegir. El objetivo fundamental de las evaluaciones clásicas, aunque existen matices, es calificar la acción evaluada en función de los efectos operados por ésta. El método para evaluar el grado de cumplimiento de los objetivos se centra en la realización de mediciones y la comparación de estas mediciones con un estándar preestablecido. La tarea fundamental del evaluador es la medición. Hay que hacer mediciones antes y después de la acción para comparar. La diferencia entre esas mediciones son los efectos. La dificultad es discriminar cuales de esas diferencias se deben a la acción evaluada y cuales se deben a otra u otras circunstancias. Basada en la idea de sociedad experimental. Para estimar los efectos netos, es decir, aislar los que se atribuyen a la acción evaluada de los que se hubieran producido en ausencia de la acción se construyen diseños experimentales. Por tanto, los elementos básicos son tres: los objetivos de referencia; las mediciones comparadas y los efectos de la acción evaluada; (Monnier, 1995:23) y el criterio fundamental para la emisión de juicios de valor es el grado de cumplimiento de los objetivos. Otra característica relevante de la evaluación clásica, por las consecuencias metodológicas que se derivan de ella, es el interés

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

por asegurar la neutralidad, la objetividad del proceso evaluativo. Esto se traduce en lo que podemos llamar cientifismo respecto del método: aplicación sistemática de métodos científicos. Se identifica científico con objetivo y cuantitativo. De este cientifismo se derivan gran parte de las confusiones que se detectan en la literatura especializada entre investigación y evaluación. Es habitual encontrar la expresión investigación evaluativa30 en los libros y manuales que tienen este enfoque. El interés por la neutralidad tiene consecuencias sobre la forma de realizar las mediciones. De manera que se identifica cuantificación con objetividad y se generaliza, por tanto, la utilización de instrumentos de medida y métodos de análisis cuantitativos. La medición cuantitativa se hace imprescindible en la evaluación clásica para asegurar esa neutralidad. Monnier destaca cinco principios fundamentales que delimitan el enfoque clásico (Monnier, 1995:44 y ss.): 1. Esquema causal lineal: se identifica la existencia de una relación lineal causa-efecto entre una serie de acciones ejecutadas por el programa o proyecto evaluado y los cambios operados en la población objetivo de dicho proyecto. Estos cambios son susceptibles de ser medidos a partir del establecimiento de un sistema de indicadores de manera que se dispone de un dispositivo de medición de los efectos de las acciones evaluadas. 2. Comparación de medidas: los resultados de la acción son medibles de forma objetiva y neutral. Mediante el establecimiento de grupos de control y la aplicación de métodos experimentales se calculan los efectos del programa a partir de las diferencias en las magnitudes encontradas entre el grupo de control y el grupo objeto de intervención. 3. Asignación aleatoria: relacionada con la validez interna del experimento que está relacionada a su vez de la capacidad del sistema de medición de separar los efectos del programa de aquellos otros que se han producido por circunstancias ajenas a él. Es por ello necesaria la identificación de todas las variables externas que pueden influir sobre la relación causal provocando cambios en las mediciones. 30La

investigación evaluativa en sentido estricto es un modelo concreto de evaluación clásica. No obstante, esta expresión se utiliza en muchos casos como forma genérica de referirse a la evaluación.

Mª JOSÉ ASENSIO COTO.

4. Representatividad: relacionada con la validez externa. Se trata de la posibilidad de generalizar los resultados obtenidos a otras situaciones o programas similares. 5. Capacidad de replicar el experimento: Se trata de eliminar en los diseños experimentales la posibilidad de desencadenar comportamientos derivados del hecho de estar realizando mediciones sobre el grupo. Lo habitual es introducir algún mecanismo que evite la predisposición del grupo experimental a modificar su comportamiento ante la perspectiva de la medición. Si bien los dos primeros principios que recoge Monnier son de aplicación a todos los modelos de evaluación de corte clásico, los demás se refieren a las evaluaciones clásicas que utilizan como técnica de investigación los diseños experimentales, técnicas utilizadas muy habitualmente por la evaluación clásica pero no siempre31. b) Limitaciones del enfoque clásico La evaluación clásica presenta una serie de limitaciones que se han ido poniendo de manifiesto a lo largo de la práctica evaluadora que, en términos generales no son más que la manifestación de la necesidad de adaptar el modelo evaluador a la realidad objeto de evaluación. El paradigma clásico encuentra importantes dificultades a la hora de enfrentarse a la realidad sobre cuya evolución, sobre cuyos cambios, pretende emitir juicios. Una realidad flexible, compleja y dinámica que no es susceptible de describir, analizar y enjuiciar con modelos y métodos basados en la cuantificación, el análisis estático y el establecimiento de compartimentos estancos. Ballart sintetiza estas limitaciones en dos grupos de problemas: problemas de aplicación y problemas de utilización (Ballart, X., 1992, pp. 148 y ss.). Los problemas de aplicación se derivan fundamentalmente de la naturaleza compleja de los proyectos y programas objeto de evaluación, que van dirigidos a modificar algún componente de la realidad socioeconómica también de naturaleza compleja. Esto se traduce en dificultades de carácter operativo relacionadas con el 31

En todos los manuales y monografías especializadas en evaluación clásica se detallan con mayor o menor profusión las características de estas técnicas. En particular, Rossi y Freeman, 1993; Vedung, 1997; Mohr, 1995; Cohen y Franco 1988; y Weiss, 1996; analizan con detalle tanto los diseños experimentales, cuasi-experimentales y no experimentales o controles reflexivos.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

establecimiento de los objetivos y la obtención de información; de carácter metodológico relacionadas con la racionalidad que impera en el modelo clásico; y de carácter ético y político dado que están involucradas en los procesos personas o grupos de personas. En primer lugar, se refiere a la dificultad para el establecimiento de los objetivos. En un modelo evaluador centrado en la consecución de objetivos previstos, el establecimiento de estos objetivos en términos operacionales que permitan la posterior comparación con los resultados, condiciona todo el proceso evaluador. No obstante, en numerosas ocasiones existe una importante dificultad para el establecimiento de estos objetivos y en muchos más casos, con los objetivos ya establecidos, la dificultad estriba en la operativización de los mismos, ya que ello requiere un importante ejercicio de simplificación. Esto es así fundamentalmente en los casos de intervención pública y/o acciones dirigidas a la resolución de problemas en los que generalmente no está muy claro el camino correcto en el momento del diseño de la acción. En estos casos, generalmente se inicia el camino partiendo de acuerdos y se va corrigiendo en función de las situaciones que se van produciendo. También relacionado con la especificación de objetivos, Ballart destaca la dificultad añadida que supone el hecho de que el establecimiento de objetivos es una cuestión política. Generalmente son fruto de una negociación que se torna especialmente complicada si se hace necesario el establecimiento de objetivos muy concretos. Lo habitual es salvar el proceso negociador precisamente dejando esta cuestión relativamente abierta. En segundo lugar, las dificultades de aplicación del modelo clásico también están relacionadas con la existencia de relaciones causales múltiples y no lineales que caracterizan los procesos socioeconómicos. En general, la evaluación por objetivos requiere que los programas o acciones objeto sean susceptibles de ser analizados por partes, estén bien definidos y presenten unas relaciones causales claras y unívocas. Esta circunstancia no se da en la mayor parte de los programas de acción que, como decimos, son complejos, disponen de multiplicidad de objetivos y posibles medios para alcanzarlos, presentan contradicciones internas y varían en función del momento y lugar, no son fácilmente predecibles. En definitiva se trata de una limitación derivada de la pretensión de evaluar

Mª JOSÉ ASENSIO COTO.

procesos y sistemas complejos con métodos demasiado simplificados. También aparecen limitaciones que tienen que ver con la necesidad de establecer, en la evaluación clásica, grupos de control. Esto es así no sólo por las cuestiones éticas que esto puede plantear, fundamentalmente en los casos en los que hay grupos humanos implicados, sino por la dificultad de conseguir la colaboración necesaria para ello. En definitiva, se trata de las dificultades éticas y operativas intrínsecas a cualquier tipo de experimentación social. Finalmente, los problemas de aplicación del modelo clásico se completan con la dificultad general para la obtención de series de datos que permitan comparar observaciones anteriores a la implementación de la acción evaluada con observaciones posteriores, dado que generalmente dicha información no está disponible. En otro orden de cosas, Ballart resalta la escasa utilización de los resultados de las evaluaciones como problema que se viene manifestando desde los inicios de la actividad evaluadora. Esta dificultad se deriva fundamentalmente de cuestiones relacionadas con la incompatibilidad temporal de las evaluaciones y de los programas que pretenden valorar respecto de la toma de decisiones. Ballart está haciendo referencia en este caso a los grandes experimentos sociales de la llamada edad dorada de la evaluación, cuyas conclusiones resultaron de gran utilidad para mejorar la teoría de los programas de intervención social, pero con un coste muy elevado. Y, además, el momento en el que se obtienen es posterior a la finalización de los programas evaluados, las decisiones ya se han tomado. En definitiva “los diseños de investigación clásicos sólo se pueden llevar a cabo bajo condiciones y en circunstancias muy limitadas. La demanda de evaluación de programas que no puedan ser evaluados de esta forma tendrá por tanto que cubrirse recurriendo a formas alternativas de evaluación” (Ballart, 1992:149). En efecto, desde el paradigma clásico se han dado los primeros pasos en materia de evaluación, se han elaborado, experimentado y perfeccionado métodos y técnicas que muestran su eficacia y utilidad para casos concretos en los que las características del programa o proyecto evaluado lo permiten. No obstante, el caso general no es otro que el de la necesidad de evaluar acciones y/o

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

instituciones cuya complejidad requiere la enriquecimiento de la metodología evaluativa.

ampliación

2.5.2. Evaluación pluralista El término “evaluación pluralista” engloba un conjunto heterogéneo de enfoques evaluativos que se van perfilando con fuerza a partir de la década de los ochenta del pasado siglo como alternativa a la evaluación clásica. Esta heterogeneidad se manifiesta en el término utilizado para referirse a ellos de manera que encontramos referencias al enfoque pluralista como enfoque sistémico, holístico, naturalista. Nosotros hemos optado por la expresión “Pluralista” por dos razones: primero, porque es la expresión más utilizada en la literatura especializada; segundo, consideramos que la pluralidad es la nota que distingue con más claridad el movimiento renovador, consideración que creemos queda argumentada a lo largo de este apartado. a) Antecedentes En términos generales, estos enfoques constituyen una respuesta al problema general de utilización de las evaluaciones. Desde las diferentes disciplinas se percibe la necesidad de mejorar los efectos que los resultados de las evaluaciones generan sobre la actividad evaluada, incrementar su utilidad, que por otra parte no es otra cosa que la razón de ser de la actividad evaluadora. La respuesta a esta cuestión es diversa, diversidad derivada de la mayor o menor intensidad que en cada modelo se atribuye a cada uno de los factores que caracterizan a la evaluación pluralista. No obstante, aunque en la evaluación pluralista no existe uniformidad, sí aparecen como elementos de cohesión, al menos tres características. En primer lugar, la contestación y el análisis de las limitaciones del modelo dominante hasta el momento. En segundo lugar, el énfasis en la necesidad de tener en cuenta los factores políticos a la hora de plantear las evaluaciones. Se apoya fundamentalmente en el pensamiento de Scriven, Stufflebeam y Stake al admitir la pluralidad de valores en el interior de la evaluación. Y, finalmente, la necesidad de planificar las evaluaciones en función de los usuarios. Ya en los años sesenta, aún en la época dorada de la evaluación clásica, aparecen algunas aportaciones que posteriormente tienen

Mª JOSÉ ASENSIO COTO.

gran influencia en las nuevas concepciones. Las que, desde el campo de la evaluación educativa destacan por su posterior impacto sobre la evaluación pluralista, las encontramos en dos trabajos que aparecen publicados en esta década: Cronbach (1963): Course Improvement Through Evaluation, y Scriven (1967): The Methodology of Evaluation. Del trabajo de Cronbach, destacamos su aportación a la ampliación del concepto de evaluación y sus funciones así como sus aportaciones metodológicas: 1.- “La evaluación que se usa para mejorar un programa mientras éste se está aplicando, contribuye más al desarrollo del mismo que la evaluación usada para estimar el valor del producto de un programa ya concluido”. Por tanto, se está poniendo el énfasis en la evaluación continua, evaluación de la ejecución, frente a las evaluaciones finales. Posteriormente, los enfoques pluralistas desarrollarán este aspecto resaltando la necesidad de establecer elementos de retroalimentación entre la evaluación y la acción evaluada con objeto de contribuir a conducir el proceso. 2.- Pone en cuestión la necesidad de que los estudios evaluativos sean de tipo comparativo. 3.- Pone en cuestión los estudios a gran escala, puesto que las diferencias entre los tratamientos pueden ser muy grandes e impedir discernir con claridad las causas de los resultados. Los enfoques pluralistas destacan la especificidad de cada acción evaluada sobre basándose en la idea de la existencia de pluralidad de contextos y pluralidad de valores. 4.- En cuando al método, Cronbach propone en su trabajo que la evaluación debe incluir estudios de proceso, cambios observados y estudios de seguimientos, esto es, el camino posterior seguido. En las evaluaciones pluralistas las dinámicas, los procesos, son los protagonistas de la actividad evaluadora. 5.- Las técnicas de evaluación tradicionales (en evaluación educativa los tests de rendimiento) han de complementarse con la observación sistemática y no sistemática, las pruebas de ensayo que, según el autor, ocupan un lugar importante en la evaluación, en contraste al casi exclusivo uso que se hacía de los tests como técnicas de recogida de información. La pluralidad de fuentes de información y métodos de recogida va a ser posteriormente el elemento metodológico característico de las evaluaciones emergentes.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

No obstante, estas consideraciones no deben llevarnos a pensar que Cronbach se aleja demasiado del modelo tradicional de evaluación por objetivos. De hecho, aboga por unos criterios de comparación de tipo absoluto, reclamando la necesidad de una evaluación con referencia al criterio, y defiende la valoración con relación a unos objetivos bien definidos aunque no la comparación con otros grupos. Respecto de las aportaciones de Scriven que posteriormente son desarrolladas desde los enfoques pluralistas destacan: 1.- La ampliación del campo funcional de la evaluación. Para Scriven, las funciones de la evaluación pueden ser enormemente variadas. Estas funciones se relacionan con el uso que se hace de la información recogida. Como hemos señalado en el capítulo anterior, es este autor quien distingue dos funciones distintas que puede adoptar la evaluación: la función formativa y la función sumativa. Llama evaluación formativa a la que tiene por objeto mejorar el programa evaluado, y evaluación sumativa a aquel proceso orientado a comprobar la eficacia del programa y tomar decisiones sobre su continuidad. La ampliación del campo funcional de la evaluación en los nuevos enfoques tiene un alcance muy superior a la propuesta de Scriven. 2.- Cuestiona el valor de los objetivos previamente establecidos. Resalta la necesidad de revisar la validez de los objetivos iniciales a lo largo del proceso de evaluación. “Si los objetivos carecen de valor, no tiene ningún interés saber hasta qué punto se han conseguido”. De manera que la evaluación debe incluir tanto la evaluación de los propios objetivos como la determinación del grado en que éstos han sido alcanzados (Scriven, 1973 y 1974, en Escudero Escorza, 2003). En algunos modelos de evaluación pluralista, fundamentalmente en los relacionados con evaluaciones de proyectos sociales, de políticas o proyectos de desarrollo, los objetivos iniciales no sólo son cuestionados, sino que la revisión de los mismos forma parte de las nuevas funciones de la actividad evaluadora. b) Una caracterización general del enfoque pluralista en evaluación M. A. Díez López (2001:148 y ss.) destaca como rasgos que caracterizan al conjunto heterogéneo de evaluaciones pluralistas y que les confiere el estatus de paradigma alternativo al clásico:

Mª JOSÉ ASENSIO COTO.

- La dimensión política de la evaluación (contexto político, la evaluación es entendida también como un proceso político). - El reconocimiento de una pluralidad de sistemas de valores. - La utilidad social de la evaluación. - La evaluación como un proceso conjunto y en colaboración (participación). - La evaluación como un proceso dinámico: flexible, interactivo y adaptativo. - La evaluación como un proceso abierto de aprendizaje colectivo. En nuestra exposición vamos a guiarnos por los elementos sugeridos por Díez López. No obstante, alteraremos el orden de exposición por seguir el hilo conductor de nuestras argumentaciones. De manera que comenzaremos por el segundo elemento de esta lista. En efecto, la evaluación pluralista se construye en torno a una visión axiológica pluralista en oposición al monismo que caracteriza a las evaluaciones tradicionales. Las consecuencias teóricas y metodológicas de este cambio de actitud se reflejan en los diferentes modelos evaluativos que se desarrollan en este marco. J. Echeverría, en el artículo “Ciencia y Valores. Propuestas para una axionomía de la ciencia” (Echeverría, 1998) mantiene ocho tesis sobre la ciencia de las que extraemos las siguientes consideraciones respecto de la cuestión del papel de los valores en el diseño y evaluación de la acción. Echeverría define los valores como “funciones que son satisfechas en mayor o menor grado por las acciones y por los resultados que se derivan de ellas, dando siempre por supuesto que en la evaluación hay aspectos positivos (resultados deseados) y aspectos negativos (resultados no deseados). Dichas evaluaciones son siempre dependientes de los seres humanos que llevan a cabo las acciones, o que se ven afectadas por ellas, y pueden ser muy distintas según las consecuencias que dichas acciones pueden tener en los diversos escenarios en donde suscitan cambios y transformaciones”. Son las personas las que diseñan, ejecutan y se ven afectados por la acción; por tanto, la valoración de los resultados depende de éstas y de los escenarios que configuran las relaciones humanas. Así, en primer lugar, son los valores los que generan la acción, no los objetivos. “En general, las acciones no suelen estar determinadas por el logro de un objetivo prioritario (satisfacción de

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

necesidades, efectividad, eficiencia, maximización del beneficio, minimización de los costes, etc.), sino por diversos valores que subyacen a los objetivos propuestos”. En definitiva, los objetivos no son más que un medio para alcanzar los fines que vienen determinados por la existencia de valores. Por tanto, a la hora de evaluar una acción no es adecuado ignorar las relaciones valoresfines-objetivos. En cualquier caso, estas relaciones no son de carácter lineal, no se trata de una cadena, existe una jerarquía de valores que implica una mayor o menor ponderación de los mismos y además esta jerarquía no es estática y universal. En determinados momentos, contextos y escenarios, unos valores tienen mayor peso relativo que otros. Incluso una misma acción puede ser valorada de modo muy diferente en función de la situación de los diversos agentes (o evaluadores) con respecto a los resultados de dicha acción. Los criterios de valoración que utilizan los expertos a la hora de elegir y evaluar unas u otras acciones son muy distintos en función de los entornos y de los escenarios en los que éstas se producen. En segundo lugar, la satisfacción de valores es una cuestión de grado. En la visión axiológica pluralista, reconocer la existencia de una pluralidad de valores, contempla la existencia, no sólo de una jerarquía de valores, sino también de valores opuestos. No se trata de maximizar la satisfacción de un valor primordial (monismo axiológico), sino de la satisfacción gradual de los diversos valores pertinentes a las acciones. En definitiva, se trata de que cada acción está inmersa en un sistema de valores jerarquizados, contextualizado y multidimensional de manera que cada resultado adquiere una cierta ponderación (positiva o negativa) con respecto a los n valores o criterios pertinentes. De manera que, la racionalidad sobre la que se sustenta la evaluación clásica (elección de medios adecuados para un fin, maximización de la eficacia de los medios) puede ser válida en escenarios concretos, casos particulares o parcelas de las acciones evaluadas, pero la racionalidad del conjunto del sistema de evaluación debe ser más compleja. Por tanto, “un valor no se satisface aisladamente (cosa que sí es pensable en el caso de una meta u objetivo), sino que esa satisfacción sólo es factible en un marco plural, en el que está involucrado un sistema (dinámico, no estático) de valores”. Esto nos conduce hacia una racionalidad pluralista, y no a una racionalidad monista.

Mª JOSÉ ASENSIO COTO.

Finalmente, “los espacios en los que los seres humanos llevan a cabo sus acciones pueden estar cargados de valores, y no pueden ser considerados como axiológicamente neutros. Un análisis axiológico que prescinda de los valores inherentes al medio en el que tienen lugar las acciones, y se centre exclusivamente en valores internos a las mismas, como la eficacia, la eficiencia o la innovación, supone, una perspectiva inadecuada para investigar el espacio axiológico asociado a las acciones”. En definitiva, la valoración positiva o negativa de numerosas acciones cambia en función de los valores inherentes al espacio social en donde se desarrollan dichas acciones, valores externos a la acción. Tanto en el caso de la ciencia como en el de la acción, las fronteras entre los valores internos y externos son muy porosas, y a veces difusas. Por eso el monismo axiológico es un esquema analítico insuficiente. La evaluación pluralista, como hemos indicado más arriba, parte del reconocimiento de que en un grupo social no existe un único sistema de valores, sino una pluralidad de sistemas y éstos a su vez son dinámicos (evolucionan) y complejos en la medida en que son complejas las sociedades que los generan. A la hora de realizar una evaluación, la selección y ponderación de los valores sobre las que ésta se sustenta ha de ser el resultado de una decisión conjunta entre los actores implicados, de una negociación entre visiones a veces complementarias y a veces contrapuestas. Lo realmente importante desde el punto de vista de la evaluación pluralista es abrir el proceso a los valores, las opiniones y los intereses de los diferentes actores. En lugar de partir de objetivos explícitos, la evaluación pluralista “se apoya en el reconocimiento de una pluralidad de sistemas de valores que coexisten en el seno de la sociedad” (Monnier, E., 1995:137). De esta forma, la evaluación pluralista legitima la diversidad de intereses reconociendo la multiplicidad de perspectivas que ello implica, en palabras de Weiss, “democratiza la evaluación” (Weiss, 1983:8). Esto significa renunciar a la idea de evaluación imparcial y objetiva de los resultados. La necesidad de tener en cuenta la dimensión política de la evaluación surge fundamentalmente en el campo de la evaluación de políticas públicas y proyectos de acción social. La evaluación es entendida como un proceso político independientemente del modelo evaluativo utilizado. Esto es así porque se desarrolla en un

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

determinado contexto político al que debe tener en cuenta y servir si quiere ser útil. Además, las actividades implicadas en la evaluación se desarrollan en un marco de interacción entre actores, públicos y/o privados que de un modo u otro están implicados y tienen una visión política determinada respecto de la acción evaluada. En tercer lugar, evaluar supone aceptar un determinado marco conceptual, una serie de premisas y metodologías sobre las que se fundamenta. Esto significa una toma de posición política. Esta visión de la evaluación como práctica política es compartida por: – Monnier: “La evaluación nunca es una práctica neutral y ajena a las relaciones de poder; es un acto político que forma parte integrante del contexto político del programa, incluso si los evaluadores soslayan tal dimensión y pretenden negarla” (Monnier, 1995:129 y 30). “…Si se quiere definir una evaluación con conocimiento de causa, es conveniente, pues, concebirla apoyándonos en un análisis de la dinámica política donde se integra” (Monnier, 1995:139). Insistiendo así en que el hecho de ignorar la dimensión política (evaluación clásica) constituye en sí mismo una opción política. En efecto, no es posible defender que el establecimiento de objetivos “medibles” y de métodos y fuentes de recogida de información se realice sin asumir juicios de valor. De manera que la diferencia con la evaluación clásica es que este hecho es explícito en la evaluación pluralista y a partir de ahí se asumen las consecuencias metodológicas que ello implica. – Patton: “El hecho de que la evaluación se desarrolle en un contexto político donde van a existir restricciones y resistencias al propio ejercicio de esta actividad, no es una razón para abandonar la evaluación de una intervención pública, sino que, por el contrario, asumir estas limitaciones es imprescindible para que los resultados del ejercicio evaluador puedan ser más tarde utilizados” (Patton, 1997:334). Patton, más interesado en la utilización de los resultados, destaca la necesidad de asumir la dimensión política y sus consecuencias a la hora de diseñar las evaluaciones, fundamentalmente para facilitar el impacto de las

Mª JOSÉ ASENSIO COTO.

conclusiones y recomendaciones derivadas de la evaluación sobre los actores implicados, que en definitiva tienen en su mano la corrección de desviaciones y la mejora de la acción. – Guba y Lincoln, refiriéndose a los factores sociales, culturales y políticos: “El conocimiento consciente de tales elementos no compromete la actividad evaluadora; sino que, por el contrario, la impulsa” (Guba y Lincoln, 1989:253). Entienden, por tanto, que los factores sociales, culturales y políticos son componentes esenciales del proceso evaluador, conocerlos y tenerlos en cuenta facilita la actividad evaluadora. – Ballart, además de coincidir en la necesidad de tener en cuenta el contexto político, destaca la existencia de una doble dimensión política de la evaluación. Se refiere en primer lugar a la “utilización partidista de la evaluación cuando se realiza con el propósito expreso de justificar una posición o de ofrecer una determinada imagen de una política o programa” (Ballart, 1992:151). La otra dimensión política de la evaluación “…tiene que ver con la estructura institucional y las interacciones que se establecen entre el conjunto de actores que se relacionan con un programa”. Algunos autores coinciden en destacar tres formas en que la evaluación es política (Palumbo, 1987:12; Weiss, 1997:97-48)32: – “Las políticas y los programas son propuestos, definidos, debatidos, financiados y aprobados a través del proceso político”. En torno a ellos se genera toda una dinámica de relaciones entre los actores implicados. Hay personas implicadas en el proceso de decisión, diseño y ejecución con diferentes visiones sobre los mismos (“defensores y detractores”). También generan expectativas e incluso clientelas entre los destinatarios. – “La evaluación se realiza con el propósito de influir en el proceso de toma de decisiones políticas”. Aunque puede no ser el elemento más importante en la toma de decisión, se realiza con la finalidad de influir en ella. Algunos autores insisten en el escaso peso de las evaluaciones en las decisiones directamente ligadas con el programa evaluado, aunque sí en

Tomado de Ballart, 1992:151 y ss.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

el medio-largo plazo, las evaluaciones acumuladas, contribuyan a modificar visiones generales sobre un tipo u otro de actuación. – “Evaluar los programas en función de sus objetivos supone aceptar las premisas en las que se fundamentan”. La incorporación de la dimensión política nos lleva a un modelo multidisciplinar y multiactoral en el que se modifica la visión tradicional de evaluación aséptica. Esto exige abordar la cuestión de la selección de los actores involucrados en la evaluación, selección de actores ¨significativos¨. Por tanto, se hace necesario tomar decisiones sobre quienes deben participar y sobre los criterios de representatividad. Así, la propuesta metodológica consiste en incorporar la participación de los actores comprometidos con el objeto evaluable a lo largo de todo el proceso. Participación que afecta tanto al proceso evaluador propiamente dicho como a las decisiones previas respecto de qué se evaluará, qué instrumentos o técnicas se usarán, cómo se implementará la evaluación, y cómo se aprovecharán las conclusiones retroalimentando el proceso de producción del conocimiento. Así, las evaluaciones se convierten en un proceso conjunto y en colaboración que se construye de abajo a arriba (Monnier, 1995:156; Patton, 1997:89 tomado de Díez López, 2001:151) lo que implica la participación de actores involucrados hasta el final del proceso, es decir, hasta la interpretación de los resultados y la elaboración de conclusiones y recomendaciones. Esto supone un cambio en el papel del evaluador que se convierte en un facilitador del proceso, orientándolo metodológicamente, acompañando a los actores. En relación a la utilidad social de la evaluación, bajo el enfoque pluralista la actividad evaluadora es evaluación orientada a la utilización. Como hemos afirmado antes, los enfoques pluralistas constituyen una respuesta al problema general de utilización de las evaluaciones. Desde los primeros estadios de la actividad evaluadora y sea cual sea la forma de conceptualizarla, como hemos visto en el capítulo anterior en el que hemos abordado esta cuestión, la evaluación debe ser útil, por tanto, debe satisfacer las necesidades de los actores implicados y de la propia acción evaluada. Fundamentalmente las necesidades relacionadas con el conocimiento de la evolución y resultados de la acción. Por tanto, debe ser creíble.

Mª JOSÉ ASENSIO COTO.

Este propósito supera, en el paradigma pluralista, a la producción de evidencia empírica y al rigor científico: “El propósito de este modelo no es tanto la producción de la evidencia empírica que ha de permitir a los decisores políticos y administrativos adoptar las decisiones correctas, como responder a las necesidades de información del conjunto de actores” (Ballart, 1992:154). La participación de los actores en la decisión sobre el tipo de información relevante, que caracteriza la orientación hacia la utilización de la evaluación pluralista, supone un incremento de las posibilidades de que los resultados sean efectivamente utilizados. La calidad de la evaluación, por tanto, no está tanto relacionada con el rigor científico, sino con su capacidad de ser útil, del grado de credibilidad, legitimidad y accesibilidad desde la perspectiva de los actores implicados en la acción evaluada. Esto nos lleva, una vez más a la participación. Para garantizar esa legitimidad, el reconocimiento por parte de los actores, es necesario que “la evaluación se convierta en su evaluación ya que las cuestiones que se plantean a lo largo del proceso son sus propias cuestiones” (Patton, 1980:31). Esto requiere, además, la socialización de los resultados de la evaluación: “Es elemental que se desarrollen instancias de intercambio adecuadas para difundir los resultados de acuerdo con las capacidades e intereses de los destinatarios de la evaluación; se trata de una condición ineludible a fin de que ésta pueda legitimarse como un instrumento idóneo para mejorar las producciones y enriquecer las perspectivas de cada uno de los participantes” (Bodnar, 2002:7). En este sentido, respecto de la evaluación clásica, el enfoque pluralista sustituye la búsqueda de una solución óptima por la de una solución satisfactoria para el conjunto de los actores en un contexto determinado. La estrecha implicación del modelo pluralista con los agentes implicados, los escenarios y las dinámicas que éstos configuran, genera la necesidad de adaptación a estas dinámicas del propio proceso evaluador: La evaluación como un proceso dinámico, flexible, interactivo y adaptativo. En este sentido, Monnier insiste en que “el acercamiento pluralista recomienda suscitar un proceso interactivo e iterativo” (Monnier, 1995:143). De manera que, la intervención de los actores y su interpretación de la información generada a lo largo del proceso contribuya a la creación de nuevos planteamientos que enriquecen

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

y reconducen el proceso evaluativo. Se trata, por tanto, de evolucionar juntos (coevolución). También Ballart, desde el campo de la evaluación de la intervención pública, se refiere a esta necesidad de flexibilidad en las evaluaciones de acciones de naturaleza dinámica afirmando que “Las intervenciones públicas no son unidades inmutables, sino que, por el contrario, experimentan alteraciones constantes, especialmente en sus primeros años de desarrollo. Las necesidades de los actores evolucionan y nuevas cuestiones aparecen tanto en la aplicación de la política o programa evaluado como a lo largo de la propia evaluación. Es preciso reconocer esta naturaleza dinámica de las intervenciones públicas, así como la necesidad de diseñar evaluaciones flexibles y capaces de irse adaptando a las nuevas preguntas que vayan emergiendo” (Ballart, 1992:154). Finalmente, los enfoques pluralistas entienden la evaluación como un proceso abierto de aprendizaje colectivo. Los procesos evaluadores así entendidos generan información y construyen un marco conjunto de análisis e interpretación de la misma de utilidad para todos los actores implicados en una intervención determinada. Por tanto, adquieren un nuevo estatus que les acerca a la producción de conocimiento que va más allá de la mera acumulación de hechos empíricos. En efecto, este nuevo estatus ante la producción de conocimiento constituye uno de los elementos que definen a la evaluación pluralista hasta el punto que entra a formar parte de la propia definición de evaluación, enmarcándose entre los objetivos prioritarios de la actividad evaluadora. Así, para M.A. Díez, la conjunción de todos los elementos hasta aquí mencionados confiere al modelo pluralista la capacidad para convertir la evaluación en un proceso conjunto de aprendizaje mutuo y colectivo que conduce hacia la transformación de las ideas y la generación de nuevo conocimiento. “Al combinar todos y cada uno de los elementos mencionados, es decir, un estrecho contacto con la realidad social y política donde se desenvuelve la intervención pública evaluada, la participación de los usuarios que incorporan sus propios valores e intereses, la preocupación por la utilidad social de la evaluación y un proceso evaluador participativo y en colaboración, entendido desde una perspectiva de flexibilidad y adaptación continua, la evaluación se convierte en un proceso siempre abierto de aprendizaje colectivo” (Díez López, 2001:153).

Mª JOSÉ ASENSIO COTO.

Trasciende así la evaluación la categoría de instrumento de gestión para convertirse en un medio para la construcción participativa de conocimiento. c) El papel del evaluador en los enfoques pluralistas Tras todo lo expuesto hasta aquí en relación con el enfoque pluralista surge la pregunta ineludible relativa al papel del evaluador. ¿En qué medida se modifica la función que realiza el evaluador en los modelos pluralistas respecto de la evaluación clásica? No podemos esperar otra respuesta: el rol de evaluador cambia radicalmente. Deja de ser un juez imparcial con competencia técnica para realizar la actividad evaluadora, analizar los resultados y emitir un informe, para pasar a realizar un conjunto diverso de funciones. Algunos autores33 destacan la función de mediación. El evaluador es considerado así como un negociador que desde un primer momento debe facilitar la consecución de acuerdos sobre criterios y prioridades. Patton, cuya propuesta metodológica se centra en la evaluación orientada hacia la utilización, amplía las funciones del evaluador: - Favorecer la participación de los actores y orientar la evaluación en función de sus aportaciones; - Facilitar la entrada de nuevos planteamientos y nuevos actores; - Modificar el propio proceso evaluador en la medida en que se vaya manifestando necesario. Esto requiere un evaluador activo, reactivo y adaptativo respectivamente: - Activo, para favorecer la participación de los actores implicados y enfocar la evaluación tomando como eje central de referencia, de forma deliberada y calculada, las cuestiones planteadas por estos usuarios y los posibles usos establecidos por ellos mismos. - Reactivo, para facilitar la entrada de nuevos planeamientos y nuevos actores a medida que la evaluación se desarrolla y a la hora de escuchar a los usuarios y responder acerca de lo que han aprendido sobre el contexto particular en el que la evaluación tiene lugar. 33

Ballart, Buga y Lincoln, Díez López, Monnier.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

- Adaptativo, en su capacidad para alterar las cuestiones de la evaluación y su diseño en respuesta a la adquisición, a lo largo del proceso evaluador, de un mayor conocimiento y comprensión de la propia evaluación y de su entorno (Patton, 1997:135). Como consecuencia de todo esto, el evaluador queda implicado en el proceso evaluado. Pasa de ser observador a jugar un papel relevante, junto al resto de los actores que ejecutan la acción, de cara a la conducción de la misma.

Capítulo 3 La metodología evaluativa: modelos y herramientas

En el seno de cada una de las dos concepciones que denominamos a lo largo de este trabajo evaluación clásica y evaluación pluralista, los diferentes modelos que se recogen en la bibliografía especializada se diferencian fundamentalmente por destacar o enfatizar alguno o algunos de los componentes del proceso evaluativo. Los modelos que vamos a presentar aquí no pueden ser entendidos como excluyentes, son más bien complementarios y es indudable que el estudio de los mismos contribuye a ampliar y mejorar la capacidad para la realización de la actividad evaluadora. Es el evaluador quien, al fin y a la postre, debe construir el modelo evaluativo adecuado en cada caso dependiendo del tipo de acción sometida a evaluación y de las circunstancias que la rodean (Escudero, 1993). Así mismo, cada modelo evaluativo utiliza un tipo de herramientas para la recogida y tratamiento de la información en función de la filosofía general del modelo, de los objetivos de la evaluación y de las características de la acción evaluada. El diseño de los modelos y la selección de herramientas son, por tanto, la manera en que las cuestiones conceptuales y metodológicas que hemos abordado en el capítulo anterior se materializan en la práctica evaluadora. En este capítulo analizamos los modelos más representativos, en el primer apartado, y las

Mª JOSÉ ASENSIO COTO.

herramientas de recogida y tratamiento de información, en el segundo. Evert Vedung, desde el campo de las políticas públicas en general y concretamente ocupado en la evaluación de políticas sociales, recoge una clasificación que distingue tres grandes grupos de modelos evaluativos: - Modelos de efectividad. - Modelos económicos. - Modelos de evaluación profesional. El esquema que ilustra la clasificación de Vedung es el que sigue: Tabla 1. Tipología de modelos de evaluación de E. Vedung.

- Metas

- Modelos consecución de objetivos - Modelos efectos colaterales

Modelos efectividad

- Resultados: Modelos evaluación sin objetivos - Modelo orientado al cliente - Modelo enfocado a los participantes - Productividad

Modelos económicos

- Eficiencia

- Análisis coste-beneficio - Análisis coste-efectividad

Modelos de evaluación profesional Fuente: Vedung (1997).

La evaluación profesional consiste en el análisis de las actuaciones realizado por profesionales del campo específico en el que se ejecutan. Son modelos disciplinares que no son objeto de nuestra atención en este trabajo. La evaluación económica generalmente se centra en la comparación entre los inputs y los outputs de la acción con la particularidad de que para realizar esta comparación miden tanto unos como otros en una unidad común, la unidad monetaria. Son modelos centrados en la medición, cuantitativos, inspirados en el saldo neto como criterio general de valoración. En función de la forma de concretar este criterio general en criterios específicos, Vedung distingue entre evaluación de la productividad o evaluación de la eficiencia.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

La evaluación económica así entendida presenta una dificultad aún escasamente superada. Se trata de la cuantificación en términos monetarios de los efectos de la acción evaluada ya que habitualmente no son bienes cuantificables. Recientemente se están realizando intentos de valoración monetaria de estos efectos, la mayor parte de ellas inspiradas en las técnicas de valoración ambiental. La base conceptual para este tipo de valoraciones la proporciona la economía pública, fundamentalmente la teoría sobre externalidades y bienes colectivos. No es objeto de este trabajo introducirnos en el campo de las evaluaciones económicas (más correctamente nosotros diríamos monetarias). Un trabajo interesante que revisa los elementos conceptuales y metodológicos centrales de estos planteamientos en castellano es el de Joan Pasqual reseñado en la bibliografía (Pasqual, 1999). También disponemos ya de algunas realizaciones empíricas que aplican los métodos de valoración ambiental para cuantificar los resultados de proyectos sociales: la evaluación económica de los servicios de beneficencia británicos, concretamente las políticas destinadas a los “sin techo” de Pearce et al. (1998) y, en España, los trabajos de la Universidad de Oviedo sobre la evaluación de la erradicación del chabolismo de Gijón (Martínez Argüelles y Vázquez, 2000) y la evaluación económica del Servicio de Ayuda a Domicilio en Gijón (Martínez Argüelles, Dávila y Vicente, 2003). Trabajos que utilizan el Método de Valoración Contingente, método ampliamente desarrollado desde la Economía Ambiental. Nos centraremos, por tanto, en los métodos de evaluación de efectividad, es decir, aquellos que se ocupan de evaluar los efectos que producen las acciones ya sea sobre el entorno en el que se realizan, sobre la población objetivo o sobre los propios agentes involucrados en la ejecución de las mismas. 3.1. Modelos de evaluación Desde que la comunidad evaluadora emprende la tarea de conceptualización y sistematización de la evaluación a raíz de los trabajos de Tyler hasta la actualidad, la evolución ha sido intensa. La proliferación de modelos evaluativos es una manifestación de esta realidad. Ya hemos hecho referencia a lo largo de esta tesis a la riqueza que supone la multiplicidad de campos de aplicación y la prolífica experiencia acumulada desde todos los campos a lo largo

Mª JOSÉ ASENSIO COTO.

de estos años. Como consecuencia de todo ello, nos encontramos en la bibliografía especializada numerosos intentos de selección y clasificación de los modelos evaluativos. La dificultad estriba en el hecho de que no existe una definición clara de lo que se denomina en la literatura modelo evaluativo. Son muchos los autores que destacan esta circunstancia que Escudero Escorza (2003: 30) señala como muestra del dinamismo académico en el terreno de la investigación evaluativa y la debilidad teórica de la misma: “Se sigue hablando de modelos, métodos y diseños en la literatura especializada, sobre todo buscando su clasificación de acuerdo con diversos criterios, origen paradigmático, propósito, metodología, etc. También en las clasificaciones, no sólo en los modelos, existe diversidad, lo que prueba que, además de dinamismo académico en el terreno de la investigación evaluativa, todavía existe cierta debilidad teórica al respecto”.

En el artículo citado, Escudero recoge apreciaciones en este mismo sentido de varios autores: - “El concepto de modelo se utiliza con cierta ligereza al referirse a concepción, enfoque o incluso método de evaluación (Norris, 1993)”. - “Muchos de los llamados modelos solamente son descripciones de procesos o aproximaciones a programas de evaluación (De Miguel, 1993)”. - “Muchos de los acercamientos a la conceptualización de la evaluación se les ha denominado indebidamente como modelos a pesar de que ninguno de ellos tenga el grado de complejidad y de globalidad que debería acarrear el citado concepto (Nevo, 1983)”. A pesar de todo lo anterior, nosotros no nos hemos resistido a la tentación de intentar aportar nuestro granito de arena a esta tarea que se presenta ardua34. Sin pretensión de presentar una propuesta cerrada, ni siquiera exhaustiva, hemos recogido y clasificado los

En los últimos años se han publicado tres tesis doctorales en nuestro país (Ballart, 1992; Díez López, 2001 y Larrú Ramos, 2000) que afrontan de forma diferente, pero diríamos que complementaria esta tarea. En cualquier caso, ninguna de ellas lo hace en profundidad, porque no constituye su cuestión central. A nuestro entender, la cuestión queda aún abierta; pero las aportaciones sucesivas van clarificando la situación.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

modelos más representativos. Para ello, guiados por la bibliografía consultada, hemos tomado algunas decisiones previas sobre ciertas preguntas aún sin contestar. ¿En qué sentido utilizamos el término modelo evaluativo? Hemos optado por la acepción más amplia que a su vez, aunque pueda parecer contradictorio, es la que nos permite obtener un criterio de selección más claro: un modelo es un punto de referencia para imitarlo o reproducirlo. Hablamos, por tanto, de aportaciones metodológicas y/o conceptuales que se presentan como propuestas para su utilización en la evaluación en un cuerpo estructurado. Este criterio tiene significado diferente en función del enfoque general que orienta el modelo. En el caso de la evaluación clásica, se trata de aportaciones muy estructuradas, diríamos secuenciadas y completas. En el caso de modelos inspirados desde el enfoque pluralista, se trata de aportaciones más generalistas, flexibles y abiertas, como no podía ser de otro modo. ¿Qué criterio de selección utilizar? Hemos considerado oportuno considerar aquellas aportaciones que realmente se han convertido en referencia. Por tanto, hemos seleccionado las aportaciones que se han mostrado más utilizadas y referenciadas tanto desde la práctica evaluadora como en la investigación sobre evaluación. ¿Qué criterio de clasificación elegir? En nuestra opinión, es útil a nuestro propósito utilizar el enfoque general en el que se desarrolla y aplica el modelo, al que nos hemos referido en el capítulo anterior. De manera que recogemos en un primer grupo aquellos modelos que se inspiran en el enfoque clásico junto a los modelos que van introduciendo elementos innovadores sin romper con él: modelos de evaluación clásica y modelos de transición. Y en un segundo grupo incluimos los modelos de marcado carácter pluralista. 3.1.1. Modelos de evaluación clásica y modelos de transición Los modelos de evaluación clásica están ampliamente referenciados y descritos en la bibliografía especializada. Existe una gran cantidad de monografías de evaluación que se ocupan de ellos y, además son los modelos que se describen en la mayor parte de los manuales de la materia. La obra de Daniel Stufflebeam (1993) Evaluación sistemática. Guía teórica y práctica, referenciada en la bibliografía, hace una buena recopilación y detallada descripción de la mayor parte de ellos. También, aunque de forma mucho más sucinta, Alvira (1991) describe los modelos más utilizados en el campo de la

Mª JOSÉ ASENSIO COTO.

evaluación de programas sociales en “Metodología de la evaluación de programas”, Cuadernos metodológicos. Nos limitamos, por tanto, a destacar las características fundamentales de cada uno de ellos centrándonos en aquellas que han sido más relevantes a lo largo del tiempo, ya sea por adquirir carácter de referencia para la evaluación en el seno del enfoque clásico, o ser objeto de crítica desde los enfoque pluralistas. La secuencia que seguimos en la presentación de los modelos no pretende ser cronológica, aunque se acerca en la práctica al orden cronológico, ya que comenzamos con los modelos estrictamente clásicos para ir introduciendo paulatinamente aquellos otros que, sin abandonar el paradigma, aportan elementos nuevos para corregir las deficiencias que se van detectando a lo largo de la práctica evaluativa. a) Modelo de Tyler: medición del cumplimiento de objetivos Como hemos visto al principio de esta tesis, Ralph W. Tyler desarrolla el primer método sistemático de evaluación desde el campo de la educación que publica en Appraising and Recording Student Progress35 en el año 194236. El Modelo sistemático de evaluación definido por Tyler, en el que se basa la evaluación en su etapa de expansión, es un modelo sencillo, lineal y directo que consiste básicamente en la sistematización de una secuencia de tareas a realizar hasta emitir un juicio de valor sobre la acción evaluada. Este juicio consiste en indicar si el programa evaluado logra o no la consecución de la meta para la que se creó a la luz del cumplimiento de los objetivos preestablecidos. La secuencia, como es descrita por Alvira (Alvira, 1991:12) es como sigue: 1º Especificación de metas y objetivos del programa. 2º Estricta delimitación de estos objetivos de modo jerárquico (mayor a menor concreción) en términos objetivos y medibles.

35 36

Smith y Tyler, 1942. En Stufflebeam y Shinkfiel, 1993 y Alvira, 1991 se describe con mayor detalle el modelo. El primero de ellos dedica un capítulo completo a la descripción y análisis crítico tanto del modelo como de la forma en que éste se ha llevado a la práctica.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

3º Selección o elaboración de los instrumentos adecuados para medir las situaciones o condiciones del programa en que se produce o no la consecución de dichos objetivos. 4º Recopilación de la información necesaria utilizando los instrumentos de medida del punto anterior sobre dicha consecución –o no- de los objetivos. 5º Análisis comparativo de lo logrado, que se deduce de la información recopilada, y de lo que se quería logra (objetivos/metas establecidos previamente). Aunque Tyler diseña este método con la intención fundamental de introducir mejoras en los procesos educativos, la utilización que se ha hecho del modelo Tyleriano siempre ha considerado el proceso evaluador como un proceso terminal exclusivamente para valorar el logro final. Las características que definen el modelo serían, por tanto: - Se centra en la medición del logro de objetivos. - Es un modelo de evaluación de resultados. - Es evaluación ex post. - Es un modelo de evaluación externa y sumativa. Es un modelo de evaluación que se entiende como objetivo, objetividad que se sustenta sobre la cuantificación. Se basa en la medición y en la comparación de resultados obtenidos con resultados esperados. En este sentido no cabe dudar en la adscripción de este modelo al paradigma clásico del que incluso es considerado el origen. Tampoco creemos necesario insistir en la consideración que para toda la comunidad evaluadora tiene la propuesta de Tyler como modelo, como referencia para la práctica y la metodología de la evaluación. b) La Matriz de marco lógico Es un modelo promovido desde los organismos multilaterales relacionados con proyectos de desarrollo a nivel internacional (Banco Mundial y Banco Interamericano de Desarrollo) como instrumento de diseño y evaluación de programas que establece secuencias lógicas entre propósitos, actividades e indicadores de resultados de las mismas. Las referencias metodológicas y aplicaciones prácticas de este modelo las encontramos fundamentalmente en la bibliografía relacionada con la evaluación de proyectos de desarrollo y de cooperación.

Mª JOSÉ ASENSIO COTO.

La matriz de marco lógico parte de la reconstrucción de la lógica del programa o acción evaluada. La primera etapa de la evaluación es en realidad un examen de la consistencia de la lógica interna del programa. Se identifican los elementos que configuran la acción y, se definen las interrelaciones que se producen entre ellos: necesidades que se pretenden cubrir, los objetivos elegidos, los recursos humanos, financieros, etc., con los que cuenta el programa evaluado (inputs), las medidas adoptadas y actividades desarrolladas y los efectos deseados. Gráfico 4. Marco lógico.

Fuente: Serrano y Raczyaski, 2002:21.

El marco lógico pretende contribuir a: - Aclarar los objetivos de cualquier proyecto, programa o política. - Identificar las relaciones de causalidad previstas, la “lógica del programa”, mediante el análisis de las relaciones entre sus componentes. - Determinar los indicadores pertinentes en cada fase. - Determinar los riesgos que podrían impedir el logro de los objetivos.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

Este modelo de evaluación propone como punto de partida la separación de los elementos del programa evaluado. Seguidamente establece la secuencia lógica entre esos elementos para construir una matriz a partir de la cual realizar el análisis de los resultados de la acción evaluada. “La secuencia lógica indica que si los recursos/actividades se llevan a cabo en el tiempo y cantidad adecuada, se obtendrán los productos. Si se obtienen estos productos, se alcanzarán los objetivos; si se alcanzan los objetivos, la finalidad general del proyecto se cumple” (Serrano y Raczynski, 2002:19). El instrumento básico de este modelo es la matriz de marco lógico, que es construida a partir de cuatro componentes: - La finalidad y propósito de la acción evaluada. El Marco Lógico requiere que cada programa tenga solamente un propósito. El propósito es la contribución específica a la solución del problema(s) diagnosticado(s) a nivel de fin. - Las acciones que permitirán alcanzar ese propósito. - Los productos esperados - Los recursos/actividades (inputs). Los principales conceptos incluidos en la matriz son (Serrano y Raczynski, 2002): - Descripción de la manera en que el programa contribuirá a la solución del problema que se ha diagnosticado. - Propósito del Programa: el propósito describe lo que se considera las condiciones necesarias para conseguir la finalidad del programa. Es el resultado directo como consecuencia del cual se pretende alcanzar el fin. - Componentes del Programa: son los productos, bienes y/o servicios que entrega el programa para cumplir su propósito. Deben expresarse en términos de trabajo terminado (sistemas instalados, población capacitada, etc.). La idea es que los componentes describen las condiciones necesarias y suficientes para lograr el propósito. - Actividades del Programa: incluye las principales tareas que se deben cumplir para el logro de cada uno de los componentes del programa. Se trata de un listado de actividades en orden cronológico para cada componente. Las actividades especificadas para cada componente son necesarias y suficientes para producir el componente.

Mª JOSÉ ASENSIO COTO.

- Indicadores: son una especificación cuantitativa que permite verificar el nivel de logro alcanzado por el programa en el cumplimiento de sus objetivos. Es una expresión que establece una relación entre dos o más variables y permite la comparación entre distintos períodos. Los indicadores a consignar en la matriz son a nivel de propósito (deben medir el cambio que puede atribuirse a la ejecución del programa) y de componente. - Medios de Verificación: indican dónde se puede obtener información acerca de los indicadores. Son las fuentes de información que se pueden utilizar para verificar el nivel de logro de los objetivos. Incluye material publicado, inspección visual, encuestas, registros, etc. - Supuestos: indican los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que se logren los distintos niveles de objetivos del programa y que están fuera del control de la administración del programa. El objetivo no es consignar cada eventualidad que pueda concebirse, sino identificar aquellos supuestos que tengan una probabilidad razonable de ocurrencia. La matriz de marco lógico es un modelo de evaluación integral en la medida en que permite una visión del programa en su conjunto. No obstante, su desarrollo se basa en la construcción de indicadores para la medición del grado de cumplimiento de las metas previamente establecidas, sin prestar atención ni a las personas ni a los procesos que subyacen. Además, la lógica del programa sobre la que se sustenta el modelo tiene carácter lineal. Por tanto, a nuestro entender, se trata de un modelo de evaluación clásica. Las recomendaciones de los organismos internacionales hacia la utilización del marco lógico como esquema evaluativo hacen que la práctica evaluativa de este modelo sea extensa37.

En el artículo de Gasper (1999) encontramos una revisión de la utilidad de este modelo, al que el autor llama “enfoque” del marco lógico. Describe ampliamente sus características principales y realiza algunas propuestas de utilización de técnicas complementarias fundamentalmente con la finalidad de “aprovechar sus potencialidades y solucionar, aunque sea en parte, sus fallos, relativos sobre todo a la excesiva simplificación, la negación de aspectos fundamentales pero no cuantificables, la rigidez y el olvido de los efectos no deseados”. Muestra también de su aceptación en los organismos internacionales es el Manual publicado por la CEPAL en julio de 2005 (Ortegón, Pacheco y Prieto, 2005).

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

c) Evaluación orientada al consumidor de Scriven Se atribuye a Scriven el planteamiento radical de liberar a la evaluación de los objetivos de la acción evaluada. Scriven, matemático y doctor en filosofía de la ciencia, realiza una importante aportación a la metodología evaluativa. Dos son los elementos más destacables del modelo de evaluación que propone este autor: el papel atribuido al evaluador y la evaluación libre de objetivos38. Scriven critica la evaluación centrada en alcanzar los objetivos en lugar de centrarse en la satisfacción de las necesidades. En lugar de juzgar si se han alcanzado las metas inicialmente propuestas, el evaluador debe emitir un juicio sobre si el hecho de alcanzar las metas puede contribuir al bienestar de los destinatarios (“consumidores” en la terminología del autor). La función del evaluador es la de un “sustituto informado del consumidor”. La evaluación libre de objetivos se sustenta sobre la idea de que el establecimiento de objetivos cuyo cumplimiento ha de ser valorado genera efectos perversos tanto en el seno del programa o proyecto evaluado como en el propio proceso evaluador. - La dinámica de trabajo de los ejecutores de la acción evaluada puede verse condicionada de manera que busquen el cumplimiento de los estándares establecidos perdiendo la finalidad de su trabajo. - La actitud de desconfianza por parte de los sujetos evaluados respecto de la evaluación, temor ante el proceso. - La evaluación por objetivos no busca los efectos reales de la acción, sino los esperados. - La evaluación por objetivos se centra en los efectos fácilmente medibles. Ya en los años sesenta van apareciendo aportaciones que van perfilando una nueva concepción evaluativa al cuestionar el papel de los objetivos, que terminará de desarrollarse y, sobre todo, de extenderse en las décadas posteriores. Se traslada el núcleo de la evaluación, que hasta entonces giraba en torno al cumplimiento de objetivos hacia la valoración del cambio ocurrido. La búsqueda de

En la mayor parte de los manuales clásicos de evaluación encontramos el desarrollo de este modelo ya sea como “evaluación orientada al consumidor”, “orientada al cliente” o “evaluación libre de objetivos”.

Mª JOSÉ ASENSIO COTO.

criterios para valorar ese cambio se convierte, por tanto, en una tarea más del proceso evaluador. Por tanto, el punto clave de la evaluación libre de objetivo es el establecimiento del criterio. Scriven define dos formas de valor. Por un lado, un resultado puede tener valor en sí mismo, independiente del contexto en el que se produce y de posibles aplicaciones, valor libre de contexto, lo cual define Scriven como mérito. Por otro, un resultado puede tener valor en tanto en cuanto es susceptible de un determinado uso o aplicación, el valor está en la medida en que es útil en un contexto determinado, es un valor extrínseco que el autor llama dignidad. Fundamentalmente en este segundo caso es necesario el establecimiento de un criterio de valoración basado en el contexto en el que se desarrolla la acción y en la atribución de valor por parte de los actores involucrados en la acción. “Debido a esto Scriven, establecerá la diferencia entre evaluación formativa y sumativa. El objetivo de la evaluación formativa es refinar y mejorar los criterios y juicios sobre los aspectos intrínsecos de las realidades que están siendo evaluadas. El objetivos de la evaluación sumativa es determinar el impacto o los resultados en el contexto en que se obtienen tales resultados” (García Fernández, 2005). El proceso a seguir según recoge Alvira (Alvira 1997:18) tiene tres fases: 1º Desarrollo de criterios de mérito justificables que especifiquen qué tiene que hacer o cómo tiene que funcionar un programa para ser etiquetado como bueno. 2º Para cada criterio hay que especificar estándares/normas de funcionamiento que especifiquen niveles o grados de mérito. 3º La evaluación es simplemente la recogida de información sobre el comportamiento de estos criterios para estimar si se han alcanzado o no los estándares prefijados de funcionamiento. Así mismo, se presta atención no sólo a los resultados pretendidos, sino también a los efectos laterales o no pretendidos, e incluso a resultados o efectos a largo plazo. Las características que definen el modelo de evaluación centrado en el cliente serían, por tanto: - Es evaluación ligada a la finalidad (satisfacción de las necesidades del cliente) y al estudio del cambio.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

- Es un modelo de evaluación de la utilidad (de resultados y de impacto). - Es evaluación ex post. - Es evaluación externa. - Sumativa en la medida en que busca establecer el mérito o valor de la acción evaluada y formativa en la fase de establecimiento de los criterios. Scriven define la evaluación como la valoración sistemática del valor o mérito de las cosas. El modelo se centra en la medición y la comparación. El cuestionamiento de los objetivos es una aportación que supone un cambio muy relevante, pero no abandona la visión cuantitativa, científicamente objetiva. Aunque algunos autores, como destaca Ballart (1992) sitúan el modelo de Scriven en el enfoque pluralista, nosotros consideramos que sí es relevante en la transición hacia el nuevo paradigma, pero no por el planteamiento del autor ni por el uso que se ha hecho del modelo en la práctica, dado que siempre ha sido utilizado desde los planteamientos clásicos. La relevancia del modelo respecto del cambio de paradigma se deriva de las consecuencias que los autores pluralistas han desarrollado a partir de la liberación de los objetivos. d) El modelo CIPP de Stufflebeam: evaluación orientada al perfeccionamiento Sttuflebeam39 amplia el campo funcional de la evaluación proponiendo un modelo40 que se sustenta sobre la definición de evaluación propuesta por el autor: “proceso que permite identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, la planificación, la realización y el impacto de una intervención, proyecto o programa determinado, con el fin de servir de guía para la toma de decisiones, solucionar los problemas y promover la comprensión de los fenómenos implicados” (Stufflebeam y Shinkfield, 1993:183). Según el autor las funciones de la evaluación son:

La mejor referencia para profundizar en las características de la evaluación orientada al perfeccionamiento en castellano es la del propio autor: Evaluación sistemática (Sttuflebeam y Shinkfield, 1993).

Este modelo se presenta en el informe realizado por el Comité de Estudio Nacional sobre la Evaluación en EE.UU. del que Sttuflebeam era presidente. Informe que aparece publicado en 1971 (Stufflebeam et al. 1971).

100

Mª JOSÉ ASENSIO COTO.

- Servir de guía para la toma de decisiones. - Proporcionar datos para la responsabilidad. - Promover la comprensión de los fenómenos implicados. Stufflebeam propone un modelo de evaluación en el que se otorga especial relevancia a las características del contexto o escenario en el que se toman las decisiones. El modelo CIPP (Contexto, Inputs, Proceso, Producto) contempla la evaluación del proceso completo de la acción evaluada: - Evaluación del contexto: realiza la valoración de las necesidades y el análisis de la coherencia del programa con el contexto en el que se integra la acción. Se nutre fundamentalmente de datos generados por organismos oficiales y datos poblacionales. Es evaluación de las necesidades. - Evaluación de los Inputs: se trata de valorar los recursos disponibles (humanos, materiales y financieros) antes del programa; los objetivos y las estrategias planteadas. Es evaluación de la planificación. - Evaluación del proceso: análisis de los elementos que integran el dispositivo del programa, así como las relaciones y las dinámicas que se establecen entre las estructuras y entre los actores. Es evaluación de la ejecución. Los instrumentos utilizados son eminentemente cualitativos. - Evaluación del producto: se valoran los resultados obtenidos en relación a la información obtenida en el resto de las evaluaciones. La tabla 2 resume el contenido de cada una de estas evaluaciones. Este modelo requiere una detallada planificación del proceso evaluador. No obstante, la complejidad de las acciones evaluadas y las dinámicas que generan así como la extensión de la evaluación a todos los elementos del programa que se van sucediendo en el tiempo, la mayor parte de las veces requieren una revisión de la planificación inicialmente diseñada. Esta posibilidad está contemplada en el modelo CIPP de manera que esta planificación se concibe como un proceso, no como una etapa inicial de la evaluación, de manera que se le confiere carácter de orientadora del proceso evaluativo, pero con la necesaria flexibilidad. Es susceptible de ser revisada.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

Tabla 2. Modelo CIPP. Dimensiones del proceso. Evaluación del Evaluación del Evaluación del contexto input proceso Objetivo Identificar y valorar: Definir el contexto institucional. - La capacidad del sistema, Identificar la población objeto de estudio y valorar sus - las estrategias de necesidades. programa alternativas, Identificar las oportunidades de satisfacer las necesidades. - la planificación de procedimientos para Diagnosticar los problemas llevar a cabo las que subyacen en las estrategias, necesidades. - los presupuestos, Juzgar si los objetivos propuestos son lo - los programas. suficientemente coherentes con las necesidades valoradas.

101

Evaluación del producto

Identificar o pronosticar, durante el proceso, los defectos de la planificación del procedimiento o de su realización. Proporcionar información para las decisiones programadas. Describir y juzgar las actividades y aspectos de procedimiento.

Recopilar descripciones y juicios acerca de los resultados y relacionarlos con los objetivos y la información proporcionada por: ▪ el contexto, ▪ las variables de entrada, ▪ el proceso. Interpretar su valor y su mérito.

Controlar las limitaciones potenciales del procedimiento. Permanecer alerta ante las que no se esperaban mediante: ▪ obtención de información específica de las decisiones programadas, ▪ descripción del proceso real, ▪ continua interacción con el personal del proyecto ▪ observación de sus actividades.

Definir operacionalmente y valorar los criterios de los resultados, mediante: ▪ la recopilación de los juicios de los clientes ▪ la realización de análisis cualitativos y cuantitativos.

Método Utilización de métodos como: - análisis de sistemas, - revisión de documentos, - ediciones, - entrevistas, - tests diagnósticos - técnica Delphi.

Inventariar y analizar la aplicabilidad, viabilidad y economía de: ▪ los recursos humanos y materiales disponibles, ▪ las estrategias de solución, ▪ las estrategias de procedimiento. - Utilizar métodos como: ▪ búsqueda de bibliografía, ▪ visitas a programas ejemplares, ▪ los grupos asesores, ▪ casos piloto.

Relación con la toma de decisiones en el proceso de cambio Decidir el marco que debe ser abarcado, las metas relacionadas con la satisfacción de las necesidades o la utilización de las oportunidades y los objetivos relacionados con la solución de los problemas, por ejemplo, la planificación de los cambios necesarios y proporcionar una base para juzgar los resultados.

Fuente: CIDEC, 2004:101.

Seleccionar los recursos de apoyo, las estrategias de solución y la planificación de procedimientos; esto es, estructurar las actividades de cambio. Y proporcionar una base para juzgar la realización.

Llevar a cabo y perfeccionar la planificación y los procedimientos del programa, esto es, efectuar un control del proceso. Y proporcionar un esbozo del proceso real para utilizarlo más tarde en la interpretación de los resultados.

Decidir la continuación, finalización, modificación o readaptación de la actividad. Y presentar un informe claro de los efectos (deseados y no deseados, positivos y negativos).

102

Mª JOSÉ ASENSIO COTO.

Las características que definen el modelo de evaluación CIPP de Stufflebeam serían, por tanto: - El propósito de la evaluación no es demostrar algo sino mejorar lo existente. - Es evaluación ligada a la finalidad: proporcionar información para la toma de decisiones. - Es evaluación centrada en el logro de objetivos. - Es evaluación integral. Extiende la evaluación a todas las fases de ejecución del programa, desde la evaluación de necesidades hasta los resultados. - Generalmente es evaluación externa. - Es evaluación fundamentalmente formativa pero con elementos de evaluación sumativa. - Es eminentemente cuantitativa, pero recoge información cualitativa fundamentalmente en la etapa de diseño de la evaluación. e) El modelo respondente o centrado en el cliente de Stake El modelo formulado por Stake en 1967, construido sobre las aportaciones de Tyler es, al igual que el modelo de Tyler, un modelo sistemático de evaluación. Las aportaciones fundamentales del modelo son: - Introduce la descripción como elemento integrante del proceso evaluador como paso previo a la emisión de juicios. - El elemento central en torno al que se diseña el modelo es el cliente. Es una evaluación orientada a satisfacer las necesidades de quien encarga la evaluación. Es una evaluación que se realiza desde la perspectiva del cliente. Las dos tareas principales del evaluador son la descripción y el juicio. En cuanto a la descripción, el evaluador debe analizar tanto los aspectos objetivos como los subjetivos. Se recoge información cuantitativa y cualitativa teniendo en cuenta la intención y la percepción, es decir, qué se pretende con la acción evaluada y también la percepción de los participantes. Se analiza la congruencia o discrepancia entre lo que la acción pretende (intenciones) y lo observado. La evaluación mide,

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

103

comparando resultados directos como indirectos, los logros planeados y los accidentales. A la hora de emitir juicios, éste es un modelo que admite la pluralidad de valores entre los agentes implicados; por tanto, el evaluador debe conocer, recoger y analizar datos de mérito y de valor entre todos los actores. Los valores estándares para emitir juicios se establecen a partir del conocimiento sobre las diferentes visiones de los implicados. De manera que, para la recogida de información se utilizan técnicas cualitativas además de la recogida de datos cuantitativos. La aportación de Stake es considerada por muchos autores como el elemento fundamental de la transición entre las evaluaciones clásicas y pluralistas. Él mismo resalta el contraste entre la evaluación “respondente” que él propone y la evaluación que denomina “preordenada” como se recogen en la tabla 3. Stake describe claramente la estructura del su modelo proponiendo una doble vertiente de ésta: la estructura sustancial y la estructura funcional. La estructura sustancial se configura en torno a cuatro elementos: los problemas, un esquema para la recopilación de información, la observación de las personas y, por último, la validación. Para identificar los problemas el modelo aconseja la familiarización del evaluador con los agentes implicados en la acción evaluada. Es necesario que se construya una forma de relación continua entre el evaluador y las personas para alcanzar una comprensión mutua de manera que las cuestiones a evaluar y el sistema de recogida de información sea fruto del trabajo conjunto.

104

Mª JOSÉ ASENSIO COTO.

Tabla 3. Principales distinciones entre la evaluación preordenada y la evaluación respondente. Distinción

Evaluación preordenada

Propósito

Determinar hasta qué punto han sido alcanzadas las metas

Ayuda a los clientes a distinguir las virtudes y los efectos

Alcance de los servicios

Satisfacer los requisitos informativos tal como se había acordado al principio del proceso

Responde a los requisitos informativos de la audiencia a lo largo de todo el proceso

Obligaciones de las partes formales de la evaluación se negocian y definen tan específicamente como sea posible al principio del proceso

Los propósitos y procedimientos se esbozan de una manera muy general al principio y se desarrollan durante el proceso.

Propósitos del programa, indicación de las variables

Problemas y actividades del programa

Contratos

Orientación principal Planificaciones

Evaluación respondente

Preespecificadas

Se van haciendo a sí mismas

Reflejo del “modelo investigativo”: intervención y observación

Reflejo de lo que la gente hace “naturalmente”: observa, interpreta y especifica

Diseño experimental, objetivos de comportamiento, hipótesis, muestreo al azar, tests objetivos, estadísticas de resumen e informes investigativos

Estudio de casos concretos, objetivos expresivos, muestreo intencionado, observación, exámenes de programas opuestos e informes expresivos

Formales e infrecuentes

Informales y continuas

Bases para la interpretación de los valores

Referencias a los objetivos preestablecidos, a los grupos de reglas y a los programas competitivos

Referencias a las distintas perspectivas de valor de las personas próximas

Diferencias fundamentales

Sacrifica el servicio directo a los que toman pare en el programa por la producción de informes investigativos objetivos

Sacrifica cierto grado de precisión en la valoración para que pueda aumentar la utilidad

Utiliza procedimientos objetivos y perspectivas independientes

Reproducción y definición operacional de los términos ambiguos

Metodología

Técnicas preferidas Comunicaciones entre el evaluador y el cliente

Previsiones para evitar la tendenciosidad

Fuente: CIDEC, 2000:107.

El esquema para la recopilación de la información que propone el modelo es el que reproducimos en el gráfico 5. Es necesario identificar las diferentes perspectivas que conviven en el seno del programa evaluado recogiendo información sobre las intenciones de los agentes y las diferentes percepciones de éstos respecto del mismo, sus acciones, la congruencia interna, etc. A partir de aquí es posible construir los estándares o normas en función de lo que los actores consideran deseable. Finalmente, el esquema contempla la recogida de información sobre los juicios que están orientados por esas normas que se han establecido desde dentro del programa.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

105

Gráfico 5. Esquema de Satke para la recopilación de datos en la evaluación de un programa educativo.

Fuente: Stufflebeam y Shinkfield, 1993: 244.

El tercer elemento es la observación de las personas que son la fuente de información principal de este modelo evaluativo. Finalmente, el cuarto elemento que configura el modelo de evaluación “respondente” es la validación. Ésta va a depender de la capacidad de satisfacción de las necesidades del cliente respecto del resultado de la evaluación. Ésta está relacionada, según Stake, con las características de la información que el proceso evaluador transmita a las personas que la han solicitado. Se trata de proporcionar información suficiente, procedente de numerosas fuentes, de la credibilidad e independencia de estas fuentes y de la capacidad de esta información de representar el verdadero estado del programa evaluado. La estructura funcional de la evaluación respondente no es lineal. Es presentada por Stake en forma de reloj, representación que no pretende mostrar una secuencia ordenada, “se mueve en la dirección de las aguas del reloj, en sentido contrario y en cualquier otro sentido que pueda satisfacer mejor las necesidades del cliente.

106

Mª JOSÉ ASENSIO COTO.

Gráfico 6. La estructura funcional de la evaluación según Stake: La evaluación reloj.

Fuente: SIDEC, 2000:112.

El modelo propuesto por Stake amplía, por tanto, el concepto de evaluación respecto de su extensión incluyendo un examen, además de los resultados, de los antecedentes, del proceso, de las normas y de los juicios. Además, amplía el campo funcional. Por otra parte, considera especialmente útiles la evaluación interna y las autoevaluaciones. Es un modelo en el que cada paso desencadena el siguiente. Las características que definen el modelo de evaluación centrado en el cliente serían, por tanto: - Es evaluación ligada a la finalidad. - El propósito de la evaluación es la satisfacción de las necesidades del cliente. - Énfasis en la descripción del conjunto de la acción evaluada. - El establecimiento de criterios de mérito o valor contempla la pluralidad de valores de las personas implicadas. Estos criterios se establecen a lo largo del proceso evaluativo mediante la interacción evaluador-agentes.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

107

- La información relevante no está delimitada previamente. Aconseja la diversidad de fuentes y de datos. Da especial importancia a la información cualitativa. - Los métodos de recogida de información no están previamente establecidos. Se recomienda que se utilice cualquier técnica que pueda parecer relevante para reflejar la complejidad de la acción evaluada. - Los agentes del proceso forman parte de los trabajos de diseño de la evaluación. - Es evaluación externa pero se combina en algunos casos con evaluación interna y formativa. Es un modelo de evaluación que combina elementos objetivos y subjetivos, tiene en cuenta la pluralidad de valores entre los agentes implicados en la acción evaluada. Eminentemente cualitativo sin renunciar a lo cuantitativo. Compara resultados obtenidos, esperados y no esperados con las normas establecidas por los actores. 3.1.2. Modelos de evaluación pluralista Los modelos que hemos visto hasta aquí son modelos clásicos y de transición, es decir, modelos que desde la evaluación clásica introducen elementos como son la aceptación de pluralidad de valores, integralidad de la evaluación y participación de los actores. Con esto, el proceso evaluador se va haciendo más flexible, más amplio en relación a los elementos del programa que evalúan y más amplio también desde el aspecto funcional, ampliando las funciones de la evaluación. No obstante, cada uno de ellos parte de la idea clásica de evaluación, aunque resaltan y desarrollan alguno de los aspectos a los que nos hemos referido. En cualquier caso, éstos aspectos (pluralidad de valores, globalidad, flexibilidad y participación) no son llevados hasta sus últimas consecuencias. Nosotros consideramos que lo que caracteriza las evaluaciones pluralistas es precisamente el hecho de llevar estos elementos hasta sus últimas consecuencias de manera que se modifica la naturaleza del proceso evaluador. Lo que distingue a cada uno de los modelos pluralista es el énfasis en cada uno de estos elementos.

108

Mª JOSÉ ASENSIO COTO.

a) Evaluación orientada a la utilización (Patton) Patton centra el diseño de la evaluación en resolver el problema de la falta de utilización de los resultados de las evaluaciones41. Ballart (1992:158) describe la secuencia del modelo evaluativo orientado a la utilización como sigue: 1. Se identifican los usuarios potenciales de la evaluación o sus representantes si se trata de un grupo numeroso para constituir una comisión de trabajo con capacidad de decisión. 2. La comisión de trabajo, con la participación del evaluador, determina el objeto de la evaluación. Esto implica también decidir si la evaluación ha de responder a cuestiones de eficacia general, de implementación o de diseño y conceptualización de la intervención. 3. En función de los acuerdos adoptados sobre el contenido y alcance de la evaluación, se decide sobre el diseño de la evaluación, métodos e instrumentos a utilizar sin excluir ninguno de los posibles: métodos cuantitativos, cualitativos, experimentales, cuasiexperimentales, etc. El criterio de selección es la utilización de la evaluación. 4. Finalmente, una vez realizada la recogida y análisis de la información, la comisión de trabajo participa en la interpretación de los resultados y se ocupa de enjuiciar el programa. Siempre con la intervención del evaluador, el proceso culmina con la elaboración de recomendaciones y control de su implementación por parte de la comisión de trabajo. El proceso de evaluación es dinámico e interactivo de manera que a medida que se avanza se van reconsiderando las decisiones anteriores como se muestra en el gráfico 7 tomado de Patton, 1978.

La referencia fundamental es Patton, M.Q. (1978).

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

Gráfico 7. Evaluación orientada a la utilización.

Fuente: Ballart, 1992:160.

109

110

Mª JOSÉ ASENSIO COTO.

Con este diseño se pretende incrementar las posibilidades de que los resultados de la evaluación sean utilizados por los implicados en la acción evaluada por una doble vía. Por un lado, garantizando que los grupos y personas implicados en la acción participen en el diseño de la evaluación; por otro, haciendo de la evaluación un proceso transparente respecto de las personas implicadas, reduciendo así los temores que ésta puede despertar. Patton (1978) definió los diez temores principales de los funcionarios frente a la evaluación Patton: 1. Temor a que le sea asignada mayor responsabilidad sin tener mayor control o mayores recursos. 2. Temor a ser culpado: temor a que la evaluación sea utilizada para castigar. 3. Temor a ser avergonzado: temor a que se resalten las debilidades y se hagan visibles los fracasos, temor a que los investigadores puedan hacer que el interesado parezca "estúpido" por medio de medidas y diagramas complicados. 4. Temor a mayor competencia —cuando se hacen comparaciones— y a las consecuencias de perder en la competencia. 5. Temor a que la evaluación no sea justa —p. e. a que se apliquen criterios inapropiados, a que se formulen conclusiones o se hagan juicios fuera de contexto. 6. Temor a la inseguridad: el no estar seguro de qué será incluido, qué se descubrirá o cómo se utilizarán los resultados; temor a que no se midan las cosas importantes o que se hagan ver demasiado simples. 7. Temor a no ser escuchado: la credibilidad de la evaluación es debilitada por la manera en que se impone, ordena o exige, sin involucrar o consultar al personal; temor a la arrogancia del evaluador. 8. Temor derivado de malas experiencias anteriores con la evaluación: promesas incumplidas, abusos pasados, usos indebidos, informes no pertinentes, asuntos importantes no anotados, recomendaciones sacadas de la nada, etc. 9. Temor a que el riesgo sea demasiado alto: empleos, carrera profesional, supervivencia del programa, recursos, reputación. 10. Temor a lo político: escepticismo con respecto a que las consideraciones políticas se impongan sobre las demás, y con

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

111

respecto al cinismo de los dirigentes que dicen que “esta vez la cosa será diferente”. De entre los modelos inspirados en la evaluación orientada a la utilización de Patton destaca por la existencia de un número elevado de realizaciones la Evaluación Estratégica de la gestión de programas de la CEPAL que ha venido implementando un programa de evaluación de grandes proyectos sociales en diversos países de América Latina. El modelo de CEPAL, aplicado a la gestión de programas42, combina la preocupación por el impacto sobre los beneficiarios y por el uso eficiente de los recursos. Al igual que Patton, el modelo de evaluación estratégica enfatiza el papel de la propia organización en la resolución del conjunto de problemas o conflictos que genera el programa, tanto dentro de él como en el entorno en el que se desarrolla, además de los directamente relacionados con el logro de objetivos. El modelo orientado a la utilización incorpora la participación en todas las etapas del proceso evaluador; es evaluación global ya que no parcela el proceso evaluado y se orienta por las cuestiones globales planteadas al inicio del proceso por los grupos implicados; los criterios de valor no están preestablecidos, se establecen durante la evaluación. Finalmente es un modelo flexible e interactivo que permite la revisión de cualquier decisión y de los criterios que van siendo establecidos mediante la retroalimentación entre las diferentes etapas del proceso evaluador. b) La participación de los sectores involucrados: evaluación participativa La evaluación participativa es un modelo de evaluación de carácter pluralista que, frente al paradigma clásico centrado en el cumplimiento de objetivos, se ocupa de generar sinergias y enseñanzas a partir de la implicación de los actores en la evaluación43.

Los programas evaluados son: Proyecto de Restaurantes Escolares Comunitarios, Medellín; Proyecto Jóvenes, Argentina; Programa DST/AIS, Brasil; Programa de Apoyo a la Microempresa, Chile; Programa de Inversión Social, Paraguay; y el Programa Nacional de Enfermedades Sexualmente Transmisibles (DST) y Síndrome de Inmunodeficiencia Adquirida (SIDA) de Brasil.

Osuna (2003) recoge en este artículo una caracterización general del modelo participativo. Para profundizar en los aspectos prácticos de la evaluación

112

Mª JOSÉ ASENSIO COTO.

En el marco de una evaluación participativa, los principales interesados participan directamente en el establecimiento de parámetros de medida de los resultados44: - ¿Qué evaluar? - ¿Quién participará en la evaluación? - ¿Cuándo se realizarán las actividades previstas? - ¿Qué métodos son los adecuados? - ¿Cómo reagrupar las conclusiones y cómo se realizará la comunicación de los resultados? De manera que los sujetos implicados contribuyen directamente al análisis de los progresos realizados, a la búsqueda de soluciones para afrontar los problemas detectados, a la evaluación propiamente dicha y a la comunicación de los resultados. De manera que la planificación de la evaluación no es previa a la evaluación misma. Sí es necesario establecer unos puntos de partida: - ¿Quiénes son los interesados? - ¿Cómo los interesados pueden realizar su mejor aportación? - ¿Cuáles son los costes suplementarios de la participación? - ¿Pueden aparecer consecuencias o resultados imprevistos? Es un modelo de evaluación sólo susceptible de aplicación a acciones de tipo participativo, de manera que los interesados participan en la concepción, la planificación y la ejecución de los programas, proyectos, actividades de seguimiento, esto permite crear las condiciones para que participen también en las actividades de evaluación45. participativa ver PNUD (1997). Contiene además una breve descripción de la evolución del enfoque participativo, una comparación entre la evaluación participativa y los enfoques más tradicionales de evaluación, el tratamiento del papel de la participación y la descripción del marco de una evaluación participativa. 44

Sobre el papel de los interesados y las diferentes opciones a la hora de articular la participación en la evaluación existen numerosas publicaciones. Resultan clarificadoras y profundizan en esta cuestión: Feuerstein, 1988; Fowler, Liz y Rick, 1995; Uphoff, 1991.

Austin, (1993) realiza una interesante reflexión del papel de la evaluación participativa en proyectos de desarrollo. La evaluación participativa está siendo muy utilizada en proyectos destinados a comunidades rurales en países del tercer mundo. Los organismos internacionales de ayuda al desarrollo y las

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

113

La evaluación participativa es realizada por los agentes implicados en el proyecto evaluado. Se trata de hacer que la evaluación forme parte del día a día en el trabajo de las organizaciones o estructuras que ejecutan los proyectos fomentando el aprendizaje por parte de los participantes a través del propio proceso evaluativo. Por tanto, se trata de evaluaciones internas, no es posible la realización de evaluaciones participativas desde fuera del programa evaluado. c) Finalidad de la evaluación ampliada: Evaluación de empoderamiento Lo que caracteriza a este modelo es el énfasis en la finalidad del proceso evaluativo. La evaluación de empoderamiento es propuesta por Fetterman46 y se sustenta sobre el concepto de empoderamiento elaborado por Rappaport que, desde la psicología comunitaria, le confiere el sentido de “dotar de poder”47. Julian Rappaport introduce este concepto en el contexto de lo que él define como conflicto entre modelos de intervención basados en los “derechos” y modelos basados en las “necesidades” de la gente. “La prevención es la extensión de un modelo de necesidades que ve a la gente con problemas como niños; la defensa/promoción es la extensión de un modelo de derechos que ve a la gente como ciudadanos” (Rappoport 1984). El autor considera que ambos modelos son unilaterales y propone como alternativa un modelo de empoderamiento para una política social que ve a la gente como seres humanos totales. El empoderamiento así entendido posee una doble dimensión, una individual centrada en la adquisición de capacidades para dirigir un grandes ONGs lo incorporan al modelo de monitorización de programas atorgando así carácter participativo a este modelo evaluativo. Casley, y Lury. (1982) profundizan en las cuestiones metodológicas derivadas de la incorporación de la participación al modelo tradicional de monitorización. Para el caso específico de aplicación a comunidades rurales ver Rugh, 1986. 46 47

Fetterman 1994, 1995 y 1998; Fetterman, Kaftarian y Wandersman 1996. Los términos ingleses to empower y empowerment han dado lugar a los actuales neologismos. El Diccionario académico recoge el verbo empoderar(se), con marca de “desusado” e incluye también apoderamiento y apoderar con la acepción que nos interesa también con la misma marca. No obstante, el sustantivo empoderamiento se recoge en el Diccionario de uso del español actual CLAVE, con el siguiente significado: “adquisición de poder, emancipación o autonomía por parte de un grupo desfavorecido”.

114

Mª JOSÉ ASENSIO COTO.

proyecto individual, un proyecto de vida (competencia personal); otra de carácter social que se refiere a la posibilidad de participación democrática (competencia comunitaria). Desde esta perspectiva de la intervención, el eje central del proceso evaluador son las personas. El propósito de la evaluación de empoderamiento es proporcionar a los actores implicados en el proceso a evaluar herramientas para conocer su situación, sus logros y debilidades. Es un modelo evaluativo centrado en las posibilidades del proceso evaluador para ampliar las capacidades de conducir los procesos a través del aprendizaje conjunto y del conocimiento cooperativo. El instrumento básico de la evaluación es la participación de forma que, mediante ésta, los implicados en el proyecto o programa sean capaces de conducir el proceso a partir del aprendizaje. La idea es contribuir al autoconocimiento para desarrollar capacidades. La evaluación de empoderamiento es fundamentalmente autoevaluación. Fetterman define evaluación de empoderamiento o empoderadora como el “uso de conceptos, técnicas y conclusiones de la evaluación para ayudar a los participantes en un programa a evaluarse a ellos mismos y a sus programas, con el objetivo de mejorar esos programas y promover la autodeterminación. Utiliza tanto técnicas cuantitativas como cualitativas. Es una actividad grupal, no individual, porque un evaluador no puede empoderar a otros, sino que la gente se empodera a sí misma, aunque necesite ayuda de otros o un entrenamiento” (Fetterman, 1998:1). En la práctica, la evaluación de empoderamiento es muy utilizada en la actualidad para proyectos dirigidos a poblaciones especialmente desfavorecidas o grupos minoritarios (mujeres y minorías étnicas), así como para evaluar intervenciones de desarrollo endógeno o desarrollo local en zonas empobrecidas. La CEPAL trabaja desde esta perspectiva en la elaboración de manuales de evaluación y monografías metodológicas. La Agencia Española de Cooperación para el Desarrollo también promueve este modelo evaluativo. Larrú Ramos, en “Empoderamiento y participación en la evaluación de acciones de cooperación al desarrollo: del discurso teórico a la práctica española” (2003),

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

115

analiza cuál es la situación actual de la práctica evaluativa desde los proyectos españoles de cooperación48. La evaluación de empoderamiento es participativa, es autoevaluación y se caracteriza porque el propósito es empoderar a los sujetos o grupos evaluados. Por tanto, es un tipo de evaluación centrada en las personas y aplicable a un modelo de intervención específico centrado en el enfoque de los derechos. d) Evaluación democrática La evaluación democrática está conformándose recientemente de manera pujante fundamentalmente desde América Latina en el contexto de las agencias internacionales de desarrollo, tanto UNICEF49, como el Banco Interamericano de Desarrollo; las agencias de cooperación bilaterales y las grandes ONGs optan claramente por este modelo evaluativo. El segundo campo de acción en el que existe ya una experiencia acumulada de este modelo evaluativo es la evaluación educativa en el que se atribuye a Barry Mac Donald50 el planteamiento original de la evaluación democrática. En este ámbito son numerosos los trabajos teóricos y aplicaciones evaluativas. La referencia fundamental es el libro de Helen Simons (1999) en el que encontramos una muy interesante reflexión teórica sobre la evaluación democrática. Se trata de un extenso estudio de la teoría y la práctica de la evaluación democrática en el que se analizan las posibilidades de establecimiento de este tipo de evaluaciones en el seno de instituciones escolares. Una de las aportaciones interesantes de este trabajo se refiere a lo que puede significar en el seno de una entidad determinada este modelo como freno eficaz a la privatización y centralización de la información, y como apoyo a la democratización de las instituciones docentes51.

El papel de la evaluación en acciones de desarrollo es analizado por Lewis, et al. 1988; Rowlands, 1995; Werner 1988, Diaz-Albertini, 1990.

La Oficina Regional para América Latina y el Caribe define un Marco Conceptual Regional para Monitoreo y Evaluación en el que se opta por la implementación de la evaluación democrática utilizando como modelo evaluativo de base la monitorización de programas.

50 51

MacDonald y Walker 1974. En la última década la investigación sobre evaluación democrática en el campo de la educación se ha intensificado: Apple y Beane 1997; Arias, Flores y Porlán 2001; Gil Villa, 1995; Arnal et al. 1992; Soler 1999.

116

Mª JOSÉ ASENSIO COTO.

Son evaluaciones democráticas aquellas en las que tanto los métodos aplicados como la información generada en el proceso evaluador son abiertos y posibles de ser discutidos y reelaborados. Este modelo supone un cambio radical en la forma de entender el alcance y significado de la evaluación. La evaluación democrática es el resultado de la fusión de dos modelos evaluativos ya mencionados: la evaluación orientada a la utilización de Patton y la evaluación de empoderamiento. Representa una nueva perspectiva que modifica la función de la actividad evaluadora desde una concepción de medición de cambio hacia la idea de la evaluación como motor de cambio. La evaluación como proceso, no como producto. Pone el énfasis en las implicaciones políticas y sociales de las evaluaciones, tanto en la forma de realizarlas como en los resultados obtenidos y en las consecuencias que de ellos se puedan derivar. Dos grandes cuestiones son afrontadas por este tipo de evaluación. Por un lado, una cuestión relativa a las personas: quién debe realizar las evaluaciones, quién debe juzgar el valor de los programas y quién debe tener acceso a los recursos y a los resultados obtenidos. Por otro lado, la evaluación democrática se realiza desde un posicionamiento previo respecto de los derechos, las obligaciones y libertades de los actores involucrados en la acción. “Si podemos aceptar el concepto de que la democracia es una visión del mundo, una manera de pensar, sentir y actuar para practicarla y vivirla, una perspectiva para comprender y mejorar las relaciones humanas y sociales, entonces la evaluación democrática es una nueva manera de abordar la función evaluativa, en la cual las metas son comprender, aprender, responder ante sí mismo, y mejorar nuestro propio desempeño, eficiencia y eficacia; y también es un proceso de empoderamiento, en el cual los interesados tienen pleno control de su evaluación, en el cual ellos son los evaluadores que planifican, efectúan, internalizan y hacen el seguimiento a los resultados de la evaluación, las lecciones aprendidas y las recomendaciones” (Segone, 1998:28). La evaluación democrática es evaluación de empoderamiento: la evaluación es entendida como un proceso que incrementa la capacidad de los actores de comprender y realizar su propia autoevaluación para mejorar sus condiciones de vida.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

117

Se trata de evaluar desde la perspectiva de los derechos. Se sustenta sobre el enfoque de derechos. Desde este enfoque aplicado al desarrollo, “la participación es un derecho básico y el empoderamiento una estrategia ganadora” (Segone, 1998:28). La evaluación democrática es el enfoque más efectivo para la evaluación de proyectos de desarrollo. Para la implementación de un sistema de evaluación de estas características es requisito imprescindible la existencia de una cultura común de evaluación entre los participantes del proyecto. Es preciso construir un marco conceptual común, basado tanto en los intereses comunes como en las discrepancias que también son propiedad del grupo. Es preciso también una comprensión común y un entorno institucional capaz de habilitar a los actores. No es un modelo de evaluación que se pueda sustentar sobre el mayor o menor conocimiento o habilidades técnicas del evaluador. Es un enfoque centrado en la utilización de los resultados, pero llevado mucho más lejos que el modelo de evaluación de Patton. La utilización de resultados va orientada a empoderar a los participantes. “El objetivo es transformar la evaluación…en una herramienta administrativa democrática nueva que está a disposición de todos los miembros de la institución para que puedan comprender mejor el entorno institucional y aprender de la experiencia pasada, ser más responsables ante si mismos, y ser más eficientes” (Segone, 1998:6). Otro de los elementos que sustentan la evaluación democrática es la supremacía del aprendizaje sobre la responsabilidad. El aprendizaje requiere un ambiente de confianza. Es necesario que los actores se sientan capaces de informar sobre las deficiencias, incluso los propios errores, sin sentir temor, estos temores, a los que ya hemos hecho referencia a través de la caracterización de Patton. En este sentido, una propuesta interesante para solventar la tensión existente entre responsabilidad y aprendizaje, se trata de separar dos aspectos inherentes a la responsabilidad: la “responsabilidad ante si mismo” y la “responsabilidad convencional”. Se trata de trasladar el enfoque de “responsabilidad convencional” a la función de auditoria y el enfoque de “responsabilidad ante sí mismo” a la función de evaluación. El punto de partida es la propuesta que Marco Segone atribuye a E. Kushner, desde el ámbito de la evaluación institucional, quien propone dos enfoques de la responsabilidad. Desde el enfoque

118

Mª JOSÉ ASENSIO COTO.

convencional (pre-hoc) se les atribuyen objetivos a las personas y una posición respecto de ellos. Así, las personas son vistas como unidades funcionales dentro del conjunto de la institución que es evaluada o que ejecuta la acción sometida a evaluación. Es una visión individualista y “mecánica en la que cada pieza del mecanismo contribuye al funcionamiento global eficiente” (Segone, 1998:10). Las personas deben responder a las necesidades de la institución y saber cómo tienen que hacerlo, cumpliendo los objetivos prefijados. Se definen metas y supervisa la acción. En la responsabilidad “ante sí mismo” (post-hoc en la terminología de Kushner), las personas conocen las metas de la institución y guían su propia acción individual en función de ello. Lo que da sentido y carácter a la institución es el trabajo de sus miembros individuales. Es una responsabilidad de carácter holístico ya que la unidad considerada es la institución, la meta preestablecida es la de la institución y las personas o unidades sus propias metas de manera que la institución como un todo cumpla las suyas. Lo que es objeto de evaluación es la coherencia interna respecto de las metas generales. En la evaluación democrática, las metas son negociables, es decir, a lo largo del proceso es posible y aceptable un cambio en la dirección de la acción en virtud de la responsabilidad ante sí mismo asumida por los agentes implicados que responden de su trabajo en la medida en que sus acciones contribuyan al objetivo común. Se trata de un modelo de acción inteligente que contribuya a conducir los procesos aprendiendo de la experiencia. La evaluación democrática contempla así las necesidades de los proyectos que, fundamentalmente cuando se trata de proyectos de desarrollo, tiene que responder a su ambiente externo mostrando capacidad de adaptación a los cambios de éste, así como a los que se producen en el seno del proyecto o de la institución que lo ejecuta. En este segundo enfoque, “la institución es responsable por su capacidad de responder a las necesidades de los actores”. 3.1.3. Una reflexión sobre los modelos pluralistas El interés por la medición de resultados que ha caracterizado tradicionalmente las metodologías de evaluación, ha llevado a centrar la actividad evaluadora en el análisis del cambio, como queda reflejado en los modelos evaluativos que hemos calificado como modelos clásicos o modelos de transición. La nota común a

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

119

todos ellos es este interés por los resultados. Son modelos evaluativos que se han desarrollado como instrumentos para medir la eficacia en función de los cambios operados. En este sentido, algunos autores señalan que esta circunstancia lleva a olvidar otras cuestiones relevantes por no poder ser evaluadas dentro de este esquema. Así, fundamentalmente en el campo de la evaluación de proyectos de desarrollo, se han ido aportando distintas soluciones metodológicas para eliminar el sesgo hacia los resultados. Los nuevos modelos que se derivan de esta actitud ponen especial hincapié en la importancia de procesos como la participación, el aprendizaje, la retroalimentación, el desarrollo de capacidades y la utilización de los resultados de la evaluación. “Es necesario devolver a la evaluación su primitivo objetivo dirigido a mejorar las intervenciones como acercamiento más adecuado de cara al seguimiento y evaluación del desarrollo” (Díaz Puente, 2003:4). Los diferentes modelos que se han ido desarrollando derivados de esta actitud presentan diferencias entre sí en función de la importancia que para cada uno de ellos atribuye a uno u otro elemento. Hemos recogido cuatro modelos representativos de la evaluación pluralista. El modelo de Patton concentra los esfuerzos de diseño en la utilización de los resultados; la evaluación participativa centra su atención en los efectos que sobre la finalidad de la evaluación se derivan de la participación de las personas implicadas; el modelo de empoderamiento resalta la utilización de la evaluación para atribuir poder de conducir los procesos a los actores; y, finalmente, la evaluación democrática se diseña en torno a un modelo determinado de intervención centrada en los derechos. En cualquier caso, todos ellos implican la evaluación global de todos los procesos involucrados en la implementación del proyecto o programa a evaluar. Después de analizar los modelos más representativos de la práctica evaluadora, estamos en condiciones de intentar responder a uno de los interrogantes que nos planteábamos al inicio de esta investigación: ¿cómo repercute en la práctica evaluadora el cambio de paradigma sobre el que se sustenta esta actividad? En nuestra opinión, el nuevo paradigma se materializa en la práctica con la introducción de “elementos pluralistas” en los modelos evaluativos

120

Mª JOSÉ ASENSIO COTO.

sobre una visión sistémica52. Es decir, podríamos calificar un modelo evaluativo como modelo pluralista sí, y sólo sí, se sustenta sobre una visión sistémica de la realidad que pretende evaluar y de la metodología adecuada para hacerlo y además contempla en el proceso evaluador elementos pluralistas. Pero, ¿cuáles son esos elementos? Recogemos a continuación los elementos que, a nuestro entender, caracterizan los modelos de evaluación pluralista: 1. La evaluación como motor de cambio.La evaluación ya no es entendida como un mero análisis del cambio. El centro del análisis es la estrategia de cambio. Esto desplaza el interés por la comparación entre situaciones antes y después de la intervención hacia el análisis de los procesos, de los elementos, actores, relaciones claves para conducir los procesos hacia el camino deseado. 2. La objetividad de la evaluación no se centra en la cuantificación.El planteamiento respecto de la objetividad es diferente en una doble vertiente. Por un lado, pierde relevancia, dado que no se trata de calificar ni de comparar, se trata de conocer los mecanismos que conducen el proceso. La objetividad es sustituida, en lo que se refiere a la importancia que tiene en el proceso evaluador, por la utilización. En cualquier caso, la objetividad no va a estar garantizada por la cuantificación. Lo cualitativo pasa a un primer plano respecto de lo cuantitativo, porque se trata de conocer cómo ocurren los cambios, no cuanto ha cambiado la situación. No se renuncia a la cuantificación, pero pasa a ser una mera herramienta junto a otros muchos elementos cualitativos. 3. La selección de herramientas y métodos de análisis cuantitativos y cualitativos sólo está supeditada al propósito de la evaluación y a las características del proceso evaluado.-

La visión sistémica, basada en la totalidad, contempla los procesos desde una perspectiva integradora. Lo más importante en la perspectiva sistémica son las relaciones que se establecen entre sus componentes. Un elemento se explica en su relación con la totalidad. Se otorga especial relevancia a las características del contexto o escenario en el que se desarrollan los procesos. En la bibliografía se han incluido las referencias de las lecturas fundamentales relativas al enfoque sistémico en la Ciencia en general y en la Ciencia Económica en particular, cuestión que fue abordada en profundidad en nuestra tesis de licenciatura (Asensio, 1998).

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

121

Cada evaluación pluralista utiliza las herramientas necesarias con independencia de su naturaleza. El criterio de selección está más relacionado con las necesidades de la evaluación, la utilización de la misma y las posibilidades que ofrezca la naturaleza del proceso evaluado y el contexto en el que éste de desarrolla, que con criterios epistemológicos previamente establecidos. En muchos casos son los criterios éticos internos al proceso los que determinan las características de la información utilizada y el tratamiento de la misma. 4. La evaluación pluralista es una evaluación contextualizada.En este sentido, cada modelo evaluativo es diseñado para un tipo determinado de intervención en un contexto concreto. Esto no impide la transferencia, pero con ciertas consideraciones. Cada transferencia debe se fruto de rediseño del modelo con un conocimiento previo del contexto en el que se desarrolla la acción. Además, la transferencia requiere un estudio previo de las características de la acción a evaluar, de las analogías existentes entre acciones y contextos. La analogía53 permite la transferencia. Esta circunstancia se manifiesta en la proliferación de modelos evaluativos desde el momento en que el enfoque pluralista entra en la actividad evaluativa. 5. La evaluación pluralista es entendida como un proceso dinámico, abierto y flexible.Es un tipo de evaluación adaptativa que coevoluciona con el objeto evaluado. 6. Sobre la posesión de la información, la evaluación pluralista es democrática. De manera que tanto los métodos aplicados como la información generada en el proceso evaluador son abiertos, y accesibles para ser discutidos y reelaborados desde la participación de los agentes implicados. 7. Es evaluación participativa.-

En nuestra tesis de licenciatura abundamos sobre la importancia del concepto de analogía en la aplicación del enfoque sistémico, concretamente de la cibernética, al estudio de sistema sociales: “es el establecimiento de la existencia de analogías entre los procesos autorreguladores de los organismos vivos y ciertas formas de desarrollo de sistemas sociales lo que da pie al desarrollo de la Cibernética” (Asensio Coto, 1998:52).

122

Mª JOSÉ ASENSIO COTO.

El modo en que se articula la participación de los actores y el nivel en que ésta se establece en cada modelo evaluativo dependerá de las características de la intervención a evaluar. En algunos casos la participación alcanza a los destinatarios de la acción, en otros casos a los agentes que la ejecutan. 8. Es evaluación interna, autoevaluación o evaluación mixta.El requisito de participación impide que la evaluación pluralista pueda realizarse estrictamente desde fuera. En la medida en que el objeto de la evaluación y las características de la acción evaluada lo permitan, la participación será contemplada en una u otra etapa del proceso evaluador. Desde nuestro punto de vista, el potencial de la evaluación pluralista, tal como se percibe en los campos en los que se han realizado aplicaciones prácticas, permite su aplicación a otros ámbitos como es la evaluación de entidades y evaluación de proyectos de intervención social y económica en nuestro entorno más inmediato. Hasta ahora, se ha desarrollado sólo en contextos muy concretos y casi siempre centrando la evaluación en las personas hacia las que se dirige la acción, como es el caso de la evaluación de proyectos de desarrollo y de las instituciones educativas. Creemos que es posible y adecuado añadir las connotaciones de la evaluación de empoderamiento y la evaluación democrática a los procesos evaluativos de entidades y acciones respecto de los profesionales que las ejecutan. Se trata de introducir las características de transparencia, información cooperativa, aprendizaje cooperativo, etc., respecto de los profesionales que ejecutan las acciones convirtiéndose éstos en el sujeto del empoderamiento. Habilitar a los actores para la reflexión común. Este planteamiento es sobre el que se sustenta el proyecto Catalyse que describimos en el capítulo tres de esta tesis. Para terminar este apartado en el que nos hemos ocupado de los modelos evaluativos y, siguiendo con la idea de la aplicación del enfoque pluralista para el diseño de modelos de evaluación en nuestro entorno inmediato, presentamos un modelo de evaluación pluralista que hemos diseñado para la evaluación de un Plan de intervención integral que se ejecuta en la Ciudad de Huelva. Este modelo ya ha sido presentado en el Troisème Colloque International

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

123

du Réseau Européen D’intelligence Territoriale celebrado en octubre de 2005 en Lieja54. 3.1.4. Una aplicación de elementos pluralistas para el diseño de un sistema de evaluación global participativa El Plan Integral del Distrito V de la Ciudad de Huelva comienza su andadura en el año 2000 en el que se realiza el diagnóstico que sirve de base al diseño y puesta en marcha del mismo. Es un plan de actuación a medio y largo plazo en el que más de ochenta entidades trabajan conjuntamente en un proyecto común centrado en un territorio marcado por las desigualdades socioeconómicas de su población. Las características del Plan que queremos evaluar (integralidad y participación) junto a la finalidad de la evaluación, requieren el diseño de un modelo de evaluación específico. Para dar respuesta a esta necesidad proponemos un sistema de evaluación global participativa. El modelo de evaluación que proponemos aquí, al que hemos llamado Sistema de Evaluación Global Participativa es un sistema de evaluación continua respecto del momento en que ésta se realiza; mixta desde la perspectiva de quien se ocupa de realizar la evaluación, es decir, es fundamentalmente interna pero se complementa con evaluaciones externas intermedias; y es formativa. Todas estas características no son más que condiciones necesarias para la implementación de un sistema de evaluación global participativa que definimos como: un modelo de evaluación de carácter sistémico, de empoderamiento, global y participativa. La evaluación global participativa implica la aplicación del enfoque participativo a todo el proceso evaluado, desde la propia elaboración del diagnóstico de partida, elaboración del plan y la evaluación de cada uno de los proyectos y acciones que lo conforman. El elemento innovador de este trabajo es la construcción de un sistema de evaluación que se integra en la propia estructura del Plan y en la dinámica de trabajo de cada uno de los elementos que la conforman. La evaluación global, no sólo se centra en la comparación de las salidas, sino que se fija también en cómo opera el programa 54

Franco Ligenfert, De Paz Báñez y Asensio Coto, 2005a.

124

Mª JOSÉ ASENSIO COTO.

evaluado. De manera que, en la evaluación global, son objeto de evaluación cada uno de los elementos y/o etapas del proceso, la forma en la que las actividades se están desarrollando, las dinámicas implicadas en las mismas. Esto significa la necesidad de establecer mecanismos de realimentación entre el proceso evaluador y el evaluado, contribuyendo así al aprendizaje, corrección de desviaciones y enriquecimiento de todos los actores implicados en la actividad evaluada. La evaluación global significa: “La aplicación sistemática de procedimientos de investigación social para valorar la conceptualización y diseño, implementación y utilidad, de los programas de intervención social” (Rossi y Freeman, 1985:19-20). “Un examen independiente y objetivo del contexto, los objetivos, las actividades, los resultados y los medios desplegados, con vistas a extraer lecciones que puedan ser de más amplia aplicación" (MEANS, 1999). Pero además significa una perspectiva global, es decir, no se trata sólo de evaluar todas y cada una de las partes o etapas del proceso, se trata de evaluar desde una perspectiva holística, el conjunto del proceso. Todas estas características que exigimos a nuestro sistema de evaluación nos llevan a un modelo de evaluación participativa. El sistema de evaluación del Plan Integral El modelo de evaluación global participativa que se ha diseñado para el Plan Integral del Distrito V se caracteriza por: Es sistémico: es un modelo de evaluación que tiene carácter holista y evolutivo. La estructura del sistema de evaluación evoluciona a la vez que el objeto evaluado. En cada una de las fases que va recorriendo el Plan Integral, se van creando elementos nuevos que además de realizar las acciones para las que son constituidos, realizan su propia autoevaluación y pasan a formar parte del sistema de evaluación global del conjunto del Plan. Es de empoderamiento: el objetivo fundamental del proceso evaluador es conducir el proceso evaluado a partir del aprendizaje y la adquisición de conocimientos y destrezas por parte de los agentes implicados. Es evaluación participativa: es un sistema de evaluación participativa y esto afecta al «quién evalúa» y al «cómo se evalúa» de manera inseparable. Respecto del «quién evalúa», los actores

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

125

implicados en el proceso evaluado forman parte de cada elemento del sistema de evaluación; y respecto del «cómo se evalúa», cada elemento del sistema de evaluación tiene carácter participativo. Es global: implica evaluación del diagnóstico, diseño y ejecución del plan integral, de cada uno de los planes y proyectos que lo integran así como de los órganos de gestión y participación. Evaluación del diagnóstico La evaluación del diagnóstico o evaluación de necesidades se ocupa de identificar, seleccionar y priorizar los problemas, población y/o territorios sobre los que se va a intervenir. Se trata en definitiva de aplicar la metodología evaluadora a la elaboración de un diagnóstico sobre el que se apoye el diseño de la intervención. Cuando el elemento territorial juega un papel central, hablamos de evaluación del contexto. Por tanto, el objeto de la evaluación es la realidad objeto de intervención con el objetivo de “conocer el alcance del problema y sus características básicas para poder hacerle frente”. La evaluación de necesidades debe ser el punto de partida de la conceptualización y diseño del programa de intervención. La evaluación de necesidades no siempre compete a los evaluadores dado que, en muchos casos, la propia existencia del programa se sustenta sobre un diagnóstico previo. En función del campo de actuación en el que se desenvuelva el programa, este diagnóstico está mucho más cercano a la investigación que a la propia evaluación. La elaboración del diagnóstico del Distrito V de la ciudad de Huelva es un proceso, que dura aproximadamente un año, en el que podemos distinguir dos fases: a) Prediagnóstico.- en la que los elementos implicados en la acción son dos instituciones: el Centro de Inserción Sociolaboral Valdocco que trabaja en este territorio desde hace veinte años; y el Observatorio Local de Empleo de la Universidad de Huelva. Ambas constituyen el Equipo Técnico del Plan Integral. La evaluación de este primer diagnóstico (prediagnóstico) se realiza de forma externa para lo que se constituyen tres comisiones de trabajo de carácter temático con lo que se abre el Plan a la participación. b) Diagnóstico participado.- en esta fase, los elementos implicados en la acción son las tres comisiones de trabajo y el Equipo Técnico que, a partir de los resultados de la evaluación del primer

126

Mª JOSÉ ASENSIO COTO.

diagnóstico realizan una propuesta que es sometida a evaluación externa mediante la realización de unas jornadas de participación abiertas al conjunto de actores de la ciudad. El resultado de todo este proceso es un diagnóstico participado (octubre de 2001) que va a servir de base para la elaboración del Plan Integral del Distrito V. Diagnóstico que ha sido sometido a evaluación intermedia y final así como interna y externa. No obstante, dado que la realidad sobre la que trabajamos es dinámica, a lo largo de la fase de implementación del plan, el diagnóstico es sometido a evaluación continua por los órganos del Plan. También se ha realizado una evaluación completa del mismo en 2005. Evaluación del diseño La evaluación del diseño se centra en el análisis de las estrategias del programa y los procedimientos que éste establece en aras de la consecución de sus objetivos, así como los medios, recursos, etc., que se ponen a disposición del mismo. El objetivo es garantizar que exista: - Correspondencia de las acciones diseñadas con la extensión y localización de los problemas que desea solucionar. - Disponibilidad de recursos humanos y financieros. - Correspondencia entre la asignación de recursos prevista y las prioridades de la acción. - Búsqueda de posibles alternativas que generen un impacto agregado superior. El proceso seguido para la elaboración del Plan Integral del Distrito V es similar al que hemos descrito referido al diagnóstico, es decir, se ha realizado en dos etapas en las que se han ido incorporando elementos y actores nuevos al Plan Integral y al sistema de evaluación: a) Borrador del Plan.- el Equipo Técnico es el elemento esencialmente implicado en esta primera fase. Es éste el que elabora un primer borrador que es sometido a una primera evaluación externa por la asamblea en la que participan todos los actores del territorio y un buen número de actores que operan en el conjunto de la Ciudad. Como resultado de esta evaluación se crean ocho comisiones temáticas de trabajo que continuarán con el proceso de elaboración del Plan.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

127

b) Plan participado.- los elementos implicados en la acción son el Equipo Técnico, las ocho comisiones de trabajo y una Comisión permanente que coordina todos los trabajos. Las comisiones de trabajo y la Comisión Permanente realizan la evaluación contínua de todo el proceso de diseño (evaluación interna) y, al final de éste, mediante una asamblea abierta al conjunto de actores del territorio y del resto de la Ciudad se realiza la evaluación externa y las modificaciones definitivas al Plan. El resultado de todo este proceso es un Plan Integral Participado (julio de 2002) que va a dirigir la acción coordinada de todas las entidades públicas y actores privados que de forma consensuada y coordinada se ocuparán a partir de este momento de la implementación del mismo. La elaboración del Plan ha sido sometida a evaluación intermedia y final así como interna y externa. No obstante, dado que la realidad sobre la que trabajamos es dinámica, a lo largo de la fase de implementación del plan, éste es sometido a evaluación contínua por los órganos del Plan. También se ha realizado una evaluación completa del mismo en 2005. Evaluación de la ejecución Se trata de evaluar la marcha del programa. Contempla fundamentalmente elementos relacionados con el funcionamiento interno pero también permite constatar, en función del tipo de programa, la consecución de objetivos parciales, posibles desviaciones en el impacto, cobertura, etc. El objetivo es, por tanto, detectar las posibles discrepancias de procedimiento entre lo proyectado y lo implementado para tomar decisiones correctoras. También para detectar debilidades o posibles desviaciones respecto de los objetivos previstos, en cuyo caso se pueden corregir incidiendo sobre los procesos o estrategias implicados en esas desviaciones. En definitiva, el propósito de la evaluación de la ejecución es emitir juicios de valor sobre el funcionamiento del programa para tomar decisiones que corrijan o mejoren los procesos y acciones puestas en marcha. Respecto del grado de ejecución del programa, lo habitual es realizar la evaluación durante la implementación del mismo, ya sea mediante una evaluación continua, como es el caso de la monitorización, o simplemente mediante una evaluación intermedia.

128

Mª JOSÉ ASENSIO COTO.

El SEPI se integra en el sistema de seguimiento y coordinación del Plan Integral de manera que, como decíamos al principio, la evaluación forma parte del día a día en el trabajo de las organizaciones y estructuras que ejecutan los proyectos. De esta manera, la realimentación evaluación-acción es lo suficientemente fluida para la corrección de desviaciones, tanto en los resultados como en los procesos, que van siendo detectadas. Del mismo modo, los aprendizajes se transmiten de uno a otro actor, de uno a otro elemento del Plan de manera cotidiana. En 2003 comienza la fase de ejecución del Plan Integral constituido por nueve planes parciales que se ejecutan de forma coordinada. Los elementos que conforman el organigrama del Plan son cinco: nueve Comisiones de trabajo que desarrollan y ejecutan los nueve Planes; un Comité Director en el que están representadas las Comisiones, el Equipo Técnico, la Oficina Técnica y entidades públicas; el Equipo Técnico que ejerce funciones de asesoramiento e impulso en cada uno de los órganos del Plan; una Oficina Técnica que se ocupa de las cuestiones administrativas, de la gestión de la información y realiza labores de apoyo a las comisiones para la ejecución de los proyectos; y, finalmente, la Asamblea en la que participan todas las entidades adheridas al Plan. Gráfico 8. Órganos participativos: Comisiones, Comité Director y Asamblea.

ASAMBLEA Salud Educación

Protección y Servicios sociales Movilización ciudadana

Comité Director

Cultura, ocio y tiempo libre

Seguridad Ciudadana Empleo, formación, inserción Desarrollo, creación de empleo Vivienda, urbanismo hábitat

Fuente: De Paz, Ligenfert y Asensio, 2005:4.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

129

Los órganos participativos del Plan (Comisiones y Comité Director) son los que realizan, en reuniones mensuales, la evaluación continua de la ejecución de cada uno de los Planes a la vez que realizan el seguimiento y proponen las modificaciones necesarias para corregir procesos o efectos no deseados. El Equipo Técnico y la Oficina Técnica participan en la evaluación continua desde las Comisiones y el Comité Director de los que forman parte. La Asamblea realiza una evaluación anual. En 2005, tras dos años de ejecución, se ha realizado una evaluación externa mediante unas jornadas participativas abiertas al conjunto de la Ciudad. En ella se han revisado tanto el diagnóstico, como el diseño del plan y la ejecución del mismo. Venimos aplicando este sistema durante cinco años para la evaluación y seguimiento del conjunto del Plan, de los procesos que en él se desarrollan y de cada uno de los elementos que lo conforman. Aunque nos queda mucho por andar tanto en la definición del sistema como en su implementación, no cabe duda de que este sistema de evaluación forma ya parte de la cultura del Plan Integral y ha influido de manera muy relevante en la evolución del propio Plan y de las personas, organismos e instituciones que participan en él. 3.2. Herramientas para la recogida y tratamiento de la información En términos genéricos, una herramienta de evaluación es simplemente un mecanismo que permite revelar y tratar información relevante para obtener respuestas. De manera que las herramientas pueden alcanzar un nivel de complejidad mayor o menor, pueden ser más o menos sofisticadas técnicamente, pueden requerir más o menos recursos, conocimientos, etc., para su manejo. En un extremo, podemos considerar que una simple pregunta contestada puede ser una herramienta de evaluación si - la pregunta es contestada con rigor; - el interrogador conoce por qué la formula, con qué intención;

130

Mª JOSÉ ASENSIO COTO.

- el interrogador conoce cómo la respuesta dada se relaciona con el entorno o contexto en que la pregunta se hace55. Estas herramientas son, esencialmente, “maneras de hacer la pregunta, haciendo que sea más probable el producir las respuestas exactas, o, que se dirija la información dada a una necesidad de información específica” (Simanowitz, 2001:3). Ninguna herramienta es única, no existe una fórmula para obtener y analizar la información que podamos considerar adecuada en todos los contextos. En función de la naturaleza de la acción a evaluar, del propósito de la evaluación y del contexto en que ambas se desarrollan, es el proceso evaluativo el que debe definir las preguntas y determinar cuáles son las mezclas adecuadas de métodos o herramientas para contestar las preguntas, y contestarlas de una manera apropiada (útil). Se trata de seleccionar de entre el conjunto de métodos de los que el conjunto de las ciencias sociales nos ofrecen aquella combinación que se adecúa al objeto del proceso evaluador. No obstante, también es cierto que, fundamentalmente desde los años noventa del pasado siglo se vienen desarrollando técnicas específicas desde el campo propio de la evaluación, sobre todo desde los enfoques alternativos. Por tanto, se trata de seleccionar las técnicas de las que disponemos, las tradicionales que proceden del campo de la

Cuentan que una vez, en un recogido monasterio, un padre dominico se paseaba rezando el rosario, cuando se cruzó con un jesuita quien también rezaba el rosario pero ostentaba en la boca un solemne y aromático tabaco. “Perdóneme padre”, dijo el dominico, “a mi me encantan los puros pero el Santo Padre me prohibió fumar mientras rezo. ¿cómo consiguió Ud. el permiso?”. El jesuita exhaló una suave bocanada de humo y respondió con una pregunta: “mil excusas padre, ¿pero como le pidió Ud. autorización al Santo Padre?”. “Pues bien” replicó el dominico, “yo le escribí una carta confesando el modesto placer que me ofrece una ocasional fumada y le pregunté si podía fumar mientras rezaba. Su Santidad me dijo que la oración demanda suma concentración y que no debía distraerme fumando.” El jesuita lanzó hacia el cielo un anillo de humo que se desvaneció en el aire como una promesa y comentó, “Padre, yo escribí a Roma explicando que mi devoción a rezar era tan continua que me mortificaba cualquier interrupción, lo cual me movía a suplicar que me permitieran seguir rezando aún mientras fumaba. Su Santidad me respondió elogiando mi espiritualidad y alentándome a que no dejara de rezar nunca, ni siquiera cuando fumara”. El jesuita sacudió las cenizas del tabaco y añadió con una afable sonrisa: “en realidad, padre, como creo que afirmaba Santo Tomás de Aquino, todo depende de cómo se formula la pregunta” (Tomado de Aguilar León, 1997: “El arte de preguntar”).

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

131

investigación y las alternativas que proceden directamente del campo de la evaluación. La selección de herramientas debe responder a las necesidades de la evaluación. Esto significa algo más que basar esta selección en criterios relacionados, como hemos dicho, con la naturaleza de la acción a evaluar y la naturaleza de la evaluación. Significa también una serie de restricciones que generalmente proceden del contexto. Restricciones respecto de los recursos, disponibilidad de tiempo, habilidades y conocimientos de los implicados. Podemos clasificar las herramientas para recopilar información en dos grandes grupos: herramientas convencionales y herramientas participativas. Las primeras son aquellas que se utilizan en las investigaciones en las ciencias sociales de forma habitual; las segundas se están desarrollando recientemente sobre todo en el campo de las acciones de desarrollo (Ministerio de Asuntos Exteriores, 2001). En este apartado, nos referimos en primer lugar a las características de la información relevante para la evaluación para centrarnos posteriormente en las herramientas convencionales y participativas de recogida y tratamiento de la información. 3.2.1. ¿Qué tipo de información es relevante? La base sobre la que se sustenta toda evaluación es la información. Las características de la información que vamos a manejar para realizar la evaluación y las técnicas asociadas al tratamiento de ésta forman parte de las decisiones iniciales de cualquier proceso evaluador y van a depender fundamentalmente de tres factores: - la naturaleza de la acción o programa que queremos evaluar, - el contexto en el que esta actividad se desarrolla, - la naturaleza de la propia evaluación. En relación a ello hay tres cuestiones relevantes: - las fuentes e instrumentos de medida, - el tipo de información, - y las técnicas de análisis. Los tres juntos configuran el sistema de información de la evaluación que en algunos casos será un sistema estructurado y creado ad hoc para la actividad evaluadora que se ocupe de todo el proceso, desde la construcción del dato; en otros casos, en el otro extremo, se limitará a la selección y recogida de fuentes ya existentes.

132

Mª JOSÉ ASENSIO COTO.

En cualquier caso, lo cierto es que la información y la manera en que ésta se muestra y operativiza, el dato, no existen sino que se construyen. Además, la información no es la realidad, sino un mero instrumento para acercarnos a ella, nos permite manejar y comunicar lo que sabemos y adquirir nuevos conocimientos. Por tanto, es importante que, aunque no existen recetas para determinar cómo deben ser esos tres elementos (fuentes e instrumentos, tipo de información y técnicas), sí podemos hablar de requisitos que cualquier sistema de información, desde los más estructurados a los más espontáneos, deben cumplir para ser útiles al proceso evaluador. En palabras de Amezcua (1996:29) para “garantizar que las mediciones que efectuamos se refieran específicamente a las dimensiones de la realidad que nos interesan y no a otras, y cómo garantizar la exactitud de esas mediciones”. Estos requisitos son fiabilidad y validez. a) Los requisitos de fiabilidad y validez La fiabilidad es una cualidad que se refiere al instrumento de medida. Un instrumento de medida es tanto más fiable cuando su aplicación repetidas veces en las mismas condiciones arroje las mismas mediciones, es, por tanto, la “capacidad para proporcionar resultados iguales al ser aplicado repetidas veces, en condiciones similares, a las mismas unidades de observación” (Amezcua, 1996:32). La validez es una cualidad que se refiere a la relación entre la medida, y la realidad que pretende medir. Amezcua, refiriéndose a las mediciones en el ámbito de la investigación social define validez como “la cualidad de correspondencia entre una medida y la característica social que con ella se pretende medir” en términos más generales es “la medida en que un instrumento o proceso mide el atributo que se pretendía que midiera”. Pero la validez no es un concepto que tenga sólo aplicación en el ámbito cuantitativo, sino también en el cualitativo. También una descripción verbal se relaciona con aquello que pretende describir con mayor o menor precisión. En Omar Ramírez (2002) encontramos una clasificación de los diferentes aspectos que constituyen la validez de una medida o instrumento cuya utilidad principal es aclarar el alcance y contenido del término: - Concurrente.- Está relacionada con los resultados obtenidos a partir de medidas simultáneas. Se refiere, por tanto, al grado de

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

133

similitud que existe entre los resultados obtenidos con un instrumento y los obtenidos con otro o a partir de algún criterio externo, cuando ambas mediciones se refieren a las mismas características y se aplican a la vez. La validez concurrente determina de forma significativa la utilidad de la medición para el diagnóstico. - Consecuente.- La validez consecuente es la medida en que los resultados obtenidos son útiles a la toma de decisiones. Depende, por tanto, de la capacidad de detectar la existencia de relaciones causales - Constructor.- Se refiere a la validez conceptual, el grado en que la medida se corresponde con la interpretación que se hace de acuerdo con la teoría sobre la que se sustenta. Dado que los conceptos no se miden, se miden las características observables (los indicadores) a partir de una definición operativa, la validez conceptual examina hasta qué punto el indicador mide adecuadamente el concepto al que se refiere. La validez de concepto es esencial cuando tenemos variables cualitativas, pero no tenemos buenos criterios. - Contenido.- Se refiere a la relación entre el contenido que se pretende medir y lo que realmente mide. La constatación de la validez de contenido ha de partir de la observación. - Criterio.- La validez de criterio o validez empírica se refiere a la correlación entre nuestra medida y un estándar al que se llama criterio. Para testar la validez de criterio sería necesario disponer de otra situación de la que conocemos su validez para realizar la comparación. En algunos casos hemos de recurrir al establecimiento intuitivo del estándar. En otros casos, si existe suficiente consenso entre la comunidad científica, se determinará un criterio o gold Standard (patrón de oro) que es el patrón de comparación de cualquier medida para determinar si es válida. A éste se deberá comparar cualquier medida que se pretenda validar. La validez referida a los criterios, o empírica, puede realizarse correlacionando los valores obtenidos en una medición con los de otra que ya esté reconocida como válida (prueba paralela) o correlacionando los valores obtenidos con un criterio exterior. - Aparente.- Es la medida de legitimidad de un instrumento. Se trata del grado de aceptación por los evaluados y el conjunto de actores relacionados con la acción sometida a evaluación. La

134

Mª JOSÉ ASENSIO COTO.

importancia de la validez aparente reside en que de ella depende el grado la colaboración de las personas involucradas en el proceso evaluado. - Predictiva.- Se refiere a la capacidad del instrumento de medición para predecir comportamientos o valores posteriores. El análisis de la validez predictiva, normalmente requiere el transcurso del tiempo ya que se deben realizar mediciones en diferentes momentos para comparar los resultados. - Interna.- Se refiere a la posibilidad de garantizar la correcta atribución de relaciones causales entre las mediciones que describen el objeto de estudio. La exigencia de validez interna se fundamenta en el trabajo de Campbell y Stanley (1973), y reelaborado en Cook y Campbell (1979), sobre la experimentación y semiexperimentación en investigación social. Se trata de la posibilidad de eliminar explicaciones alternativas a los mismos hechos, para así poder afirmar que las relaciones causales detectadas entre el tratamiento y las medidas tomadas se deben exclusivamente a las variables tenidas en cuenta. Para garantizar la validez interna de la medición es necesario conocer y controlar las posibles interpretaciones alternativas sobre las relaciones entre las mediciones y los acontecimientos que describen. - Externa.- Es la capacidad para generalizar a otros sujetos, situaciones o casos los resultados de la evaluación. Respecto del alcance y significado del criterio de validez y su implicación en la actividad evaluadora, una vez más hemos de referirnos a la discrepancia entre enfoques evaluativos. Desde el paradigma clásico la validez se determina en la fase de la recolección de los datos y no en la de análisis e interpretación, ya que los datos cuantitativos respecto a los procedimientos estadísticos no presentan mayores problemas si se aplican técnicas de investigación en las que reside la garantía del análisis. Sin embargo, desde el enfoque alternativo la recogida de información se realiza muy cerca de la realidad que se evalúa lo que reduce la preocupación por la validez en la fase de recolección. Frente a esto, la preocupación por la validez se centra en el análisis e interpretación de la información. La cercanía a la fuente garantiza la validez. Guba y Lincoln se refieren a esta discrepancia que resumen en el cuadro que reproducimos a continuación.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

135

Tabla 4. Comparación de criterios de validez entre dos paradigmas. Aspecto

Positivismo

Naturalismo

Veracidad

Validez interna

Credibilidad

Aplicabilidad

Validez externa

Transferencia

Consistencia

Confiabilidad

Dependencia

Neutralidad

Objetividad

Confirmación

Fuente: Guba y Lincoln, 1985:104.

Como alternativa a la validez tradicional, tal como la hemos descrito anteriormente siguiendo fundamentalmente a Alvira y Omar Ramírez, desde el paradigma pluralista se exigen, como muestra el cuadro de Guba y Lincoln, criterios de credibilidad frente a la validez interna; transferencia frente a la validez externa; dependencia frente a la confiabilidad y confirmación frente a la objetividad. Otros autores distinguen entre los elementos que atribuyen validez a la medición fundamentalmente dos: Validez ecológica.- Se trata de no crear situaciones artificiales durante el proceso de recogida de la información. El proceso de obtención de la información debe adaptarse a la situación real que quiere evaluar y no al contrario. Es un concepto de validez totalmente imbricado con el contexto en el que se desarrolla la acción. Generalmente los modelos de evaluación clásicos, para garantizar la validez interna intentan lo contrario: aislar todos los factores considerados relevantes. Los métodos de recogida de información que cumplen con el requisito de validez ecológica son fundamentalmente la observación participante, entrevista cualitativa y discusión en grupo. Validez comunicativa.- Asegura la validez a través de la comunicación reiterada con los actores vinculados a la acción evaluada (feedback). Analizar sus reacciones ante los resultados y así verificar que el análisis e interpretación corresponden a la realidad. b) Cuantitativo versus cualitativo La naturaleza de la información relevante para la evaluación y de los métodos de tratamiento de la misma ha generado un debate omnipresente en la literatura especializada. Esta cuestión ha sido la punta de lanza del debate metodológico de tal manera que se ha generado cierta confusión. Efectivamente, la discusión metodológica ha sido intensa durante la, al fin y al cabo corta, historia de la actividad evaluadora y las investigaciones evaluativas.

136

Mª JOSÉ ASENSIO COTO.

Y, aunque las verdaderas diferencias, como hemos visto en capítulos anteriores, se refieren a la propia conceptualización de la evaluación, sus funciones, y tienen su origen en visiones diferentes de la actividad científica, la batalla se ha librado en el campo de una cuestión eminentemente instrumental: los datos. Incluso es habitual encontrar en la bibliografía las expresiones “evaluación cualitativa” y “evaluación cuantitativa” para denominar enfoques o modelos evaluativos. No obstante, ahora podemos considerar, y así lo señalan muchos autores, un error situar la naturaleza de la información en el centro de la discusión. “Sería preferible reservar los atributos de cuantitativo y cualitativo para referirnos a diferencias entre técnicas de recolección, métodos de análisis e índole de los datos que se obtienen, más que a distintas formas de abordajes56 evaluativos” (Nirenberg, Brawerman y Ruiz, 2000:89). Es ésta la razón por la que hemos evitado abordar este tema en los capítulos anteriores. El debate de fondo enfrenta dos corrientes de pensamiento que, en el ámbito específico de la evaluación se ha materializado, como hemos llamado a lo largo de este trabajo, en los enfoques clásico y pluralista. Los evaluadores clásicos han cuestionado tradicionalmente las técnicas cualitativas por la falta de rigor científico y objetividad al considerar que éstos sólo quedan asegurados con la utilización de datos (datos “hard”) y técnicas estadísticas. Por el contrario, los defensores de los enfoques alternativos insisten en la cientificidad y rigor de los trabajos basados en información y técnicas de análisis de carácter cualitativo, y en la riqueza que éstas aportan. Además, generalmente éstos han apostado por la pluralidad también en las fuentes de información y técnicas de análisis: “…Recomendamos un método ecléctico. Así, creemos que los evaluadores deberían conocer un amplio espectro de técnicas adecuadas y saber cómo aplicarlas en los distintos contextos evaluativos. De este modo, podrían valorar, en cada situación, qué técnicas son potencialmente aplicables y cuáles pueden servir de un modo más eficaz a los propósitos particulares de la evaluación en cuestión” (Stufflebeam y Shinkfield, 1993:25)57. A continuación, los autores enumeran el 56 57

Las autoras utilizan la expresión abordaje como sinónimo de modelo o enfoque. Reproducimos aquí el párrafo anterior: “A lo largo de los años, muchos evaluadores han escogido, e incluso defendido, la utilización exclusiva de unas pocas técnicas. Algunos han equiparado la evaluación a sus métodos favoritos,

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

137

elenco de técnicas que deben conocer a fondo los evaluadores entre las que recogen tanto técnicas cualitativas como cuantitativas sin destacar unas sobre otras. Tabla 5. Evaluación cuantitativa vs cualitativa. EVALUACIÓN CUANTITATIVA

EVALUACIÓN CUALITATIVA

Paradigma positivista/empírico

Paradigma fenomenológico / constructivista

Predominio de deducción

Predominio de inducción, comprensión, interpretación

Diseños experimentales o cuasi experimentales

Investigación naturalista

Perspectiva desde afuera (punto de vista del observador

Perspectiva desde adentro (punto de vista de los actores)

Lenguaje numérico

Lenguaje verbal

Énfasis en los aspectos “objetivos”, observables y cuantificables

Énfasis en los aspectos subjetivos: captación y comprensión de actitudes, conductas, valores y motivaciones internas

Análisis estadístico

Análisis de contenido, estudio de casos

Resultados generalizables

Resultados limitados en su generalización

Fuente: Nirenberg, Brawerman y Ruiz, 2000:82.

Tabla 6. Tipología de atributos en las técnicas cuantitativas y cualitativas. Cuantitativas

Cualitativas

Deductivas

Inductivas

Orientadas a la verificación y a los resultados

Orientadas al proceso

Las medidas tienden a ser objetivas

Las medidas tienden a la subjetividad

Fiables y objetivas

Válidas y subjetivas

Usan la tecnología como instrumento

El evaluador cerca del dato

Generalizables

No generalizables

Perspectiva desde fuera

Perspectiva desde dentro

Fuente: Amezcua Viedma y Jiménez Lara, 1996:3.

Reproducimos en un cuadro resumen (tabla 5) las principales diferencias entre evaluación cuantitativa y cualitativa tomado de Nirenberg, Brawerman y Ruiz. Estas autoras muestran así cómo, el como el diseño experimental, las pruebas estandarizadas o las visitas personales. Otros han atacado duramente a la estrechez de miras respecto de la adecuación de los métodos y, en algunos casos, han abogado por sustituir su técnica favorita, como por ejemplo el estudio de caso. Nosotros creemos que ambas posiciones son ineficaces, inadecuadas y, a veces, parciales”.

138

Mª JOSÉ ASENSIO COTO.

pretendido debate sobre la cuantificación es realmente sólo parte del debate entre paradigmas evaluativos. En una línea más centrada en la caracterización de las técnicas que en los enfoques, Amezcua (1996) muestra con la tabla que reproducimos (tabla 6) los atributos más característicos de las técnicas cualitativas frente a las técnicas cuantitativas. A partir de la década de los noventa podemos considerar superada la cuestión de la cuantificación y la discusión se traslada a otras cuestiones. Respecto de la naturaleza de la información, se alcanza un acercamiento importante de posturas: - Patton, desde el enfoque pluralista: “la investigación cualitativa ganó el debate cuantitativista – cualitativista” (Patton, 1997:266). Patton afirma que ganó en el sentido de que ha obtenido la aceptación de la comunidad evaluadora. - Rossi y Freeman: “Cada enfoque tiene utilidad, y la elección de una aproximación y otra dependerá de las cuestiones evaluativas en cada caso. Los enfoques cualitativos pueden desempeñar un papel crítico en el diseño de los programas y son medios muy importantes para el seguimiento de los programas. Por el contrario, los enfoques cuantitativos son mucho más adecuados para estimar el impacto neto y para valorar la eficacia de los esfuerzos del programa” (Rossi y Freeman, 1993: 437). - Mohr, desde el enfoque clásico reconoce que los métodos cualitativos en la evaluación de políticas y programas deben ser aceptados y utilizados (Mohr, 1995:260). También desde las entidades y sociedades evaluadoras encontramos numerosos ejemplos de esta aceptación: - “Teniendo en cuenta las convenciones que hay que adoptar para medir la realidad social, la impresión de objetividad y de precisión de las cifras es meramente ilusoria” (Conseil scientifique de l´évaluation, 1998:50). - “La fortaleza de una evaluación no depende del uso de un método en particular…Es decir, la fortaleza de una evaluación debe ser examinada en función del contexto, de las cuestiones a evaluar, del tiempo, de las restricciones de costes, del diseño, de la adecuación de sus técnicas de recogida y de análisis de

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

139

los datos y de la presentación de los descubrimientos (GAO, 1991)58. De una manera o de otra, la posición actual se podría resumir en que hemos cambiado de una situación en la que el uso de información y técnicas cuantitativas o cualitativas era considerado como sustitutivas, dedicándose importantes esfuerzos para deslegitimar o legitimar una u otra opción a una visión distinta. Ahora son consideradas complementarias. En general, unas y otras no aportan lo mismo de distinta manera de forma que se puede elegir entre unas u otras, sino que ofrecen contenidos diferentes por lo que se pueden y/o deben sumar. El mayor o menor peso de una y otras va a depender no de una cuestión de rigor científico, sino de las necesidades concretas de cada evaluación. Cada vez hay más aceptación respecto de la necesidad de integrar los dos enfoques “la integración de las evaluaciones cuantitativas y cualitativas con frecuencia puede ser el mejor vehículo para satisfacer las necesidades de un proyecto” (Bamberger, M. 2000:9). Las evaluaciones basadas en datos cuantitativos son más adecuadas para - evaluar la causalidad usando métodos econométricos, - obtener conclusiones que se pueden generalizar. Sin embargo, los métodos cualitativos - permiten conocer con mayor profundidad las acciones o programas concretos que se someten a evaluación; - proporcionan información decisiva sobre las perspectivas de los beneficiarios; - permiten conocer las dinámicas generadas por el proceso evaluado, tanto internas como las generadas en el entorno del programa; - proporcionan mejor información sobre los motivos de ciertos resultados observados. La integración de las técnicas cualitativas y cuantitativas nos permite usar los métodos cualitativos para (Banco Mundial, 1996:42): - informar las preguntas clave sobre la evaluación,

General Accounting Office. Tomado de Patton, 1997:294.

140

Mª JOSÉ ASENSIO COTO.

- examinar el cuestionario o la estratificación de la muestra cuantitativa y, - analizar el marco social, económico y político dentro del cual se lleva a cabo un proyecto. Y los métodos cuantitativos para - informar las estrategias de recopilación de datos cualitativos, - diseñar la muestra para informar la medida en que los resultados observados en el trabajo cualitativo son aplicables a una población de mayor tamaño al usar una muestra estadísticamente representativa y, - para controlar las características de los hogares y las condiciones socioeconómicas de diferentes áreas de estudio, con lo que se eliminan las explicaciones alternativas de los resultados observados. Michael Bamberger (2000:7 y ss.) analiza las ventajas en usar enfoques integrados en la evaluación. Entre ellas destacamos: - Permite incorporar controles de coherencia tanto en un sentido como en otro. Es decir, el dato puede contribuir a analizar la coherencia de la información cualitativa y viceversa. - Se pueden obtener diferentes perspectivas. Los investigadores pueden considerar una escala de importancia de las variables que luego no se corresponda con la realidad observada con métodos cualitativos. “Por ejemplo, aunque los investigadores podrían considerar el ingreso o el consumo como indicadores clave del bienestar de un hogar, los estudios de casos podrían revelar que las mujeres están más preocupadas por la vulnerabilidad (definida como la falta de acceso a sistemas de apoyo social en tiempos de crisis), impotencia o exposición a la violencia” (Bamberger, 2000:9). - Permite realizar análisis a diferentes niveles. Los métodos de encuestas pueden proporcionar buenas estimaciones individuales, familiares y a nivel de la comunidad, pero son mucho menos eficaces para analizar los procesos. - De cara a la interpretación de resultados, la integración permite la retroalimentación que resuelva aparentes incoherencias que no se pueden resolver sólo con los datos. - Las técnicas cualitativas proporcionan una mayor flexibilidad ya que permite regresar al terreno para recoger datos

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

141

adicionales y verificar los aspectos que vayan apareciendo a lo largo de la evaluación, verificar valores atípicos. 3.2.2. Recogida y tratamiento de la información. Herramientas convencionales En las herramientas convencionales, la recogida y el tratamiento de la información generalmente se realiza en momentos diferentes. Existe la separación entre las técnicas de recogida y las de tratamiento. La recogida de información se realiza en muchos casos simplemente acudiendo a una fuente determinada y en otros construyendo instrumentos de recogida. El tratamiento de información se realiza utilizando las técnicas habituales en investigación. A la hora de planificar el proceso evaluativo, la determinación del tipo de información necesaria, de la fuente, y de la técnica o técnicas de tratamiento y análisis están íntimamente relacionadas y deben ser coherentes entre sí. Siguiendo la línea que hemos apuntado, Weiss (1996:71), desde el ámbito de la evaluación educativa, al tratar la recogida de información afirma que “los datos para la investigación evaluativa pueden provenir de toda una gama de fuentes y se les puede reunir utilizando todo el arsenal de técnicas de investigación. Los únicos límites son el ingenio y la imaginación del investigador”. La fuentes a las que alude Weiss son: Fuentes secundarias.- Estadísticas públicas, registros públicos, otros estudios, recurso a expertos, archivos de otros programas o servicios. Fuentes primarias.- Encuestas, observación directa, entrevistas, grupos de discusión, sesiones de trabajo en grupo, registros institucionales y otros como pueden ser fichas de evaluación, contactos informales, juicios de expertos y documentos de la entidad. Respecto de las fuentes primarias, las encuestas, observación entrevistas y grupos de discusión generan información expresamente para la evaluación. No obstante, en muchas ocasiones resultan de utilidad los datos que la entidad o institución que ejecuta la acción evaluada registra o genera en su actividad diaria. Los registros de la propia entidad y los documentos de trabajo y gestión de la entidad son también en muchos casos fuentes de información útil para la evaluación.

142

Mª JOSÉ ASENSIO COTO.

a) La recogida de información: fuentes secundarias Las fuentes secundarias como son las estadísticas públicas, registros y censos, así como los archivos de otros programas o servicios relacionados con los aspectos a analizar constituyen unos recursos valiosos para la evaluación de acciones. Fundamentalmente para la evaluación de necesidades o diagnósticos los datos procedentes de organismos estadísticos de carácter público constituyen una de las fuentes básicas de información. Se hacen imprescindibles a la hora de describir y analizar los contextos en los que se desarrollan las acciones y en los que se enmarcan los procesos de los usuarios o destinatarios de las acciones. También es frecuente acudir al análisis de la información que nos puedan proporcionar estudios anteriores realizados sobre las cuestiones relevantes para la evaluación o la población o territorio objeto de intervención. En relación con la información procedente de organismos públicos u otras entidades distintas de la que ejecuta la acción evaluada, la principal dificultad estriba en la necesidad de que el programa a evaluar y los indicadores elaborados por la entidad pública abarquen la misma zona geográfica. Aún estamos muy lejos de poder basar las evaluaciones en las variaciones operadas en los indicadores que son recogidos y/o elaborados por organismos estadísticos de carácter público. La razón fundamental es las diferencias en los niveles de agregación tanto territorial, como en cualquier otro ámbito. Además, existen otros elementos que hacen que la utilidad para la evaluación de la información procedente de estas fuentes sea limitada entre las que Weiss destaca (Weiss, 1996:75 y ss.): - extactitud, - definición de términos, - separación de los efectos, - base geográfica - inexactitud, - manipulación, - expectativas. Exactitud.- Al margen de los posibles errores o diferencias con la realidad derivados de la propia metodología estadística, Weiss se refiere en este punto a la correcta interpretación de los datos arrojados por ellas. Fundamentalmente en relación a datos

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

143

recogidos por diferentes organismos especializados, las series estadísticas reflejan no sólo la incidencia de la cuestión específica a la que se refieren, sino también la ejecución de la acción administrativa asociada. El ejemplo que el autor recoge se refiere a los datos oficiales sobre delincuencia que a la vez que reflejan la incidencia de la delincuencia que intentan medir, reflejan también la agilidad de los cuerpos de seguridad en la aprehensión de delincuentes o la relación delitos/denuncias. Definición de términos.- En muchos casos la definición de los indicadores que se recogen en las estadísticas oficiales no se adecúa a las necesidades de la evaluación de acciones concretas. Las estadísticas de empleo son un posible ejemplo de esta situación ya que recogen bajo el término “desempleado” una situación específica que en algunos casos será útil pero en otros no. Separación de los efectos.- A partir de los cambios en los indicadores no es posible distinguir qué parte de esos cambios se deben a la eficacia de la acción evaluada y cuales se derivan de cualquier otra circunstancia. “Para los fines de la evaluación no existe una manera de separar los efectos del programa y los de todos los demás factores que incluyen en los indicadores”. Base geográfica.- Generalmente la referencia de los indicadores elaborados por entidades estadísticas públicas es geográfica. Ya hemos comentado el hecho de que la delimitación geográfica de la acción no se corresponda con la de los indicadores oficiales. Generalmente las acciones se circunscriben a ámbitos geográficos pequeños (en muchas ocasiones, barrios). No obstante, Weiss se refiere aquí a otra cuestión que está relacionada con la movilidad de la población. La realidad norteamericana en la que se desarrolla la actividad evaluadora del autor es mucho más sensible a esta circunstancia que en el caso español. No por ello deja de ser cierto que, al tomar como referencia el territorio, no las personas, los movimientos de la población pueden influir en la evolución de los indicadores. Esto es así, por ejemplo, en el caso de barrios marginales en los que la problemática permanece, entre otra multitud de razones, porque la población que la supera se traslada a otras zonas. Inexactitud.- Al no ser datos elaborados ad hoc para el cumplimiento del objetivo concreto de la evaluación, se corre el riesgo de seguir el camino contrario, es decir, adaptarse al dato existente. Es decir, utilizar el dato existente como medida indirecta

144

Mª JOSÉ ASENSIO COTO.

del efecto del programa para acabar concluyendo que el éxito o fracaso está directamente relacionado con la cuantía de esa medida59. Manipulación.- Una vez se han establecido los indicadores que se van a utilizar para la evaluación, la persona o personas que se ocupan de la ejecución de la acción a evaluar pueden centrar el objetivo de su acción en aquello que es medido por el indicador, olvidando o reduciendo el interés por aquellos otros aspectos que no son captados por esta medición. No obstante, esta dificultad que resalta Weiss no es exclusiva de los indicadores procedentes de estadísticas públicas, no creemos que sea atribuible a la fuente de información, sino al sistema de evaluación centrado en la comparación de resultados con indicadores previamente establecidos. Expectativas.- Los indicadores sociales en general recogen cambios importantes que significan algún cambio en el estatus de los individuos a los que se refieren. Recogen cambios de “desempleado” a “empleado”, “enfermo” a “sano”, pero rara vez tienen la virtud de mostrar los pequeños cambios que, todos sumados, conducen a un cambio de trascendencia. Frente a esto, los programas o medidas de acción, fundamentalmente en el ámbito socioeconómico, generalmente sólo son capaces de generar pequeñas modificaciones de comportamientos que, en muchos casos deberían considerarse como cambios exitosos, pero no son captados por el indicador. Además, también ligado a la cuestión de la sensibilidad del indicador, se producen retrasos entre el cambio operado en la realidad y el cambio de magnitud del dato. Éstos generalmente no se recogen de manera continua, sino con una cierta periodicidad. Cuando aparecen los cambios en las cifras se han producido muchas otras circunstancias que han alterado la situación. Esto

“Tal vez tengamos un programa para mejorar la calidad de la vivienda en un barrio. No se cuenta con cifras acerca de la calidad de la vivienda, pero sí existe una cifra muy alta respecto de gente; es decir, del número de personas por habitación. El evaluador realiza una serie de suposiciones que lo conducen a sacar la conclusión de que el atestamiento de personas es un buen indicador de la calidad del alojamiento, y luego saca conclusiones acerca del éxito del programa fundándose en una medida que, en el mejor de los casos, no es sino un indicador parcial del verdadero objetivo” (Weiss:1986: 77).

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

145

nos devuelve al problema de la separación de los efectos realmente derivados de la acción evaluada. Weiss termina su exposición refiriéndose a las circunstancias en las que, teniendo en cuenta todas las limitaciones mencionadas, es conveniente y/o necesario el uso de esta fuente de información para las evaluaciones. b) La recogida de información: fuentes primarias Nos referimos aquí a las fuentes de información directa ya sea por ser información generada por la acción evaluada o por la entidad que la ejecuta. En unos casos la información existe al margen del proceso evaluador con lo que sólo hay que identificar la fuente, seleccionar la información que necesitamos y la técnica adecuada para recogerla y analizarla. En otros casos hemos de diseñar instrumentos ad hoc para extraer información sobre las acciones, los elementos que la conforman, las dinámicas y relaciones internas, los efectos, etc. Encuestas El uso de encuestas para la evaluación es relativamente escaso, no por su falta de utilidad en cuanto a la capacidad de proveer de información, sino por las necesidades de recursos y tiempo para su ejecución, recursos y tiempo de los que habitualmente no se dispone. No obstante, en los casos en los que es viable, resulta de gran utilidad la realización de encuestas ya sea a la población objetivo de la acción evaluada, ya sea a un grupo reducido de personas seleccionadas con algún criterio (por ejemplo, a un grupo de expertos). Los dos elementos característicos de este sistema de recogida de información son el uso de un cuestionario estandarizado más o menos abierto para captar tanto información cuantificada como de carácter cualitativo; y el uso de técnicas de muestreo e inferencia estadísticos. El uso de un cuestionario permite posicionar a todas las personas entrevistadas ante una misma situación, ya sea hipotética o no, y asegurar la comparación entre las respuestas de diferentes personas o grupos de personas. La dificultad estriba en que es un método que, una vez diseñado, es escasamente flexible. Nos referimos fundamentalmente al diseño del cuestionario que requiere el establecimiento previo de los objetivos y el tipo de información perseguida con la realización de la encuesta con gran precisión. La estructura del cuestionario, el tipo de

146

Mª JOSÉ ASENSIO COTO.

preguntas en función de las posibilidades de respuesta (abiertas y cerradas), el orden en el que son formuladas, el formato, naturaleza de los datos a recoger (numéricos, de razón, ordinales, textuales), y su codificación. Todos han de ser definidos con antelación y difícilmente es posible rectificar una vez puesta en marcha la encuesta. El instrumento básico de recogida de información es, por tanto, el cuestionario y las herramientas de tratamiento son fundamentalmente técnicas estadísticas de muestreo y de análisis de datos. Entrevistas Gran parte de la información relevante para la evaluación sobre la estructura y funcionamiento de la acción o programa a evaluar es obtenida a través de diferentes modalidades de entrevistas. Fundamentalmente en el caso de las evaluaciones externas, el recurso a las entrevistas es casi ineludible ya que constituyen un instrumento de gran utilidad para adquirir información acerca de qué se hace, quién lo hace y cómo; información sobre actitudes y conductas en el seno del equipo que se ocupa de la ejecución así como actitudes y conductas de la población objetivo antes y después de la acción. La técnica utilizada para la entrevista dependerá de cada situación particular dado que es una fuente personalizada y, por tanto, el evaluador debe elegir en función de factores no sólo relacionados con sus necesidades de información. En algunos casos será aconsejable seguir un esquema semiestructurado (entrevista semiestructurada) incluso un cuestionario, y en otros simplemente requerirá la preparación de un guión previo (entrevista en profundidad). El cuestionario estandarizado o el guión de la entrevista son los instrumentos básicos para la recogida de información en las entrevistas. La información que se recoge es eminentemente cualitativa. Observación directa Entre las ventajas de la observación directa Weiss destaca el hecho de que es un método “discreto” que no requiere que se pregunte nada a nadie. Desde el punto de vista de lo cuantitativo es un buen procedimiento para elaborar indicadores a partir de las mediciones hechas ad hoc. También en el ámbito de lo cualitativo tiene un gran

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

147

interés ya que nos permite captar información sobre los comportamientos y las relaciones. En ambos casos, tanto la observación en sí como el registro de la información obtenida deben ajustarse a un procedimiento previamente establecido. La observación cuantitativa generalmente se diseña con el objeto de asegurar la estandarización y el control de las mediciones. La observación cualitativa se desarrolla en el mismo contexto en el que se desarrolla la acción evaluada sin categorías predeterminadas de medición o respuestas esperadas. Ésta resulta de gran utilidad en el caso de que existan divergencias entre las personas involucradas en la acción evaluada. Los instrumentos más utilizados para la recogida de información son cuadros de trabajo, diarios, cuadernos de notas, mapas y dispositivos técnicos (cámaras fotográficas, grabadoras, instrumentos de medición). Grupo de discusión Es una técnica de recogida de información que toma elementos de las dos anteriores (entrevista y observación directa cualitativa). Es utilizada muy frecuentemente en los procesos evaluadores no estrictamente cuantitativos, actualmente la mayor parte. Las ventajas fundamentales de las técnicas de grupos son la flexibilidad y la interactividad. Se acerca más a la realidad de la acción que la entrevista individual fundamentalmente en lo que se refiere a las dinámicas, actitudes y relaciones entre actores y resulta relativamente menos costoso tanto en recursos como en tiempo. Al igual que la entrevista individual y la observación directa requiere conocimientos específicos y experiencia por parte del evaluador y, respecto de la segunda tiene la desventaja de crear una situación artificial que no se da en la observación directa. Los instrumentos de recogida de información en grupos de discusión son habitualmente guiones prediseñados, instrumentos técnicos (grabadora, cámaras), o herramientas gráficas. Registros de la institución Generalmente, los registros de los organismos o entidades que ejecutan la acción a evaluar son una buena fuente de información para la evaluación. Hay una serie de datos útiles para la evaluación, habitualmente relacionados con los usuarios o destinatarios de la acción, que es fácil que encontremos en este tipo de documentación. La gran ventaja de los registros institucionales como fuente de

148

Mª JOSÉ ASENSIO COTO.

información para la evaluación es que constituyen una corriente continua de información que no añade ningún tipo de coste a la evaluación. El tiempo y el coste, por tanto, son los puntos fuertes. No obstante, existen algunas dificultades que superar a la hora de trabajar con los registros de la institución. Weiss destaca (Weiss, 1996:72 y ss.): - En muchas ocasiones los registros no son cumplimentados en tiempo y forma de manera que nos encontramos con registros inexactos y/o no actualizados o cumplimentados sólo en parte. - Dado que la finalidad para la que se han diseñado no es la evaluación, la forma en la que se registran, categorías utilizadas, puede no ser de utilidad. - A veces las entidades cambian sus registros o los procedimientos de registro de manera que se pierde la posibilidad de continuar series en el tiempo o realizar comparaciones. Weiss termina el relato de las dificultades derivadas de esta fuente de información con la posibilidad de que los datos estén falseados de forma deliberada por quienes trabajan en la entidad dado que se les “juzga” en función de los datos que aparecen en ellos. En la actualidad contamos con una herramienta que contribuye en gran medida a paliar la mayor parte de estas dificultades. Se trata de los sistemas de información que, apoyándose en los soportes informáticos y con el cumplimiento de ciertos requisitos pueden potenciar el valor de los registros institucionales como instrumentos para la evaluación. Alvira, también desde la pluralidad de fuentes, prefiere orientar la naturaleza de la información en relación a la naturaleza del aspecto concreto a evaluar. La lógica del tipo de evaluación debe orientar la lógica de la recogida de información. Así distingue diferentes casos (Alvira, 1991:27): c) Fuentes y herramientas para cada etapa del proceso Cada una de las fuentes y herramientas para la recogida y tratamiento de la información a las que nos hemos referido captan cierto tipo de aspectos de la acción que se pretende evaluar. En general, la información que necesitamos es de distinta naturaleza en función de la etapa del proceso o acción en la que centramos la evaluación.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

149

Para la evaluación de necesidades Las técnicas de recogida de información más adecuadas son los indicadores sociales que generalmente proceden de fuentes indirectas, la encuesta y el recurso a expertos. Es necesario en muchos casos, para este tipo de evaluación, recurrir a datos secundarios elaborados por servicios estadísticos oficiales como pueden ser padrones y/o censos y datos de organismos públicos relacionados con el tipo de acción a evaluar que recojan información relevante para el diagnóstico inicial de la acción. En otros casos estos datos no resultan suficientemente actualizados, o el nivel de agregación o fiabilidad no son acordes con el ámbito de evaluación y hay que recurrir a la realización de encuestas con objeto de recoger datos directos sobre la situación sobre la que se pretende actuar. Finalmente, Alvira aconseja el recurso a expertos mediante técnicas adecuadas como pueden ser el método Delphi o la realización de foros, técnicas de grupos. Cada una de estas fuentes tiene sus puntos fuertes y débiles. Desde el punto de vista del coste, las encuestas son las más gravosas pero permiten obtener información específica sobre los asuntos concretos sobre los que queremos incidir. En este sentido, los datos secundarios tienen una mayor ventaja por su bajo coste y rapidez. Finalmente, el recurso a expertos nos puede llevar de una manera más rápida y eficiente a la elaboración de acciones y la delimitación de objetivos. En este tipo de evaluación, por tanto, las fuentes indirectas tienen un mayor peso, fundamentalmente las estadísticas públicas, los registros públicos, otros estudios y archivos de otros programas o servicios. Las fuentes indirectas recomendables son las encuestas, el recurso a expertos y el trabajo con grupos. Los instrumentos a utilizar son los relacionados con las fuentes y las técnicas más habituales son las técnicas estadísticas de investigación, Delphi y técnicas de grupo. Para la evaluación de la evaluabilidad Es más adecuado el análisis de documentos complementado por entrevistas en profundidad y/u observación in situ. Alvira recomienda analizar en primer lugar el programa sobre el papel y posteriormente el programa en la realidad para lo que lo adecuado es el uso de dos metodologías sucesivamente:

150

Mª JOSÉ ASENSIO COTO.

- El análisis documental y entrevistas personales con los diseñadores del programa - El análisis de la realidad empírica que acaba solapándose con la evaluación de la ejecución. Así, en este caso las fuentes indirectas no tienen un peso significativo. Predomina el uso de fuentes directas, fundamentalmente documentos, entrevistas y observación. Los instrumentos más utilizados serán los relacionados con el análisis documental y el trabajo con personas (entrevistas). Para evaluar la ejecución Las fuentes principales de información son los propios ejecutores del programa y los usuarios o destinatarios del mismo. Se recomienda aquí la utilización de sistemas de datos recogidos por el personal del programa bien mediante observación sistemática y/o participante y encuestas a los usuarios/beneficiarios. Las fuentes indirectas no tienen especial relevancia en la evaluación de la ejecución salvo los casos en que podamos comparar evolución y atribuirla al programa evaluado. Las fuentes directas son las realmente relevantes, sobre todo los documentos de la entidad, entrevistas en profundidad, y observación directa. Las técnicas de análisis de datos, estadísticas, análisis documental y técnicas de observación directa se combinan en esta etapa de la evaluación. El análisis de resultados Requiere instrumentos específicos de recogida y tratamiento de la información. Fundamentalmente desde la perspectiva de la evaluación clásica, se recomienda la realización de experimentos o cuasi experimentos60 para distinguir cuáles son los cambios que realmente son atribuibles a efectos de la acción evaluada y considerarlos así como resultados de la misma. En términos generales se trata de utilizar un grupo experimental de entre los destinatarios de la acción, y un grupo de control, que no recibe la

En la mayor parte de los manuales de evaluación y las monografías se recogen los diseños experimentales y cuasi experimentales. Espinoza Vergara (1983:96 a 102); Weiss (1996:79 a 93); Amezcua Viedma (1996:97 a 102); Cohen y Franco (1988:134 a 145); Díez López ofrece una breve pero clara descripción (2001:131 a 134) al igual que ballart (1992: 118 a 125). También Rossi y Freeman, (1993); Mohr (1995) ofrecen un análisis detallado.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

151

acción. El análisis de resultados se realiza tomando mediciones de los mismos indicadores en ambos grupos y comparando los datos obtenidos en uno y otro. También son susceptibles de aplicación los modelos causales o ecuaciones estructurales. En ambos casos la razón fundamental para seleccionar estas técnicas es la necesidad de controlar los factores de validez interna61. La evaluación de impacto Tabla 7. Recogida de información. Tipo de evaluación Evaluación de las necesidades

Evaluación de la evaluabilidad

Evaluación de la implementación

Evaluación de resultados

Recogida de información Indicadores sociales. Encuesta. Expertos. Análisis de documentos. Entrevistas en profundidad. Observación in situ. Observación sistemática. Observación participante. Encuestas a los usuarios/beneficiarios. Diseños experimentales. Diseños cuasi experimentales. Modelos causales: ecuaciones estructurales.

Fuente: Elaboración propia a partir de Alvira, 1991:27.

d) La monitorización de programas Mención aparte merece el caso de la monitorización y seguimiento de programas. La monitorización requiere establecer en primer lugar el tipo de información a recoger; elaborar un sistema de información, generalmente informatizado, con el que recoger de forma periódica o continua la información que se ha seleccionado y, finalmente el análisis periódico de la información par evaluar cada una de las etapas o elementos con configuren el conjunto del programa. La monitorización de programas no es un modelo de evaluación en sentido estricto, es más bien un instrumento para la evaluación interna que permite ser utilizado para distintos tipos de evaluaciones. Alvira recoge los diferentes pasos a seguir en la

Más adelante nos detendremos a analizar el alcance de la validez interna como concepto en el marco de la evaluación.

152

Mª JOSÉ ASENSIO COTO.

monitorización y seguimiento de programas como resumimos en la siguiente tabla: Tabla 8. Monitorización de programas. 1. Determinación de los objetivos de la evaluación.

2. Elaborar un modelo de flujo que describa el programa.

3. Desarrollar un sistema de indicadores.

4. Diseñar los soportes documentales.

5. Elaborar un manual de cumplimentación. 6. Situar cada soporte documental en el modelo de flujos. 7. Especificar cómo se van a presentar y utilizar los resultados.

El tipo de evaluación elegido condiciona la selección de indicadores y el tipo de información necesaria. El modelo de flujo debe describir el recorrido completo del usuario en el programa: entrada, recorrido hasta el comienzo de la acción, actividades, actuación de los profesionales y salida. Consiste en la selección de información necesaria para responder a las preguntas que plantea la evaluación. El tipo de soporte se deriva de la naturaleza de la información a recoger y del momento dentro del programa en el que ha de hacerse. Pueden ser cuestionarios, fichas, tests… Es necesario para garantizar la homogeneidad de la información ya que va a ser recogida por diferentes personas en diferentes momentos. Se trata de determinar en qué momento se cumplimenta cada documento y por quien.

Fuente: elaboración propia a partir de Alvira, 1991:73 y ss.

Se trata, por tanto, de diseñar un sistema de información útil para la evaluación de las diferentes etapas de la acción evaluada y para distintos tipos de evaluación. Generalmente se considera adecuado que el sistema incorpore informaciones que, aunque no sean necesarias para la evaluación, sean útiles para la gestión. El sistema está completo si incluye algún tipo de soporte informático. 3.2.3. La recogida y tratamiento Herramientas participativas

información.

En el ámbito de la metodología evaluativa para proyectos de cooperación para el desarrollo, la Secretaría de Estado para la Cooperación Internacional y para Iberoamérica en sus documentos metodológicos viene recomendando el uso de enfoques participativos en la línea de los organismos internacionales de cooperación (Ministerio de Asuntos Exteriores, 2001). Frente a las herramientas convencionales que acabamos de analizar, en las

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

153

herramientas participativas no se produce la separación entre el proceso de recopilación de información y el análisis de la misma, de manera que las mismas herramientas cumplen ambas funciones. La mayor parte de ellas tienen carácter eminentemente gráfico62. Son instrumentos que priorizan la comunicación fácil. Tabla 9. Herramientas Participativas63. Juegos de Drama/Rol. Métodos visuales. Sistemas de voto. Diagramas de causa. Mapas de actividad diarios. Matrices: MMLR*. Análisis de acontecimientos críticos*. Diagramas de flujo*. Líneas de tiempo y calendarios. Informantes clave. Ranking de riqueza*.

Mapas de bolsillo. Historia con un intervalo. Tarjeta de ordenamiento de métodos. Diagramas institucionales (Venn/Chapati)*. Líneas de Tiempo. Diagramas/Mapas de las condiciones de vida. Diagramas de redes Análisis de fuerzas de campo. Caminatas transversales. Historias de vida. Calendarios estacionales.

Fuente: elaboración propia.

Nosotros nos detendremos en las técnicas que hemos marcado en el cuadro por considerar que son las que tienen mejor aplicación fuera de los contextos específicos de los que proceden. a) La Matriz del Marco Lógico Revisada (MMLR) Se inspira en el enfoque del marco lógico (EML), al que nos hemos referido en capítulos anteriores, introduciendo elementos de participación. Esta herramienta aprovecha la facilidad para su interpretación de la matriz del marco lógico para construir lo que se denomina hoja de planificación que es básicamente la misma matriz modificada con elementos participativos. Una de las propuestas más aceptadas en cuanto a la forma de presentar la hoja de 62

En Estrella, 1997 el lector puede encontrar una buena revisión de la bibliografía sobre las herramientas participativas de evaluación y seguimiento. No obstante, algunas de las herramientas que recogemos aquí son posteriores a la fecha de publicación de dicho documento. Para un análisis detallado de las herramientas participativas ver Banco Mundial (1996).

También es posible encontrar una descripción detallada de los aspectos fundamentales de cada herramienta en la página de Enterprise Development Impact Assessment Information Service (EDIAIS) http://www.enterpriseimpact.org.uk/ir-toolbox.htm#Participatory. Para el caso concreto de la evaluación de impacto, ver Simanowitz, 2001.

154

Mª JOSÉ ASENSIO COTO.

planificación que presenta D. Gasper (1999), que se introducen incorporando nuevas columnas que pretenden minimizar los inconvenientes que desde los enfoques participativos se achacan a este método, fundamentalmente su rigidez y verticalidad. Tabla 10. Proceso de aplicación de la matriz de marco lógico revisada. 1. Consenso - Cuáles son las necesidades de información. - Qué uso se va a dar a los resultados de la evaluación. - Tomar la decisión de iniciar el proceso de evaluación de forma conjunta. 2. Equipo evaluador - Constituir el equipo de trabajo que se va a ocupar de realizar la evaluación. 3. Plan de evaluación: Diseñar el plan de evaluación participativa que debe contemplar: - Descripción del enfoque evaluador. - Hoja de planificación (que irá completándose en las siguientes fases). - Organigrama del proceso incluyendo la distribución de responsabilidades. - Programa de formación de los participantes. 4. Determinación de los objetivos y representación en la hoja de planificación mediante - Diagramas causales, - Árbol de objetivos. 5. Análisis de los participantes en la evaluación y grado de implicación mediante - Diagramas institucionales, - Diagramas de Venn - Mapas sociales. 6. Concreción de las necesidades de información y representación en la hoja de planificación - Formulación de preguntas para cada nivel de objetivo 7. Selección de indicadores Elaborar una lista de indicadores y clasificarlos en función de - Relevancia - Nivel de conocimiento técnico que requieren - Recursos necesarios - Seleccionar un grupo de indicadores clave por pregunta y recoger en la hoja de planificación 8. Planificar la recolección de información y recoger en la hoja de planificación: - Fuentes de información. - Medios de verificación. - Frecuencia de recolección y análisis. - Recursos necesarios. - Sistema de almacenamiento de la información. 9. Planificar el análisis Estableciendo quién, cómo y para qué se utilizarán los resultados. 10. Prueba Realizar una prueba del sistema de evaluación a partir de la representación del mismo en la hoja de planificación. Fuente: Elaboración propia a partir del Ministerio de Asuntos Exteriores (2001:60 y ss).

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

155

Esta matriz modificada presta mayor atención a los factores externos y a los efectos no esperados. Las propuestas finales plantean la utilización de técnicas complementarias y la revisión de la matriz, con la finalidad de aprovechar sus potencialidades y solucionar, aunque sea en parte, sus fallos, relativos sobre todo a la excesiva simplificación, la negación de aspectos fundamentales pero no cuantificables, la rigidez y el olvido de los efectos no deseados que pueden ser compensados a través de la modificación o las adiciones al EML (Gasper, 1999).64 El proceso de aplicación de este instrumento queda resumido en la tabla 10. b) Análisis de acontecimientos críticos Fue utilizado por primera vez en 1994. Desarrollada por Rick Davies, es una herramienta que abandona el uso de indicadores. La información relevante se centra en la selección y análisis de los acontecimientos o cambios más significativos acaecidos a lo largo de la ejecución del proyecto como centro. Con esta técnica se pretende establecer las relaciones causa-efecto existente entre los acontecimientos previamente seleccionados usando como criterio de selección su significatividad respecto de los objetivos previamente establecidos y la intervención evaluada. El proceso de aplicación de este instrumento queda resumido en la tabla 11.

D. Gasper revisa en este artículo las limitaciones del Enfoque del Marco Lógico, y especialmente de las matrices de planificación o Matriz de Marco Lógico tradicional, para la evaluación de acciones muy específicas y realizadas en unos contextos especialmente complejos. No obstante, las cuestiones que introduce en el debate aún son válidas en el ámbito general de los proyectos de cooperación internacional y el debate abierto sigue dando sus frutos tanto en la modificación de técnicas ya existentes, como en este caso, como en el diseño de modelos de evaluación alternativos. Para ello, describe ampliamente las características principales de esta herramienta.

156

Mª JOSÉ ASENSIO COTO.

Tabla 11. Proceso de aplicación del análisis de acontecimientos críticos. 1. Seleccionar los ámbitos a evaluar Objetivo complementario: fomentar la expresión de las perspectivas de cambio. 2. Elegir a los participantes en la evaluación Objetivo complementario: establecer los mecanismos de participación. 3. Formular las preguntas Establecer una batería de preguntas sobre cambios operados para cada ámbito seleccionado (narrativa y explicativa). Formulación narrativa: narración del hecho seleccionado. Formulación explicativa: se justifica el por qué de la selección de ese cambio. Objetivo complementario: identificar los cambios esenciales percibidos. 4. Discusiones de grupo Objetivo complementario: alcanzar un consenso sobre el cambio más significativo. 5. Resultado y reacción Resultado del proceso: conjunto de acontecimientos o cambios derivados de la acción evaluada. Reacción: implementar acciones que eviten los cambios negativos y/o fomenten los positivos. Recomendación: Acompañar la descripción escrita de los acontecimientos con representaciones gráficas como diagramas, fotografías, vídeos. Fuente: Gallego, 1999:10 y ss.

c) Ranking de Riqueza o de Bienestar Es una herramienta de tipo participativo que se utiliza habitualmente para clasificar en grupos a la población objetivo de los proyectos o programas a evaluar. El objetivo puede ser diverso, en unos casos se trata de evaluar el impacto en diferentes grupos de destinatarios, en otros casos se trata de buscar el establecimiento de grupos de control, en otros se pretende evaluar si los efectos de la acción están alcanzando a los grupos en los que se manifiesta la problemática que pretende cambiar. El establecimiento de subgrupos puede, por tanto, seguir criterios diversos. Nosotros nos recogemos aquí el ranking de Riqueza o de Bienestar por ser los más generalmente utilizados. En definitiva, se trata de realizar una comparación de las familias o de individuos de una comunidad determinada en función de unos parámetros previamente establecidos. La especificidad de esta técnica es que tanto la selección de los criterios como el establecimiento de los grupos se realiza mediante la participación. El proceso de aplicación de este instrumento queda resumido en el siguiente cuadro:

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

157

Tabla 12. Proceso de aplicación del ranking de riqueza o bienestar. 1. Elaborar una lista de hogares a partir de - Mapa social o estudio previamente elaborado o - Censos o padrones o algún registro oficial o - Discusiones con el grupo. 2. Elaborar los criterios de clasificación 3. Clasificar los hogares en base a los criterios previamente consensuados. 4. Revisar la clasificación inicialmente obtenida - Discusión acerca de los grupos obtenidos inicialmente - Reagrupar o, en su caso, utilizar nuevos indicadores surgidos del análisis conjunto de los grupos. 5. Representación del resultado obtenido - Elaborar símbolos que representen a los grupos - Extraer información de los símbolos atribuidos en cada caso Fuente: Elaboración propia a partir de Gallego, 1999:12 y ss.

d) Matrices de clasificación y de puntuación Se utiliza para analizar los cambios operados en las preferencias de las personas y las razones de esos cambios. Las matrices de clasificación analizan la escala de prioridades de un grupo de individuos, tanto el orden de estas prioridades como las razones por las que toman esas opciones y no otras. Tabla 13. Proceso de aplicación de las matrices de clasificación y puntuación. 1. Establecer la alternativas posibles Proponer a los participantes que relacionen y definan las alternativas de acción respecto de la cuestión general en torno a la que se articula el proyecto o programa. 2. Representar las alternativas Mediante una tabla en la que cada acción esté representada por un dibujo junto a su nombre. 3. Establecer criterios de selección Solicitar a los participantes el establecimiento de criterios de selección Representar los criterios en las columnas de la tabla Cuanto más desagregados estén los criterios mayor información se obtendrá 4. Puntuar Para cada criterio, solicitar a los participantes que puntúen cada una de las opciones. 5. Registrar, representar y discutir los resultados 6. Iterar los pasos 4 y 5 Analizar los cambios y discutir las razones de éstos Fuente: Elaboración propia a partir de Gallego, 1999:12 y ss.

158

Mª JOSÉ ASENSIO COTO.

e) Diagramas institucionales Es una herramienta para obtener y analizar información útil fundamentalmente desde la perspectiva local. Generalmente no es fácil, si el evaluador es externo a la comunidad o localidad en la que se ejecuta la acción, obtener suficiente información sobre la organización social de la comunidad y la naturaleza de sus grupos sociales. Existen múltiples aspectos poco evidentes relacionados con las interacciones en una localidad o territorio. Habitualmente se utiliza como representación el diagrama de Venn, diagramas de áreas circulares (que a menudo se superponen) utilizados para representar relaciones. Gráfico 9. Diagrama institucionales.

Fuente: Gallego, 1999:20.

Este tipo de representación resulta útil porque nos permite mostrar los vínculos entre diferentes grupos y la intensidad de esos vínculos, en un formato claro y gráfico. De manera que se solicita a

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

159

ciertos informadores clave o a un grupo representativo de la comunidad que dibujen un diagrama formado por un grupo de círculos, cada uno de los cuales representa un grupo u organización activa dentro de la comunidad. Se trata de representar las relaciones entre aquellas organizaciones, externas o internas, y grupos ya sean formales o informales cuya relevancia en el aspecto que se analiza es significativa. El tamaño de cada círculo refleja la importancia relativa del grupo que representa –cuanto más pequeño es, menos influencia tiene el grupo. El área en la que se superponen dos círculos simboliza el volumen de colaboración o de decisiones conjuntas entre dos grupos. La repetición del diagrama después de transcurrido un tiempo permite mostrar los cambios en las relaciones entre grupos, instituciones e individuos. 3.3. Sistemas de información para la evaluación de acciones centradas en el individuo Para finalizar este capítulo, vamos a entrar en la cuestión del papel que juegan los sistemas de información para la evaluación de acciones. Abordamos este asunto centrándonos en un tipo concreto de entidades y desde una perspectiva concreta que queremos explicitar ahora. En primer lugar, nos referimos al caso de entidades sin ánimo de lucro u ONGs que se ocupan de ejecutar acciones centradas en el individuo. Por lo general, son entidades que acumulan interesantes experiencias procedentes de la acción directa. Son entidades para las que la evaluación de su propia intervención puede significar una importante fuente de aprendizaje sobre la realidad en la que intervienen y sobre la propia entidad. En segundo lugar, la perspectiva evaluadora desde la que entramos en esta cuestión es de carácter pluralista, de manera que hablamos del aprendizaje y la adquisición de conocimiento como finalidad fundamental del proceso evaluador. 3.3.1. La optimización del ciclo experiencia-aprendizaje como estrategia de gestión de la acción En el ámbito de la gestión de empresas aparece de forma pujante la gestión del conocimiento (knowledge management) sumándose a la gestión por competencias y la gestión por procesos o calidad total.

160

Mª JOSÉ ASENSIO COTO.

La gestión del conocimiento se inspira en la idea de que hay que aprovechar todas las sinergias existentes en la organización para garantizar que el ritmo de aprendizaje de la misma se adecue al ritmo en el que se producen los cambios en el mercado. Gráfico 10. Cambio del mercado y velocidad de aprendizaje organizativo. Velocidad del cambio

Mal servicio

Servicio estándar

Calidad superior

Aprendizaje organizativo

Fuente: Molina y Marsal Serra (2005:5).

El enfoque de la gestión del conocimiento, en el campo de la gestión empresarial, es un enfoque organizativo orientado a las personas y se centra en crear las condiciones para que se produzca la comunicación. “El saber hacer de las organizaciones proviene de un grupo de personas trabajando de forma coordinada con una tecnología, obteniendo experiencia y valorándola. Cuando una organización es pequeña y poco especializada, la experiencia acumulada por el grupo está a disposición de sus miembros mediante contactos interpersonales. Sin embargo, a medida que la experiencia acumulada y el tamaño del grupo crecen, las posibilidades de aprovechar esa experiencia son cada vez menores” (Molina y Marsal Serra 2005:5). En este sentido, optimizar el ciclo experiencia-aprendizaje en el seno de la organización es la clave para adecuar las respuestas de la organización a su entorno. Para ello, la herramienta necesaria para facilitar el aprendizaje colectivo

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

161

y generar conocimiento cooperativo en el seno de la entidad, es el sistema de información. Fuera del ámbito empresarial, la optimización del ciclo experienciaaprendizaje no deja de jugar un papel central en la capacidad de conducir la actividad de la organización. Es más, adquiere un mayor peso si consideramos que, fundamentalmente en los programas dirigidos a actuar sobre personas, el trabajo diario durante la ejecución de la acción va generando información. Información que se refiere al individuo particular sobre el que se está actuando y a las circunstancias que causan o contribuyen a explicar la situación de fragilidad que lo ha hecho objeto de intervención. Genera también información relativa al proceso individual: diagnóstico, planificación de la acción individualizada, respuestas o resultados a lo largo de las diferentes etapas del proceso, cambios observados, etc. Del mismo modo, es habitual que se recoja información relativa a la familia del individuo con el que se trabaja y de su entorno socioeconómico. Lo cierto es que en el seno de la entidad que ejecuta se obtiene y genera una gran cantidad de información que difícilmente llega a estar disponible para la propia entidad en términos globales, incluso en algunos casos para ser analizada por el propio trabajador que la ha generado. El establecimiento de sistemas de información en el seno de las entidades que ejecutan acciones y programas que han de ser sometidos a evaluación, ya sea por necesidad de responder a exigencias externas o para satisfacer las propias necesidades de la entidad, se revela como una herramienta de extraordinaria utilidad de cara al proceso evaluador. En este sentido, la situación ideal es disponer de su sistema de información útil para todas las etapas del proceso, es decir, diagnósticos, evaluación de la implementación, seguimiento y evaluación final de los individuos, de las acciones y de la entidad. También para la autoevaluación. Se trata, por tanto, de un instrumento útil para la evaluación global y sistémica. En definitiva, se trata de crear una herramienta de evaluación que recoja de forma continua la mayor parte de los elementos necesarios para ésta, aprovechando la capacidad de aprehender de la actividad generada por la propia ejecución del programa.

162

Mª JOSÉ ASENSIO COTO.

3.3.2. Cuestiones generales sobre la eficacia de los sistemas de información en las organizaciones En relación a la cuestión que abordamos aquí, existen una serie de características que podemos atribuir, generalizando, al ámbito de lo público y a una parte importante del sector no lucrativo en el que, por circunstancias algunas similares y otras diferentes, se producen disfunciones parecidas. Con esto lo que queremos decir es que no estamos haciendo referencia a las empresas privadas en donde no hemos indagado sobre esta cuestión pero, al menos superficialmente parece que la situación es diferente. Ignacio Díaz, cuya actividad se enmarca en el Gabinete de la Consejería de Administraciones Públicas y Asuntos Europeos del Principado de Asturias, enumera una serie de disfunciones que se producen en los sistemas de información de las administraciones públicas que nos sirven de referencia. Muchas de las cuestiones que se destacan aquí forman parte también del problema de la información en el seno de entidades más pequeñas del sector no lucrativo. Cinco aspectos son los que se destacan en relación de esta cuestión (Ignacio Díaz, 2001:57 y ss): - Fraccionamiento de los sistemas de información. Cobertura limitada. - Proliferación de sistemas de información desconectados entre sí. - Falta de estandarización y homologación. - Ausencia de planificación del desarrollo de los sistemas de información. - Ausencia de instrumentos de evaluación de los sistemas de información. - Retraso en la utilización de la capacidad que ofrecen las nuevas tecnologías. En la mayor parte de estos seis aspectos coexisten la problemática conceptual o de diseño del sistema con la problemática ligada al uso de las nuevas tecnologías de la información y al soporte, digamos físico, del sistema. A estos seis aspectos habría que añadir la falta de flexibilidad de los sistemas de información. Las organizaciones evolucionan, emprenden nuevas acciones y otras acciones acaban, los colectivos

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

163

de usuarios cambian porque cambian sus circunstancias o porque aparecen nuevos grupos sobre los que se actúa. Nos referimos no sólo a la dinámica diaria, lo que llamaríamos cambios coyunturales, sino que la propia estructura evoluciona a la vez que evoluciona el contexto en el que se desarrolla su actividad. Y la dificultad estriba en que el cambio es continuo. Cada vez es más rápido el cambio estructural. En el caso de los servicios públicos suele permanecer al menos cuatro años ya que suelen estar muy condicionados por el ciclo político. No obstante, en el caso de las entidades privadas que se ocupan de gran parte de las acciones externalizadas por la Administración, el cambio estructural es mucho más rápido. Esto significa una dificultad añadida a la hora de diseñar un sistema de información estable. La flexibilidad del sistema es, por tanto, un requisito necesario para su eficacia a medio plazo. Además, existen una serie de dificultades específicas de las entidades pequeñas: falta de recursos, dificultad para planificar las propia evolución que depende en gran medida de factores externos, necesidad de dar respuestas inmediatas, cultura de trabajo individualizado, etc. 3.3.3. Componentes esenciales de los sistemas de información útiles para la evaluación Para delimitar las características del sistema de información útil para la evaluación global, la mejor forma es hacerlo describiendo sus componentes: Contenidos.- Un conjunto de informaciones que queremos recoger de forma continua y sistemática a medida que éstas se van produciendo o conociendo por algunos de los miembros de la entidad. En este aspecto los requisitos para seleccionar los contenidos son aquellos que permitan que la recogida sea viable, es decir, acorde con el trabajo diario de las personas encargadas de recogerla y útil para ellos. Fundamentalmente para el caso de entidades a las que no les sobran los recursos materiales y humanos y cuya actividad se caracteriza por el trabajo intenso sobre el terreno, no tiene sentido pretender instaurar un sistema que añada demasiadas cargas adicionales al trabajo diario sin una compensación a cambio. Lo ideal es que esta compensación venga por la vía de la facilitación de las tareas que ellos consideran necesarias.

164

Mª JOSÉ ASENSIO COTO.

Otro requisito respecto de los contenidos es evitar la duplicidad. Se trata de evitar que varias personas de la misma entidad recojan la misma información. Esto debe ser así para un mismo nivel de agregación, es decir, evitar que se registren dos veces datos individuales como puede ser la edad de un usuario, pero también evitar que se registre información que puede ser obtenida mediante la agregación de la ya existente. Otro requisito de los contenidos sería que éstos sean útiles para la entidad. Esto seguramente acarreará un coste adicional para las unidades de recogida de información ya que, a veces, la información individualizada se ha de recoger por su utilidad una vez agregada, aunque individualmente no sea especialmente relevante. En cualquier caso, esta situación es mejor que sea evitada siempre que sea posible. Por tanto, para el establecimiento de los contenidos es necesaria una profunda reflexión sobre las verdaderas necesidades de la entidad, la selección aquí es muy importante. Unidad de recogida de información.- El segundo componente del sistema de información es la unidad de recogida de la misma. Hay que decidir quién recoge cada información y cuándo se recoge, ya sea cualitativa o cuantitativa. Los requisitos básicos en este punto son una vez más la viabilidad y utilidad respecto de las personas que han de recoger la información. En este caso hay dos posibles modelos. Por un lado, existe la posibilidad, utilizada en muchas entidades, fundamentalmente de carácter público, de dedicar recursos tanto personales como materiales específicamente para la realización de esta actividad. De esta manera la recogida de la información se convierte en una tarea profesionalizada y especializada en el seno de la entidad y siempre va a ser una actividad intermediaria. La otra posibilidad, también muy utilizada por las entidades, fundamentalmente las pequeñas y aquellas que realizan actividades fuertemente vinculadas a los usuarios, es que se recoja la información en la misma unidad que la produce (si se refiere a una acción de la entidad) o las conoce (si es información referida al usuario). En el primer caso, la viabilidad va a depender casi exclusivamente de la disponibilidad real de recursos para realizar esta tarea y la utilidad respecto de las personas que la realizan no suele ser relevante. En la segunda opción, más interesante desde nuestro punto de vista, la viabilidad está una vez más ligada a la utilidad que reporte a la persona que ha de ocuparse de la recogida, pero

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

165

también y quizás al mismo nivel, de la correcta selección de la información y la amabilidad de la forma en la que ésta debe ser recogida. Documento de recogida de información.- El tercer elemento que configura el sistema de información es el documento o documentos de recogida de información. En función de cómo se hayan diseñado los dos elementos anteriores, es decir, en función de los contenidos y de las unidades que se designen para recoger la información, ha de diseñarse este tercer componente. Como hemos indicado más arriba, el documento ha de facilitar la viabilidad del sistema por lo que es muy relevante para la buena implementación del mismo la forma en la que éste sea diseñado. El orden en el que se recogen los diferentes tipos de informaciones, el formato del propio documento, el soporte, etc., han de corresponderse, por supuesto con la naturaleza de los datos (cuantitativo/cualitativo, de magnitud o de orden...), pero también con las circunstancias del trabajo al que se añade. En este punto es especialmente relevante el número de documentos de recogida de información que se incluyen en el sistema. Si bien es cierto que en la mayor parte de las entidades existe una cierta compartimentación de las actividades y a ella debe responder el instrumento de recogida de información, también lo es que deben diseñarse sin perder de vista que todos forman parte de un mismo sistema de información y, por tanto, cada uno de ellos no es más que un elemento que debe integrarse en un todo cuya finalidad debe primar. Por tanto, es aconsejable evitar la excesiva proliferación de diferentes documentos y la desconexión entre ellos. La salida del sistema.- El cuarto elemento es la salida. El sistema de información debe contemplar diferentes formas de salida de la información para cubrir las diferentes necesidades que se pretenden cubrir. Esto es así respecto del tipo de información que ha de salir del sistema, niveles de agregación, tratamiento estadístico, etc. Soporte.- Un sistema de información de las características del que estamos tratando necesita de un soporte informático flexible, dinámico, de fácil utilización y que permita el trabajo en red. Para que este tipo de sistemas contribuya de forma eficiente al objetivo para el que es diseñado y tenga una cierta permanencia en el tiempo tendrá que satisfacer una serie de necesidades esenciales (Weiss, 1996:74):

166

Mª JOSÉ ASENSIO COTO.

Una vez implantado y testado, la entidad u organización debe conservar la capacidad de realizar evaluaciones sobre la base de la información que le provee el sistema. Es necesario, pues, que existan personas en la entidad con aptitudes para la utilización adecuada de esta herramienta. La realidad de la organización y de las acciones, e incluso de los destinatarios de éstas, es cambiante. Es necesario contemplar en el diseño del sistema revisiones periódicas del contenido del mismo. Es necesario establecer una rutina de revisión que adapte y actualice los contenidos del sistema de manera que, a pesar de los cambios, permanezca la homogeneidad y permita a lo largo del tiempo realizar comparaciones y agregaciones de los datos recogidos en momentos diferentes. Además, durante cierto tiempo los datos del pasado deben permanecer en el sistema de manera que sigan siendo operativos.

3.3.4. El paquete metodológico integrado de herramientas

Catalyse:

conjunto

Como hemos dicho, el método Catalyse fue inicialmente concebido en 1989 en el centro MTI@SHS de la Universidad del Franco Condado bajo la dirección del profesor J.J. Girardot. La colaboración de varios centros de investigación europeos y agentes que en su momento ejecutaban acciones locales de diversa índole en el ámbito de la lucha contra la exclusión, ha permitido a lo largo de estos años la experimentación de la metodología propuesta y la reflexión sobre el contenido y alcance del sistema en el marco de la acción local. En la actualidad, el conjunto de instrumentos que configuran Catalyse se presentan como un método de inteligencia territorial. Catalyse desarrolla soluciones metodológicas y técnicas que ponen en ejecución los principios de inteligencia territorial: participación de los usuarios, partenariado de los operadores, aproximación global, calidad y accesibilidad de la información. Estos instrumentos participativos de observación y de evaluación pueden ser utilizados por los actores locales en el marco de proyectos territoriales de desarrollo económico y social sostenible. Durante toda la década de los noventa, el método Catalyse ha sido experimentado en contextos territoriales diferentes en el marco de la REIIS (Red Europea de Iniciativas de Inserción Social) y en la

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

167

actualidad constituye uno de los ejes fundamentales de trabajo de la Red Europea de Inteligencia Territorial (REIT). La experimentación en diversos territorios y en acciones de diversa naturaleza ha permitido, a lo largo de estos años, afrontar la reflexión conceptual respecto del papel que puede jugar una herramienta de estas características en la movilización y operativización de la inteligencia territorial en los ámbitos locales. Tres conceptos básicos han servido de referencia: territorio, sociedad de la información y desarrollo sostenible65. a) Marco conceptual El concepto de inteligencia territorial es el resultado de la confluencia de los conceptos de desarrollo sostenible, territorio y sociedad del conocimiento. Tiene que ver con una forma determinada, de transformar la información en conocimiento cooperativo y con una forma de entender la contribución de este conocimiento a la configuración y evolución de los propios territorios. La inteligencia territorial hace referencia al “conjunto de conocimientos pluridisciplinares que, de una parte, contribuyen a la comprensión de las estructuras y de las dinámicas territoriales y, de otra, ambiciona ser un instrumento al servicio de los actores del desarrollo sostenible en los territorios”66 (Girardot, 2004:3). En lo que se refiere a los aspectos dinámicos, a la evolución, la inteligencia territorial evoluciona en un proceso interactivo, iterativo y prospectivo mediante la mutualización de la información y su explotación cooperativa. Su contribución a la comprensión de las dinámicas territoriales hace que se constituya como elemento central de los procesos de desarrollo de los territorios67. Como respuesta a las necesidades de las áreas menos desarrolladas y la crisis ambiental se han ido formulando nuevos modelos de desarrollo que ofrecen alternativas diferentes para afrontar estos

Para la descripción de Catalyse seguimos los trabajos de J.J. Girardot recogidos en la bibliografía.

“l’ensemble des connaissances pluridisciplinaires qui, d’une part, contribue à la compréhension des structures et des dynamiques territoriales et, de l’autre, ambitionne d’être un instrument au service des acteurs du développement durable des territoires.”

En la misma lógica P. DUMAS (2004) dice "l’intelligence comme processus cognitif et d’organisation de l’information, et le territoire comme espace de relations signifiantes".

168

Mª JOSÉ ASENSIO COTO.

retos. En el ámbito de la Unión Europea, el desarrollo local y el desarrollo sostenible se han convertido en ejes centrales de la acción comunitaria y también de los diferentes estados miembros. Ambas propuestas se articulan en torno al territorio, que ocupa un papel cada vez más relevante en el diseño y ejecución de las acciones que se ejecutan para conducir el proceso de desarrollo. Paralelamente, el concepto de territorio ha ido evolucionando de manera que a las consideraciones geográficas e institucionales se añade el papel de las personas en la configuración de los territorios. El territorio es así entendido como el resultado de la acción de la comunidad, es entendido como una construcción de los actores. En la transición de la “sociedad de la información”, en la que los usuarios de las tecnologías de la información a bajo coste se difunden intensamente provocando mutaciones económicas y sociales, a la “sociedad del conocimiento”, que sugiere la importancia del saber, de la creatividad y del capital humano y social en el desarrollo económico, el concepto de inteligencia territorial juega un papel central. Más allá de la idea general de introducir las tecnologías de la información y del conocimiento al servicio de los actores territoriales, el concepto de inteligencia territorial reposa sobre un análisis más fundamental de desarrollo sostenible en la sociedad del conocimiento. El conocimiento no es un objetivo en sí. La inteligencia territorial está orientada a la acción y ambiciona respetar ciertos principios: participación, aproximación global y partenariado. Desde su origen, la metodología Catalyse pretende poner las tecnologías de la información al servicio de los actores del desarrollo económico y de la cohesión social. Así, pretende ser una línea de acción frente a la contradicción que supone el hecho de que la informatización de la sociedad se ha convertido en un nuevo vector de exclusión que contribuye a la marginalización de los grupos sociales y regiones vulnerables. b) Las herramientas Catalyse Catalyse integra un conjunto de herramientas de ayuda a la acción para los actores territoriales. El objetivo es ayudar a los actores de desarrollo a comprender las estructuras y las dinámicas territoriales con la finalidad de contribuir a la eficacia de la acción.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

169

La comunidad científica y los expertos disponen de recursos para la utilización de las herramientas informáticas y para el tratamiento de la información, pero esto no suele ser así en el caso de los actores territoriales. Se trata, por tanto, de diseñar instrumentos accesibles para facilitar a éstos el conocimiento sobre los territorios y los grupos sobre los que actúan, elaborar proyectos de acción, y evaluar sus propias acciones. En definitiva, se trata de acercar a los agentes los instrumentos científicos. Instrumentos científicos como son: - Utilización de sistemas informáticos. - Gestión de bases de datos. - Técnicas de edición tanto de textos, imágenes, gráficos estadísticos… - Métodos estadísticos cuantitativos, que son también necesarios para realizar descripciones de una comunidad o territorio a partir de datos recogidos por los propios usuarios. - Métodos de análisis cualitativo de datos. Indispensables para estudiar la diversidad y la complejidad de las situaciones individuales. En este punto, los métodos multicriterios. - Técnicas de evaluación. - El análisis espacial. Los Sistemas de Información Georeferenciados (SIG) son indispensables para captar la dimensión territorial. Catalyse pretende hacer accesibles estos instrumentos a los actores que ejecutan directamente las acciones. El uso de herramientas accesibles en las que volcar la información relevante y de forma compatible con instrumentos cooperativos de explotación e interpretación de los resultados permite romper con la forma tradicional de posesión de la información. En el caso de agentes individuales o pequeños, la posesión de la información no empodera, aunque esto siga siendo el sentir que permanece en muchas organizaciones. El elemento de empoderamiento es el conocimiento y, en el caso de agentes atomizados, el conocimiento compartido. Catalyse pretende facilitar la mutualización de la información y posibilitar el trabajo colaborativo entre el conjunto de actores que ejecutan su acción en territorios o con poblaciones concretas. Se trata de desarrollar y experimentar un dispositivo de observación cooperativa y de evaluación pluralista, sobre la situación socio-

170

Mª JOSÉ ASENSIO COTO.

económica de los colectivos desfavorecidos en un contexto territorial orientado por los principios de participación, aproximación global del territorio, partenariado de los actores locales, uso de las tecnologías de la información y accesibilidad y calidad de la información. Los objetivos del proyecto global se concretan en: - Analizar y evaluar dinámicamente el contexto socio-económico. - Coordinar los diferentes actores locales para posibilitar el análisis y la acción conjuntos para abordar las problemáticas del colectivo objeto de intervención y de la zona. - Ofrecer a los actores implicados herramientas para el diseño de indicadores socio-económicos del colectivo y el territorio, e información para elaborar hipótesis que analicen concreta y actualizadamente las problemáticas del colectivo. Gráfico 11. La metodología Catalyse.

Fuente: Masselot, 2004:1.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

171

Son tres las herramientas básicas que integran Catalyse: - Herramienta de diagnóstico, seguimiento y evaluación de las acciones que realizan entidades e instituciones que trabajan con individuos. Es un instrumento para conocer las necesidades, construir los perfiles y tipologías de los colectivos. El diseño y puesta en marcha de esta herramienta para el caso concreto del Centro de Inserción Sociolaboral Valdocco constituye la aplicación práctica de la investigación que aquí se presenta: el sistema de información GEYSA. - Repertorio de acciones y de recursos. Estructurando la información sobre los recursos de intervención socioeconómica existentes y las acciones propuestas por los distintos actores, entidades, instituciones y organismos. Desde el Observatorio Local de Empleo hemos realizado el Repertorio de actores de la ciudad de Huelva, el Mapa de Actores de Empleo de la provincia de Huelva (MADE), y la Guía de recursos para la búsqueda de empleo de la Ciudad de Huelva. - Base de Datos Contextuales: con indicadores socio-económicos armonizados con los datos de seguimiento de las herramientas de diagnóstico, que permita la referenciación territorial y la elaboración de mapa contextuales. Las bases de datos contextuales permiten situar los diagnósticos locales, las evaluaciones y las tipologías de necesidades o de los actores en el contexto específico del territorio de acción. El trabajo del OLE en este campo ha sido en estos años muy prolífico. Destacamos el Mapa social de la Ciudad de Huelva por ser la primera aplicación en sentido cronológico, la construcción de bases de datos de empleo mediante la realización de paneles. De entre los estudios contextuales que hemos realizado queremos destacar aquí, por su estrecha relación con el instrumento que presentamos, el estudio del mercado laboral del distrito V de reciente publicación, por ser este distrito el ámbito territorial en el que fundamentalmente se enmarca la acción del Centro de Inserción Sociolaboral Valdocco68. La utilización coordinada de estos tres tipos de herramientas contribuye a mejorar el conocimiento de las necesidades de los colectivos sobre los que se realiza la intervención; mejorar la adaptación de la acción a las necesidades de los individuos, los 68

De Paz Báñez et al. 2005a.

172

Mª JOSÉ ASENSIO COTO.

colectivos y los territorios; mejorar el conocimiento del contexto de actuación y de las respuestas de los actores; mejorar la coordinación de las acciones y su adaptación a las respuestas del resto de los actores del territorio. c) Perspectivas de futuro en el marco de la Red Europea de Inteligencia Territorial Los trabajos de carácter tanto metodológico como técnico, así como la experimentación y difusión de la metodología Catalyse, se realizan en la actualidad en el marco de la Red Europea de Inteligencia Territorial (REIT). La REIT es una red de investigación de ámbito europeo que aglutina equipos de investigación universitarios y actores del territorio que participan en la conceptualización, operativización y difusión de la inteligencia territorial. El objetivo con el que se constituye la REIT es integrar los trabajos de los equipos de investigación, investigadores, actores del territorio y expertos que participen en la emergencia y la difusión de la inteligencia territorial. Esta red aspira a desarrollar los conocimientos pluridisciplinares que contribuyen a la comprensión de las estructuras y de las dinámicas territoriales. Los trabajos de la REIT se articulan en torno a tres ejes fundamentales: - Conocimiento del territorio.- La inteligencia territorial propone una aproximación pluridisciplinar a las estructuras y las dinámicas territoriales. - Gobernanza territorial.- La inteligencia territorial se articula en torno al respeto de los principios de participación ciudadana, partenariado de los actores territoriales y aproximación global y equilibrada de los territorios. - Ingeniería territorial.- La inteligencia territorial ambiciona desarrollar instrumentos accesibles a los actores de desarrollo sostenible de los territorios. Uno de los objetivos centrales es, por tanto, el desarrollo y la evaluación de instrumentos científicos adaptados a los principios de participación de los actores de desarrollo; aproximación global con un equilibrio entre las consideraciones de carácter económico, social y ambiental; y partenariado de los actores. Los instrumentos que habitualmente están a disposición de los expertos y actores raramente son simples, económicos y flexibles para ser utilizados en

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

173

diversos proyectos de acción. Son generalmente los observadores y evaluadores los que disponen de ellos y deben transferirlos. El desarrollo y evaluación de tales instrumentos implica investigación básica y tecnológica que garantice su calidad. También requiere la colaboración de los actores del territorio para experimentar las herramientas y mejorar su utilidad y su accesibilidad en contextos territoriales, institucionales y profesionales concretos. Por esta razón, la REIT69 agrupa universidades y actores del territorio con experiencia de diez años en trabajos en el marco de programas europeos en diversos campos. En la actualidad forman parte de la red un total de trece universidades o centros de investigación, entre los que se encuentran el centro MTI@SHS y el Observatorio Local de Empleo como socios fundadores; y veintitrés entidades de acción territorial (actores), entre los que están ACCEM y el Centro de Inserción Sociolaboral Valdocco, de un total de once países, siete de ellos europeos. El conjunto de socios aglutina una serie de competencias científicas y profesionales que hacen viable la consecución de los objetivos marcados. Su acción integra así equipos de investigación de diversos campos disciplinares y actores del territorio que operan en diferentes sectores de actividad. Respecto de los contenidos, se trata de: investigación básica, investigación tecnológica e investigación aplicada. El programa científico de la REIT se articula en torno a cuatro ejes: 1- Aproximación pluridisciplinar del análisis espacial.- Este eje se ocupa de desarrollar la pluridisciplinaridad en investigación básica y aplicada sobre los territorios. Pretende igualmente favorecer la difusión de tecnologías de base (sistemas de información geográfica, de análisis de datos e infometría) en el seno del conjunto de disciplinas científicas. La colaboración es indispensable para mejorar la comprensión de las estructuras y las dinámicas territoriales. 2- Diagnóstico territorial y prospectiva territorial.- Este eje es objeto de una fuerte demanda social y es apoyado por la voluntad pública. La Red pone el acento sobre los métodos participativos, accesibles a los actores locales. 69

http://mti.univ-fcomte.fr/reit

174

Mª JOSÉ ASENSIO COTO.

3- Gestión y evaluación de la acción territorial.- La Unión Europea ha introducido después de varios años la exigencia de la gestión por proyectos y de la evaluación de los programas que financia. El objetivo de este eje es poner las herramientas de gestión y evaluación de acciones a disposición de los actores locales. 4- La inteligencia territorial como factor de democracia y de ciudadanía.- Una especificidad de la inteligencia territorial es el respeto de los principios éticos relativos al desarrollo sostenible. La nueva gobernanza quiere mejorar la relación entre gobernantes y gobernados en el desarrollo de la participación de los ciudadanos. Para garantizar la democracia y el desarrollo equilibrado de los territorios, la difusión de tecnologías de la información debe privilegiar su accesibilidad. La REIT estudia estos temas transversales ligados a los efectos políticos, sociológicos y culturales de la inteligencia territorial, así como la evolución de las prácticas profesionales. Respecto del programa de transferencia, dos elementos contribuyen a la transmisión de la excelencia en el seno de la red y a su diseminación: - la difusión de los instrumentos fundamentales de análisis espacial y de tratamiento de la información en el seno de los equipos de investigación. Estos instrumentos, y las competencias ligadas a ellos, habitualmente son insuficientes en el campo de las ciencias sociales. - Accesibilidad de los instrumentos de inteligencia territorial para los actores del territorio. Los parteners de la red, investigadores y profesionales, hemos adquirido una experiencia común en este campo. En la actualidad, quince miembros europeos de la REIT participan de la Acción de Coordinación CAENTI del VI Programa Marco de Investigación y Desarrollo de la Unión Europea. CAENTI es una Acción de Coordinación que tiene por objetivo la integración de acciones de investigación en curso sobre herramientas de inteligencia territorial para dotarlas de dimensión europea. Los participantes son ocho equipos de investigación universitarios70 de 70

UFC-MSH Université de Franche-Comté (France) Maison des Sciences de l'Homme "Claude Nicolas Ledoux”; Universidad de Huelva, Observatorio Local de Empleo; ULG-SEGEFA Université de Liège (Belgique) Service d'Étude en Géographie Économique Fondamentale et Appliquée; PTE-RTTD&ICT University

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

175

ocho universidades y siete actores (dos españoles: ACCEM, Fundación Valdocco; dos belgas: Optim@, Integra plus; dos franceses: Adapei, Cocagne; Baranya de Hungría).

of Pecs (Hungary) Research Team on Territorial Development & Information and Communication Technologies; UAB-CCDT Universitatea of Alba Iulia (Roumanie) Centrul de Cercetari pentru Dezvoltare Teritoriala; UNISA-OER Universita di Salerno (Italie) Observatoire de l’École Rurale; SAZU-IASS Scientific Research Centre of the Slovenian Academy of Sciences and Arts (Slovenia) Institute of Anthropological and Spatial Studie; THU-ISSP University of Tunghai (Taïwan) Information System for Social Policy Unit.

Capítulo 4 Diseño y puesta en marcha de un sistema de

información para la evaluación y el seguimiento de acciones: el proyecto Geysa 4.1. Marco institucional y antecedentes El diseño, la puesta en marcha y el seguimiento del sistema de información que constituye la última parte de la investigación que aquí se presenta, la aplicación de dicha investigación, han sido posible gracias a la estrecha colaboración de varias instituciones de diversa naturaleza. Instituciones de carácter científico, como son el centro de investigación en el que hemos desarrollado toda nuestra actividad investigadora, el Observatorio Local de Empleo; y otros centros de investigación universitarios, fundamentalmente el centro MTI@SHS de la Universidad del Franco Condado (Francia), diseñadores del conjunto de herramientas Catalyse en el que se enmarca el sistema de información GEYSA. Entidades de carácter público y privado que realizan acciones de desarrollo e inserción directamente en los territorios. Fundamentalmente la Asociación Comisión Católica Española de Migración (ACCEM), estrechamente vinculada a los antecedentes del sistema que aquí se presenta; y el Centro de Inserción Sociolaboral Valdocco, entidad sin ánimo de lucro que actúa realizando acciones

178

Mª JOSÉ ASENSIO COTO.

de inserción en un barrio especialmente desfavorecido de la Ciudad de Huelva. El sistema de información Geysa ha sido diseñado para esta última entidad y está siendo utilizado por ella desde 1999. También hemos de citar a la Red Europea de Inteligencia Territorial (REIT), que constituye el marco actual de colaboración de las entidades que hemos citado junto con 32 entidades más, la mayor parte de ellas europeas, en torno a un proyecto común de investigación y transferencia, a la que ya nos hemos referido. 4.1.1. Marco institucional El Observatorio Local de Empleo (OLE) se crea en 1996 como una acción del Proyecto Huelva en Acción, Iniciativa Comunitaria URBAN, en colaboración con la Universidad de Huelva, enmarcándose orgánicamente en el seno del grupo de investigación T.I.D.E. (Técnicas de Investigación y Desarrollo Económico) de dicha Universidad. Es un centro de investigación de la Universidad de Huelva concebido como instrumento de observación estratégica al servicio de las instituciones públicas y privadas y de los agentes sociales y económicos que operan en el terreno, en lo local, mediante una metodología de investigación, acción y evaluación participativa, que permite abordar políticas concretas de integración socioeconómica y de desarrollo sostenible. En su función de observación estratégica, el OLE71 se ocupa de identificar los problemas sociales y económicos de las poblaciones y territorios (diagnóstico y prospección), para definir el tipo de acción más adecuado (planificación) y permitir posteriormente la evaluación de las acciones desarrolladas (evaluación). Estos trabajos se apoyan en el análisis y explotación sistematizada de fuentes estadísticas existentes; la elaboración de paneles de hogares y de empresas para el diagnóstico socio-laboral; y la realización de otros estudios y análisis del terreno. A partir de las informaciones obtenidas con estos trabajos se elaboran indicadores socioeconómicos que son puestos a disposición de los actores de forma sistemática para las tareas de diagnóstico, planificación y evaluación de sus propias acciones. Se trata de una metodología de observación participativa que articula la reflexión, investigación y acción en un mismo proceso creativo que tiene un impacto directo tanto en la propia 71

www.ole.uhu.es.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

179

configuración del tejido institucional como en las formas de intervención de los actores sobre sus distintos campos de acción. En este sentido, las acciones que desarrolla el Observatorio son plurales y diversas: estudios transversales como base de la acción; elaboración de instrumentos de observación estratégica; acciones innovadoras de formación; producción de documentación y material científico; participación en foros, seminarios, etc. Tanto del lado de la investigación como desde la acción, lo que caracteriza la actividad realizada desde el Observatorio es el trabajo en red. Este enfoque reticular se manifiesta en la investigación, ya que nuestros métodos de análisis de la realidad socioeconómica colocan en un lugar destacado a los actores que toman parte en los procesos y especialmente al complejo juego de relaciones que sostienen entre sí. Desde el lado de la acción, el Observatorio no sólo forma parte de redes sino que participa en la creación de nuevos espacios de relación e intercambio de reflexiones y experiencias; contribuye a su consolidación a través de la realización de trabajos conjuntos y aporta instrumentos de trabajo a redes ya existentes. Esta filosofía de trabajo en red se concreta en la participación en las siguientes redes y asociaciones: - REIIES (Réseau Européen d’Initiatives d’Intégration Economique et Sociale). - ADRI (Réseau d’Expertise des Politiques d’Integration). - ROE (Red de Observatorios Europeos). - EIDA (Red de Empresas de Inserción de Andalucía). - SEM (Sociedad de Economía Mundial). - REIT (Red Europea de Inteligencia Territorial). Se realiza especialmente un estrecho trabajo de colaboración desde 1992 con el centro pluridisciplinar MTI@SHS (Méthodologie et Technologies de l’Information Appliquées aux Sciences de l’Homme et de la Société) de la Universidad de Franche-Comte (Francia). La colaboración entre ambos equipos tiene carácter permanente y transversal de forma que se ha desarrollado un sistema de trabajo conjunto a lo largo de estos años. El centro MTI@SHS comenzó a trabajar a finales de los ochenta, en el marco del programa europeo “Pobreza 3”, en el desarrollo de un paquete metodológico: Catalyse. Uno de los tres pilares de Catalyse es un sistema de evaluación participativa de acciones locales de lucha contra la pobreza e inserción socioeconómica. Desde 1989 a

180

Mª JOSÉ ASENSIO COTO.

1993 los trabajos se centraron en la investigación básica asociada a esta cuestión, fundamentalmente el desarrollo de la metodología. A partir de 1994 comienzan las transferencias a diferentes regiones europeas con aplicaciones experimentales a realidades diferentes con entidades centradas en diferentes temáticas. Las transferencias a otras regiones y temáticas han permitido experimentar las herramientas e instrumentos de observación y evaluación que facilitan la movilización de los actores locales, el diagnóstico territorial, el seguimiento de individuos y la selección de indicadores. Los trabajos metodológicos y experimentales sobre Catalyse en el ámbito de nuestro país se han venido realizando desde el Observatorio Local de Empleo. En España, la adaptación y experimentación comienzan en 1994 en el marco de la colaboración del Observatorio Local de Empleo de la Universidad de Huelva con el centro MTI@SHS con dos temáticas diferentes y en dos contextos diferentes: Análisis contextual: elaboración del mapa social de la Ciudad de Huelva; Seguimiento y evaluación de acciones de inserción: ACCEM. Este último es el antecedente más directo de la aplicación que presentamos aquí realizada en este caso con el Centro de Inserción Sociolaboral Valdocco, por similitud metodológica y práctica ya que ambas son entidades que se ocupan de la intervención directa con individuos con especiales dificultades de inserción. Por tanto, en lo que concierne al ámbito concreto de esta investigación: el sistema de información para la evaluación y el seguimiento de acciones; desde abril de 1996 venimos trabajando en la definición y experimentación de un sistema de seguimiento y evaluación de los itinerarios de inserción de poblaciones con especiales dificultades de integración. Esta investigación que comenzamos en el marco de la tesis de licenciatura72 que presentamos en mayo de dicho año, se materializó, en lo que se refiere al ámbito de la investigación aplicada, en el diseño un sistema de esas características para la Asociación Comisión Católica Española de Migración (ACCEM). Sistema que está en marcha en dicha entidad desde 1998. Ese trabajo representó para nosotros una oportunidad de trabajar en un equipo internacional en la definición de un conjunto de instrumentos capaces de integrar

Asensio Coto, 1998.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

181

en el análisis las diferentes dimensiones que configuran el fenómeno de la exclusión social, así como la aplicación de los mismos a una realidad concreta. 4.1.2. Antecedentes Como hemos afirmado más arriba, comenzamos a trabajar en esta línea de investigación en el marco de la tesis de licenciatura en la que una de las tareas que afrontábamos era la búsqueda de instrumentos metodológicos para el acercamiento desde la Ciencia Económica al fenómeno de la pobreza y sus diferentes manifestaciones centrándonos en el concepto de exclusión social. El carácter multidimensional y dinámico del fenómeno de la exclusión social que, por otra parte, comparte con la mayoría de los fenómenos económicos, nos llevó a considerar como una cuestión central de dicho trabajo la búsqueda de instrumentos y técnicas concretas adecuados para el análisis de esa realidad. Planteamos en aquella ocasión un modelo de análisis multidimensional y dinámico al que haremos una breve referencia a lo largo de este capítulo dado que es el modelo de análisis que hemos utilizado en este caso. Nos ocupamos entonces tanto de las técnicas de análisis como de los instrumentos susceptibles de aplicación tanto para la evaluación de acciones y seguimiento de itinerarios de poblaciones concretas como para la explotación de encuestas más generales de diagnóstico. Presentamos la aplicación de este tipo de análisis a una primera experimentación de un instrumento de recogida y tratamiento de información diseñado para una entidad concreta, la Asociación Comisión Católica Española de Migración (ACCEM), instrumento que pretendía ser útil para la gestión, el seguimiento y la evaluación de las acciones de dicha entidad. La Asociación Comisión Católica Española de Migración es una entidad sin ánimo de lucro que centra su actividad en la atención de la población inmigrante (fundamentalmente refugiados) en nuestro país. Esta atención se materializa fundamentalmente en ocho líneas de trabajo: La Información y orientación, seguimiento e inserción, asesoramiento y acompañamiento, distribución de alimentos, repatriación voluntaria, acogida temporal, reasentamiento y reagrupación familiar, formación laboral y acompañamiento y asistencia lingüística. El trabajo en el que participamos consistió en la elaboración de un instrumento de seguimiento de los usuarios desde el momento de la acogida por

182

Mª JOSÉ ASENSIO COTO.

parte de todos los centros integrantes de la asociación, evaluación periódica de la puesta en marcha a nivel individual, intermedio y global. La realización de dicho proyecto significó la primera experimentación del sistema. En la actualidad, el instrumento de seguimiento y evaluación de acciones se integra en un conjunto de instrumentos participativos de observación y de evaluación que pueden ser utilizados por los actores locales en el marco de proyectos territoriales de desarrollo económico y social: Catalyse. Los trabajos de diseño, transferencia y experimentación de este conjunto de herramientas se realizan en el marco de la Red Europea de Inteligencia Territorial. 4.2. El Centro de Inserción Sociolaboral Valdocco El Centro de Inserción Sociolaboral Valdocco es una entidad privada sin ánimo de lucro que trabaja desde 1984 en una zona especialmente desfavorecida de la Ciudad de Huelva. En los años ochenta, las barriadas Hispanidad y Alcalde Diego Sayago, situadas en la periferia norte de la Ciudad, presentaban una situación de intensa fragilidad socioeconómica y conflictividad que supuso la calificación de dicho territorio como zona de acción preferente por parte de la Junta de Andalucía. En sus inicios se configura el Taller- Escuela Valdocco para dar respuesta, desde la iniciativa social a la existencia en dicha zona de abandono y riesgo de menores y jóvenes fuera de estructura educativas, conductas desadaptadas y disociales en un escenario propio de la periferia urbana: incomunicación y abandono urbanístico, deterioro, escasez de equipamiento urbano, concentración de población juvenil, fracaso y abandono escolar, intenso desempleo en el núcleo familiar, ausencia de niveles básicos de formación y cualificación profesional. La entidad que nació en los años ochenta como Taller-Escuela evoluciona durante los noventa hacia un modelo de intervención integral, más compleja y diversa: el itinerario de inserción. A lo largo de estos años, la realidad de la zona objeto de intervención ha evolucionado como también ha evolucionado el conocimiento sobre ésta y sobre el propio fenómeno de exclusión. La entidad también ha evolucionado y su implantación en el territorio de actuación, después de veinte años de experiencia en el trabajo

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

183

sobre el terreno, es intensa. De manera que actualmente desarrolla un estilo de intervención social, con implantación en la zona, formando parte del tejido social y ejecutando un modelo de intervención socioeducativa, de inserción sociolaboral y comunitaria adaptado a la diversidad de necesidades de la población, para incidir en la transformación socioeconómica de la zona. 4.2.1. El modelo de intervención de Valdocco El itinerario de inserción73 se sustenta sobre las ideas de proceso y diversificación de la atención en función de las necesidades. Es una metodología de intervención individualizada que diseña una estrategia de acción sobre un diagnóstico previo de las necesidades del individuo objeto de intervención. Los principios metodológicos que orientan el itinerario individual como modelo de intervención se inspiran en la visión global y multidimensional de la realidad que se pretende cambiar; la flexibilidad y adaptación de la acción a la evolución del sujeto, es decir, la coevolución; la acción territorial y la reflexión. Se trata de una estrategia global que articula diferentes medidas de naturaleza diversa en torno a un proyecto individual. Se trata también de atender a los nuevos emergentes no sólo los que proceden de la evolución del individuo sino también aquellos que se derivan de las manifestaciones de fragilidad del grupo social o la familia de la que procede. Contempla el desarrollo local como elemento de creación de empleo. La intervención parte de un entorno concreto. El proyecto individual forma parte de un proyecto colectivo y depende de las perspectivas y evolución de éste. Centrarse en las potencialidades más que en las carencias e incidir en el individuo a través del entorno. Esto significa proximidad e integración en el territorio de la entidad que ejecuta la acción. Ello requiere la cooperación con los diversos agentes, la participación y la corresponsabilidad en los análisis, propuestas e intervenciones. También requiere conjugar la acción con la reflexión, el continuo interés por el aprendizaje y el intercambio de experiencias en busca de posibles transferencias de metodologías y estrategias. En este sentido, la evaluación de la acción es un elemento básico de aprendizaje para la entidad. 73

Franco Ligenfert, 2001.

184

Mª JOSÉ ASENSIO COTO.

La intervención se conjuga, por tanto, con la acción comunitaria. La articulación de cauces para la participación de la ciudadanía es considerada como un elemento esencial de lucha contra la exclusión social y tiene un efecto multiplicador. En este sentido la acción de la entidad no es sólo la prestación de servicios, sino que asume la necesidad de detectar, reivindicar y transformar en relación con las condiciones que generan y realimentan los procesos de exclusión. Esta visión que manifiesta la entidad sobre la manera en que debe ejercer su función en el territorio se materializa en la firma de convenios para la acción con numerosas entidades públicas de ámbito local, provincial, regional, nacional y europea; organizaciones empresariales, entidades y organizaciones sociales como movimientos vecinales, ONGs; la participación en redes regionales y europeas como la Red Andaluza de lucha contra la pobreza, la Red Europea de Iniciativas de Inserción (REII), la Red Europea de Inteligencia Territorial. También existe una muy estrecha colaboración con la Universidad de Huelva, con distintos departamentos y grupos de investigación. Con el Observatorio Local de Empleo, la colaboración es muy intensa desde hace diez años, colaboración que se produce en doble dirección y en diversidad de campos. En la actualidad, la gran apuesta de la entidad, en lo que se refiere a la intervención comunitaria y la acción territorial, es el Plan Integral del Distrito V. Este Plan, que “nace de la participación del movimiento asociativo del Distrito y las entidades públicas competentes para crear un auténtico contrato o compromiso social que aporte soluciones eficaces e integrales desde el compromiso, el consenso y la participación ciudadana74”, está en marcha desde su aprobación en pleno municipal en noviembre de 2002. El Centro de Inserción Sociolaboral Valdocco, una de las entidades promotoras desde su participación en la Junta Municipal del Distrito, lidera y coordina en la actualidad la ejecución de dicho Plan de acción territorial cuyo lema es “calidad de vida para todos”. 4.2.2. Fases del itinerario de inserción La propuesta de la entidad respecto de las fases y contenidos de los itinerarios individuales de inserción constituye uno de los elementos 74

Asensio, de Paz, Franco y Rodríguez, 2005:18.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

185

fundamentales a tener en cuenta a la hora de diseñar el sistema de información que presentamos aquí. Las diferentes etapas que resumimos no se ordenan de forma lineal, sino que se dan iteraciones e interacciones entre ellas por lo que quizás sea más correcto hablar de funciones que de etapas. No obstante, en aras de la claridad expositiva y dado que no es objeto de este trabajo profundizar en esta cuestión, las recogemos de forma correlativa75. - Acogida.- La acogida es la primera fase del itinerario en la que se realiza una primera orientación de la intervención. La acogida permite la planificación de la intervención. La estrategia propuesta por la entidad en esta etapa se centra en reforzar lo positivo, facilitar la participación como objetivo y como principio y velar por la globalidad de las intervenciones. - Información y asesoramiento.- Se trata de facilitar al usuario la información sobre estrategias y recursos que pueden contribuir a satisfacer sus necesidades. En muchos casos procede la derivación hacia otros servicios y/o estructuras. Esta función puede desarrollarse tanto en relación con individuos como con colectivos. - Orientación.- Es el proceso de acompañamiento en el trabajo personal de definición y establecimiento de un proyecto personal de opción profesional. Es la función de orientación la que pone en marcha el plan de acción individual en función de los intereses personales, posibilidades y deseos. Esta fase del itinerario puede desarrollarse de forma transversal desde el Taller-Escuela Valdocco o de forma específica individual o en grupos mediante talleres y seminarios. - Formación.- Es una de las acciones más relevantes de la entidad dados los déficits formativos de la mayor parte de los individuos que son atendidos por ésta. La formación más continuada e integral se desarrolla desde el Taller-escuela. Dos son los grandes ejes formativos de este servicio: formación profesional y formación socioeducativa. La duración de este proceso está en torno a dos años y se realiza fundamentalmente con menores de edad.

La metodología de acción de la entidad y las bases teóricas sobre las que se sustenta se detallan en Franco Ligenfert, (2001). Este documento nos ha servido de guía fundamental para elaborar este apartado.

186

Mª JOSÉ ASENSIO COTO.

La entidad realiza otras actividades formativas destinadas a mayores de 18 años: Formación Profesional Ocupacional, que añade a la formación en la propia entidad la participación en centros de empleo en periodos de prácticas con una duración que oscila entre seis meses y un año; Prácticas en empresas o prácticas profesionales en las que el trabajo se convierte en instrumento de formación. Finalmente, la entidad también ofrece formación en técnicas de búsqueda de empleo. Intermediación.- La entidad cuenta con una bolsa de empleo en la que confluyen la bolsa de empleadores que se mantiene desde el trabajo institucional y una bolsa de personas en búsqueda de empleo. Los usuarios de la bolsa de empleo no necesariamente han de haber participado en procesos anteriores del itinerario implementado por la institución. Mediación para el empleo.- La entidad se constituye aquí en promotora de la creación de empleo. Así, forma parte de cooperativas y otras entidades de economía social, centros especiales de empleo y es miembro fundador de la Asociación de Empresas de Inserción Andaluza (EIDA). Inserción social.- Se orienta fundamentalmente a adolescentes y jóvenes fuera de las estructuras familiares. Se trata de un proyecto integral de atención a las necesidades básicas de estos jóvenes como son alimentación, vivienda, formación y acompañamiento a su inserción laboral y apoyo afectivo y emocional a través de la estructura de pisos. Actualmente la entidad gestiona pisos de acogida y ha comenzado la construcción de un centro residencia de tránsito. Reinserción social.- Se orienta a adolescentes con medidas judiciales a través del Centro de Intervención de Medio Abierto (CIMA).

4.3. Objetivos y características del sistema de información GEYSA El proyecto que hemos llevado a cabo con el Centro de Inserción Sociolaboral Valdocco, que constituye la aplicación práctica de la investigación que se presenta en esta tesis, consiste en el diseño y puesta en marcha de un sistema de información útil para la Gestión, Evaluación y Seguimiento de las Acciones que realiza esta entidad: el sistema GEYSA. Se trata, por tanto, de la adaptación a

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

187

las características de la entidad y del entorno en la que ésta ejecuta sus acciones de una de las herramientas del paquete Catalyse. Este trabajo tiene una doble finalidad, una de carácter práctico para la entidad y otra de carácter estrictamente científico, dado que nos permite completar el diseño y experimentación del método completo para el caso de una zona especialmente desfavorecida de la Ciudad de Huelva. En efecto, desde el Observatorio Local de Empleo hemos participado en las dos únicas experiencias de esta metodología en el territorio nacional. El caso de ACCEM, en el que colaboramos en la herramienta de seguimiento y evaluación –en la actualidad esta asociación gestiona el paquete completo de herramientas a través del Observatorio socioeconómico permanente de la inmigración76; y el caso que aquí se presenta en el que el OLE ha realizado el trabajo desde las tres vertientes para el territorio del Distrito V de la Ciudad de Huelva77. La aplicación de los principios generales de la metodología Catalyse a esta herramienta significa: - Participación.- En una acción de carácter temático más general, la participación debe referirse a los usuarios de la acción, que habitualmente denominamos también beneficiarios. En nuestro caso, se refiere a las personas que realizan la intervención que son también a menudo considerados como simples ejecutores. Se trata de que los ejecutores de las acciones intervengan en la fase de diseño del sistema. Una vez puesto en marcha, el sistema es una herramienta de autoevaluación y de evaluación participativa. - Aproximación global y equilibrada.- En el ámbito profesional, esto va en contra de la sectorización de los servicios y la compartimentación y posesión individual de la información. El sistema debe permitir el uso corporativo de la información que generan o adquieren los ejecutores de las acciones. La globalidad también se refiere a la multidimensionalidad de los diagnósticos y evaluaciones realizados a partir de la información recogida por el sistema. En este sentido el sistema

76 77

http://www.accem.es/programas/observatorio.htm Bases de datos contextuales; seguimiento y evaluación de acciones; repertorio de actores, http://www.ole.uhu.es.

188

Mª JOSÉ ASENSIO COTO.

debe permitir la realización de análisis multidimensionales de la información recogida. - Partenariado de los actores.- Supone una coordinación de los agentes que se ocupan de la ejecución de las acciones territoriales e individualizadas. Por tanto, se trata de facilitar esta coordinación mediante la existencia de una fuente de información compartida y evitar la multiplicación de formularios o expedientes en los distintos servicios o programas de la entidad. 4.3.1. Objetivos y requisitos del sistema En general, los objetivos que deben plantearse a la hora de diseñar un sistema de información de estas características se recogen en diversas publicaciones78. En primer lugar, el sistema de información debe contribuir a la toma de decisiones y a los procesos de planificación generales y específicos de la organización. En segundo lugar, se pretende facilitar la comunicación en ambos sentidos. Es decir, debe permitir que la entidad conozca en tiempo real la situación de cada uno de los servicios o programas que se están ejecutando, las acciones, las características de los usuarios y su evolución. Además, se pretende que cada unidad conozca la situación de su propio servicio y sus usuarios, así como la situación general del conjunto de la entidad. En tercer lugar, el sistema debe garantizar la permanencia de la información. En el caso específico de Geysa, al tratarse de itinerarios individuales, el sistema debe conservar los históricos de manera que sea posible analizar la evolución en el tiempo de las situaciones individuales. A su vez es necesario garantizar la confidencialidad de la información. El sistema debe contemplar la protección de toda la información, fundamentalmente la que se refiere a cuestiones individuales. Además, el sistema debe proporcionar información compatible con la del entorno en el que ésta se desarrolla. A todo ello hay que añadir la red. Hoy día no tiene sentido hablar de sistemas de información sin contar con la implementación del 78

Hemos seguido el esquema propuesto por Rodríguez, 2002:64.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

189

mismo en red. El mantenimiento de la información actualizada con diversidad de servicios o unidades de gestión lo hace necesario. En el caso concreto del Centro de Inserción Sociolaboral Valdocco, dadas las carencias iniciales de recursos, el sistema se diseña con la perspectiva del trabajo en red, pero no ha sido posible hacerlo así hasta 2005. Dado que los diferentes servicios de la entidad trabajan de manera individualizada con cada una de las personas que son objeto de intervención, pero desde una perspectiva comunitaria, el sistema de información debe contribuir a: - Identificar y conocer las necesidades del colectivo objeto de intervención. - Construir los perfiles y tipologías del colectivo. - Realizar los diagnósticos y evaluaciones de las acciones realizadas y de la propia entidad en su conjunto. Estos tres últimos elementos son los que confieren especificidad al sistema GEYSA. Elementos que implican la accesibilidad del tratamiento y explotación de la información registrada y la utilización de técnicas estadísticas rigurosas. Por tanto, respecto de los usuarios, el sistema debe permitir la realización de diagnósticos, el seguimiento del itinerario individual y la evaluación del mismo. Respecto de la entidad, debe proporcionar indicadores de gestión no definidos previamente y simplificar aspectos organizacionales y administrativos desde la unificación de instrumentos de recogida de información. También debe considerarse que, en aras a la viabilidad de la implantación de un sistema que requiere la implicación de los usuarios del mismo, es necesario que sea útil. Debe ser un instrumento de ayuda en el trabajo cotidiano del personal socioeducativo que no genere más complejidad en la actividad diaria del mismo. De manera que el Sistema de Gestión, Evaluación y Seguimiento de Acciones es concebido como un sistema de información único para el conjunto de la entidad que permita realizar el conjunto de tareas que requieren el manejo de la información que genera la propia entidad. La orientación del sistema es triple, de manera que se pretende que sea útil a la gestión, la evaluación y el seguimiento de las acciones individualizadas (seguimiento de los itinerarios individuales de los usuarios), los diferentes servicios o

190

Mª JOSÉ ASENSIO COTO.

departamentos de la organización y, al tiempo, permita la realización de estas tareas referidas al conjunto de la entidad. Gráfico 12. Geysa. Gestión evaluación y seguimiento de acciones. Gestión, Evaluación y Seguimiento de acciones

GESTIÓN N

EVALUACIÓN

SEGUIMIENTO

NECESIDADES, GRUPOS, ZONAS, TENDENCIAS ... PREVEER

ACTUAR

JUSTIFICAR Fuente: Elaboración propia.

Aunque es cierto que la implantación de un sistema de información en cualquier entidad puede, y seguramente debe, modificar algunos procedimientos y hábitos de los diferentes servicios y trabajadores, hemos de evitar que la realidad de la entidad, que es en definitiva lo que el sistema quiere reflejar, sea modificada por la implantación del mismo. En definitiva, lo que se pretende es que el sistema refleje la realidad de la entidad y no al contrario. 4.3.2. Características del sistema de información - Es un sistema “orientado a la utilización”.- Para garantizar la viabilidad del mismo se trata de que las personas que deben cumplimentarlo sean también usuarios. - Flexible.- La flexibilidad se refiere a la capacidad de realizar cambios y añadir módulos. Esto afecta tanto al soporte informático como a los contenidos. Debe ser flexible para garantizar su permanencia a medio plazo, pero esto necesita además que los contenidos que recoja no estén orientados a objetivos concretos. - Libre de objetivos.- Esto afecta sobre todo a los contenidos. No se han establecido los contenidos pensando en objetivos

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

191

concretos, sino en la relevancia de la información per se. De manera que permite realizar diagnósticos individuales, de grupo y territoriales. Además, debe permitir la evaluación de los itinerarios individuales, de los servicios, de acciones concretas y del conjunto de la entidad. Además, debe permitir cubrir las necesidades administrativas y de justificación de acciones, realización de memorias, etc. - Transferible.- A pesar de haber sido diseñado para una entidad concreta, la experiencia acumulada, propia y de otros grupos de investigación europeos, nos permite introducir los elementos necesarios para contemplar la transferencia a otro tipo de entidades. Incluso en lo que se refiere a los contenidos, el conjunto de entidades que han experimentado sistemas similares trabaja de forma coordinada la armonización de estos contenidos. 4.4. Elementos del sistema Como instrumento de recogida de toda la información necesaria para la elaboración automática de los informes periódicos y no periódicos, seguimiento individual y familiar de los usuarios, evaluación de los diferentes programas de la entidad, así como la evaluación de la actividad general de la entidad, es más conveniente un documento único de recogida con objeto de evitar la dispersión de la misma y facilitar su utilización posterior. La forma tradicional de recogida de información en la que existen compartimentos estancos materializados en diferentes fichas de recogida, así como diferentes niveles en el tratamiento informático de la misma, dificulta la realización de seguimientos y evaluaciones globales. La filosofía de los instrumentos a desarrollar se materializa en: un instrumento informático único y un dosier único. Esto simplifica y agiliza tanto la recogida y tratamiento de la información como su consulta. 4.4.1. Unidad de recogida de información Para determinar la unidad de recogida de información, la cuestión clave es la fuente. Las posibilidades de éxito del sistema de documento único pasan por seleccionar de forma adecuada una fuente única de información. En el caso de entidades cuya actividad se orienta a la intervención con individuos, toda la información

192

Mª JOSÉ ASENSIO COTO.

relevante para realizar diagnósticos individuales, evaluación de itinerarios y seguimiento de los mismos se refiere al individuo. Los datos de identificación, situación sanitaria o laboral, formación, situación familiar, características del barrio en el que vive, necesidades más relevantes, servicios recibidos por parte de la entidad, etc…; toda esta información se refiere al individuo y es él el portador de la misma. De la misma manera, toda la información relativa a la actividad de la entidad se puede obtener a partir de la agregación de la información individual: características de los usuarios, necesidades que atiende la entidad, servicios que presta, volumen de actividad, territorio en el que actúa, etc…; toda esta información se refiere al conjunto de individuos a los que atiende, la fuente es, una vez más, el individuo. Tanto si las intervenciones están orientadas desde el enfoque de los derechos, como si lo están por el enfoque de las necesidades, la noción clave es el proyecto individual. Por tanto, a la hora de realizar cualquier tipo de evaluación es éste el referente básico. Gráfico 13. Geysa. Recogida de la información. Gestión, Evaluación y Seguimiento de acciones

EXPEDIENTE INDIVIDUAL)

GEYSA

OPERADORES

G.E.S. individual

G.E.S. De acciones INDIVIDUO (USUARIO)

Fuente: Elaboración propia.

Por todo lo anterior, el instrumento de recogida de información del sistema Geysa es el expediente individual del usuario, que se constituye en el elemento central del sistema. Una vez determinada la fuente, podemos establecer quién recoge cada información y cuándo. Ya hemos hecho referencia a las dos posibilidades que podemos contemplar. Por un lado, crear un servicio especializado en la realización de esta tarea de manera que

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

193

la recogida de información está separada de la fuente: el individuo. Es una actividad intermediaria. La otra posibilidad consiste en recoger la información en la misma unidad que la produce o las conoce. Es esta segunda opción la más adecuada en nuestro caso en el que la cercanía a la fuente es el criterio que ha primado para tomar esta decisión. Es el profesional, quien trabaja directamente con el individuo, el que conoce la relevancia que pueda tener cada dato y la veracidad de cada información que se obtiene. El conocimiento que tiene la entidad acerca de las necesidades del usuario es adquirido a través del profesional. Lo mismo sucede con las acciones concretas o servicios que son prestados a los usuarios, las respuestas derivadas de éstas, las dinámicas que se producen y el contexto en el que se desarrollan. Además, es el profesional el destinatario fundamental del sistema Geysa, por tanto, debe ser él quien tome las decisiones sobre los contenidos que ha de recoger. Por tanto, quien ha de realizar esta tarea es el profesional que ejecuta la acción y el sistema debe permitir que se haga, en la medida de lo posible, en tiempo real. 4.4.2. El dosier de recogida de información: el expediente individual En términos generales, el dosier de recogida de información no es otra cosa que un listado de preguntas estandarizadas con una formulación idéntica para todos los usuarios. El diseño de dicho documento determina el desarrollo de todos los trabajos posteriores, de forma que, en lo que se refiere a nuestra investigación, el expediente es la base de todo el sistema de recogida de información, que se articula en torno a él, para el seguimiento burocrático y administrativo de toda la actividad de la entidad. Igualmente determina las posibilidades a medio y largo plazo de seguimiento de los itinerarios de los usuarios y, a su vez, la información que se recoge a través de él debe permitir el seguimiento y evaluación de la actividad de la asociación. Además, el análisis de los datos que la cumplimentación de dicho documento nos proporciona es a la vez resultado (output) del diseño del mismo y base (input) para su reelaboración, dado que el expediente debe evolucionar a la vez que evoluciona la entidad que lo utiliza.

194

Mª JOSÉ ASENSIO COTO.

La elaboración de un documento que satisfaga todas las necesidades que hemos relacionado anteriormente se convierte, por tanto, en una tarea extraordinariamente laboriosa que se desarrolla en diferentes etapas. El objetivo de nuestro trabajo sobre el dosier ha sido obtener un documento definitivo que cumpla todas las funciones más arriba relacionadas. De forma que la estructura del mismo permita, a partir de ese momento, satisfacer las necesidades de la entidad durante un largo plazo sin más modificaciones que aquellas relacionadas con la propia evolución de la entidad. Con esta finalidad, las etapas a las que nos hemos referido anteriormente se concretan en: - Definición de objetivos. - Estudio de la actividad de la asociación. - Definición de la estructura del expediente como documento único. - Experimentación, últimas modificaciones y expediente definitivo. Sobre la base de las necesidades manifestadas por Valdocco en los primeros contactos, la definición de objetivos es el resultado del trabajo conjunto de reflexión con los responsables de los diferentes programas que ejecutan las acciones de la entidad. Las necesidades generales en materia de recogida de información se traducen en un primer conjunto de datos requeridos79: - identificación de los usuarios, - identificación de las unidades familiares, - datos sanitarios, - situación general de los usuarios, - situación general de las unidades familiares, - formación, - situación laboral, - situación legal, - programa o servicio que realiza la atención. Para el estudio de la actividad de la asociación nos ha sido de extraordinaria utilidad la colaboración de las personas que trabajan en el Centro de Inserción Sociolaboral Valdocco, desde la dirección 79

En el Anexo I se incluye el expediente completo.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

195

de la entidad hasta los directores de área y el personal informático, con la que hemos contado en todo momento. La asociación nos ha facilitado todo tipo de información sin que en ningún momento haya existido dificultad alguna para acceder a la misma. Por tanto, hemos podido analizar con detalle los diferentes documentos facilitados por la asociación: memorias de actividad, diferentes formularios utilizados para la recogida de información sobre los usuarios de los distintos programas, fichas resumen de los usuarios, impresos de solicitud de ingreso, informe a cumplimentar en la primera entrevista con los usuarios. La definición de la estructura del expediente requiere una especial atención dado que es la estructura de este documento la que va a determinar la adecuación a largo plazo, tanto de la información recogida como del programa informático que será diseñado basándose en él. Debe satisfacer, por tanto, las exigencias que hemos relacionado más arriba para el conjunto del proyecto. En función del conjunto de informaciones necesarias, obtenido del análisis de la estructura de la asociación así como de las características generales de los usuarios, y siguiendo la estructura diseñada para dicho documento, procedemos a la elaboración del expediente experimental, expediente-99 sobre el que comenzarán los trabajos de diseño y programación del soporte informático. Tras la verificación y control de la primera batería de informaciones que debe contener el expediente, se elabora un primer documento (expediente-borrador) que compatibilice este conjunto de informaciones con las necesidades del análisis y explotación estadística de los datos, así como con las posibilidades de diseño del programa informático. El trabajo sobre ese borrador sirve de base a la reflexión conjunta posterior que tiene como resultado el diseño de la estructura del expediente experimental: expediente-99. El expediente, en el que la unidad de recogida es el usuario, se estructura de la siguiente forma en función de dos criterios principales. En primer lugar consta de siete partes diferenciadas entre sí por el contenido de la información que recoge: I. Identificación y datos generales del usuario y características de la unidad familiar. II. Demanda. III. Datos sanitarios.

196

Mª JOSÉ ASENSIO COTO.

IV. Datos legales. V. Formación. VI. Situación laboral. VII. Situación actual en la red. Cada apartado del expediente dispone de espacio para observaciones. Esto permite completar aspectos que no han sido contemplados previamente, pero que guardan relación con el contenido de dicho apartado. De esta manera, se deja abierta la posibilidad de registro de situaciones excepcionales o anotaciones individuales. El expediente se completa con una serie de datos de control que aparecen en la cabecera del mismo. Cada uno de los siete apartados del expediente está formado por diferentes tipos de preguntas en función de las posibilidades de respuesta (abiertas y cerradas) y recoge datos de diversa naturaleza (numéricos, de razón, ordinales, textuales…). Las preguntas cerradas, precodificadas o de respuesta fija, son aquellas cuyas respuestas ya quedan acotadas durante la fase de diseño del expediente. Esto repercute en una mayor exigencia, respecto de las preguntas abiertas, de rigor y exhaustividad en su formulación. Es especialmente importante en este punto la documentación previa a la redacción de la pregunta sobre las distintas alternativas de respuesta que se materializan en las modalidades. Así mismo, las diferentes opciones de respuesta deberán cumplir los requisitos de exhaustividad, precisión y exclusión. En los casos en los que se prevé la posibilidad de que existan otras opciones de respuesta además de las listadas, deberá incluir la opción “otros”. Como criterio general se han incluido el mayor número posible de preguntas cerradas para lo que, en algunos casos, ha sido necesario añadir una tabla anexa con las respuestas posibles codificadas. La elección de este criterio general se debe a las grandes ventajas que proporciona la estandarización de la recogida de información que las preguntas cerradas permiten: rapidez y comodidad en el registro de la información; posibilidad de centrar las respuestas a aquellas opciones consideradas relevantes y relacionadas con la cuestión que se pregunta; inmediatez de la grabación de las respuestas en el ordenador una vez concluida la recogida en papel; permite una mayor comparación de las respuestas al encontrarse éstas expresadas en los mismos términos; eliminación de las posibles ambigüedades de las respuestas.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

197

No obstante, como apuntábamos anteriormente, las preguntas cerradas requieren una mayor dedicación en el momento de la elaboración y coartan las opciones de respuesta. Respecto al formato del cuestionario, hemos seguido en lo posible las recomendaciones habituales: - Utilizar el formato de libro.- Para facilitar la lectura del cuestionario, prevenir la pérdida de páginas y facilitar su cumplimentación. - Espaciar las preguntas.- La disposición de las preguntas con poco espacio entre ellas puede hacer más engorrosa su cumplimentación y provocar errores. - En las preguntas abiertas, proporcionar espacio suficiente para que se anoten las respuestas.- El espacio dado suele interpretarse como indicador del tipo de respuesta requerido. - Numerar las preguntas. - Evitar que las preguntas queden partidas entre páginas. - Evitar que una pregunta larga vaya seguida de una pregunta breve al final de una página. Esto puede provocar que se omita la última. - Disponer las respuestas en sentido vertical. - Preparar el cuestionario para el procesamiento de los datos.Esta preparación supone la precodificación de las preguntas. Una vez finalizada la codificación, el documento resultante está listo para ser sometido a un primer test de utilización que nos permitirá culminar el proceso de diseño del dosier experimental. El objetivo de este primer test es comprobar la adecuación de las preguntas en cuanto a su formulación, exhaustividad respecto a las necesidades de la entidad, categorización de las respuestas, disposición a lo largo del expediente y formato del mismo. - Comprobamos, por tanto, la adecuación de la forma en que se formulan las preguntas en lo que se refiere a facilidad de comprensión y claridad, evitando que se produzcan confusiones que pueden distorsionar la información recogida. En este punto es importante que el lenguaje utilizado se corresponda con el de los utilizadores. En cualquier caso la elaboración de una guía para la interpretación resulta útil para evitar posibles problemas en este sentido.

198

Mª JOSÉ ASENSIO COTO.

- El formulario debe ser exhaustivo en relación con el trabajo diario de la entidad, ya que debe ser capaz de recoger todas las contingencias que se produzcan al ser considerado como documento único. En este punto juega un papel fundamental la adecuada categorización de las respuestas de las preguntas cerradas. - Del mismo modo, el test debe confirmar la disposición de las preguntas a lo largo del documento, su secuencia lógica y duración. Ya que el orden establecido y la propia estructura del cuestionario se deben corresponder con la actividad diaria de los utilizadores del cuestionario de forma que no suponga para ellos un trabajo adicional. Para todo ello hemos realizado la cumplimentación del cuestionario por parte de todos los trabajadores de la asociación, que posteriormente serán los utilizadores del mismo, durante los tres primeros meses de 1999. Es importante resaltar que son los propios utilizadores del cuestionario los que realizan esta tarea. Es en esta fase en la que se les implica plenamente en el proyecto. De forma que este primer test también permite a los utilizadores detectar y comunicar a los equipos de trabajo las necesidades propias de formación para su correcta utilización. Como cualquier instrumento de medición, el expediente debe probarse antes de su aplicación definitiva. Una vez realizadas las primeras correcciones, realizamos el test del dispositivo completo a lo largo de todo un año del que obtenemos las especificaciones necesarias para elaborar el expediente definitivo. 4.4.3. Los contenidos La selección de los contenidos del expediente ha supuesto un intenso trabajo de reflexión sobre las necesidades de la entidad y los objetivos del sistema, y también sobre la naturaleza de la actuación y de los distintos servicios que ésta presta. Del mismo modo ha sido necesario un esfuerzo adicional de conceptualización, relativo a la multidimensionalidad de la realidad sobre la que se pretende incidir. Las dificultades más relevantes de este trabajo se derivan de la complejidad de determinadas situaciones personales, complejidad que hace difícil saber qué elementos necesitamos para identificarlas. Además, es necesario revisar bien los conceptos utilizados a fin de que exista una referencia común para todos los

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

199

operadores sociales y evitar así que la subjetividad, que no debemos perder, se convierta en aleatoriedad, que no es aconsejable. También, hemos considerado necesario mantener en todo momento la dimensión socioeconómica y territorial, así como los nuevos conceptos aportados por las diversas ciencias que confluyen en nuestro objeto (económicas, sociales, psicológica, educativas). El dosier80 tiene un primer apartado destinado a gestionar los expedientes individuales. Se trata de un grupo de datos de control e identificación del documento, tanto personal como temporal. Dado que es necesario mantener registros históricos, el expediente individual es modificado cada vez que se detecta una modificación relevante en la situación del sujeto al que se refiere, por tanto, cada expediente tiene tres elementos de identificación. Uno referido al individuo, otro referido al número de orden del expediente y fecha de cumplimentación y/o modificación, y un tercer elemento que identifica a la persona que lo ha cumplimentado. En este apartado hay una serie de datos que no son susceptibles de cambiar después de la primera atención, salvo para rectificar algún error. Son los datos referidos a la primera atención, de manera que queda registrada de forma permanente la situación de partida. El objeto del bloque de identificación es, además de la correspondencia de cada usuario con todos sus expedientes registrados en orden cronológico, permitir una primera aproximación al perfil del individuo, por lo que incluye datos como edad, género, lugar de residencia y etnia. Así mismo, se recoge la información necesaria para garantizar el contacto. En este primer bloque aparecen también datos sociofamiliares. Dada la importancia de la situación sociofamiliar, tanto en los diagnósticos como en la propia evolución de los itinerarios individuales, recogemos en este apartado bastante información sobre las características de la familia y el lugar de residencia. Para la selección de la información que recogemos aquí, hemos trabajado fundamentalmente con las variables clave que se han detectado en los estudios contextuales realizados sobre el territorio de actuación de la entidad. De esta forma, tenemos la posibilidad de transferir y comparar información en una doble dirección. Por un lado, desde la entidad, 80

En el anexo I se muestra el dosier de recogida de información (expediente individual del usuario) que ha sido utilizado durante el periodo 1999/2004.

200

Mª JOSÉ ASENSIO COTO.

es posible situar las características de cada familia, o un grupo de familias, en un marco más general que nos proporcionan los datos contextuales de toda la ciudad y de su zona de residencia. La zonificación que se ha considerado más relevante es el Distrito de Participación Ciudadana para el que disponemos de bastante información contextual en el caso de la Ciudad de Huelva. A su vez, los datos agregados de entidades como Valdocco, que trabajan con grupos de población especialmente vulnerable, nos permiten mejorar nuestro conocimiento sobre las características y situación de esta población en el conjunto de la Ciudad. Nos permiten tener bastantes elementos para estudiar grupos de población con características específicas con mayor profundidad de lo que permite cualquier otra fuente. Hemos considerado oportuno incluir algunas cuestiones que, en cierto modo, se someten a la subjetividad del trabajador de la entidad que se ocupa de cumplimentar el expediente. Éste debe ser siempre quien realice el seguimiento del sujeto al que se refiere cada expediente. Por tanto, como principio, no debemos renunciar a esta subjetividad, ya que es para el usuario, el técnico, y la propia entidad una referencia muy relevante. En cualquier caso, es necesario acotar en cierta medida los contenidos que se esperan recoger. Concretamente, esta situación se produce en las casillas nº 19: riesgo social; y 21: desestructuración familiar. En el primer caso, se hace referencia a colectivos especialmente vulnerables a la exclusión. Vulnerabilidad que viene condicionada por circunstancias personales o familiares como son: minorías étnicas o culturales, minusvalías, población reclusa o exreclusa, toxicomanías, prostitución, ausencia de niveles básicos de instrucción, fracaso o abandono escolar, desestructuración familiar, territorio e inadaptación social. En la casilla “desestructuración familiar” se contemplan tres grados posibles: frágil, aguda, no percibida. La desestructuración familiar puede venir determinada por alguno de estos factores: conflictos entre los cabeza de familia, maltrato físico o psíquico, ausencia o pérdida de algún miembro de la unidad familiar, crisis funcionales provocadas por discapacidades físicas, psíquicas o emocionales y familia monoparental. Consignamos el grado “frágil” en los casos en los que aparezca alguno de los factores considerados pero no esté clara su incidencia; “aguda” será consignado en los casos de

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

201

presencia simultánea de varios de estos factores y/o se perciba incidencia sobre la situación familiar. En las casillas 24 a 31 recogemos datos socioeconómicos. Fundamentalmente nos centramos en la vivienda y los ingresos, tanto en la cuantía como en la fuente. Una vez más aquí hemos seleccionado los datos que se han mostrado claves en los estudios contextuales, con intención de poder hacer comparaciones con el resto del territorio sin necesidad de recoger mucha más información. También hemos incluido una cuestión de las que hemos llamado “subjetivas” en la casilla 29: economía de difícil justificación. Queremos recoger aquí situaciones en las que se advierte un nivel de consumo que no se corresponde con los niveles de ingreso, o algún otro elemento que haga que la persona que realiza el seguimiento individual del usuario considere la ilicitud o legalidad de la fuente de procedencia. Esta cuestión tiene una gran relevancia en el seguimiento individual de cierto grupo de usuarios de la entidad. Cuando se trata de datos agregados, no será susceptible de utilización para análisis generales. No obstante, desde los inicios de los trabajos sobre los contenidos del expediente, consideramos necesario introducir algunos elementos que, a medio plazo y con el uso de gran cantidad de información, podían revelarse de gran utilidad para estudios específicos sobre cuestiones muy importantes para la entidad como son las conductas disociales. A continuación se recoge información sobre las figuras de apoyo, ya sea familiar o no familiar, con las que cuenta el usuario. Dado de gran parte de la población objeto de intervención de la entidad es muy joven, este tipo de información es una aportación esencial en el proyecto personalizado de inserción. El segundo bloque, “Demanda”, tiene por objeto conocer la accesibilidad de la entidad y la forma en la que los usuarios acceden a ella. Además, nos permite saber cuál es la demanda explícita que efectúa la persona, previa a la intervención. Es una información que se recoge en la primera atención, en la fase de acogida. El bloque de datos sanitarios que se recogen en las casillas 39 a 46 se refiere a la existencia de minusvalías, hábitos no saludables que atentan a la salud personal o pública, medidas de seguridad e higiene, y limitaciones físicas o psíquicas del sujeto.

202

Mª JOSÉ ASENSIO COTO.

El bloque de datos legales recoge, en primer lugar, la distinción entre la existencia de problemas legales o no. Para las cuestiones generales ésta es la información relevante. No obstante, la entidad manifestó interés por ampliar la recogida de información en este ámbito por las siguientes razones: La existencia de estudios que muestran cómo la conducta transgresora es habitual en el comportamiento juvenil como etapa evolutiva. Esta circunstancia, en contextos sociales determinados y en grupos de riesgo, puede derivar en situaciones que permanecen en el tiempo, conduciendo a la fijación de conductas disociales, protodelictivas y delictivas. En segundo lugar, algunos de los usuarios de la entidad son objeto de medida alternativas o sustitutorias de prisión, o medidas de libertad en tercer grado o libertad condicionada. Además, la ausencia de actuación policial no excluye un tratamiento y atención a este tipo de conductas contrarias a la socialización y el respeto de normas, que en definitiva alteran la convivencia con consecuencias personales para el individuo, su familia o grupo de referencia, y la sociedad. Los bloques V y VI se centran en las cuestiones formativas y laborales. El bloque de formación, bloque V, permite analizar el itinerario formativo del sujeto desde el punto de partida, potencialidades, déficits formativos, de aptitudes y actitudes. Se trata de las casillas 67 a 79. El bloque VI adquiere mayor relevancia en los usuarios adultos, en los que la necesidad más relevante suele estar relacionada con el acceso al empleo. Se ha pretendido en este bloque recoger elementos para conocer la percepción del individuo sobre su propia historia laboral; percibir las potencialidades y déficits de la misma; normalizar documentalmente su historia laboral y registro en las oficinas de empleo. Situación actual en la red es el bloque que cierra el expediente. 4.4.4. El soporte informático La característica fundamental del soporte informático es su flexibilidad respecto del expediente individual. Esto permite adaptarlo a cualquier modificación del mismo sin necesidad de modificar elementos estructurales del sistema81. 81

Los trabajos de programación de la primera versión del soporte informático han sido realizados por técnicos informáticos del Observatorio Local de Empleo y el

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

203

La aplicación ha sido desarrollada en DELPHI 4 versión CLIENTE/SERVIDOR, y consta de tres módulos independientes82: 1. Módulo para el diseño y gestión del dosier (instrumento de recogida de información). Este módulo de la aplicación nos permite crear, modificar y en definitiva, gestionar el dosier (expediente). El módulo está diseñado pensando en la generalidad de la aplicación, es decir, que podamos implementar cualquier dosier y de cualquier tipo. Podemos dividir el dosier en tres niveles de datos, que se representan mediante tres tablas diferentes; estos son: nivel de apartados, nivel de enunciados y nivel de respuestas. Gráfico 14. Esquema de gestión de Geysa. Gestión, Evaluación y Seguimiento de acciones

CENTRO GESTOR DE RECURSOS (CGR)

MODULO I

Diseño y gestión del DOSIER

MODULO III

Análisis estadístico

MODULO II

SGBD

Gestión de datos de USUARIOS

SIGADEL

Nodos conectados (PRCs) OPERARIOS

Fuente: Elaboración propia.

2. Módulo para el análisis de la información. Este módulo permite realizar análisis estadísticos de los datos del sistema, exportar los resultados que podrán tratarse desde una hoja de cálculo o paquete estadístico, o simplemente imprimirlos directamente.

Centro de Inserción Sociolaboral Valdocco: Antonio Moreno Moreno con la colaboración de Jesús Asensio Coto. 82

En el anexo IV se incluye el manual de utilización de la aplicación. En él se recoge con mucho más detalle todo lo relativo al soporte informático.

204

Mª JOSÉ ASENSIO COTO.

3. Módulo de gestión de datos. Es el módulo principal de la aplicación y permite: - Registrar globalmente el recorrido de los servicios prestados a lo largo de un día en el seno de la acción para elaborar un informe de actividad diaria. - Registrar la entrada de cada usuario (alta) y memorizar los servicios prestados, así como cada elemento que describe la situación del usuario. - Obtener puntualmente un dosier de acompañamiento por usuario, conforme a la aportación de los descriptores generales, para describir la situación del público acogido y las respuestas recogidas. Se pretende con esto facilitar la puesta en marcha de un acompañamiento social. - Disponer en todo momento de un balance estadístico actualizado. En cuanto al Sistema de Gestión de Bases de Datos (SGBD), hemos escogido Microsoft Access ya que entendemos que es un software bastante extendido, relativamente asequible y con unas prestaciones aceptables para el proyecto propuesto. Otra característica muy a tener en cuenta, y derivada de su alto grado de popularización, es su reconocimiento en cuanto a formato e importación de datos por parte de otros fabricantes de SGBD, lo cual nos permitiría en el futuro poder cambiar a otro sistema sin grandes complicaciones. En cuanto a la estructura del SGBD podemos encontrar tres grandes grupos de tablas diferenciadas por el tipo de datos que contienen. Estos son: -- Datos del dosier: este grupo lo conforman tres tablas que contienen la información para construir el dosier (expediente individual). Estas tablas son APAR (apartados), ENUN (enunciados) y RESP (respuestas). - Datos de los usuarios: con las tablas USUARIOS (que almacena los datos identificativos de los usuarios, tales como el código del expediente, nombre y apellidos, número de atenciones, etc…); y DATOS (que almacena los datos del dosier para una atención concreta). Mientras que en USUARIOS hay un único registro por usuario, en DATOS habrá un registro por cada atención para ese usuario.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

205

- Datos de sistema y auxiliares: CAMBIOS (relación de preguntas del dosier que controlan cambios en el historial), CONT (contadores internos del sistema), TIPO (tipos respuestas reconocidos: abierta, cerrada única, cerrada múltiple y cerrada con texto), TYPE (formato y longitud de la respuesta (texto corto, texto largo, número, fecha, carácter), USER (usuarios del sistema y claves encriptadas de entrada al sistema). Gráfico 15. Estructura del SGBD. Gestión, Evaluación y Seguimiento de acciones

DATOS DOSIER

APAR

DATOS

DATOS ACTORES- ACCIONES

ACCIONES

ACTORES

OPERARIOS

ENUN RESP

DATOS USUARIOS

USUARIOS TIPO1 TIPO2

CONTROL

Gestión/Seguimiento

Evaluación

•Control de usuarios •Seguimiento de usuarios •Seguimiento de itinerarios •Control automatizado de acciones

•Memorias de actuaciones •Memorias justificativas •Evaluaciones de programas - acciones •Análisis específicos: AFCs •Análisis descriptivos

S.I.G. •Georreferenciación de datos estadísticos. •Análisis espacial

Fuente: Elaboración propia.

Para la gestión del dosier (módulo I), éste queda dividido en tres niveles de datos, que se representan mediante tres tablas diferentes: nivel de apartados, nivel de enunciados y nivel de respuestas. Con respecto al nivel 1 “de apartados”, debemos decir que su utilidad se explica o se entiende en cuanto a que nos permite agrupar la información del dosier en grandes grupos de datos, con un aporte de información sobre un aspecto común a todos los del apartado. Este nivel nos permite, además, y conjuntamente con las preguntas de control de cambios (que veremos más adelante), conocer rápidamente cuál/cuáles han sido los cambios en los datos del historial de un usuario concreto a lo largo del tiempo. En cuanto al nivel 2 “de enunciados”, además de contener los datos de los enunciados de las preguntas del dosier, ha de contener otro tipo de información. Por un lado, es en este nivel donde se almacenan el orden de las preguntas (que podemos cambiar en

206

Mª JOSÉ ASENSIO COTO.

cualquier momento si lo creemos oportuno), por otro lado, es también en este nivel en el que se almacena la información respecto al tipo de respuesta esperada: cerrada, abierta, mixta, carácter, fecha, número, etc. Gráfico 16. Módulo I: diseño y gestión de dosier. Gestión, Evaluación y Seguimiento de acciones MÓDULO I

Crear / Modificar el dosier Niveles de Metadatos Agrupación de la información Orden de los indicadores Tipo de respuesta Estructura Nivel de Enunciados ¿Obligado cumplimiento? del dosier Tipo de análisis del indicador Información de las modalidades cerradas Nivel Modalidades Saltos

Nivel de Apartados

Indicadores de control de cambios

Operaciones:

Añadir / Insertar / Modificar un apartado Añadir / Insertar / Modificar un enunciado Añadir / Insertar / Modificar una modalidad Visualizar / Imprimir el dosier Gestionar los indicadores de control de cambios

Fuente: Elaboración propia.

En el nivel 3 “de respuestas” se almacena la información de las respuestas cuando éstas son del tipo cerrada (como en el ejemplo que se muestra en el gráfico 16). Con esto queremos decir que, por ejemplo, la pregunta “Nombre y Apellidos” no tendría información en este nivel, ya que por naturaleza este tipo de pregunta se supone abierta. Es en este nivel también en el que se almacena la información de los saltos condicionales. Junto a estos tres niveles de información que se almacena del dosier, también guardamos otra tabla que nos ofrece información sobre qué preguntas (nivel 2) vamos a utilizar como preguntas de control de cambios en el dosier. El módulo II es el módulo principal, y se encarga de la gestión de los datos de usuario. Desde este módulo de la aplicación podremos añadir los datos de una nueva atención, ya sea un usuario nuevo o existente; podremos consultar la ficha de usuario; o, simplemente, podremos consultar el historial de un usuario y exportar los datos a un programa de edición de textos para imprimirlos a nuestro gusto. A este módulo de gestión de datos sólo se podrá acceder estando dado de alta en el sistema e introduciendo la clave correspondiente.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

207

Mediante esta clave de acceso, y junto con el nombre del operador, el sistema sabrá qué operaciones están permitidas, y cuáles no, al operador actual. Sólo los operadores dados de alta en el sistema como administradores tendrán acceso a cualquier dato y podrán realizar cualquier operación en el sistema. Gráfico 17. Módulo II: gestión de datos de usuarios. Gestión, Evaluación y Seguimiento de acciones MÓDULO II

Añadir datos de un usuario nuevo Añadir nuevos datos de un usuario existente Consultar ficha y/o historial de usuario Visualizar / Imprimir / Exportar cualquier consulta Crear expediente de apertura

NO AÑADIR

Añadir nueva atención

Introducir datos identificativos SI

Consultar ficha usuario

Consultar historial

CONSULTAR

E FIN

Fuente: Elaboración propia.

El módulo III: análisis estadístico, nos va a permitir conocer en cualquier momento el valor de cualquier indicador, bien desde el momento en que se implantó el sistema, o entre un rango de fechas determinado. Este valor del indicador podrá filtrarse por cualquiera de las modalidades que tenemos definidas en nuestro sistema. Gráfico 18. Módulo III: análisis estadístico. Gestión, Evaluación y Seguimiento de acciones MÓDULO III ANÁLISIS ESTADÍSTICO

Realizar análisis descriptivo de la información del sistema Crear / Seleccionar una agrupación de los datos entre dos fechas Crear una selección de indicadores Crear una selección de casos Visualizar / Imprimir / Exportar el análisis descriptivo

Seleccionar indicadores Agrupar datos

Análisis descriptivo Seleccionar casos

Fuente: Elaboración propia.

208

Mª JOSÉ ASENSIO COTO.

En conclusión, con esta metodología podremos conocer cualquier dato, que se ha recogido utilizando la aplicación, referido a un momento concreto, de forma que podremos utilizar los resultados del análisis como apoyo en procesos de evaluación de acciones, intervenciones, memorias justificativas, etc. 4.4.5. La salida del sistema y el tratamiento de la información Como hemos descrito, el módulo III de la aplicación permite, en tiempo real, obtener y realizar un tratamiento básico de la información recogida en el sistema. También permite exportar los datos seleccionados para realizar análisis específicos a una hoja de cálculo. Asimismo, para realizar los análisis cualitativos de los datos y obtener tipologías, el sistema contempla la posibilidad de salida de la información preparada para la utilización de las herramientas desarrolladas desde el MTI@SHS para el conjunto Catalyse: - La aplicación Anaconda, desarrollada por J.J. Girardot, que efectúa los tratamientos necesarios para la realización del Análisis Factorial de Correspondencias (AFC), y la Clasificación Ascendente Jerárquica, métodos estadísticos que permiten mostrar las tendencias globales de un grupo de individuos considerados. - La aplicación Nuage. Herramienta de representación de resultados de ambos (AFC y Clasificación jerárquica) en tres dimensiones. Este sistema de representación permite una interpretación relativamente fácil e intuitiva de la información global. El sistema Geysa, cuya descripción hemos recogido aquí, ha sido implementado en el Centro de Inserción Sociolaboral Valdocco. En el capítulo siguiente, presentamos los resultados de esta aplicación.

Capítulo 5 Aplicación y evaluación del sistema En este capítulo mostramos los resultados obtenidos de la aplicación de un Sistema de Gestión y Seguimiento de Acciones diseñado para el Centro de Inserción Sociolaboral Valdocco. El sistema se puso en marcha en esta entidad en el año 2000. A lo largo de estos años, se ha recogido en el sistema la información generada por cada uno de los servicios de la entidad y también se ha incluido la información relativa al año 1999. Pretendemos mostrar en este último capítulo la aplicación de la metodología de evaluación propuesta para este tipo de acciones a lo largo de esta tesis, mediante el uso del sistema de información Geysa. Queremos mostrar con esto las posibilidades del sistema para la realización de evaluaciones con la particularidad que lo caracteriza en este campo: no es necesario realizar una recogida de información ad hoc para cada evaluación. Queremos dejar patente también cómo la metodología propuesta se muestra flexible y sencilla, de manera que permite captar las tendencias globales y los aspectos cualitativos de un conjunto importante de individuos y de acciones, sin necesidad de una gran especialización técnica. Lo haremos mediante la presentación de una evaluación del conjunto de acciones ejecutadas durante el periodo 1999-2004. Tras cinco años de utilización del sistema, hemos considerado oportuno realizar también una autoevaluación. En el segundo apartado presentamos los resultados de la evaluación del propio

210

Mª JOSÉ ASENSIO COTO.

sistema Geysa. Evaluación que nos ha permitido emprender una nueva etapa en consonancia con los cambios operados por la propia entidad a lo largo de este periodo, y en consonancia también con las disfunciones y posibilidades de mejora detectadas. 5.1. Aplicación del sistema para la evaluación Lo que pretendemos evaluar es el grado de correspondencia entre las necesidades de los usuarios que atiende la entidad y la respuesta de ésta. Es importante reseñar que la metodología de trabajo de la entidad es individualizada. El diagnóstico, diseño del itinerario, ejecución y seguimiento del mismo es individual. No vamos a evaluar ese trabajo individualizado, lo que queremos es conocer el resultado global del conjunto de acciones individualizadas. Con esta evaluación pretendemos conocer el grado de coherencia global de las acciones. Siguiendo el hilo argumental del conjunto de esta investigación, a continuación, vamos a caracterizar la evaluación que hemos realizado. 5.1.1. Evaluación de la individualizadas

coherencia

global

acciones

En relación con la medición del logro de objetivos, hemos optado por realizar una evaluación libre de objetivos, es decir, no vamos a intentar medir el grado de cumplimiento de objetivos. Aunque realizaremos algunas mediciones, éstas tendrán fundamentalmente una función descriptiva, no evaluativa. El núcleo central de la evaluación es el análisis cualitativo de los datos. Respecto de la finalidad, el objetivo de la evaluación es emitir un juicio de valor para conducir la acción del conjunto de la entidad, y a ello no renunciamos. No obstante, la evaluación que hemos realizado tiene una orientación mucho más clara hacia el aprendizaje. El aprendizaje en el proceso evaluativo es el nexo entre el juicio de valor y la acción. Es este aprendizaje la finalidad de la evaluación que hemos realizado. El proceso de recogida de información, en nuestro caso, es externo a la evaluación. Ya hemos explicado cómo este proceso forma parte de la actividad de la entidad, no se realiza de forma específica para una evaluación concreta. Nosotros vamos a evaluar sin realizar una recogida expresa de información orientada por los objetivos de la evaluación concreta en la que estamos inmersos. Esta es una de las

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

211

características del sistema Geysa: la evaluación no condiciona la recogida de información. Respecto del método, ya hemos descrito a lo largo de este documento el paquete metodológico del que forma parte, en el que utilizamos técnicas rigurosas pero sencillas de manera que pueda ser comprendida e interpretada por no especialistas. Utilizaremos fundamentalmente análisis de frecuencias y cruces entre variables para los aspectos cuantificados y el Análisis Factorial de Correspondencias y clasificaciones jerárquicas para los aspectos cualitativos que constituyen el eje central de la evaluación. En este caso no se trata de un estudio de cambio porque no vamos a comparar dos situaciones en momentos diferentes de tiempo, pretendemos evaluar la coherencia de la actividad realizada a lo largo de un periodo. La coherencia se relaciona con el grado de imbricación entre un conjunto de procesos individuales y un conjunto de acciones encaminadas a conducir esos procesos. Finalmente, en el capítulo de conceptualización nos referíamos a la globalidad. La evaluación que hemos realizado es una evaluación global en sentido sistémico. Es decir, no hablamos de suma de partes, de etapas del proceso evaluado. Evaluamos la coherencia de un conjunto de acciones realizadas en un periodo suficientemente extenso como para hablar de tendencias, sobre un conjunto suficientemente amplio de situaciones individuales y sacar conclusiones rigurosas. Tipología En función de la extensión de la evaluación respecto de la totalidad del programa o acción evaluados, hemos de repetirnos insistiendo en que, al ser una evaluación sistémica, no parcela el objeto. En cualquier caso, sí podríamos decir que, al evaluar la coherencia del conjunto de la entidad, es la propia entidad y cada uno de los responsables de área los que debe interpretar, obtener aprendizajes y actuar en consecuencia respecto de la conceptualización y el diseño de sus acciones, del proceso de ejecución y de la utilidad de las mismas. En función del momento en el que se realiza la evaluación, dado que el objeto de la evaluación es la entidad, se trata de una evaluación intermedia. Respecto de quién realiza la evaluación, se trata de una evaluación externa. En efecto, lo que hemos compartido y ha sido objeto de

212

Mª JOSÉ ASENSIO COTO.

participación con los agentes implicados ha sido la elaboración y puesta en marcha del sistema de información. Los resultados que aquí se presentan proceden de nuestra aportación a la evaluación, por tanto es estrictamente externa. La interpretación y consecuencias de ésta por parte de la entidad y sus técnicos es un proceso posterior que no es objeto de este trabajo. Finalmente, respecto de la finalidad es estrictamente sumativa. Se trata, por tanto, de una evaluación libre de objetivos, orientada a la utilización y cuya finalidad es el aprendizaje. 5.1.2. El método de análisis83 El gráfico 19 recoge un organigrama de funciones a realizar distribuidas en 10 etapas adaptado de Jean-Pierre Fenelon (Fenelon, 1981:89). Este cuadro refleja las etapas a seguir en el análisis de datos entendido éste como un proceso realimentado. El camino indicado por las flechas constituye el análisis de datos. Desde esta perspectiva es el dato el que dirige la estrategia de desarrollo del análisis. Cada análisis es un producto único adaptado a un problema concreto. De esta forma, nos alejamos de lo que Fenelon llama las “simplificaciones abusivas de las exposiciones matemáticas (centradas en la etapa 7); las reducciones teóricas de la estadística purista (que se reducen a las etapas 5, 6 y 7) y las prácticas brutales de los informáticos (una tabla, un programa, un resultado)”. Primera etapa: el dosier El diseño del dosier de recogida de información tiene aspectos científicos ligados a la definición de objetivos de la investigación y al propio objeto del estudio, sus leyes de comportamiento, variables explicativas, marco teórico, etc.; aspectos prácticos en relación al tipo de datos relevantes para la investigación; y aspectos informáticos ligados a la forma en que esos datos deben ser recogidos. El papel del dosier en la cadena que se describe en el gráfico 19 es la recogida de los elementos más relevantes para la investigación. No podemos comenzar a hablar de análisis de datos solamente cuando la tabla que recoge los valores tomados de las variables

Asensio (1998).

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

213

(etapa 4) está elaborada ya que ésta no es más que una de las múltiples posibles para el análisis de un mismo fenómeno. En nuestro caso, el dosier de recogida de información es el expediente individual del usuario de Valdocco. La elaboración del dosier y el conjunto de trabajos que ésta implica han sido ya descritos. Segunda etapa: organización y extracción de datos La gestión y organización de los datos es un asunto que presenta una cierta complejidad muy relacionada con el grado de complejidad que hayamos introducido en el dosier. La lógica de organización de los ficheros de datos no es neutra por lo que debe corresponderse en la mayor medida posible a la que sustenta la elaboración del dosier. La naturaleza de los datos es otro elemento que orienta la forma de organización y gestión de los mismos. El sistema de recogida diseñado puede contener variables continuas, discontinuas, cualitativas, disyuntivas, textuales, etc., lo que debe ser contemplado a través de un sistema de autodocumentación de ficheros que oriente la organización de los mismos. Finalmente, para el análisis de las relaciones entre conjuntos (variables) o subconjuntos de datos (algunas modalidades de algunas variables) entre sí, es necesario incluir filtros en los ficheros que servirán para operar sobre los subconjuntos correspondientes a las características indicadas a través de la extracción de datos. Tercera etapa: recodificación La recodificación merece una atención especial. La tabla de datos no es una imagen numérica de la realidad objeto de estudio. Ésta no se corresponde biunívocamente con la tabla de datos.

214

Mª JOSÉ ASENSIO COTO.

Gráfico 19. Análisis dinámico.

Fuente: Asensio (1998:124).

Es importante la distinción entre las relaciones existentes entre los números contenidos en la tabla y las relaciones entre los hechos que se han codificado en la tabla original. En la primera etapa, en la que hemos diseñado el documento de recogida de información, hemos realizado una primera codificación que se corresponde con la naturaleza y la organización de aquellos datos que pretende recoger el formulario. La recodificación nos permite plasmar las modificaciones, tanto en la naturaleza de las

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

215

variables, de forma que podemos transformar por ejemplo variables discontinuas en disyuntivas, como en la naturaleza de la tabla. Partiendo de una tabla que indique la situación individual que cada elemento o individuo, podemos obtener una tabla transformada que indique la situación de cada individuo con relación a los demás. De la importancia de esta tercera etapa en el proceso de análisis de datos, surge la necesidad de disponer de sistemas informáticos muy flexibles que permitan volver varias veces a ella. Cuarta etapa: ¿qué tabla someter al análisis? Desde el punto de vista informático, la tabla elegida para el análisis es un dato como otro cualquiera. Por tanto, es importante seleccionar bien qué tipo de información debe contener esa tabla dado que el tratamiento no hará esta distinción (tablas de contingencia, de frecuencia, de intensidad, preferencias, tablas de rangos, cualitativas, presencia - ausencia, etc.). Debemos exigir, tal como aparece en el cuadro, que la tabla, seleccionada cumpla los requisitos siguientes: - Pertinencia.- Debe contener una buena definición del objeto y contemplar la naturaleza del problema. - Exhaustividad.- Los diferentes aspectos del dominio de la investigación deben estar bien recogidos. - Homogeneidad.- Las magnitudes deben establecerse de forma que no distorsionen el tratamiento. Quinta etapa: selección de distancias El análisis de las relaciones entre variables, punto fundamental del análisis de datos, se basa, en todos los métodos existentes, en la medición de las distancias entre ellas. Los datos son las medidas que utilizamos para conocer las relaciones entre los individuos a través de las posiciones relativas de sus medidas. No obstante, es oportuno aclarar que, dado que en una misma tabla existen magnitudes de diferente naturaleza, habitualmente estamos utilizando la palabra "distancias" en referencia a "índices de distancias" de forma que decimos que la distancia es una medida de la relación entre variables o individuos. Dada una tabla de datos, la elección de una distancia entre elementos dependen de la naturaleza de la tabla, de si se trata de una tabla de contingencia, de presencia - ausencia, etc. La naturaleza del dato condiciona la elección del indicador.

216

Mª JOSÉ ASENSIO COTO.

Sexta etapa: selección de la nube de puntos Tras la selección de los índices de distancias, el siguiente paso consiste en encontrar un modo de representación de los datos. Esto supone que tenemos que elegir un espacio para representar los puntos, unos ejes en ese espacio y las dimensiones de las coordenadas sobre esos ejes. Entonces podemos decir que hemos seleccionado un sistema para representar los individuos. La elección del sistema de representación, es decir, encontrar una nube de puntos que represente una tabla de datos en concordancia con la naturaleza de la misma es una de las cuestiones más complejas del análisis de datos. Ésta es la última etapa en la que aún no se ha perdido ninguna información. Los datos han sido modificados, pero no se ha realizado ninguna reducción. Por tanto, a partir de la nube de puntos, conociendo el proceso seguido en la quinta y sexta etapa, aún es posible reconstruir totalmente la tabla inicial. Séptima etapa: reducción de los datos Si no existe relación alguna entre los puntos que forman la nube original ésta tendrá una forma desestructurada. Para estudiar la estructura de una nube de puntos original podemos realizar la reducción desde varios puntos de vista: síntesis factorial. La representación gráfica de los datos contenidos en una tabla con n dimensiones está limitada por razones obvias a una, dos o tres dimensiones. Octava etapa: presentación de las primeras salidas En esta etapa obtenemos los primeros resultados, numéricos o gráficos, u outputs del análisis. En un análisis factorial la salida gráfica es la representación de la nube de puntos. En un análisis clasificatorio la salida gráfica será el dendograma. La tabla que relaciona las contribuciones de un conjunto de puntos a cada factor será un output numérico. Novena etapa: primera retroacción sobre la tabla La interpretación de los primeros resultados hace posible volver a la tabla original y replantear las hipótesis que dieron lugar al diseño de la misma. Podemos realizar modificaciones a distintos niveles: - sobre columnas concretas: si hemos obtenido comportamientos absurdos o triviales podemos suprimir variables o modificar las

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

217

medidas, etc. Estamos hablando en este caso de alterar conjuntos completos de datos; - sobre los datos ausentes: a través de estimaciones podemos completar datos ausentes de la tabla original por problemas de cumplimentación o no-respuesta. En este caso estamos haciendo modificaciones en el interior de un conjunto. Décima etapa: segunda retroacción sobre el dosier El análisis factorial nos permite obtener una distinción fundamental entre las variables que han entrado en juego. Por un lado, aquellas que contribuyen a la elaboración de los ejes factoriales: variables activas; y, por otro, las que no, a las que llamamos variables secundarias o ilustrativas. Esto presenta una extraordinaria utilidad no sólo para la culminación del análisis de datos sino también a la hora de la reelaboración del dosier. 5.1.3. Análisis y evaluación El periodo que vamos a analizar abarca seis años de actividad de la entidad. Los que van desde 1999 hasta 2004. Durante estos años, en el sistema de información Geysa se han ido registrando los expedientes de los usuarios en la medida en que la disponibilidad de recursos lo ha ido permitiendo. Durante estos años han sido cumplimentados por los distintos servicios de la entidad un total de 3.807 expedientes que se corresponden a otros tantos usuarios, 2.385 de ellos hombres, lo que representa el 63%, y 1.422 mujeres. Gráfico 20. Género. 37%

63%

Varón

Mujer

Fuente: Elaboración propia.

218

Mª JOSÉ ASENSIO COTO.

Del conjunto de variables contempladas en el dosier, hemos realizado una primera selección y así eliminado todas aquellas que no debían ser cumplimentadas en todos los expedientes. Hay un número considerable de variables cuya finalidad está referida a cuestiones muy específicas de situaciones individuales, y para la evaluación global no es necesario, ni aconsejable, tener en cuenta información que se refiere a un reducido grupo de individuos. De los 3.807 individuos atendidos durante el periodo analizado, 2.324 lo han sido sólo por el programa SURGE (Servicio Unificado de Renovación y Generación de empleo) de la Junta de Andalucía. Éste servicio tiene un sistema propio de seguimiento y evaluación gestionado desde la Junta de Andalucía, por tanto, vamos a centrar el análisis en el resto, es decir, 1.483 expedientes. Hemos realizado un primer análisis cualitativo de los datos globales de los usuarios seleccionados. Este primer análisis exploratorio lo hemos realizado sin hipótesis de partida, con objeto de observar la información que nos ofrecen los datos en conjunto acerca de las relaciones entre variables y entre individuos. Para ello hemos realizado una primera recodificación para el Análisis Factorial de Correspondencias de las variables inicialmente seleccionadas: Tabla 14. Variables seleccionadas para el primer AFC1.

Variables Etnia

Modalidades 3

Variables Nivel estudios

Modalidades 15

Género

Inscripción en el INEM84

Unidad de convivencia

Trabajo

Estado civil

Necesidad

Hijos

Zona

Ingresos

Problemas legales

Origen de la solicitud

Programa

Vía de acceso

Edad

Enfermedad

Fuente: Elaboración propia.

La representación en el plano factorial de las 96 modalidades correspondientes a las 17 variables seleccionadas para el total de 1.483 individuos se muestra en el gráfico 21. 84

En los primeros expedientes consta inscripción en el INEM, en la actualidad se trata del Servicio Andaluz de Empleo (SAE).

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

219

Gráfico 21. AFC1.

Fuente: Elaboración propia.

Como decíamos al principio, hemos realizado este primer análisis sin realizar hipótesis previas. De hecho, no hemos agrupado las modalidades hasta conocer la forma en que éstas se relacionan con el conjunto de datos y de individuos. A partir de los resultados de este primer análisis exploratorio hemos realizado una segunda recodificación en la que hemos modificado algunas modalidades. Hemos agrupado las modalidades fundamentalmente en función de niveles de respuesta y similitud en los contenidos respecto del conjunto de datos (cercanía en el plano factorial). A título de ejemplo, hemos destacado en el gráfico 21 la distribución en el plano factorial de las modalidades originales de la variable edad, que ha sido recodificada a la luz de la información que esta representación nos aporta sobre la forma más idónea de realizar esta agrupación. Las modificaciones en la codificación de esta variable se muestran en la tabla 15. Presentamos ahora los resultados obtenidos en el Análisis Factorial realizado con datos correspondientes a las 19 variables finalmente seleccionadas. El grupo de individuos se corresponde con los usuarios que han sido atendidos alguna vez, a lo largo de los años objeto de análisis, por algún servicio de la entidad diferentes de

220

Mª JOSÉ ASENSIO COTO.

SURGE. En algunos casos han sido atendidos por más de un servicio. Tabla 15. Recodificación de la variable “Edad”.

Primera codificación Código Edad Código ED13 13 ED19 ED14 14 ED20 ED15 15 ED21 ED16 16 ED22 ED17 17 ED23 ED18 18 ED24 Segunda codificación ED13 13 y 14 ED 21 ED15 15 y 16 ED 23 ED17 17 y 18 ED 25 ED19 19 y 20

Edad 19 20 21 22 23 24

Código ED25 ED30 ED35 ED40 ED45

Edad De 25 a 29 De 30 a 34 De 35 a 39 De 40 a 44 45 y más

21 y 22 23 y 24 25 a 29

ED 30 ED 35 ED 40

De 30 a 34 De 35 a 39 40 y más

Fuente: Elaboración propia.

La secuencia que seguiremos para mostrar los resultados está determinada por el hilo argumental que nos ha ido marcando el estudio de la representación de las variables en el AFC. De manera que, a medida que vamos mostrando la representación en el plano de cada una de ellas, mostramos las frecuencias de cada modalidad y vamos argumentando las deducciones obtenidas respecto de las características de los usuarios. Así, pretendemos que la lectura completa del análisis permita conocer de forma global las tendencias observadas, la tipología obtenida y las conclusiones finales sobre la coherencia global de la intervención de la entidad. Variables, caracteres e individuos La nube de puntos que se muestra a continuación está constituida por el conjunto de individuos seleccionados de manera que cada punto representa a uno de los 1.483 usuarios que han sido atendidos por la entidad a lo largo de estos años en algún servicio. Además, aparecen representados los caracteres correspondientes a las modalidades de las variables seleccionadas: 19 variables, 76 modalidades85, lo que hace un total de 1.559 puntos que forman la 85

En el anexo V se muestran las coordenadas de los 76 caracteres correspondientes a las modalidades representadas (coordenadas AFC2). Los ejes seleccionados para la presentación de resultados son el eje 1 en horizontal y el eje 2 en vertical. También se incluyen en este anexo las coordenadas correspondientes al primer análisis exploratorio (coordenadas AFC1).

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

221

nube (76 modalidades y 1.483 individuos). Los 76 caracteres correspondientes a las modalidades son los que aparecen en el gráfico 22 resaltados con un mayor grosor a la izquierda, los individuos a la derecha. Gráfico 22. AFC2: caracteres e individuos. CARACTERES

INDIVIDUOS

1.483 Usuarios; 19 Variables; 76 Modalidades; 1.559 puntos representados. Fuente: Elaboración propia.

En la parte derecha, en la que se reproducen sólo los puntos de la nube que se corresponden a los 1.483 individuos, se aprecia cómo existe una importante concentración en una zona del plano factorial, concretamente en el tercer cuadrante; es decir, en la zona que se corresponde con valores negativos en ambos ejes. Rasgos personales: edad, etnia y género La gran mayoría de los 1.483 usuarios de los distintos programas de la entidad en el periodo analizado son varones, concretamente 1.297 individuos que representan algo más del 87% del total. Hay un 9,4% de usuarios de los que no tenemos datos sobre la etnia por no haber sido cumplimentados en los expedientes, de los que sí consta, la mayoría son payos, el 76%. El resto son casi todos de etnia gitana. No obstante, hay un pequeño grupo de usuarios de

222

Mª JOSÉ ASENSIO COTO.

nacionalidad extranjera que representan poco más del 3% del total. Esta circunstancia se ha registrado en el expediente indicando “Otros” en la casilla reservada para recoger el dato sobre la etnia. Gráficos 23 y 24. Género y etnia.

Mujer Tabla 15. Género. Género

Nº

Varón

1.297

87,5

Mujer

186

12,5

Total

1.483

100,0

Varón

Gitano

Tabla 16. Etnia.

Otros

N.R.

Étnia N.R.

140

9,4

Payo

1.126

75,9

Gitano

169

11,4

Otros

3,2

Total

1.483

100,0

Payo

Fuente: Elaboración propia.

La representación de estas variables en el plano factorial nos permite, mediante el análisis cualitativo, conocer algo más de las mismas. Lo más destacable que se desprende del análisis cualitativo de la nube de puntos es la posición de la modalidad “Mujer” (SexMujer) que es la única que se aleja del origen de coordenadas de forma significativa. Una primera interpretación de esta circunstancia es que de los grupos a los que se corresponden las características señaladas (Varón-Mujer; Payo-Gitano-Otros) es el integrado por las mujeres el que presenta una situación diferenciada del resto respecto del conjunto de usuarios. Esto sugiere la necesidad de profundizar en el estudio cuantitativo en este grupo, analizando las diferencias entres varones y mujeres. No obstante, de la observación del resto de características en la nube podemos obtener alguna pista más sobre las características que realmente diferencian a este grupo del resto.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

223

Gráfico 25. AFC2: género y etnia.

Fuente: Elaboración propia.

La característica Varón (SexVarón) aparece muy cercana al origen de coordenadas. Esto en principio responde al peso de esa característica en el conjunto de individuos que tradicionalmente atiende la entidad, que supera el 87%. Sí es significativo el hecho de que características con bajo peso cuantitativo como son “Gitano” (EtGitano) y “Otros” (EtOtros86) se sitúen tan cerca del origen; es decir, sin mostrar una situación diferencial respecto al otro carácter de la misma variable: EtPayo. En principio esto nos sugiere que, respecto de las características que se han incluido en el AFC no hay una diferencia significativa entre estos tres grupos de usuarios. Sí es relevante un dato: el porcentaje de población gitana atendido por la entidad es significativamente superior al que este grupo representa en el conjunto de la ciudad87.

Esta modalidad incluye a todos los individuos de nacionalidad diferente de la española de manera que en sentido estricto no se refiere a la etnia.

Sobre la población gitana no existe un registro municipal, por lo que nos tenemos que remitir al "Informe sobre el estudio de la población gitana en la ciudad de Huelva", realizado por el Observatorio Local de Empleo de la

224

Mª JOSÉ ASENSIO COTO.

Los distintos tramos de edad se sitúan de forma ordenada marcando el contorno inferior de la nube de puntos. Su distribución en el plano factorial nos hace pensar en la existencia de tres situaciones diferenciadas en función de la edad. En la zona negativa respecto del eje horizontal y en torno al origen respecto del vertical se sitúan los caracteres correspondientes a los menores de 20 años. En el lado opuesto aparecen agrupados los caracteres correspondientes a los mayores, de 35 años en adelante, en el extremo positivo del eje horizontal, y también cercanos al origen del eje vertical. Finalmente, hay un tercer grupo de caracteres, que se corresponden con las edades intermedias, que aparecen representados en el extremo inferior de la nube de puntos, en la zona negativa del eje vertical. La posición de este último grupo es bastante cercana a la posición del carácter “Mujer”. Esto nos sugiere que las mujeres que han sido atendidas durante el periodo analizado por la entidad se encuentran fundamentalmente en el tramo de edad que va de 20 a 29 años. Esto habrá de ser confirmado por los datos. Gráfico 26. Edad. Tabla 17. Edad. 350

Edad

Código

N.R.

Nº

300 250

13 y 14

15 y 16

229

17 y 18

340

19 y 20

229

21 y 22

126

23 y 24

25 a 29

154

30 a 34

108

35 a 39

40 y más

Total

1.483

100,0

200 150 100 50 0

13-14

15-16 17-18

19-20 21-22

23-24 25-29 30-34

35-39

>39

N.R.

Fuente: Elaboración propia.

Universidad de Huelva. En dicho informe se estima que en la ciudad hay aproximadamente unas 311 familias censadas, lo que supone un total de 1.376 personas, teniendo en cuenta el número medio individuos por familia (algo más de 4), no llega al 1% de la población total de la Ciudad.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

225

De la distribución general de la variable en el plano, se puede deducir que la situación de los usuarios, respecto de las características que estamos manejando, se encuentra fuertemente condicionada por la edad, ya que aparece de forma ordenada marcando la forma de la nube de puntos. Las situaciones más diferentes se dan entre los individuos menores de edad y los mayores de 35 años, ya que existe una distancia máxima entre estas características en el plano. El eje que marca la mayor diferencia entre ellos es el eje horizontal. Gráfico 27. AFC2: edad.

Fuente: Elaboración propia.

Familia: estado civil, unidad de convivencia, hijos, nº de miembros de la unidad familiar. Los datos relativos a la unidad de convivencia no han sido cumplimentados en la totalidad de los expedientes, por lo que aparecen en las tablas de resultados niveles de no respuesta superiores al 10%. No obstante la información de la que disponemos es suficiente para extraer conclusiones sobre grupos de usuarios.

226

Mª JOSÉ ASENSIO COTO.

La mayor parte de los usuarios son solteros (75%), no tienen hijos (69%), y conviven aún con sus padres (67%). Aunque el 15% tienen hijos, poco más del 10% han formado una familia propia, si bien, algunos de éstos viven aún con sus padres. Hay un pequeño grupo de usuarios, 68 individuos que representan algo menos del 5% del total, que no viven con sus familias, sino que lo hacen con algún otro tipo de unidad de convivencia. Tabla 18. Hijos. Hijos

Código

Nº

N.R. Sí

HijoSi

235 230

15,8 15,5

HijoNo

1.018

68,6

1.483

100,0

Total

Tabla 19. Unidad de convivencia. Unidad de Código Nº convivencia N.R. 270 Familia de origen ConvOrig 991 Familia propia y ConvPrAm 154 ambas Otras ConvOtro 68 Total 1483

Tabla 20. Estado civil. Estado civil Código Nº N.R. 158 Soltero EcSolt 1118 Casado y unión de h. EcSUH 166 Viudo 11 Separado y divorciado EsSDSH 30 Total 1483

% 18,2% 66,8% 10,4% 4,6% 100,0%

% 10,7% 75,4% 11,2% 0,7% 2,0% 100,0%

Fuente: Elaboración propia.

Por la posición en la que se sitúan los diferentes caracteres de estas tres variables, podemos hacer algunas deducciones de carácter general. En primer lugar, parece ser el eje horizontal el más significativo respecto de las características relacionadas con la configuración de la familia y la unidad de convivencia en general. Es este eje el que enfrenta las situaciones más extremas. En la zona positiva aparecen las características ligadas a los individuos que han formado una familia: conviven con la familia propia (ConvProp); tienen hijos (HijoSi); están casados o conviven en unión de hecho (EcCUH); o están divorciados o separados (EcDSH). En el lado opuesto respecto del mismo eje, aparecen los caracteres que se corresponden con los usuarios de la entidad solteros y sin hijos. Ambos grupos están en la zona cercana al origen respecto del eje vertical.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

227

Gráficos 28 y 29. AFC2: situación familiar.

EMANCIPACIÓN Fuente: Elaboración propia.

También habría que resaltar, aunque es lo que habitualmente esperamos que ocurra, que el primer grupo, los que han formado familia propia, se muestran cercanos en el plano factorial a los mayores de 30 años, y el segundo grupo en la zona cercana a la posición de los menores de 20. Por tanto, podemos apuntar la existencia de una tendencia, marcada por el eje horizontal, que llamaremos emancipación. De manera que los individuos que aparecen representados en la zona izquierda son adolescentes muy lejanos a la emancipación y, en el lado opuesto respecto de este eje, se sitúan los individuos que ya han formado su propia familia. El análisis cualitativo del resto de variables que se sitúan en torno a este eje confirmará el significado del mismo. Respecto de los caracteres de la variable “Unidad de convivencia”, la posición en el plano de ConvOrig (conviven con su familia de origen) y ConvPrAm (conviven con la familia propia o con ambas) confirma las tendencias apuntadas. Pero, además, habría una apreciación que resaltar respecto de la tercera modalidad, ConvOtro, que se corresponde con los usuarios que conviven con otro tipo de grupo familiar o no familiar. Nos referimos al hecho de que en la posición que ocupa en el plano sí tiene influencia significativa el eje vertical. Aparece en la zona positiva del eje vertical, relativamente alejada del origen de éste en el que se sitúan el resto de los caracteres. Hemos de esperar que del análisis de la representación factorial del resto

228

Mª JOSÉ ASENSIO COTO.

de caracteres podamos obtener alguna hipótesis en relación a esta circunstancia. Respecto del tamaño de las familias con las que conviven, tenemos que destacar la falta de datos, que en este caso ya es considerable, superando el 35%. Lo más habitual son las familias de cuatro y cinco miembros, con el 22 y el 15% respectivamente. Gráfico 30. Nº de miembros de la unidad familiar. Tabla 21. Nº de miembros de la unidad familiar. Nº miembros

Cód.

N.R. Uno

Nmi1

600

Nº

528

35,6

1,1

500 400

Dos

Nmi2

3,3

300

Tres

Nmi3

119

8,0

200

Cuatro

Nmi4

330

22,3

Cinco

Nmi5

222

15,0

Seis

Nmi6

123

8,3

Más de seis

Nmi7

6,4

Total

1.483

100,0

100 0

N.R.

Uno

Dos

Tres

Cuatro Cinco

Seis

> Seis

Fuente: Elaboración propia.

Sobre los aspectos cualitativos, lo más destacable es la posición del carácter “Uno”. Del resto, como se muestra en el gráfico 31, un primer grupo de características se sitúa en la zona con mayor concentración de individuos en la nube de puntos. Se trata de las más frecuentes, que se corresponden con las familias de 4 a 6 miembros. En una posición intermedia, justo en el origen de coordenadas, aparece un segundo grupo de caracteres que se corresponden con el resto de familias, excepto las familias de un solo miembro que se alejan del núcleo central de forma significativa, tomando valores positivos en ambos ejes de coordenadas, en la misma zona del plano donde se sitúa el carácter que se corresponde con los individuos que no viven con su familia.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

229

Gráfico 31. AFC2: nº miembros de la familia.

Fuente: Elaboración propia.

Lugar de residencia: zona Sólo el 17% de los usuarios no viven en la Ciudad de Huelva. La mayor parte de los individuos residen en el distrito V, en el que se encuentran las instalaciones de la entidad. Este distrito es el que tradicionalmente ha sido objeto de intervención por parte de la entidad desde sus orígenes y se encuentra fuertemente vinculada con él. Los distritos 1 y 3 son las zonas de la Ciudad en las que reside menor número de usuarios. Tabla 22. Zona. Zona N.R. Distrito 1 Distrito 2 Distrito 3 Distrito 4 Distrito 5 Distrito 6 Provincia Huelva Fuera de Huelva Total

Código DPC1 DPC2 DPC3 DPC4 DPC5 DPC6 ProvHuel

Fuente: Elaboración propia.

Nº 4 43 237 95 175 519 150 163 97 1483

% 0,3% 2,9% 16,0% 6,4% 11,8% 35,0% 10,1% 11,0% 6,5% 100,0%

230

Mª JOSÉ ASENSIO COTO.

Del análisis cualitativo se desprende, en primer lugar, la existencia de una clara separación de la característica “Provincia de Huelva” respecto de resto. Gráfico 32. AFC2: residencia.

Fuente: Elaboración propia.

Cuantitativamente no es muy poco frecuente (11%), no es un valor extraño que debamos eliminar, más bien al contrario, la separación tan fuerte del conjunto de puntos nos sugiere que existe una diferencia importante entre la situación general de los usuarios de la entidad que viven en la Ciudad de Huelva y aquellos otros cuya residencia está fijada en el resto de la provincia. En este sentido, no parece que sean relevantes las características que se distribuyen a lo largo del eje horizontal ya que su posición respecto de éste no es significativamente distinta. Por tanto, hemos de buscar la explicación en el eje vertical. El resto de características aparecen relativamente cercanas entre sí, con una tendencia a la zona de mayor concentración de individuos en la nube (tercer cuadrante) de aquellas que se refieren a los distritos con una mayor frecuencia. De todas formas, sí parece relativamente significativa la distancia entre los distritos 5 y 4 respecto del distrito 3 y, una vez más, son los valores que toman respecto del eje vertical los relevantes.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

231

Situación sanitaria y legal Casi la cuarta parte de los expedientes no han consignado si el usuario padece o no alguna enfermedad. Del resto, aproximadamente el 13% declaran tener algún problema de salud. Es un número relativamente elevado teniendo en cuenta la edad de la mayor parte de los individuos. Gráfico 33. Salud.

N.R.

Tabla 23. Salud. Salud

Cód.

N.R.

Nº

347

23,4

Enfermedad

EnfSi

191

12,9

Sin enfermedad

EnfNo

945

63,7

1.483

100,0

Total

Sí

Fuente: Elaboración propia.

En cualquier caso, de la posición de esta característica en el plano factorial podemos deducir que son los individuos de más edad los que tienen alguna enfermedad, dado que se sitúa en la zona positiva del eje horizontal a mitad de camino en la línea de edad. Para confirmar esto, hemos consultado los datos utilizando sólo los expedientes en los que aparece cumplimentada la casilla sobre la existencia o no de enfermedad, es decir, eliminando la no respuesta. El resultado se muestra en el gráfico 34 en el que se recoge, para cada tramo de edad, el porcentaje de individuos que tienen alguna enfermedad. Gráfico 34. Cruce enfermedad y edad. 45% 40% 35% 30% 25% 20% 15% 10% 5% 0%

13-14

15-16

17-18

19-20

21-22

Fuente: Elaboración propia.

23-24

25-29

30-34

35-39

>39

232

Mª JOSÉ ASENSIO COTO.

Confirmamos así que a partir de los 23 años los porcentajes son muy elevados, superando en todos los tramos el 20%. La característica más frecuente (EnfNO) aparece cercana a la zona de mayor concentración y cercana al origen del plano factorial. Lo relevante es la posición de la modalidad menos frecuente (EnfSi), que se sitúa en el primer cuadrante, tomando valores positivos respecto de los dos ejes de coordenadas. El hecho de que se acerque a los valores positivos del eje horizontal se puede corresponder con lo que lógicamente es esperable, dado que la zona positiva de este eje marca la tendencia creciente de la edad. De las características que hemos mostrado hasta aquí, solamente dos adquieren valores positivos en el eje vertical de forma significativa (además de ésta). Una se corresponde con los usuarios procedentes de la provincia de Huelva, y la otra se corresponde con los que conviven con personas que no son familiares, que muestra una posición en el plano muy similar a EnfSi. Gráfico 35. AFC2: salud y problemas legales.

Fuente: Elaboración propia.

Del total de usuarios durante el periodo analizado, 212 tienen problemas legales. Vemos que esta característica aparece también en el primer cuadrante del plano tomando valores extremos en la zona positiva del eje vertical.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

233

Estudios La gran mayoría de los usuarios de la entidad han cursado sólo estudios básicos. Casi el 62% del total tiene estudios primarios (primarios y/o Educación General Básica) o han cursado Secundaria Obligatoria (ESO). Sólo algo más del 3% tiene estudios que superen este nivel con Bachiller, Formación Profesional y/o estudios universitarios. Aún teniendo en cuenta la edad, estos niveles de formación son significativamente inferiores al del conjunto de la Ciudad y en términos absolutos son niveles de formación muy bajos. Tabla 24. Estudios. Estudios

N.R.

Sin est.

Prim.

Secund.

Código Nº %

461 31,1%

NESinEst 55 3,7%

NEPrEGB 561 37,8%

NEESO 356 24,0%

Bachiller y FP1 NEBaFP1 37 2,5%

FP2-univ.

Total

NEFP2U 13 0,9%

1483 100,0%

Fuente: Elaboración propia.

Del cruce de las variables “Edad” y “nivel de estudios” del total de datos consignados, es decir, eliminando la no respuesta, obtenemos la confirmación de la brecha de formación que separa a los usuarios de los programas que estamos considerando en este apartado del resto de la población de la ciudad. Los resultados de este cruce se muestran en los siguientes gráfico y tabla. En ellos se aprecia con claridad lo extraordinariamente bajos que son los niveles de estudios de los adultos. Gráfico 36. Cruce edad y nivel de estudios. 100% 80% 60% 40% 20% 0%

13-14 15-16 17-18 19-20 21-22 23-24 25-29 30-34 35-39 Sin Est.

Prim.

Secund.

Bach-FP1

FP2-Univ.

>39

234

Mª JOSÉ ASENSIO COTO.

Tabla 25. Cruce estudios y edad. SinEst PrEGB ESO BaFP1 FP2U

13 0,0% 55,6% 44,4% 0,0% 0,0% 27

15 4,0% 28,2% 67,8% 0,0% 0,0% 174

17 2,2% 45,0% 52,2% 0,7% 0,0% 278

19 4,5% 58,0% 35,0% 2,5% 0,0% 157

21 2,8% 69,4% 18,1% 8,3% 1,4% 72

23 6,0% 84,0% 4,0% 4,0% 2,0% 50

25 6,6% 74,7% 1,1% 13,2% 4,4% 91

30 15,2% 74,2% 0,0% 6,1% 4,5% 66

35 13,6% 77,3% 0,0% 6,8% 2,3% 44

40 15,9% 68,2% 2,3% 6,8% 6,8% 44

Fuente: Elaboración propia.

En el plano factorial, los niveles se ordenan siguiendo una tendencia creciente hacia la zona positiva del eje horizontal. No obstante, el carácter correspondiente a la Educación Secundaria Obligatoria, de más reciente implantación, se sitúa en el extremo izquierdo de la nube de puntos tomando valores negativos respecto de este eje, situándose muy cerca de las edades más tempranas. Hemos incluido en el gráfico 37 los caracteres correspondientes a estas edades y a los mayores de 30 años para que se aprecie con mayor claridad la fuerte relación que existe entre estas dos variables, fundamentalmente en las edades extremas. Gráfico 37. AFC2: nivel de estudios.

La posición que ocupa el carácter “Sin estudios” requiere un análisis diferenciado del resto. Aparece en el primer cuadrante tomando valores positivos en el eje vertical. Ya hemos mostrado que la mayor parte de los individuos sin estudios supera los treinta

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

235

años, esto explica su posición respecto del eje horizontal en el que toma valores positivos. Gráfico 38. Nivel de estudios.

600 500 400 300 200 100 0

N.R.

Sin Est.

Prim.

Secund. Bach-FP1 FP2-Univ.

Fuente: Elaboración propia.

Ingresos y situación laboral En primer lugar, es destacable el elevado grado de no respuesta de estas variables. En más del 35% de los expedientes de los usuarios de la entidad no constan estos datos. Gráficos 39, 40 y 41. Inscripción en INEM, trabajo e ingresos. N.R.

N.R.

No N.R.

Sí

N.R. Sí No Total

INEM Cód. Nº 534 INEMSI 410 INEMNO 539 1.483

Sí

Tabla 26. Inscripción INEM, trabajo, ingresos. Trabajo Ingresos % Cód. Nº % Cód. Nº 36,0 572 38,6% 679 27,6 TRABSI 106 7,1% IngrSI 105 36,3 TRABNO 805 54,3% IngrNO 699 100,0 1483 100,0% 1.483

% 45,8 7,1 47,1 100,0

Fuente: Elaboración propia.

Tan sólo el 7% de los usuarios trabaja, y esta cifra coincide con el número de individuos que tiene ingresos propios, como era de

236

Mª JOSÉ ASENSIO COTO.

esperar, ya que lo habitual es que la fuente principal de ingresos sea el trabajo remunerado. No obstante, el análisis cualitativo de estos datos que nos proporciona la observación de su representación en el plano factorial, nos sugiere que, aunque coincidan en número, no son los mismos individuos los que declaran tener ingresos propios y los que están trabajando. En efecto, ambas características no aparecen juntas en el plano factorial, por lo que podemos pensar que no se da la coincidencia que suponíamos en los datos. Si esto es así, es posible que haya errores en los datos, en algunos casos, y que la fuente de ingresos no sea el trabajo, en otros. Gráfico 42. AFC2: inscripción INEM, trabajo e ingresos.

Fuente: Elaboración propia.

Acudimos al cruce de ambas variables, que se muestra en la siguiente tabla, para esclarecer esta situación. En dicha tabla hemos resaltado con negrita los resultados que se corresponden con las coincidencias que podríamos esperar; es decir, los individuos que tienen trabajo e ingresos propios, que representan el 38,7% de los que tienen trabajo; los individuos que no tienen trabajo, y por tanto, no tienen ingresos propios, que representan el 68,6% de los que no tienen trabajo; y el cruce de las no respuestas. Se puede apreciar que el 27% de los que trabajan no consignan en el expediente tener ingresos propios, y el 5,6% de los que no trabajan

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

237

dicen tener ingresos propios. Estas circunstancias, junto con los cruces de las no respuestas en ambas variables, contribuyen a explicar la razón por la que en el plano factorial aparecen en posiciones diferentes y muestran una cierta irregularidad, tanto en las fuentes de ingresos como en los que los usuarios han consignado como “trabajo”. Tabla 27. Cruce trabajo e ingresos. TRABAJO N.R. Sí No Total

Nº % Nº % Nº %

INGRESOS PROPIOS SI NO N.R. 19 117 436 3,3% 20,5% 76,2% 41 29 36 38,7% 27,4% 34,0% 45 553 208 5,6% 68,6% 25,8% 105 699 679

Total 572 100,0% 106 100,0% 806 100,0% 1.483

Fuente: Elaboración propia.

En cualquier caso, sí parece existir una tendencia clara de ordenación en sentido horizontal de las variables representadas. Variable por variable, vemos en primer lugar que la inscripción en el INEM sigue el eje horizontal. Los no inscritos parece que están en la zona de los más jóvenes, y los inscritos toman valores positivos respecto de este eje. La variable ingresos sigue una distribución similar. Sin embargo, la que se refiere al trabajo es diferente, ya que sigue el eje vertical de manera que la característica “Trabajo sí” se sitúa tomando valores positivos respecto de este eje. En todos los casos los valores más frecuentes se acercan a la zona de mayor concentración de la nube. Relación con la entidad: vía de acceso, origen solicitud, necesidad más relevante, programas. Del conjunto de datos que definen la relación del usuario con la entidad, hemos analizado en primer lugar dos variables que se refieren a la forma en la que el individuo se acerca y solicita los servicios de la entidad: “vía de acceso” y “origen de la solicitud” cuyos resultados se muestran en la siguiente tabla.

238

Mª JOSÉ ASENSIO COTO.

Tabla 28. Origen de la solicitud y vía de acceso. ORIGEN DE LA SOLICITUD Código Nº N.R. 28 Convocatoria de la entidad

% 1,9

VÍA DE ACCESO Código Nº N.R. 39 Iniciativa propia VAIPTN 560 + convocatoria de la entidad

% 2,6 37,8 %

OSTN

204

13,8

OSIP

827

55,8

Familia

VAFam

218

OSConv

402

27,1

VAAmis

189

Cooperación

1,5

VACFS S

4,4

Total

1.483

100,0

Amistades Centro formación + Serv. sociales Otras Total

14,7 % 12,7

412 1483

27,8 100,0

Iniciativa propia Convenio

VAOtr

Fuente: Elaboración propia.

Respecto de la solicitud, destacan tres formas de solicitar el uso de los servicios que presta la entidad. En la mayor parte de los casos ésta se produce por iniciativa propia, concretamente el 56% de los usuarios. También es relevante el número de usuarios que solicitan la entrada en algún programa de la entidad en virtud de algún convenio suscrito con otros organismos (el 27%). Casi el 14% solicitan su entrada en la entidad en virtud de una convocatoria realizada por ésta. Respecto de la vía de acceso existe una mayor variedad, de entre las que destacan el acceso por iniciativa propia y/o convocatoria de la entidad, que es la vía de entrada del 38% de los usuarios; la influencia de familias (15%) y amistades (13%) son las otras dos más relevantes. El análisis cualitativo de los datos nos muestra la relación de estas variables entre sí. En la zona inferior del plano aparecen las características ligadas al acceso por iniciativa propia, ya sea por indicación de la familia y amigos (en la zona más cercana a los adolescentes) o por acudir a una convocatoria de la propia entidad (en la zona más cercana a los mayores). Es decir, el acceso por voluntad propia se ordena de izquierda a derecha siguiendo la línea horizontal de menor a mayor nivel de emancipación. En el primer cuadrante, tomando valores extremos, se sitúan las dos modalidades relacionadas con el acceso a los servicios de la entidad por razones ajenas a la propia voluntad. En una posición intermedia, pero cercana a las primeras, se encuentra la

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

239

característica que se refiere al acceso a través de centros públicos, como son los centros escolares y/o los servicios sociales. Gráfico 43. AFC2: Origen solicitud y vía de acceso.

Fuente: Elaboración propia.

En segundo lugar, y siguiendo con la relación del usuario con la entidad, vemos los resultados arrojados por la variable relativa a la necesidad más relevante que el individuo manifiesta. La mayor parte de los usuarios necesitan fundamentalmente formación, el 54,6%, pero también es muy relevante el número de individuos que necesitan trabajo. Teniendo en cuenta que sólo el 7% de los individuos trabajan, debemos considerar que hay un número muy elevado de inactivos. Si consideramos desempleados a los que dicen necesitar un trabajo y no lo tienen, también hay un porcentaje muy elevado de desempleados. No obstante, para ser rigurosos en esta cuestión deberíamos manejar otro tipo de información.

240

Mª JOSÉ ASENSIO COTO.

Gráfico 44. Necesidad más relevante.

900

Tabla 29. Necesidad más relevante.

800 700

Código

Nº

600

Formación.

NecF

809

54,6

500

Trabajo

NecT

509

34,3

400

Información y orientación

NeclO

155

10,5

300 200 100 0

Información y orientación

Formación

Trabajo

Fuente: Elaboración propia.

Gráfico 45. AFC2: necesidad más relevante.

Fuente: Elaboración propia.

En el plano factorial, los caracteres de esta variable se ordenan en sentido vertical. En el centro del eje se sitúa NecF (formación) que es la característica más frecuente. En posiciones opuestas aparecen los otros dos caracteres. NecT (trabajo) aparece representada en la

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

241

zona negativa del eje vertical muy cerca de la zona en la que se representa el carácter “Mujer” y las edades intermedias. El carácter correspondiente a la necesidad de información y orientación (NecIO) se encuentra representado en el extremo opuesto del eje, en una zona del plano en la que hay menos concentración de puntos representativos de individuos. Finalmente, mostramos los datos relativos a los programas de la entidad. Recogemos en la siguiente tabla el número de usuarios que ha sido atendido por cada uno de los programas. En muchos casos, un individuo ha recibido atenciones de más de un programa; es decir, tenemos respuestas múltiples, por lo que el total es superior al número total de individuos. Tabla 30. Programas. Código

Nº

Pisos de acogida

Prpisos

2,6%

Taller-Escuela

Prvaldo

796

53,7%

Formación Prof. Ocupacional

Prfpo

205

13,8%

CIMA

Prcima

202

13,6%

Practicas y bolsa de empleo

Prparbol

259

17,5%

SURGE

Prsurge

460

31,0%

Fuente: Elaboración propia.

El programa que ha atendido a un mayor número de usuarios es el Taller-Escuela, con casi el 54% de los individuos. El siguiente en importancia es SURGE. Hemos de recordar aquí que el grupo de usuarios que han sido atendidos sólo por SURGE no se encuentra entre los 1.483 individuos que estamos analizando en este apartado. Por tanto, todos los que aparecen aquí como usuarios de este programa lo son también de algún otro servicio de la entidad. El servicio que atiende a un menor número de individuos es el servicio de Pisos de acogida, del que constan 38 expedientes a lo largo de todo el periodo analizado. Dadas las características de este tipo de acción, es un número significativo de individuos atendidos, al margen de lo que pueda representar cuantitativamente respecto del total. La posición que ocupan los caracteres de cada uno de los programas de la entidad, una vez que conocemos la distribución de los datos en el plano factorial, nos ofrece una información

242

Mª JOSÉ ASENSIO COTO.

cualitativa de gran utilidad para conocer la manera en que éstos se ajustan a las demandas y necesidades de los individuos. En primer lugar, destaca la organización en vertical de los distintos caracteres, en principio parece que en consonancia con las necesidades de los usuarios. Profundizaremos en esto más adelante. Gráfico 46. AFC2: programas.

Fuente: Elaboración propia.

En segundo lugar, ya hemos visto que del total de individuos tan sólo el 12% son mujeres, un total de 186. Pues bien, parece que son tres88 los programas que se acercan más a su posición: SURGE, Prácticas y Bolsa de empleo. En efecto, SURGE ha atendido a lo largo del periodo analizado a un total de 96 mujeres, lo que representa el 52% de las mujeres, y los programas Bolsa de empleo y Prácticas han atendido a 58 mujeres lo que representa el 31% del total de mujeres. 88

Prácticas y bolsa de empleo son dos programas diferentes que hemos unido en una sola modalidad al recodificar porque estaban prácticamente en la misma posición del plano en el primer AFC.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

243

En la siguiente tabla y gráfico se muestra el porcentaje de varones y mujeres por programas. Creemos conveniente recordar aquí que en los pisos de acogida, que son la única acción en la que casi se equipara el número de varones y mujeres, tienen proporcionalmente un peso muy pequeño en el conjunto de la entidad en lo que a número de usuarios se refiere. Tabla 31. Varones y mujeres por programas.

T-Esc. % FPO % CIMA % SURGE % PraBol % Pisos A. %

MUJER

VARÓN

TOTAL

76 9,55 1 0,49 14 6,93 96 20,87 58 22,39 17 44,74

720 90,45 204 99,51 188 93,07 364 79,13 201 77,61 21 55,26

796 100 205 100 202 100 460 100 259 100 38 100

Gráfico 47. Varones y mujeres por programa. Pisos de Acogida Prac.-Bolsa E. SURGE CIMA FPO Taller-Escuela 0%

20%

40% Mujer

60%

80%

100%

Varón

Fuente: Elaboración propia.

Destaca, por su posición extrema fuera de la línea de organización del resto de caracteres el programa FPO. Como era de esperar por su cercanía a la posición de los mayores, el 63% de los usuarios de ese programa son mayores de 30 años. La posición de la mujer Al principio de este apartado vimos cómo la característica mujer se apartaba en el plano factorial del centro del eje de coordenadas y de la zona de mayor concentración de la nube. Decíamos que, en un principio, el hecho de ser poco frecuente (12,5% del total de usuarios) podía ser una razón, pero que habría que observar la distribución del resto de características para comprender mejor la situación diferencial de la mujer respecto de los datos que estamos manejando. A lo largo de esta exposición hemos observado cómo hay algunas características que aparecen en el plano factorial en una zona cercana a carácter (Mujer), éstas son: los tramos de edad de 19 a 25 años; los programas Bolsa de Empleo-Prácticas y SURGE; la necesidad de trabajo y la zona correspondiente al distrito V. Pues

244

Mª JOSÉ ASENSIO COTO.

bien, hemos buscado en los datos la confirmación de que estas características se corresponden con las mujeres usuarias de la entidad en el periodo analizado. En efecto: - El 65,5% de las mujeres atendidas por la entidad tienen entre 19 y 25 años. - El 59% han recibido acciones de los programas bolsa de empleo-prácticas y/o SURGE. - El 67% manifiestan como necesidad más relevante el empleo. Este porcentaje se invierte respecto de los hombres que sólo se manifiestan así en el 34% de los casos, reclamando en su mayoría formación. - El 53% de las mujeres residen en el distrito V. También hemos observado que hay características que se sitúan en el plano en el lado opuesto al que ocupa la característica “Mujer”. Lo más relevante es esta oposición respecto del eje vertical, dado que en el horizontal está situada cercana al origen; es en el vertical en el que toma valores extremos (negativos). Veamos qué nos dicen los datos en relación a estas variables. - El 92% de los usuarios que tienen alguna enfermedad son hombres. Sólo el 8% de las mujeres tienen enfermedad. En los varones es proporcionalmente casi el doble, el 14%. - El 91% de los usuarios sin estudios son hombres. Sólo el 2% de las mujeres no tiene ningún estudio, en los varones es proporcionalmente el doble, 4%. - El 96% de los individuos que tienen problemas legales son varones. - Respecto del nivel de estudios, las mujeres atendidas por la entidad tienen niveles de estudios intermedios. De todo esto, podemos extraer dos conclusiones globales respecto de las características de las mujeres que son atendidas por la entidad y del tipo de respuesta que ésta les está ofreciendo. En primer lugar, la problemática que manifiesta el grupo es casi exclusivamente la falta de empleo. Son mujeres que viven en familia, la mayor parte de ellas (el 55%) emancipadas, con necesidad de trabajar y de formación ocupacional. No manifiestan la problemática multidimensional que se aprecia en los varones. Su situación es diferente y, en este punto, la respuesta de la entidad

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

245

parece la correcta, dado que son los programas directamente ligados a la búsqueda de empleo los que las atienden en su mayoría (SURGE, prácticas y bolsa de empleo). En segundo lugar, podemos pensar que la entidad no está llegando a las mujeres de la zona que tienen problemáticas más complejas. Probablemente esto se debe a la orientación de la entidad hacia la inserción laboral. El comportamiento general de las mujeres respecto de la búsqueda de empleo sigue siendo el de permanecer inactivas salvo que se consideren capaces de encontrarlo. Esto nos hace pensar que las mujeres cuya situación es más precaria no se acercan a la entidad. TIPOLOGÍA Como resultado de todo lo anterior y mediante la clasificación ascendente jerárquica, obtenemos una tipología de cinco grupos que se resume a continuación. Grupo 1: adolescentes inactivos en formación lejos de la emancipación (532 individuos) Es el grupo más numeroso con 532 individuos. Son adolescentes que aún no han alcanzado la mayoría de edad. Viven aún con sus padres, en familias de tamaño medio de entre dos y cinco miembros. Son solteros y no tienen ingresos propios ni hijos. Gráfico 48. Tipología: grupo 1.

Fuente: Elaboración propia.

246

Mª JOSÉ ASENSIO COTO.

No se ha registrado que tengan problemas de salud. Han cursado distintos niveles de Educación Secundaria Obligatoria y no están inscritos en el INEM (SAE). Viven en la ciudad. Respecto de su relación con la entidad, acuden fundamentalmente por iniciativa propia, a instancias de familiares, amigos y, en menos casos, a instancias del centro de formación o los servicios sociales. La necesidad más relevante es la formación. El programa de la entidad que aparece como que atiende fundamentalmente a este grupo es Taller-Escuela. De hecho, en este grupo están la mayor parte de los usuarios de este programa (en el Taller-Escuela hay 796). Grupo 2: jóvenes con bajos niveles de estudios y sin trabajo (269 individuos) Junto con el grupo 1 se sitúa en torno a los valores cercanos a cero del eje horizontal, es decir, lejos de la emancipación, pero no en el extremo que es ocupado por el grupo uno. Son jóvenes recién llegados a la mayoría de edad de entre 17 y 25 años, sólo los del primer grupo son más jóvenes. Tienen bajo nivel de formación (estudios primarios y EGB). Gráfico 49. Tipología: grupo 2.

Fuente: Elaboración propia.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

247

Residen en la ciudad y en su mayoría son varones solteros que viven con su familia de origen y no trabajan, pero también hay un grupo relativamente numeroso de mujeres (52 mujeres que representan casi el 20% del grupo). También hay en este grupo algunos varones y mujeres que viven fuera de su unidad familiar. Se trata del perfil del usuario del servicio de Pisos de Acogida, más de la mitad de los usuarios de pisos están en este grupo. No obstante, la mayoría del grupo es atendido por el Taller-Escuela y/o Surge. Grupo 3: jóvenes y mujeres que necesitan trabajo (228 individuos) La característica que se encuentra en el centro de este grupo es “Mujer”. En efecto, del total del grupo 69 son mujeres, es decir, casi el 40% del total de mujeres pertenecen a este grupo. También se encuentra en el centro de este grupo la necesidad de trabajo. Hay un alto nivel de no respuestas en relación a los estudios, pero en general tienen un nivel de estudios bajo. También se encuentran en este grupo los niveles intermedios: Bachiller y FP1. Gráfico 50. Tipología: grupo 3.

Fuente: Elaboración propia.

248

Mª JOSÉ ASENSIO COTO.

En definitiva, son jóvenes activos de entre 21 y 30 años que necesitan fundamentalmente trabajar. Respecto de la relación con la entidad, acuden por iniciativa propia o por llamamiento de la entidad. Son los usuarios más antiguos de la entidad, la mayor parte de ellos recibieron la última atención en 1999 y 2000. Aquí están los usuarios que figuran en SURGE y en algún otro programa, concretamente prácticas y bolsa de empleo. Grupo 4: varones mayores de 30 años desempleados, con cargas familiares y problemática multicausal (238 individuos) Son varones adultos, mayores de 30 años, emancipados, con baja formación, desempleados y con fragilidad multidimensional. Los grupos 3 y 4 son los grupos en los que se sitúan los usuarios emancipados, es decir, han formado su propia familia, tienen hijos y algunos de ellos tienen ingresos propios. Pero hay notables diferencias entre ambos grupos, apreciándose en el grupo cuatro situaciones mucho más complejas de fragilidad multicausal. Son mayores y casi no hay mujeres. Éste es el grupo en el que hay menos mujeres, un total de 31, es decir, el 5% del total del grupo. Muchos de ellos padecen alguna enfermedad, más del 37%. También es relevante la existencia de individuos en este grupo con problemas legales, casi el 30% dicen tener problemas legales. El 75% han estado en FPO. En este grupo aparecen los niveles de estudios extremos, están aquí los que no tienen estudios, pero también los que tienen FP2 y los universitarios. Esta circunstancia prácticamente carece de relevancia. Podemos interpretar que simplemente, al ser el grupo de más edad, los que tienen mayor nivel de estudios forman parte de él, pero son menos del 0,5% del grupo. Lo que sí es relevante es el hecho de que el 95% tiene sólo estudios primarios o sin estudios. Tienen hijos. Están casados, separados o divorciados y conviven con las familias propias o ambas. Aunque faltan los datos relativos a los ingresos, hay que resaltar que el 80% de los que constan no tienen ingresos. También están en este grupo los que viven solos, aunque son muy pocos. No tienen empleo y están inscritos en el INEM. Es el grupo con una problemática más compleja.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

249

Gráfico 51. Tipología. Grupo 4.

Fuente: Elaboración propia.

Grupo 5: adolescentes con problemas legales (216 individuos) Son varones adolescentes con problemas legales que no acuden a la entidad por iniciativa personal o familiar, sino a través de algún convenio o por intermediación de entidades públicas. En este grupo están los usuarios que no viven en la Ciudad de Huelva, sino que proceden de la provincia. La característica fundamental que los define como grupo es que se ha registrado que tienen problemas legales. También caracteriza a este grupo que viven fuera de la ciudad. Son adolescentes de camino hacia la emancipación, quizás precozmente, algunos de ellos con ingresos y trabajo. No conviven con su familia, ni la de origen ni propia. Trabajan, el 50% de los que trabajan se encuentran en este grupo. Muchos de ellos tienen ingresos. Respecto de los demás grupos, la proporción de usuarios que trabajan y tienen ingresos en éste es muy superior. Ésta es la razón por la que ambas características aparecen como definitorias del grupo. No obstante, esto no debe llevar a engaño, ya que el desempleo y la falta de ingreso está muy presente en el grupo, solo que relativamente en mucha menor medida que en el conjunto de usuarios y grupos de usuarios.

250

Mª JOSÉ ASENSIO COTO.

Gráfico 52. Tipología: grupo 5.

Fuente: Elaboración propia.

Respecto de la relación con la entidad, la necesidad más relevante es información y orientación. El programa de la entidad que aparece como que atiende a este grupo es CIMA (el Centro de Intervención de Medio Abierto, que atiende a jóvenes con medidas judiciales). De hecho 202 de los 216 del grupo han sido atendidos por este programa. Finalizamos mostrando dos gráficos en los que sintetizamos las características de los cinco grupos que hemos obtenido de la población atendida por la entidad el periodo analizado. En el gráfico 53 hemos representado tres grupos de datos (género, ingresos, trabajo) con los que consideramos oportuno terminar para resaltar la forma en que se distribuyen por grupo. En el gráfico 54 representamos la distribución de los cinco grupos en el plano factorial indicando también la posición de las características más destacables.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

Gráfico 53. Género, ingresos, trabajo por grupos. 100% 80% 60% 40% 20%

Fuente: Elaboración propia.

0% Varón

Mujer

Con Ing.

Grupo 1

Grupo 2

Sin Ing.

Grupo 3

Con Trab.

Grupo 4

Sin Trab.

Grupo 5

Fuente: Elaboración propia.

Gráfico 54. Tipología. FRAGILIDAD

GRUPO 5

Problemática legal

GRUPO 4 Problemática sanitaria

GRUPO 1

Problemática familiar

Cargas familiares

EMANCIPACIÓN

GRUPO 2 Mujer GRUPO 3

Fuente: Elaboración propia.

251

252

Mª JOSÉ ASENSIO COTO.

Resumen de las tendencias principales y coherencia de la acción A la luz de todo lo expuesto hasta aquí, se detectan dos tendencias principales, que nos proporcionan una visión global del conjunto de información de la que disponemos sobre las características de los usuarios y la acción de la entidad. En primer lugar, una tendencia representada por el eje horizontal a la que podemos llamar “Emancipación”, que marca las características de los individuos fuertemente relacionadas entre sí y, fundamentalmente marcada por la línea de la edad, que se ordenan de menor a mayor cercanía a la emancipación de izquierda a derecha como se representa en el gráfico 55. En segundo lugar, la tendencia, marcada por el eje vertical, de fragilidad multidimensional, que abarca desde problemática sanitaria, de formación básica, familiar y legal. Gráfico 55. Tendencias principales.

Fuente: Elaboración propia.

De la observación del conjunto ordenado de características, se distinguen cinco situaciones diferentes. Por un lado, los menores y adolescentes que viven con sus padres, inactivos, y que requieren fundamentalmente formación; por otro lado, los jóvenes que comienzan a acercarse a la emancipación con deficiencias formativas, pero también con necesidad de trabajar; en tercer lugar,

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

253

los adultos ya emancipados que han creado su propia familia con deficiencias formativas y necesidad de empleo cercanos a la problemática sanitaria. La situación más compleja, con problemáticas múltiples, en la que encontramos fragilidad sanitaria, deficiencia extrema de formación, desestructuración familiar y problemas legales. Y, finalmente, la situación específica de jóvenes con medidas judiciales. Esto se traduce en una diferencia en las necesidades de unos usuarios y otros, como se aprecia en la distribución de la variable “Necesidad más relevante”. Veamos para terminar cuál es la respuesta que la entidad está ofreciendo a lo largo del periodo analizado. Gráfico 56. Coherencia de la acción.

Fuente: Elaboración propia.

En el gráfico 56 podemos apreciar cómo existe una coherencia global de la acción de la entidad respecto de las características globales de los usuarios y de los grupos de individuos detectados. El Taller-Escuela, cercano a los grupos 1 y 2, que ofrece fundamentalmente formación integral a los adolescentes; Surge, prácticas y bolsa de empleo, que fundamentalmente se ocupa de la entrada en el mercado de trabajo, están en la zona en la que ésta era la problemática fundamental (grupos 3 y 4). El Centro de Medo Abierto se sitúa en la zona en la que aparecen los problemas legales.

254

Mª JOSÉ ASENSIO COTO.

No obstante, habría que hacer algunas consideraciones. En primer lugar, creemos que la entidad debe reflexionar sobre el tipo de atención que requieren dos grupos concretos: las mujeres y el grupo 4, es decir, los varones mayores de treinta años con una situación muy compleja. Debe reflexionar, como decimos, sobre la necesidad de realizar acciones específicas para estos grupos, coordinar su acción con otras entidades especializadas, en definitiva, reflexionar sobre sus líneas de actuación en este sentido. En segundo lugar, los resultados obtenidos de esta evaluación deben ser reinterpretados por los profesionales de la entidad. Son ellos los que tienen elementos de juicio para llenar de contenido las relaciones y dinámicas detectadas; tanto en lo relativo a los usuarios como en lo relativo a la propia actuación de la entidad. Nosotros sólo hemos dado un primer paso en el camino. En tercer lugar, la riqueza de los resultados obtenidos, con un conjunto de datos relativamente pequeño y básicos, muestra el potencial del método de análisis. El carácter eminentemente intuitivo de la interpretación y la falta de complejidad del tratamiento de datos lo hace asequible a las personas no especializadas en técnicas estadísticas o evaluativas. 5.2. Evaluación del sistema Geysa A lo largo del año 2005, tras cinco años de utilización del sistema Geysa en el Centro de Inserción Sociolaboral Valdocco, hemos realizado una evaluación del mismo. La decisión de evaluar en este momento está marcada por tres circunstancias fundamentalmente. En primer lugar, la entidad ha experimentado un crecimiento notable a lo largo de estos años y ha realizado cambios en su organigrama. Esto requería una reflexión sobre la necesidad de realizar modificaciones en el sistema que fueran más allá de las que se han ido realizando de forma puntual durante este periodo. En segundo lugar, han cambiado las circunstancias respecto de los recursos informáticos disponibles para la utilización del sistema, lo que nos permite pensar en la posibilidad de reestructurarlo. En tercer lugar, ha transcurrido un tiempo suficientemente amplio como para poder evaluar de forma global el conjunto de elementos del sistema y su funcionamiento, así como el grado en el que éste es útil para la entidad y los profesionales de la misma.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

255

Objetivo y tipo de evaluación El objeto de la evaluación es el diseño y funcionamiento del sistema. No vamos a evaluar el trabajo de los profesionales de la entidad que se han ocupado de su utilización, es el trabajo de diseño el que se somete a evaluación, es autoevaluación. La finalidad de la evaluación es conocer lo que ha sucedido a lo largo de estos años para aprender y tomar decisiones respecto de las modificaciones necesarias en el sistema. Es evaluación formativa. Los objetivos de la evaluación los formulamos en forma de preguntas a las que buscamos respuestas: - ¿En qué medida el sistema responde al contexto en el que se ha desarrollado? El contexto ha cambiado ¿cómo responder al cambio? - ¿A qué necesidades ha dado cobertura? ¿qué hay que cambiar para ampliar la cobertura? La evaluación se realiza en varias etapas: Primera etapa- Análisis global sobre la forma en la que ha sido utilizado el sistema. La fuente de información aquí es el propio sistema Geysa. A partir de las características de la información que contiene, vamos a sacar conclusiones sobre la forma en que ésta ha sido cumplimentada. Nos centraremos en dos características: - Niveles de cumplimentación de la información. - Secuencia de cumplimentación de la información. Una vez que tenemos una visión global, podemos focalizar el análisis de cada elemento del sistema y en cuestiones específicas para ser tratadas en la segunda etapa. Segunda etapa.- Análisis de cada uno de los elementos del sistema. Tras conocer el modo en que ha sido cumplimentada la información y a partir de las conclusiones de la primera etapa, podemos afrontar la cuestión sobre cómo ha funcionado cada elemento del sistema. Queremos saber aquí en qué medida satisface cada uno de ellos los requisitos de viabilidad y utilidad que requeríamos en el momento del diseño de los mismos. La fuente de información ahora son los profesionales de la entidad.

256

Mª JOSÉ ASENSIO COTO.

5.2.1. Primera etapa: evaluación global del contenido del sistema Tenemos 3.807 expedientes que se corresponden con otro tanto de individuos atendidos durante el periodo 1999/2004. El sistema de información, como se ha descrito en apartados anteriores, contempla la posibilidad de la recogida de información en tiempo real, es decir, conforme ésta va siendo generada por la existencia de una atención al usuario al que se refiera. No obstante, esto no ha sido siempre así a lo largo del periodo analizado. De manera que el primer paso es analizar la cadencia de la recogida de la información, es decir, cuáles son los momentos en que ésta ha sido cumplimentada en el sistema. Tomamos como referencia para cada dosier una misma fecha: la fecha de la última atención de cada individuo.

Gráfico 57. Fecha de última atención. Tabla 32. Fecha de última atención. Año

Usuarios

Porcentaje

1999

232

6,09

2000

820

21,54

2001

694

18,23

2002

521

13,69

2003

872

22,91

2004

668

17,55

Total

3807

100

2004 2003 2002 2001 2000 1999 0

200

400

600

800

1000

Fuente: Elaboración propia.

La fecha de la última atención registrada anualmente puede ser un primer indicador de la actividad real de la entidad a lo largo del año. Aunque para captar el nivel de actividad lo más adecuado sería una combinación de tres indicadores: fecha última atención, número de individuos atendidos y número de atenciones. Nuestro objetivo aquí es evaluar la forma en que se han cumplimentado los expedientes, por lo que nos vamos a centrar en el ritmo de recogida de la misma acudiendo a los datos mensuales.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

257

En la tabla 33 se recogen los datos mensuales a lo largo de todo el periodo, y en los siguientes gráficos se intenta mostrar cuál ha sido esta cadencia.

Enero Febrero Marzo Abril Mayo Junio Julio Agosto Septiembre Octubre Noviembre Diciembre Total

Tabla 33. Fecha 1999 2000 Nº % Nº % 8 3 22 3 8 3 84 10 75 32 77 9 13 6 51 6 74 32 82 9 18 8 53 6 6 3 67 14 3 1 73 8 17 7 59 7 5 2 58 7 3 1 104 12 2 1 90 10 232 100 820 100

de última atención mensual. 2001 2002 2003 Nº % Nº % Nº % 40 6 39 7 44 5 51 7 67 13 80 9 55 8 40 8 77 9 44 6 38 7 40 5 131 19 36 7 70 8 47 7 54 10 86 10 73 11 46 9 59 7 29 4 5 1 70 8 35 5 25 5 111 13 69 10 77 15 108 12 44 6 49 9 81 9 76 11 45 9 46 5 694 100 521 100 872 100

2004 Nº % 103 15 86 13 103 15 47 7 75 11 55 8 21 3 50 7 105 16 23 3 0 0 0 0 668 100

Fuente: Elaboración propia. Gráfico 58. Registro mensual de atenciones. 35% 30% 25% 20% 15% 10% 5% 0% Ene

Feb

Mar

Abr

May

Jun

Jul

1999

2000

2001

2002

Ago 2003

Sep

Oct

Nov

Dic

2004

Fuente: Elaboración propia.

En principio, parece que los años 1999, 2001 y 2004 son los que presentan menos regularidad en el registro de información. En todos ellos hay algún mes en el que el porcentaje de atenciones registradas supera el 15% del total del año.

258

Mª JOSÉ ASENSIO COTO.

Destaca el año 1999 en el que más del 60% de las atenciones se han registrado en dos meses: marzo y mayo. Claramente la información que tenemos no se corresponde con una recogida en tiempo real. Los siguientes gráficos muestran la misma información. En este caso hemos acudido a una escala de tipo logarítmico para percibir más fácilmente las proporciones. Gráfico 58. Registro mensual de atenciones (1999 y 2001). 100%

Gráfico 59. Registro mensual de atenciones (2002 y 2004). 100%

Ene Feb Mar Abr May Jun Jul Ago Sep Oct Nov Dic

10%

1999

2000

2002

2001

2003

2004

Gráfico 60. Registro mensual de atenciones (1999 y 2003). 100% Ene Feb Mar Abr May Jun Jul Ago Sep Oct Nov Dic

10%

0% 1999

2003

Los datos nos muestran que la recogida de la información no se ha realizado de forma continua. Esto afecta, en primer lugar a la función de seguimiento individual del sistema. De manera que podemos pensar que no ha sido utilizado el sistema por los profesionales de la entidad para el seguimiento individualizado de los usuarios. Probablemente la cumplimentación de los datos responde a la necesidad de información global de la entidad, pero no a las necesidades de los trabajadores de la misma que ejecutan

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

259

la acción directa con los usuarios. Esto será una primera cuestión a trabajar en la siguiente etapa de la evaluación. En segundo lugar, si no se ha realizado el seguimiento de los usuarios utilizando el sistema, es posible que existan errores en los datos. Estos errores, que siempre es posible que aparezcan, se minimizan en el caso de seguimiento del expediente. Al no ser así, permanecen en el sistema. Respecto del nivel de cumplimentación de los datos, la tabla y gráfico siguientes recogen los niveles de respuesta de las variables que debían estar cumplimentadas en todos los expedientes. Salvo algunas excepciones, como es el caso del nivel de ingresos, la mayor parte de ellas tiene unos niveles cercanos al 90%. Sí se aprecia cómo se va perdiendo información conforme nos acercamos al individuo particular. Es decir, la información estrictamente relacionada con la identificación (género, edad, lugar de residencia, etc.) aparece casi al cien por cien. Es la información que capta el profesional de la entidad a lo largo del trabajo de seguimiento la que se va perdiendo. Creemos que esto responde una vez más a la falta de implicación del profesional en la cumplimentación. Tabla 34. Niveles de respuesta. Variables

% Respuesta

Variables

% Respuesta

Género

100

Enfermedad

Etnia

95,1

Problemas legales

79,5

Edad

97,5

Ingresos

69,7

Hijos

Origen solicitud

98,9

Unidad de convivencia

Vía acceso

97,1

Estado civil

95,2

Nivel estudios

75,5

Nº miembros U.F.

97,2

INEM

Zona

99,8

Trabajo

75,1

Fuente: Elaboración propia.

260

Mª JOSÉ ASENSIO COTO.

Gráfico 61. Niveles de respuesta. Trabajo INEM Nivel estudios Ví a acceso Origen solicit ud Ingresos Problemas legales Enf ermedad Zona Nº miembros U.F. Estado civil Unidad de convivencia Hijos Edad Etnia Género

100

Fuente: Elaboración propia.

5.2.2. Segunda etapa: evaluación de los elementos del sistema La fuente de información para esta segunda etapa es la propia entidad y los profesionales que han utilizado Geysa durante este tiempo. Hemos trabajado conjuntamente mediante entrevistas individuales con cada uno de ellos y con la dirección de la entidad. También hemos realizado dos entrevistas en grupo. Una al principio, para analizar la situación general, y otra al final para diseñar las modificaciones necesarias al sistema. Hemos concentrado el trabajo de evaluación en las diversas entrevistas en torno a una cuestión general: la cumplimentación de los datos responde a la necesidad de información global de la entidad, pero no a las necesidades de los trabajadores de la misma que ejecutan la acción directa con los usuarios. Esta situación responde a disfunciones detectadas en los diferentes elementos del sistema que son analizados en los grupos de trabajo. Contenidos La información, cuya recogida contempla el conjunto del expediente, se muestra demasiado exhaustiva para el conjunto de los usuarios de la entidad. En el caso de los programas en los que la acción de la entidad abarca un periodo prolongado de tiempo, como son el

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

261

Taller-Escuela y Pisos de Acogida, sí es adecuado. No obstante, hay otros servicios cuya actuación es más puntual y no requieren, ni se tiene acceso, a esa información sobre el individuo. También se hace necesario contemplar la especificidad de la acción del servicio de mediación (CIMA), que se ocupa de medidas judiciales con unos jóvenes que tienen un perfil muy específico de trasgresión y delincuencia. En definitiva, es necesario modificar algunos contenidos del expediente para contemplar las características específicas de cada programa. Soporte informático En el primer diseño del soporte informático centramos nuestro interés en la flexibilidad. De manera que contempla la posibilidad de realizar cambios en los contenidos sin perder la posibilidad de mantener datos históricos y la coherencia del conjunto de la información. Este interés por la flexibilidad, ahora debe dejar paso a la facilidad y agilidad en la utilización. Es necesario simplificar y agilizar el proceso de recogida de información. En segundo lugar, el soporte informático ha mostrado deficiencias a la hora de trabajar en red. En parte por problemas de diseño del propio sistema y en parte por falta de disponibilidad de recursos informáticos en la propia entidad. Es necesario, por tanto, realizar modificaciones en la aplicación y dotar a los profesionales de los medios necesarios para trabajar en red. Unidad de recogida de información Efectivamente, se confirma el hecho de que la recogida de información en muchos casos ha sido realizada en momentos puntuales por personas que se han ocupado expresamente de esta tarea. Esto impide que Geysa sea utilizado como sistema de seguimiento de las acciones y los individuos. Una vez más, las modificaciones del sistema informático se tornan en una cuestión clave para solventar esta situación. La salida del sistema En esta primera etapa de implementación de Geysa, dadas las dificultades técnicas y de recursos en el momento en que comenzamos a trabajar en 1999, la salida del sistema ha sido utilizada sólo por la entidad y por el servicio de informática, pero no por los profesionales de la entidad. Modificar esta situación requiere

262

Mª JOSÉ ASENSIO COTO.

una mayor accesibilidad y diseñar una estrategia de formación e implicación de éstos. En efecto, a lo largo de las entrevistas existe otra cuestión que incide sobre la marcha global del proyecto. Se trata de la implicación de los profesionales de la entidad. Es necesario incrementar la implicación de los trabajadores de la entidad. Hay que volver a captar su atención sobre el proyecto y pasar a una nueva fase en la que cada servicio se responsabilice de sus expedientes y perciba la utilidad del sistema para su trabajo diario. Finalmente, en lo que respecta a la entidad, a su necesidad de conocer y seguir la marcha del conjunto de los servicios, conocer las características y necesidades globales de la población que atiende, y realizar evaluaciones globales, el sistema Geysa sí se ha mostrado como un elemento enriquecedor como creemos que se ha puesto en evidencia en el primer apartado de este capítulo. 5.2.3. Utilización de los resultados de la evaluación Los resultados de la evaluación de Geysa han puesto de manifiesto la necesidad de realizar una serie de modificaciones en los elementos que configuran el sistema, y también han puesto de manifiesto la necesidad de afrontar el reto que significa la implicación real de los profesionales de la entidad en el proyecto. Las modificaciones del expediente han sido realizadas siguiendo las indicaciones de las personas que lo han de utilizar. Éstas han consistido básicamente en mantener un tronco común, cuyo contenido ha sido mejorado con vistas a su utilización, y creando anexos que recogen específicamente las necesidades de los servicios concretos. En el anexo II se han incluido los expedientes de los usuarios de dos servicios de la entidad (Taller-Escuela y Cima). El soporte informático ha sido modificado por completo. El lenguaje de programación ha sido sustituido por el lenguaje php y ahora la aplicación funciona sobre un servidor Web. Esto elimina la necesidad de instalación en los equipos clientes y facilita considerablemente el trabajo en red. También se ha modificado la secuencia y el orden de cumplimentación con objeto de agilizarla. En el anexo III se han incluido las nuevas plantillas de recogida de información en el sistema. Tanto el nuevo expediente como el nuevo soporte informático están en funcionamiento desde el año 2005.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

263

En cuanto a la implicación de los profesionales, tres son los elementos básicos sobre los que hay que incidir: información, formación y utilización, y seguimiento del sistema. Se hace necesario establecer una estrategia de trabajo que incida en las tres líneas apuntadas. Se trata de formación para la autoevaluación; información sobre las características y posibilidades de Geysa; mejorar la utilización de la salida del sistema; establecer un protocolo de seguimiento de la utilización. Además, es necesario trabajar la cultura cooperativa en el seno de la entidad. A finales de 2006 deberá evaluarse de nuevo el funcionamiento del sistema con los nuevos instrumentos. La evaluación debe continuar para mejorar la acción. En definitiva se trata de mejorar la situación de una población con deficiencias en su calidad de vida atribuibles a diversas causas: carencias formativas, sanitarias, problemas legales, trabajo, ingresos, etc.

Conclusiones La tesis doctoral que presentamos es el resultado de muchos años de trabajo y deudora de muchas personas, investigadores y profesionales de distintos campos, que se han preocupado y ocupado de transformar la realidad. Preocupados y ocupados en participar de uno u otro modo en la evolución del entorno en el que viven o por el que se interesan. Otros investigadores y profesionales han abierto el camino por el que nosotros hemos emprendido la tarea investigadora que pretende tener su reflejo en esta tesis. La finalidad última de este trabajo ha sido aportar un grano de arena en la articulación de la actividad científica y la profesional compartiendo, quizás no objetivos comunes, ni prioridades, pero sí una ética común en cuanto que actores de su propia realidad y la de los territorios en los que desarrollan su actuación. Comenzábamos este trabajo planteando cuatro objetivos: - Caracterizar la situación actual en el campo de la metodología evaluativa. Situación que hemos calificado de crisis y renovación o cambio de paradigma. - Conocer la repercusión sobre la actividad evaluativa del cambio de paradigma sobre el que se sustenta. - Analizar las posibilidades que el establecimiento de sistemas de información ofrece a la evaluación pluralista. Focalizando nuestra atención en este punto a la evaluación de un modelo determinado de intervención: la acción integral centrada en el individuo. - Por último, el cuarto objetivo de nuestra investigación, de carácter aplicado. Se trata de diseñar y experimentar un sistema

266

Mª JOSÉ ASENSIO COTO.

de información útil para la evaluación de acciones y entidades que se ocupan de realizar acciones centradas en el individuo. La visión que desde cada enfoque científico predomina en relación al método está interfiriendo en la conceptualización de la evaluación que al fin y al cabo pertenece al campo de lo real. Por tanto, hemos afrontado al inicio de esta tesis la tarea de conceptualización, lo que constituye nuestra primera aportación. La evaluación es en sí misma una acción, caracterizada básicamente por tres elementos: objeto, finalidad y método. - Objeto.- Lo que distingue a la evaluación como disciplina con entidad propia es la naturaleza de su objeto de análisis. Desde cualquiera que sea el ámbito desde el que se emprende la actividad evaluadora, el objeto de análisis es siempre “una acción finalista y planificada”. El objeto de análisis de la actividad evaluadora puede ser de diferente naturaleza; no obstante, el requisito es que éste sea una acción finalista y planificada, orientada por objetivos. El objeto de la evaluación es individual. Los aprendizajes que obtenemos mediante la evaluación de acciones pueden ser generalizables y pueden ser también una interesante fuente de información para, mediante el método científico, elaborar teorías, demostrarlas o falsarlas, pero esto ya pertenece al ámbito de la investigación. - Finalidad.- La evaluación se realiza “para emitir un juicio de valor”, independientemente de la finalidad de ese juicio, e independientemente también de los criterios y valores que orienten ese juicio. Finalidad del juicio, criterios y valores, la califican pero no la definen. - Método.- El análisis de la realidad que informa ese juicio de valor está dirigido por un método. La evaluación se caracteriza porque analiza una acción utilizando un método. Las características específicas del método evaluativo no están, de momento, claramente definidas. La discusión sobre el método en el campo de la evaluación está íntimamente ligada a la posición epistemológica desde la que se afronta. La característica común a todos los métodos utilizados en la actividad evaluativa es el empirismo. El método evaluativo es empírico. Por tanto, se hace necesaria la recogida de información sobre esa acción y analizar el significado de ésta.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

267

De manera que definiríamos la evaluación como el análisis de una acción finalista y planificada para emitir un juicio de valor mediante un método. Respecto de nuestro primer objetivo, al inicio de esta investigación formulábamos nuestra primera hipótesis afirmando que “la crisis del paradigma clásico en ciencias sociales se manifiesta en el ámbito de la evaluación en el cuestionamiento de la evaluación clásica y la proliferación de nuevos enfoques y modelos evaluativos: la evaluación pluralista”. Hemos mostrado en este trabajo cómo la renovación que supone la aparición del enfoque pluralista en la metodología evaluativa, se deriva de un movimiento que se extiende al conjunto de las ciencias sociales. La construcción de una alternativa se realiza habitualmente sobre el conocimiento de las limitaciones de la situación imperante. Las limitaciones del enfoque clásico se derivan de una gran cuestión: la necesidad de adaptar el modelo evaluador a la realidad objeto de evaluación. No obstante, hemos constatado cómo los nuevos enfoques van más allá. No se trata sólo de afrontar esta necesidad de adaptación. Se trata también de ampliar la finalidad de la evaluación. A nuestro entender, todos los elementos que introduce el enfoque pluralista se pueden atribuir a una u otra razón, y algunos a ambas. Como resultado de nuestra investigación en este terreno podemos ofrecer una caracterización de ambos enfoques. 1. La evaluación clásica se caracteriza por la focalización del proceso evaluador en el grado de cumplimiento de los objetivos preestablecidos, pero también existen algunos elementos más que la distinguen: - La finalidad de la evaluación es distinguir, calificar: éxito o fracaso. También comparar, jerarquizar programas para elegir. - El objetivo fundamental de las evaluaciones clásicas, aunque existen matices, es calificar la acción evaluada en función de los efectos operados por ésta. - El método se centra en la realización de mediciones y la comparación de estas mediciones con un estándar preestablecido. La tarea fundamental del evaluador es la medición. Por tanto, los elementos básicos son tres: los objetivos de referencia; las mediciones comparadas y los efectos de la acción evaluada; y el

268

Mª JOSÉ ASENSIO COTO.

criterio fundamental para la emisión de juicios de valor es el grado de cumplimiento de los objetivos. - Otra característica relevante de la evaluación clásica, por las consecuencias metodológicas que se derivan de ella, es el interés por asegurar la neutralidad, la objetividad del proceso evaluativo. Esto se traduce en lo que podemos llamar cientifismo respecto del método. - El interés por la neutralidad tiene consecuencias sobre la forma de realizar las mediciones. De manera que se identifica cuantificación con objetividad y se generaliza, por tanto, la utilización de instrumentos de medida y métodos de análisis cuantitativos. La medición cuantitativa se hace imprescindible en la evaluación clásica para asegurar esa neutralidad. - Finalmente, el esquema causal tiene carácter lineal: se identifica la existencia de una relación lineal causa-efecto entre una serie de acciones ejecutadas por el programa o proyecto evaluado y los cambios operados en la población objetivo de dicho proyecto. 2. Desde el enfoque pluralista se cuestionan cada uno de estos elementos. De manera que: - La evaluación pluralista renuncia a la orientación marcada por los objetivos esperados. Contempla la existencia de una pluralidad de objetivos en el seno de la intervención e incluso considera la necesidad de evaluar el proceso de establecimiento de objetivos o realización de evaluaciones libres de objetivos. - Se amplia la finalidad de la evaluación contemplando una pluralidad de finalidades en función de la naturaleza del objeto evaluado. Encontramos así evaluación orientada al aprendizaje, evaluación para empoderar a los actores, evaluación para conducir el cambio. - El método es fundamentalmente holístico y evolutivo. Se centra en las dinámicas generadoras de cambio. Contempla la acción evaluada desde una perspectiva totalizadora sustituyendo las relaciones lineales por causalidades más complejas. En definitiva se trata de un cambio de paradigma hacia una visión sistémica y dinámica de la realidad. El segundo interrogante que nos planteamos en esta tesis está dirigido por la naturaleza eminentemente empírica de la actividad evaluadora. Para “conocer la repercusión sobre la actividad

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

269

evaluativa del cambio de paradigma sobre el que se sustenta”, y bajo la hipótesis de que el diseño de los modelos y la selección de herramientas son la manera en que las cuestiones conceptuales y metodológicas se materializan en la práctica evaluadora, hemos analizado y clasificado los diferentes modelos y herramientas para la evaluación. Hemos constatado cómo la renovación conceptual se manifiesta en la práctica en tres direcciones: - Proliferación de modelos evaluativos orientados por el enfoque pluralista. - Incorporación de algunos elementos pluralistas en los modelos clásicos de evaluación. - También se manifiesta en las características de las herramientas utilizadas para obtener información en los procesos evaluadores. Tras analizar y clasificar los modelos evaluativos más representativos, podemos elaborar una primera conclusión respecto de la caracterización de los modelos pluralistas, que nos puede ayudar a comprender la delimitación y el alcance de este enfoque. De manera que podemos afirmar que el cambio de paradigma en la ciencia se materializa en la práctica evaluadora con la introducción de elementos pluralistas en los modelos evaluativos sobre una visión sistémica. Estos elementos serían: 1. La evaluación como motor de cambio. Se desplaza el interés desde el análisis del cambio hacia el análisis de los procesos que lo conducen. 2. La objetividad pierde relevancia. Es sustituida por la pluralidad de subjetividades. En cualquier caso, la cuantificación no es la vía de la objetividad. 3. La selección de herramientas y métodos de análisis cuantitativos y cualitativos sólo está supeditada al propósito de la evaluación y a las características del proceso evaluado. 4. La evaluación pluralista es una evaluación contextualizada. Cada modelo evaluativo es diseñado para un tipo determinado de intervención en un contexto concreto. 5. La evaluación pluralista es entendida como un proceso dinámico, abierto y flexible. Es un tipo de evaluación adaptativa que coevoluciona con el objeto evaluado. 6. Sobre la posesión de la información, la evaluación pluralista es democrática.

270

Mª JOSÉ ASENSIO COTO.

7. La evaluación pluralista es evaluación participativa. 8. Es evaluación interna, autoevaluación o evaluación mixta. El requisito de participación impide que la evaluación pluralista pueda realizarse estrictamente desde fuera. Lo que caracteriza las evaluaciones pluralistas es el hecho de llevar hasta sus últimas consecuencias los elementos reseñados de manera que se modifica la naturaleza del propio proceso evaluador. Una segunda conclusión, que se deriva de la anterior, se refiere al proceso de construcción de los modelos evaluativos y al alcance del propio concepto de modelo. Hemos constatado cómo la necesidad de adaptación al objeto evaluado conduce a la pérdida de relevancia del modelo. Lo relevante es la secuencia enfoque-elementosherramientas. Para cada caso se hace necesario el diseño ad hoc de la evaluación, seleccionando los elementos relevantes y las herramientas adecuadas en función de la finalidad de la evaluación, la naturaleza de la acción evaluada y las dinámicas y relaciones que definen el entorno en el que ésta se desarrolla. Para finalizar la exposición sobre las evaluaciones pluralistas, hemos mostrado una primera aplicación en la práctica de este enfoque realizada en colaboración con otras entidades implicadas en la acción evaluada: el Plan Integral del Distrito V de la Ciudad de Huelva. Proponemos aquí un sistema de evaluación global participativa diseñado en función de las características del plan que queríamos evaluar. Éstas, integralidad y participación, junto a la finalidad de la evaluación, evaluación de empoderamiento, requieren el diseño de un modelo de evaluación específico. El modelo de evaluación propuesto es un sistema de evaluación continua respecto del momento en que ésta se realiza; mixta desde la perspectiva de quien se ocupa de realizar la evaluación; es decir, es fundamentalmente interna, pero se complementa con evaluaciones externas intermedias; y es formativa. Es un sistema de evaluación que tiene carácter sistémico, de empoderamiento, global y participativa. El elemento innovador de este trabajo es la construcción de un sistema de evaluación que se integra en la propia estructura del Plan y en la dinámica de trabajo de cada uno de los elementos que la conforman. La tercera hipótesis que planteábamos se refería a la posibilidad de captar o introducir elementos pluralistas en la evaluación a través de las herramientas de recogida y tratamiento de la información. Del estudio de las diferentes herramientas habitualmente utilizadas

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

271

en la práctica evaluadora, hemos concluido la necesidad de construir, para instituciones que se ocupan de actuar en territorios concretos, un sistema de información de manera que no sea necesario elaborar instrumentos de recogida de información ad hoc para cada evaluación de proyectos, programas, acciones concretas o evaluaciones institucionales. No es habitual disponer de recursos suficientes para realizar esta recogida cada vez que una entidad siente la necesidad de evaluar alguna de sus actividades, mucho menos para realizar evaluaciones globales y continuas. La colaboración con otros grupos de investigación y una pluralidad de actores de distintos territorios, fundamentalmente en el seno de la Unión Europea, nos ha permitido investigar a fondo sobre esta cuestión y participar en un proyecto conjunto del que forma parte el sistema de información que hemos diseñado en el apartado práctico de esta tesis, específicamente para una entidad sin ánimo de lucro que interviene en barrios desfavorecidos de la Ciudad de Huelva, el Centro de Inserción Sociolaboral Valdocco. El elemento fundamental de este sistema es la utilización de un documento único de recogida de información para todas las acciones que realiza la entidad. Dado que la acción de Valdocco está encaminada a satisfacer necesidades que se manifiestan en carencias individuales a partir de la metodología de intervención de itinerario individual de inserción, es posible seguir el conjunto de actuaciones a partir del expediente individual del usuario si éste cumple ciertos requisitos. En el caso concreto del dosier de recogida elaborado para esta investigación, la complejidad del proceso de diseño se ha visto incrementada, dado que pretendíamos que fuera un instrumento útil para realizar evaluaciones no previamente definidas. Eso significa que la información que solicitamos a través de él es información relevante per se en relación al itinerario individual de los usuarios y a la actividad general de la entidad. La aplicación de este criterio para la selección de la información que queríamos recoger ha sido posible gracias al conocimiento acumulado después de diez años de investigación del Observatorio Local de Empleo en relación a los elementos y variables clave de la exclusión y en relación al diagnóstico territorial. También ha sido posible gracias a la reiteración de estudios utilizando la misma metodología en el mismo territorio y en otros contextos. Con lo que

272

Mª JOSÉ ASENSIO COTO.

el trabajo sobre la selección de las variables claves estaba ya muy avanzado en otros estudios. Finalmente, hemos presentado una evaluación diseñada con un propósito muy concreto: conocer el grado de coherencia de la actuación global de la entidad en un periodo relativamente largo de tiempo. Hemos analizado muy poca información de un gran número de expedientes y, aparentemente información poco relevante, de una manera sencilla y relativamente rápida y accesible al análisis e interpretación por no expertos. El resultado ha sido satisfactorio desde el punto de vista de la actuación de la entidad y también desde el punto de vista del propio proceso evaluador. Así mismo, hemos mostrado la utilidad del sistema Geysa para realizar este tipo de evaluaciones. En relación a la acción de la entidad, después de analizar 3.807 expedientes, hemos seleccionado los 1.483 individuos atendidos por seis programas de la entidad. La evaluación ha mostrado la existencia de cinco grupos de usuarios: - Grupo 1: adolescentes inactivos en formación lejos de la emancipación (532 individuos). - Grupo 2: jóvenes con bajos niveles de estudios y sin trabajo (269 individuos). - Grupo 3: jóvenes y mujeres que necesitan fundamentalmente trabajo (228 individuos). - Grupo 4: hombres mayores de 30 años desempleados con cargas familiares y problemática multicausal (238 individuos). - Grupo 5: adolescentes con problemas legales (216 individuos). Y ha mostrado también la existencia de una cercanía relevante de los diversos programas a los usuarios a los que en un primer momento van destinados. En términos globales podemos concluir: - La coherencia general de la actuación de la entidad respecto de las necesidades de los usuarios se ha mantenido a lo largo de estos años en los que existía un doble handicap que nos hacía sospechar que esta coherencia podía estar viéndose afectada. En primer lugar, durante el periodo analizado se ha producido un intenso cambio estructural y crecimiento en la entidad que no había sido objeto de análisis global. En segundo lugar, esta circunstancia en una entidad cuyas acciones están orientadas por diagnósticos individuales podía estar perdiendo, en una etapa de crecimiento, la coherencia global de estos diagnósticos.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

273

No obstante, los resultados más relevantes de la evaluación surgirán de la interpretación que se haga de ella en el seno de la misma. - Desde la perspectiva del método de evaluación, se ha mostrado de gran utilidad para la evaluación global entendida así en sentido sistémico. El uso del análisis factorial de correspondencias como instrumento de análisis cualitativo de datos, nos ha permitido analizar tendencias globales sin parcelar la información ni establecer hipótesis previas sobre la forma en que ésta se organiza. Esto, de cara a la actividad evaluadora, nos ofrece la posibilidad de que sea la realidad que describen los datos la que guíe la observación. Creemos que ésta es una buena manera de realizar observaciones objetivas sin cuantificar. - Finalmente, la evaluación del sistema Geysa se ha mostrado reveladora tanto en lo que se refiere al aprendizaje que ha supuesto para nosotros todo el proceso, como en lo que respecta a las modificaciones a realizar en el sistema para mejorarlo. El análisis de la secuencia de cumplimentación de la información ha revelado que éste no está siendo utilizado por los profesionales de la entidad en todas sus posibilidades. De cara al conjunto de la entidad el sistema ha mostrado su utilidad, aunque con la necesidad de algunas mejoras, y parece evidente que de cara al trabajo diario individualizado de los profesionales esto no es así. Como consecuencia de los resultados de la evaluación del sistema, se han realizado modificaciones y puesto en marcha una nueva versión del sistema desde los inicios del año 2005. Estas modificaciones han sido posibles gracias a la instalación de la red interna, que era una de las necesidades básicas del sistema. Para terminar, queremos mirar al futuro. Toda investigación abre nuevas vías, sugiere nuevos interrogantes y nuevas líneas de trabajo. La continuación de esta línea de investigación está en marcha a través de nuestra participación en la Acción de Coordinación CAENTI del VI Programa Marco de Investigación y Desarrollo de la Unión Europea. También tiene visos de continuidad nuestra colaboración con las entidades implicadas en la acción directa en el territorio a través de diversos proyectos emprendidos por el Observatorio Local de Empleo, cuya visión de cooperación y

274

Mª JOSÉ ASENSIO COTO.

transferencia desde el campo de la investigación a la acción sigue estando vigente.

Bibliografía African Development Foundation (1995): Participatory Evaluation Handbook: A Resource for Resident Evaluators, Unpublished Report, African Development Foundation. Aguilar León, L. (1997): “El arte de preguntar”, http://www.luisa guilarleon.com. Albi Ibañez, E. y Rodríguez Ondarza, J.A. (1998): ”Análisis CosteBeneficio: notas sobre su situación actual”, Papeles de Economía Española, nº 37. Alburquerque, F. (1981): El análisis dialéctico estructural de la realidad económica, Facultad de Ciencias Económicas, Madrid. Alonso Amo, E. (1988): "La investigación acción en la frontera del siglo XXI". Revista de Psicología Social, 3, pp. 213-227. Alonso, J.A. (1987): "La economía como ciencia aplicada: una reflexión metodológica", en Homenaje al Profesor Sampedro, Fundación Banco Exterior, Madrid. Alpha, C.Ch. (1994): Métodos fundamentales de economía matemática, (1ª ed. 1987), McGraw-Hill, Madrid. Alvira

Martín, F. (1991): “Metodología de la evaluación de programas”, Cuadernos Metodológicos, núm. 2, CIS, Madrid.

Amezcua Viedma, D. (1996): “Introducción a la evaluación”, en Amezcua Viedma, D. y Jiménez Lara, A. (1996): Evaluación de programas sociales, Díaz de Santos, Madrid.

276

Mª JOSÉ ASENSIO COTO.

Amezcua Viedma, D. y Jiménez Lara, A. (1996): Evaluación de programas sociales, Díaz de Santos, Madrid. Ander-Egg, E. (1974): Introducción a las técnicas de investigación social, 4ª edición, Humanitas, Buenos Aires. Anguera, M.T. (1992): Metodología de la observación en las ciencias humanas, (5ª ed.), Cátedra, Madrid. Apple, M.; Beane, J.A. (comps.) (1997): Escuelas democráticas, Morata, Madrid. Aracil, J. (1983): Introducción a la dinámica de sistemas, (1ª ed. 1979), Alianza Universidad Textos, Madrid. Aracil, J. (1986a): Máquinas, sistemas y modelos. Un ensayo sobre sistémica, Tecnos, Madrid. Aracil, J. (1986b): "Estructura y comportamiento en teoría de sistemas", Theoria, nº 87, vol. 4, pp. 121-141. Aracil, J.; Domínguez Machuca, J.A. y Karsky, M. (1986): "System Dynamics: on the Move", The 1986 International Conference of the System Dynamics Society, Sevilla. Araujo, R.J. (1998): “Evaluación Externa de Universidades Públicas: un enfoque participativo”, en Educación, Actualidad e Incertidumbre, Ediciones Espacios en Blanco, Serie Investigaciones, Facultad de Ciencias Humanas, Núcleo de Estudios Educacionales y Sociales, Tandil, pp. 41-57. Arias, M; Flores, A.; Porlán, R. (comps.] (2001): Redes de maestros: una alternativa para la transformación escolar, Díada, Sevilla. Arnal, J. [et al.] (1992): Investigación educativa. Fundamentos y metodología. Barcelona: Labor. Asensio Coto, M.J. (1998): El análisis multidimensional de la realidad económica. Una aplicación desde la concepción sistémica, Tesis de licenciatura, Departamento de Economía e Historia de las Instituciones Económicas, Universidad de Huelva, Mímeo. Ashby,W.R. (1952): Design for a Brain, John Wiley, Nueva York. Ashby, W.R. (1972): Introducción a la cibernética, (2ª ed. en castellano, 1ª ed. ingles 1956), Nueva visión, Buenos Aires.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

277

Austin, G. (1993): The Process of Change: A Synthesis Study of Institutional Capacity Development Projects and Experience, Overseas Development Administration, Londres. Backhouse, R. (1988): Historia del análisis económico moderno, Alianza , Madrid (1ª ed. 1985). Balcells i Jonyent, J. (1994): La investigación social. Introducción a los métodos y las técnicas, PPU, Barcelona. Ballart, X. (1992): ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso, Ministerio para las Administraciones Públicas, Madrid. Ballesteros, E. (1980): El encuentro de las ciencias sociales. Un ensayo de metodología, Alianza, Madrid. Bamberger, M. (1991): “The Politics of Evaluation in Developing Countries,” Evaluation and Program Planning, vol. 14. Bamberger, M. (2000): “Integrating Quantitative and Qualitative Methods”, Development Research, Banco Mundial, Washington, D.C. Banco Mundial (1996): The World Bank Participation Sourcebook, World Bank Publications, Washington D.C. Bañón i Martínez, R. (comp.) (2003): La evaluación de la acción y de las políticas públicas, Díaz de Santos, Madrid. Barber, W. J. (1987): Historia del pensamiento económico, Alianza, Madrid. Barceló, A. (1992): Filosofía de la economía. Leyes, teorías y modelos, Icaria, Barcelona. Barceló, A. y Ovejero, F. (1985), "Cuatro temas de Metodología Económica", Cuadernos de Economía, vol. 13, 39. Barnett, W.A; Geweke, J. y Shell, K. (1989): Economic Complexity. Chaos, Sunspots, Bubles, andl Nonlinearity, Cambridge University Press, Cambridge. Barrios, M. (1983): “Estudio Analítico del proceso de investigación Evaluativa”, PLANIUC, nº 2, 4. pp. 96-149. Bergmann, G. (1957): Philosophy of Science, Univ. of Wisconsin Press, Madison.

278

Mª JOSÉ ASENSIO COTO.

Bertalanffy, L.von (1950): "An Outline of General System Theory", Brit J. for the Philosophy of Science, vol. 1, pp. 134-165. Bertalanffy, L.von (1968): Teoría general de los sistemas, (1ª ed. en español 1976), Fondo de cultura económica, México. Bertalanffy, L.von (1975): Perspectivas en la teoría general de sistemas, Alianza Universidad, (3ª impresión en español 1992), Madrid. Bertalanffy, L.von et al. (1972): Tendencias en la teoría general de sistemas, (3ª reimpresión en español 1987), Alianza Universidad, Madrid. Bífani, P. (1999): Medio ambiente y desarrollo sostenible, Iepala, Madrid. Bisquera, R. (1989): Métodos de investigación educativa. Guía práctica, CEAC, Barcelona. Bisquerra, R. (1989): Introducción conceptual al análisis multivariante, PPU, Barcelona. Blaug, M. (1985): La metodología de la economía, Alianza Universidad, Madrid. Blázquez Entonado, F. (1991): "La investigación acción. Métodos y técnicas de investigación cualitativa", En Sáenz Barrio, O. (Dir.) (1991): Prácticas de enseñanza. Proyectos curriculares y de investigación acción, Marfil, Alcoy, 75-100. Bodnar, M.P.: “Programa de Evaluación Externa de las Actividades Científicas y Tecnológicas”, Universidad de Buenos Aires, Secretaría de Ciencia y Técnica, http://www.rec.uba.ar/Documentos/talleresprogeval/doc4In formePBodnar.doc. Bohm, D. (1988), La totalidad y el orden implicado, Kairós, Barcelona. Booth, T.L. (1967): Sequential Machines and Automata Theory, John Wiley, Nueva York. Boudon, R. et al. (1973): Metodología de las ciencias sociales, (3 vols), Barcelona, Laia. Boudon, R. et al. (1981): Corrientes de investigación en las ciencias sociales, Tecnos, Madrid.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

279

Bracker, M. (2002): Métodos de Investigación Social Cualitativa, Kassel, Managua. Briones, G. (1990): Métodos y técnicas de investigación para las ciencias sociales, 2ª edición, Trillas, México. Brock, W.A. y Hsieh, D.A (1993): Nonlinear Dynamics, Chaos, and Instability. Statistical Theory and Economic Evidence, MIT Press, Massachusetts. Brown, M.I. (1983): La nueva filosofía de la ciencia, Tecnos, Madrid (1ª ed. 1977). Bryman, A. y Cramer, D. (1997): Quantitative Data Analysis, Routledge, Londres. Buckley, W. (1967): La sociología y la teoría moderna de los sistemas, Amorrortu editores, Buenos Aires. Buckley, W. (dir.) (1968): Modern Systems Research for the Behavioral Scientist, Aldine, Chicago. Bueno Abad, J.R. (2001): “Una propuesta para la evaluación de la inserción social de colectivos desfavorecidos”, Portuaria. Revista de Trabajo Social, Vol. 1, Universidad de Huelva, Huelva. Bunge, M. (1960): La ciencia, su método y su filosofía, Buenos Aires, Siglo XX. Bunge, M. (1965): Causalidad. El principio de la ciencia moderna, Buenos Aires, Universitaria. Bunge, M. (1975): Teoría y realidad, Barcelona, Ariel. Bunge, M. (1980): La investigación científica, Ariel, Barcelona. Bunge, M. (1985): Economía y filosofía, (1ª ed. 1982), Tecnos, Madrid. Bustelo Ruesta, M. (2003): “¿Qué tiene de específico la metodología de evaluación?”, en Bañón i Martínez, R. (2003). Calle Sáiz, R. (2001): “La relevancia de la metodología para la Ciencia Económica: unas reflexiones orientativas”, Revista de Economía Aplicada e Historia Económica, nº 8, UNED. Campbell, D.T. y Stanley, J.C. (1973): Diseños experimentales y cuasi-experimentales en la investigación social, Amorrortu, Buenos Aires.

280

Mª JOSÉ ASENSIO COTO.

Casley, D. y Lury, D. (1982): Monitoring and Evaluation of Agricultural and Rural Development Projects, Johns Hopkins, Baltimore. Castañeda, J. (1982): Lecciones de teoría económica, Aguilar, (1ª edición 1968), Madrid. Castillo Prieto, R. (2003): “La integración de la evaluación en la cultura de la organización. Un estudio de caso sobre las evaluaciones institucionales”, III Conferencia de la SEE, Jerez de la Frontera, 12 a 14 de noviembre de 2003. Cea D´Ancona, M.A. (1996): Metodología cuantitativa. Estrategias y técnicas de investigación social, Síntesis, Madrid. CEC (2001): Libro Blanco sobre la reforma administrativa de la Comisión, Bruselas. Chambers, D.E.; Wedel, K.R. y Rodwell, M.K. (1992): Evaluating Social Programs, Allyn and Bacon, Massachusetts. Checkland, P. y Scholes, J. (1990): Soft Systems Methodology in Action, John Wiley and Sons, Chichester. Cherry, C. (1957): On Human Communication, John Wiley, Nueva York. Choudhary, A. y Tandon. R. (1989): Participatory Evaluation: Issues and Concerns, Society for Participatory Research in Asia (PRIA), Nueva Delhi. CIDEC (2000): “Organización y diseño de los procesos de evaluación”, Cuadernos de trabajo –formación, empleo, cualificaciones-, nº 28, CIDEC (Centro de Investigación y Documentación sobre problemas de la Economía, el Empleo y las Cualificaciones Profesionales), San Sebastián. Cohen, E. y Franco, R. (1988): Evaluación de proyectos sociales, Grupo Editor Latinoamericano S.R.L., Buenos Aires, 1ª edición. Cohen, E. y Franco, R. (1992): Evaluación de proyectos sociales, Ed. Siglo XXI, Madrid, México, 2ª edición 1993. Colas, P. y Rebollo, M.A. (1993): Evaluación de programas. Una guía práctica, Kronos, Sevilla.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

281

Comrey, A.L. (1985): Manual de análisis factorial, Ed. Cátedra, Madrid, 1ª edición. Conseil Scientifique de l´évaluation (1998): "L’évaluation en développement 1997", Rapport Annuel Sur L’évolution des Pratiques D’Évaluation des Politiques Publiques, La Documentation Française, mayo, París. Converse, J.M. y Presser, S. (1994): "Survey Questions: Handcrafting the Standardized Questionnaire", en Lewis-Beck, (1994). Cook, D.T. y Campbell, D.T. (1979): Quasi-experimentation: Design and Analysis Issues for Field Settings, Rand McNally, Chigago. Cook,

T.D y Reichardt Ch.S. (1995): Métodos cualitativos y cuantitativos en investigación evaluativa, 2ª reimpresión de la primera edición en español de 1986), Morata, Madrid, 1ª ed. en inglés 1982.

Coronada García, M. (2000): Análisis y evaluación para la mejora del programa “Taller escuela Valdocco”, memoria I Master en inserción sociolaboral con desfavorecidos de la Universidad de Huelva, Mimeo. Couvreur, P. (1984): La modelisation dynamique, Université de L´État a Mons. Cracknell, B. (1983): The Evaluation of Aid Projects and Programmes, Overseas Development Administration, Londres. Cronbach, L.J. (1963): “Course Improvement Through Evaluation”, Teachers College Record, 64, pp. 672-683. Cruz Beltrán, F. y Gualda Caballero, E. (1996): Métodos y técnicas de investigación social, Asociación de estudios sociales Miguel Ángel Caro. Currás E. (1994): “Aproximación sistémica a la integración vertical de las ciencias”, Documentación de las Ciencias de la Información, nº 17, Editorial Complutense, Madrid. Dalla Rosa, G. (2002): "Del desarrollo local a la inteligencia territorial", Inteligencia territorial, curso de verano, Universidad de Oviedo, Mieres, CeCodet. Davis, E. (1981): Teacher as curriculum evaluation, Allen and Unwin, Londres.

282

Mª JOSÉ ASENSIO COTO.

De Miguel, M. (1993) "La IAP un paradigma para el cambio social", Documentación Social, nº 92, Madrid. De Paz Báñez, M.A. de (1989): "¿Hacia una economía compleja?", Proyecto docente e investigador, contenido científico, Universidad de Sevilla, Mímio. De Paz Báñez, M.A. de (1993): Economía Mundial, Pirámide, Madrid. De Paz Báñez, M.A. de (2004): “Global vs. Local. Un instrumento de integración: la inteligencia territorial”, en Guzmán Cuevas, J. y Pajares Ruiz, A. (2004). De Paz Báñez, M.A. de; Franco Ligenfert, M.I. y Asensio Coto, M.J. (2005a): “Conception et mise en marche d´un système d´évaluation globale participative. Cas: le Plan Intégral du District V de la Ville de Huelva.”, III Coloquio internacional de la Red Europea de Inteligencia Territorial: Territorio, bienestar e inclusión social, 20 a 21 de octubre de 2005, Lieja – Bélgica, http://mti.univ-fcomte.fr/reit. De Paz Báñez, M.A. de; Franco Ligenfert, M.I.; Asensio Coto, M.J. (coords.) (2005b): Plan Integral Distrito V de Huelva 2000/2003, Servicio de Publicaciones de la Universidad de Huelva, Huelva. De Paz Báñez, M.A. de; Franco Ligenfert, M.I.; Asensio Coto, M.J. (2005c): “El Plan Integral del Distrito V de Huelva. Un ejemplo de participación de ciudadanos y entidades sociales en la investigación y de la Universidad en la elaboración y puesta en marcha de un plan de inclusión social”, 2ª conferencia internacional Advancing Science an Society Interactions, Pax Mediterránea, Sevilla. De Paz Báñez, M.A. de; Franco Ligenfert, M.I.; Rodríguez Ruciero, R.; Asensio Coto, M.J. (dirs.) (2005): Estudio del mercado laboral del distrito V de Huelva, Servicio de Publicaciones de la Universidad de Huelva, Huelva. Del Castillo Hermosa, J. (2003): “La evaluación de las actividades de I+D+i en las regiones objetivo 1: resultados y perspectivas”, en Ogando Canabal, O. y Miranda Escolar, B. (2003): Evaluación de programas e iniciativas comunitarias: experiencias, nuevas orientaciones y buenas prácticas, Instituto de Estudios Europeos, Universidad de Valladolid, Valladolid.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

283

Delgado, J.M. y Gutiérrez, J. (1994): Métodos y técnicas cualitativas de investigación en ciencias sociales, Síntesis, Madrid. Delvoye, J.M. y Girardot, J.J. (2005): “Les outils de l´intelligence territoriale pour les acteurs de terrain à seraing: entre appropriation des méthodes et acquisition de compétences”, III Coloquio internacional de la Red Europea de Inteligencia Territorial : Territorio, bienestar e inclusión social, 20 a 21 de octubre de 2005, Lieja – Bélgica, http://mti. Univ fcomte.fr/reit. Delvoye, J.M.; Girardot, J.J. et al. (2004): “Intelligence territoriale et développement communautaire: application de la méthode Catalyse à Seraing”, 2e colloque international sur les programmes locaux et régionaux de santé, Québec, Canadá. Deutsch, K.W. (1980): Los nervios del gobierno: Modelos de comunicación y control político, Paidos, Buenos Aires. Díaz Puente, J.M. (2003): “La participación y el fortalecimiento en la evaluación del desarrollo”, III Conferencia de la SEE, Jerez de la Frontera, 12 a 14 de noviembre de 2003. Díaz Rodríguez, I. (2001): “Los sistemas de información: realidad y perspectivas”, en VV. AA. (2001). Diaz-Albertini, Javier (1990): Development As Grassroots Empowerment: An Analytic Review of NGDO Programs in Lima, Peru, Yale University, Institution for Social and Policy Studies, Septiembre. Díez López, M.A. (2001): La evaluación de la política regional: propuestas para evaluar las nuevas políticas regionales, Universidad del País Vasco, Mímeo. Dillon, W.R. y Goldstein, M. (1984): Multivariate Analysis: Methods and Aplications, Wiley, Nueva York. Distefano, J.J.; Stubberud, A.R. y Williams, I.J. (1967): Feedback and Control Systems, Schaun Publ.Co., New York. Domínguez Machuca, J.A. (1979): Modelización de sistemas financieros mediante Dinámica de Sistemas: El caso español, Publicaciones de la Universidad de Sevilla, Sevilla. Donzelot, J. (1998): “les nouvelles donnes du social”, Reveu Esprit, marzo-abril, París.

284

Mª JOSÉ ASENSIO COTO.

Dumas, P. (2003): “Entre la création de contenus et l’intelligence territoriale: la dimension éthique”, 2e Rencontres TIC et Territoires: quels développements, Saint-Raphaël. Durand, D. (1979): La Systémique, Presses Universitaires de France, París. Duverger, M. (1980): Métodos de las ciencias sociales, Barcelona, 11ª ed., 1ª ed. en francés 1961.

Ariel,

Echeverría, J. (1998): “Ciencia y Valores. Propuestas para una axionomía de la ciencia”, Contrastes, Málaga. Ellis, D.O. y Ludwig, F.J. (1962): Systems Philosophy, Prentice-Hall, Englewood Cliffs, N.J. Escudero Escorza, T. (2003): “Desde los tests hasta la investigación evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluación en educación”, RELIEVE, Revista Electrónica de Investigación y Evaluación Educativa, v. 9, n. 1, p. 11-43, http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm. Espinoza Vergara, M. (1983): Evaluación de proyectos sociales, Humanitas, Buenos Aires. Estrella, M. y Gaventa, J. (1997): “Who Counts Reality? Participatory Monitoring and Evaluation: A Literature Review”, Working Paper 70, Institute of Development Studies (IDS), University of Sussex, Brighton. Fals Borda, O (1991): "Rehaciendo el saber", Fals Borda et al. (1991). Fals Borda, O. et al. (1991): Acción y conocimiento. Como romper el monopolio con investigación acción participativa, Santafé de Bogotá, Cinep. Fenelon, J.P. (1981): Qu´est-ce que l´Analyse des Données?, Lefonen, París. Fernández Díaz, A. (1993): “El estado actual de la ciencia económica y la polémica determinismo – indeterminismo”, Escurialense, nº 25, pp. 145-179. Fernández Díaz, A. (1994): La economía de la complejidad. Economía Dinámica Caótica, McGraw-Hill, Madrid.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

285

Fernández Díaz, A.; Parejo Gamir, J.A. y Rodríguez Saiz, L. (1995): Política económica, Mc Graw Hill, Madrid. Ferrater Mora, M. (1971): Diccionario de Filosofía, Sudamericana, Buenos Aires. Festinger, L. y Katz, D. (comps.) (1992): Los métodos de investigación en las ciencias sociales, 1ª reimpresión en España, Paidos, Barcelona. Fetterman, D.M. (1993): Speaking the Language of Power: Communication, Collaboration, and Advocacy. Translating Ethnography Into Action. Falmer Press, Londres. Fetterman, D.M. (1994): “Empowerment Evaluation”, Evaluation Practice, 15(1), pp.1-15. Fetterman, D.M. (1995): “In Response to Dr. Daniel Stufflebeam's: Empowerment Evaluation, Objectivist Evaluation, and Evaluation Standards: Where the Future of Evaluation Should not Go and Where it Needs to Go”. Evaluation Practice, 16(2), pp. 179-199. Fetterman, D.M. (1998): “Empowerment evaluation and the Internet: A Synergistic Relationship”, Current Issues in Education (On-line), en http://cie.ed.asu.edu/volume1/number4/ Fetterman, D. et al. (1995): Empowerment Evaluation: Knowledge and Tools for Self-Assessment and Accountability, Sage, Thousand Oaks. Fetterman, D.M.; Kaftarian, S. y Wandersman, A. (1996): Empowerment Evaluation: Knowledge and Tools for SelfAssessment and Accountability, SAGE Publications, Thousand Oaks. Feuerstein, M.T. (1988): Partners in Evaluation: Evaluating Development and Community Programmes With Participants, Macmillan, Londres. Foerster von, H. (1991): Las semillas de la cibernética, Gedisa, Barcelona. Fontela Montes, E. (1991): “La sociedad de la información”, Política exterior, vol. 5, nº 21.

286

Mª JOSÉ ASENSIO COTO.

Fontela Montes, E. (1993): “Implicaciones sociales de las nuevas tecnologías, la experiencia europea”, Economía industrial, nº 289. Fontela Montes, E. (2003): ”Economía del altruismo”, en Fontela Montes, E. y Guzmán Cuevas, J.: Economía ética y bienestar social. Fontela Montes, E. y Guzmán Cuevas, J. (2003): Economía ética y bienestar social, Pirámide, Madrid. Fowler, A., Liz G., and Rick J. (1995): Participatory Self-Assessment of NGO Capacity, INTRAC, Oxford. Fox, J. (Ed.) (1965): System Theory, Polytechnic Press, Brooklyn, Nueva York. Franco Ligenfert, M.I. (2001): Un instrumento de evaluación en el itinerario de inserción sociolaboral, I Máster en inserción sociolaboral con desfavorecidos, Universidad de Huelva, Mimeografiado. Freeman, H. (1965): Discrete-Time Systems, John Wiley, Nueva York. French, W.L. (1991): Administración de personal. Desarrollo de recursos humanos, Limusa, 1ª edición 1983, México. Galera Peral, F. (1992): Modelos económicos de dinámica compleja. Fluctuaciones caóticas y ajuste del mercado, Eiunsa, Navarra. Gallego, I. (1999): “El enfoque del monitoreo y la evaluación participativa (MEP): batería de herramientas metodológicas”, Revista española de desarrollo y cooperación, nº 4, verano 1999, IUDC-UCM, Madrid. GAO (1991): “Designing Evaluations”, http://www.gao.gov/policy /10_1_4.pdf García Fernández, M.A. (2005): “La evaluación en el proceso formativo: métodos e instrumentos”, curso de formación y actualización del profesorado universitario, Universidad de Córdoba, http//uco.es. García Ferrando, M.; Ibáñez, J. y Alvira, F. (1996): El análisis de la realidad social. Métodos y técnicas de investigación, ), Alianza, Madrid, 1ª reimpresión de la 2ª edición, 1ª ed. 1986.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

287

Garrido Luque, A. (1995): Técnicas de análisis estadístico en ciencias sociales, Universidad Complutense, Madrid. Gasper, D. (1999): “El enfoque del marco lógico más allá de los proyectos: el seguimiento y la evaluación de la ayuda humanitaria en emergencias complejas”, Revista española de desarrollo y cooperación, nº 4, verano 1999, IUDC-UCM, Madrid. Gaventa, J. (1991) "Hacia la democracia del conocimiento", en Fals Borda et al. (1991). Gibson, R.E. (1960): "The Recognition of Systems Engineering", en Operationsk Research and Systems, editado por C.D. Flagle, John Hopkins Press, Baltimore, pp. 58-81. Gigch, J.P. van (1987): Teoría General de Sistemas, Trillas, México, 1ª ed. en español 1981. Gil; Villa, F. (1995): La participación democrática en los centros de enseñanza no universitarios, CIDE, Madrid. Gilbert, N. (1993): Research Social Life, Sage, Londres. Girardot, J.J. (2000a): “Pauvreté, Expertise et Action”, Cités, Sociétés sans droits? , enero, PUF, Paris, pp. 63-88. Girardot, J.J. (2000b): “Principes, Méthodes et Outils d'Intelligence Territoriale: Evaluation participative et Observation Coopérative”, Conhecer melhor para agir melhor, séminaire européen de la Direction Générale de l'Action Sociale du Portugal, Evora-mai, DGAS, Lisboa, diciembre, pp. 7-17. Girardot, J.J. (2000,c): “Transfert Technologique et Construction des Savoirs”, Actes du colloque Multimédia et Construction des Savoirs, PUFC, Besançon. Girardot, J.J. (2004): “Intelligence territoriale et participation”, in 2e Rencontres de Saint-Raphaël "Tic & Territoires: quels développements", Enic et Cies, Lille. Girardot, J.J. (2005a): “Concepts, principies et outils de la méthode Catalyse”, III Coloquio internacional de la Red Europea de Inteligencia Territorial: Territorio, bienestar e inclusión social, 20 a 21 de octubre de 2005, Lieja – Bélgica, http://mti.univfcomte.fr/reit.

288

Mª JOSÉ ASENSIO COTO.

Girardot, JJ. (2005b): “Integration of Data Analysis Tools Within a Digital Information Publishing Chain”, International Conference on Theory an Applications of Mathematics and Informatics, Alba-Iulia, Rumanía. Golub, Stephen (1993): “Assessing and Enhancing the Impact of Democratic Development Projects: A Practitioner’s Perspective,” Studies in Comparative International Development, vol. 28, nº 1, Primavera. González, S. (2001): “Evaluación del programa Taller Escuela Valdocco mediante un modelo de autoevaluación colaborativa”, en Delgado, M.L. et al. (eds.): Las organizaciones educativas en la sociedad neoliberal, 25372541, Granada. González, S. (2002): “Evaluación de centros educativos y mejora escolar”, Organización Escolar. Aspectos básicos para docentes, 207-225, Granada. González, S. y Romero, A. (1991): “Paradigma de investigación educativa: métodos cuantitativos y cualitativos”, en Aguaded J.I. (dir.): Descubrir nuestras aulas. Huelva, 36-45, ICE, Universidad de Sevilla. González Martínez, L. (1997): “Esquemas para el curso: diseño y evaluación de programas e instituciones educativas”, Departamento de Educación y Valores (DEVA) del Instituto Tecnológico y de Estudios Superiores de Occidente (ITESO), http://eva.iteso.mx. González Río, M.J. (1997): Metodología de la investigación social. Técnicas de recolección de datos, Aguaclara, Alicante. Goode, W.J. y Hatt, P.K. (1991): Métodos de investigación social, 2ª edición, 1ª reimpresión, Trillas, México. Goodwin, R.M. (1996): Caos y dinámica económica, PUZ, Zaragoza, 1ª ed. inglés 1990. Gordon, G. (1980): Simulación de sistemas, Diana, México, 2ª impresión 1981. Grawitz, M. (1984): Métodos y técnicas de las ciencias sociales, (1ª ed. en español), Hispano Europea, México, 1ª ed. en francés 1975.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

289

Guba, E.G. y Lincoln, Y.S. (1989): Fourth Generation Evaluation, Sage, Newbury Park. Guerra, C. (1995): "Investigación acción participativa en la periferia urbana de Salamanca", en Cuadernos de la Red, nº 3 (Red CIMS), Madrid. Guzmán Cuevas, J. y Pajares Ruiz, A. (2004): Lecturas de economía aplicada. Homenaje al profesor Antonio Rallo, Escuela Universitaria de Estudios Empresariales, Universidad de Sevilla. Guzmán Cuevas, J. y Rallo Romero, A. (coord.) (1998): Estructura Económica Mundial, McGraw-Hill, Madrid. Habermas, J. (1989): Conocimiento e interés, Taurus, Madrid. Habermas, J. (1990): Teoría y praxis, Tecnos, Madrid. Habermas, J. (1994): Ciencia y técnica como ideología, Tecnos, Madrid. Hair, D. et al. (1992): Multivariate Data Analysis, MacMillan, Nueva York. Hall, A.D. y Fagen, R.E. (1956): "Definition of System", General Systems, vol. 1, pp. 18-28. Harf, R. (2005): “Evaluación en las instituciones educativas”, Cuarto Congreso Internacional de Educación, 14 y 15 de febrero, Buenos Aires, en http://www.santillana.com.ar Herman, J.L.; Morris, C. y Fitz-Gibbon C. (1987): Evaluator´s Handbook, Sage, Newbury Park. Hodgson, G.M. (1993): Economía y evolución. Revitalizando la Economía, Celeste Ediciones, Madrid. House, E.R. (1994): Evaluación, ética y poder, Morata, Madrid. House, E.R. (ed.) (1973): School Evaluation: The politics and Process, McCutchan, Berkeley CA., pp. 319-328. Ibáñez, J. (1985): Del algoritmo al sujeto. Perspectivas de la investigación social, Siglo XXI, Madrid. Ibáñez, J. (1994): El regreso del sujeto. La investigación social de segundo orden, Siglo XXI, Madrid.

290

Mª JOSÉ ASENSIO COTO.

Ibáñez, T. (1993): "Orden, desorden y autoorganización. Entrevista a Jean Pierre Dupuy", Archipiélago, Pamiela Pamplona. IEEE (1967): Grupo de Ciencias de Sistemas y Cibernética, nº 7, mayo. IOE

(colectivo) (1993): "IAP. Introducción Documentación Social, nº 92, Madrid.

España",

Jiménez, B. (2001): “La evaluación de la formación. Retos y alternativas en el siglo XXI”, III congreso de información ocupacional CIFO. Kemmis, S. y Mc Taggart, R. (1992): Cómo planificar la investigación acción, Laertes, Madrid. Kemmis, S.; McTaggart, R. (Eds.): The Action Research Reader, Deakin University Press, Victoria. Kendall, M.G. (1975): Multivariate Analysis, Griffin, Londres. Kersjner, R.B. (1960): "A Survey of Systems Engineering Tools and Techniques", en Operations, Research and Systems, editado por C.D. Flagle, pp. 140-172, Hohn Hopkins Press, Baltimore. Kline, P. (1994): An Easy Guide to Factor Analysis, Routledge, Londres. Klir, G.J. (1980): Teoría general de sistemas. Un enfoque metodológico, (1ª ed. inglés 1969), ICE, Madrid. Kuhn, T.S. (1962): La estructura de las revoluciones científicas, Fondo de Cultura Económica, México. Kushner, S. (2002): Personalizar la evaluación, Morata-Fundación Paideia Galiza, Madrid. Lakatos, I. (1978): La metodología de los programas de investigación científica, Alianza Universidad, 1989, Madrid. Landell-Mills, P. (1992): “Governance, Cultural Change, and Empowerment,” Journal of Modern African Studies, 30, 4. Lange, O. (1969): Introducción a la economía cibernética, Siglo XXI, Madrid, 1ª ed. en español, 1ª ed. en polaco 1965. Lange, O. (1973): Economía Política, Fondo de Cultura Económica, México, 1ª ed. 1963.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

291

Lange, O. (1975): Los "todos" y las partes. Una teoría general de la conducta de sistemas, Fondo de cultura económica, México, 1ª ed. en español, 1ª ed. en polaco 1962. Larrú Ramos, J.M. (2000): La evaluación de los proyectos de cooperación al desarrollo de las ONGs españolas, Universidad San Pablo-CEU, Madrid. Larrú Ramos, J.M. (2003): “Empoderamiento y participación en la evaluación de acciones de cooperación al desarrollo: del discurso teórico a la práctica española”, III Conferencia de la SEE, Jerez de la Frontera., 12 a 14 de noviembre de 2003. Laszlo, E. y Bertalanffy, L. von (1981): "Hacia una filosofía de sistemas", Cuadernos teorema. Latiesa, M. (edit.) (1991): El pluralismo metodológico en la investigación social: ensayos típicos, Universidad de Granada. LeCompte, M.D. (1995): “Un matrimonio conveniente: diseño de investigación cualitativa y estándares para la evaluación de programas, RELIEVE, vol. 1, n.1. Consultado en http//www.uv.es/RELIEVE/v1/RELIEVEv1n1.htm en 2004. Leurs, R. (1993): “Resource Manual for Trainers and Practitioners of Participatory Rural Appraisal”, Papers in the Administration of Development, nº 49, Development Administration Group, Birmingham University, Birmingham. Levi-Strauss, C. (1978): Criterios científicos en las disciplinas sociales y humanas, Teorema, Valencia. Lewis, J., et al. (1988): “Strengthening the Poor: What Have We Learned? Overseas Development Council”, U.S.-Third World Policy Perspectives, nº 10, Washington, D.C. Lewis-Beck, M.S. (1994): Research parctice, Sage, California. Lopez de Ceballos, P. (1987): Un Método para la Investigación acción participativa, Popular, Madrid. Lotka, A.J. (1925): Elemensts of Mathematical Biology, Dover, Nueva York. Lucas, R.E. (1968): Modelos de ciclos económicos, Alianza, Madrid. Lucas, R.E. (1969): Introducción a la economía cibernética, Siglo XXI, Madrid, 1ª ed. en polaco 1965, 1ª ed. en español 1969.

292

Mª JOSÉ ASENSIO COTO.

Luenberger, D.G. (1979): Introduction to Dynamic Systems. Theory, Models, and Applicationes, John Wiley and Sons, Nueva York. Luhmann, N. (1983): Fin y racionalidad en los sistemas, Editorial Nacional, Madrid, 1ª ed. en español, 1ª ed. en alemán 1968. MacDonald, B. (1987): “Evaluation and the control of education”, en R. Murphy y H. Torrance (eds.), Issues and Methods in Evaluation, Paul Chapman. Londres. MacDonald, B. y Walker, R. (1974): SAFARI One: Innovation, Evaluation, Research and the Problem of Control. CARE, University of East Anglia, Norwich. Madaus, G.F. et al. (1991): Evaluation Mo-dels. Viewpoints on Educational and Human Services Evaluation, Kluwer-Nijhoff Publishing, Hingham, Mass. Mager, R.F (1973): Análisis de metas, Trillas, México. Mairate, A. (2003): “La evaluación de los fondos estructurales: aspectos metodológicos y teóricos”, en Ogando Canabal, O. y Miranda Escolar, B. (2003): Evaluación de programas e iniciativas comunitarias: experiencias, nuevas orientaciones y buenas prácticas, Instituto de Estudios Europeos, Universidad de Valladolid, Valladolid. Marsden, D. y Oakley, P. (eds.), (1990): Evaluating Social Development Projects, Development Guidelines No. 5, Oxfam, Oxford. Marsden, D.; Oakley, P. y Pratt, B. (eds.) (1994): Measuring the Process: Guidelines for Evaluating Social Development, International NGO Training and Research Centre, Oxford. Martín Serrano, M. (1975): "Aplicación de la teoría y el método sistemático en ciencias sociales", Revista española de la opinión pública, nº 39, enero-marzo, Instituto de la Opinión Pública. Martínez Argüelles, S. y Vázquez, J.A. (coord.) (2000): La erradicación del chabolismo en Gijón. Análisis de su evolución y evaluación económica, Civitas, Madrid. Martínez Argüelles, S.; Dávila, M. y Vicente, M.R. (2003): “Una aproximación a la evaluación económica de las políticas

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

293

sociales. El caso del Servicio de Ayuda a Domicilio”, Revista del Ministerio de Trabajo y Asuntos Sociales, 41, Madrid. Martínez, S. y Requena, A. (1986): Dinámica de sistemas, 1: Simulación por ordenador, 2: Modelos, Alianza Editorial, Madrid. Marvin, K.E. y Hedrik, J.L. (1974): “GAO Helps Congress Evaluate Programs”, Public Administration Review, pp. 34: 327-332. Mascarenhas, J. (1992) “Participatory Rural Appraisal and Participatory Learning Methods: Recent Experience from MYRADA in South India,” Forest, Trees and People Newsletter, February. Masselot, C. (2004): Accessibilité et qualité des systèmes d'informations multimédia: transfert méthodologique et technologique, Tesis Doctoral, Universidad de Franche-Comté, http://archivesic.ccsd.cnrs.fr/sic_00001282.html<fontfamily Mayntz, R.; Holm, K. y Hübner, P. (1985): Introducción a los métodos de la sociología empírica, Alianza, Madrid, 4ª ed., 1ª ed. en alemán 1969. MEANS (1999): Evaluer Luxemburgo.

les

programmes

socio-economiques,

Miedes Ugarte, B. (1993): "La ausencia de soluciones nuevas: crisis en la ciencia económica", en De Paz Báñez, M.A. (1993). Miedes Ugarte, B. (1996): "La concepción compleja de la ciencia en economía", Tesis de licenciatura, Universidad de Sevilla, Mimio. Miles, M.B. y Huberman, A.M. (1994): Qualitative Data Analysis, SAGE, Londres. Miller, J.G. (1955): "Toward a General Theory for the Behavioral Sciences", American Psychologist, vol. 10, pp. 513-531. Ministerio de Asuntos Exteriores (2001): Metodología de Evaluación de la Cooperación Española II, Secretaría de Estado para la Cooperación Internacional y para Iberoamérica, www.aeci.es/ope/Evaluacion/archivos_metodologia/Metodol ogia2.pdf.

294

Mª JOSÉ ASENSIO COTO.

Ministerio de Trabajo y Asuntos Sociales (2000): La evaluación de las políticas de ocupación, Colección Informes y Estudios, serie Empleo, nº 11, Madrid. MIT (1985): System Dynamics Newsletter, vol. 21, enero 1983diciembre 1984, Massachusetts. Mohr, L.B. (1995): Impact Analysis for Program Evaluation, SAGE Publications, Thousand Oaks. Molina, J.L. y Marsal Serra, M. (2005): La gestión del conocimiento en las organizaciones, Librosenred.com. Monnier, E. (1995): Evaluación de la acción de los poderes públicos, Ministerio de Economía y Hacienda, Madrid. Morris, K. (1972): El pensamiento matemático de la Antigüedad a nuestros días, III, Alianza Universidad, Madrid. Navarro, P. (1996): "El fenómeno de la complejidad social humana", Curso de Doctorado Interdisciplinar en Sistemas Complejos, Facultad de Informática de la UPV, 7 y 8 de noviembre, San Sebastián. Nevo, D. (1983): “The Conceptualization of Educational Evaluation: An Analytical Review of the Literature”, Review of Educational Research, 53, 1, 117-128. Newell, R. (1993): "Questionnaires", en Gilbert, N. (1993). Nioche, J.P. (1982): “Science Administrative, Management Public et Analyse des Politiques Publiques”, Revue Française d´Administration Publique, 24, pp. 9-23. Niremberg, O.; Brawerman, J. y Ruiz, V. (2000): Evaluar para la Transformación. Innovaciones en la evaluación de programas y proyectos sociales, Paidos, Buenos Aires. Norris, N. (1993): Understanding Educational Evaluation, School of Education, University of East An-glia, Londres. Observatorio Local de Empleo (2001): “La observación estratégica y la evaluación participativa como instrumentos para el análisis de la realidad. La experiencia del Observatorio Local de Empleo (OLE) de la Universidad de Huelva”, Portularia. Revista de Trabajo Social, vol. 1, Universidad de Huelva, Huelva.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

295

Observatorio Local de Empleo (2002): "Informe sobre el estudio de la población gitana en la ciudad de Huelva", mimeo. OCDE (1997): Guidelines on Best Practices in Evaluation, Programa PUMA, París. Ogando Canabal, O. y Miranda Escolar, B. (2003): Evaluación de programas e iniciativas comunitarias: experiencias, nuevas orientaciones y buenas prácticas, Instituto de Estudios Europeos, Universidad de Valladolid, Valladolid. ONUDI (1972): Pautas para la evaluación de proyectos, Organización de las Naciones Unidas para el Desarrollo Industrial, Nueva York. Orenstein, A. y Phillips, W.R. (1978): Understanding Researchs: an Introduction, Allyn and Bacon, Boston.

Social

Ortegón, E.; Pacheco, J.F. y Prieto, A. (2005): Metodología del Marco Lógico para la planificación, el seguimiento y la evaluación de proyectos y programas, CEPAL, Serie Manuales, 42, Santiago de Chile. Palumbo, D.J. (1987): The Politics of Program Evaluation, Sage, Beverly Hills. Parlett, M. y Hamilton , D. (1977): “Evaluation as illumination: A new approach to the study of innovative programmes”, en Hamilton, D. et al. (eds.) (1977): Beyond the numbers game, MacMillan, Londres. Parra Luna, F. (1979): Sistema sociopolítico y seguridad social. Una aplicación del paradigma sistémico al estudio de la Seguridad Social en España, Index, Madrid. Parra Luna, F. (1980): Balance social y progreso empresarial. Aplicación de la Teoría de Sistemas a un ejemplo cifrado de Balance Social de la Empresa, Cirde, Madrid. Parra Luna, F. (1983): Elementos para una teoría formal del sistema social, editorial de la Universidad Complutense, Madrid. Pasqual, J. (1999): Evaluación de políticas y proyectos. Criterios de valoración económicos y sociales, Icaria, Barcelona. Patton, M.Q. (1978): Utilization-Focused Publications, Thousand Oaks.

Evaluation,

Sage

296

Mª JOSÉ ASENSIO COTO.

Patton, M.Q. (1985): Culture and Evaluation, Jossey-Bass, San Francisco. Patton, M.Q. (1987): How to Use Qualitative Methods in Evaluation, Sage Publications, Newbury Patk. Patton, M.Q. [1980], Qualitative Evaluation Methods. Beverly Hills, CA: Sage. Pearce, D.; Foster, V.; Mourato, S.; Ozdemiroglu, E y Dobson, E. (1998): “What is the Economic Value of the Charitable Sector”, Dimensions of the voluntary sector: Key Facts, Figures Analysis and Trends, Charities Aid Foundations, Kent. Pérez Juste, R. y García Ramos, J.M. (1.989): Diagnóstico, evaluación y toma de decisiones, Rialp, Madrid. Perroux, F. (1984): El desarrollo y la nueva concepción de la dinámica económica, Serbal-UNESCO, Barcelona. Piaget, J. et al. (1972): Epistemología de las Ciencias Humanas, Proteo, Buenos Aires. Piaget, J.; Mackenzie, P.; Lazarsfeld, F. et al. (1982): Tendencias de la investigación en las ciencias sociales, Alianza, Madrid, 1ª ed. español 1973. PNUD (1997): Who Are the Question-makers? A Participatory Evaluation, University of Texas Press, Online: http://intra.undp.org/eo/methodology/methodology.html Porras, J.I. (1998): Análisis de flujos. Método para diagnosticar y administrar el cambio organizacional, Addison Wesley Iberoamericana, Wilmington. Quivy, R. y Campenhoudt Van, L. (1992): Manual de investigación en ciencias sociales, Limusa, México. Rahman, M.A. (1991) "El punto de vista teórico de la IAP", en Fals Borda et al. (1991). Ramírez, O. (2002): Evaluación comparativa de programas de formación ocupacional. Barcelona-Táchira, Tesis Doctoral, Universidad Autónoma de Barcelona. Rapoport, A. (1963): "Remarks on General Systems Theory", General Systems, vol. 8, pp. 123-128.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

297

Rapoport, A. (1968): "Foreword", en Buckley, W. (dir.), Modern Systems Research for the Behavioral Scientist, Aldine, Chicago. Rappaport, J. (1984): “Studies in empowerment: Introduction to the issue”, Prevention in Human Service, nº 3, pp. 1-7. Requena Santos, F. (1996): “Redes sociales y cuestionarios”, Cuadernos metodológicos, nº 18, CIS, Madrid. Rifkin, J. (1980): Entropía. Hacia el mundo invernadero, Urano, Barcelona, 2ª edición. Rincón Vega, J.M. (1985): Diseño e informatización de sistemas de información económica, Ed. Universidad del País Vasco, Bilbao. Robbins, L. (1980): Ensayo sobre la naturaleza y significación de la Ciencia Económica, Fondo de Cultura Económica, México, 1ª ed. 1932. Robinson, M. y Thin, N. (1994): “Project Evaluation: A Guide for NGOs”, Overseas Development Administration, London. Robinson, M. (1991): “Participatory Impact Evaluation: Reflections from the Field”, Paper the Development Studies Association Meeting, 11-13 September, Swansea. Rodríguez Gómez, G.; Gil Flores, J. y García Jiménez, E. (1996): Metodología de la investigación cualitativa, Ediciones Aljibe, Málaga. Rodríguez Illera, J.L. (1985): Pedagogía, cibernética y ciencias sociales, ICE, Barcelona. Rodríguez, J.A. (1995): “Análisis estructural y de redes”, Cuadernos metodológicos, nº 16, CIS, Madrid. Rojas, J.R. (2002): “Investigación – Acción participativa (IAP)” en La iniciativa de comunicación, www.comminit.com/la/modelosdeplaneacion/lapm/lasld569.html. Roosen-Runge, P.H. (1966): "Towward a Theory of Parts and Wholes: An Algebraic Approach", General Systems, vol. 11, pp. 13-18.

298

Mª JOSÉ ASENSIO COTO.

Rossi, P.H. y Freeman, H.E. (1985): Evaluation: A Systematic Approach, Sage, Beverly Hills, CA. Rossi, P.H. y Freeman, H.E. (1989): Evaluación. Un enfoque sistemático para programas sociales, Trillas, México. Rossi, P.H. y Wright J.D. (1984): “Evaluation Research. An Assessment”, Evaluation Studies Review Annual, vol. 11. Rowlands, J. (1995): “Empowerment Examined,” Development in Practice, vol. 5, nº 2. Rudner, R.S. (1980): Filosofía de la ciencia social, Alianza, Madrid, 2ª ed., 1ª ed. en inglés 1966. Rugh, J. (1986): “Self-Evaluation: Ideas for Participatory Evaluation of Rural Community Development Projects”, World Neighbours, Oklahoma. Ruiz Olabuénaga, J.I. y Ispizua, M.A. (1989): La descodificación de la vida cotidiana. Métodos de investigación cualitativa, Universidad de Deusto, Bilbao. Ruthman, T. (1977): Planing Useful Eavaluations. Evaluability Assessment, Sage, Baberly Hills. Salazar, M.C. (1992) La investigación acción participativa. Inicios y desarrollos, Edit. PopularOEI, Madrid. Sampedro, J.L. y Martinez Cortiña, R. (1969): Estructura económica, Teoría básica y estructura mundial, Ariel, Madrid, 4ª ed. 1975. Sanches Carrión, J.J. (1995): Manual de análisis de datos, Alianza Universidad, Madrid. Sánchez, M. (1986): Metodología y práctica de la participación, Popular, Madrid. SCF (1995): Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation, Development Manual 5, Save the Children Fund, Londres. Schumpeter, J.A. (1971): Historia del análisis económico, Ariel, Barcelona. Scriven, M. (1967): “The Methodology of Evaluation”, en Tyler, R.; Gagne R. y Scriven, M. (eds.) (1967): Perspective of Curriculum Evaluation, Rand McNally, Chicago.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

299

Scriven, M. (1973): “Goal-Free Evaluation”, en House, E.R. (ed.) (1973): School Evaluation: The Politics and Process, Berkeley CA., McCutchan, pp. 319-328. Scriven, M. (1974): “Prose and Cons About Goal-Free Evaluation”, Evaluation Comment, 3, pp. 1-4. Segone, M. (1998): “Evaluación democrática”, UNICEF, Oficina regional para América Latina y Caribe, Documento de trabajo nº 3, mayo, Santafé de Bogota. Selltiz, C.; Jahoda, M.; Deutsch, M. y Cook, S.W. (1976): Métodos de investigación en las relaciones sociales, 8 º edición, Rialp, Madrid. Sengupta, S.S. y Ackoff,R.L. (1965): "Systems Theory from an Operational Research Point of View", Trans. IEEE, vol. SSC-1, nº 1. pp.9-13. Serrano, C. y Raczynski, D. (2002): “La función de Evaluación de Políticas Sociales en Chile”, Asesorías para el desarrollo, http//www.asesoriasparaeldesarrollo.cl. Shannon, C.E. y Weaver, W. (1949): The Mathematical Theory of Communication, Universidad de Illinois, Urbana. Shutter, A. (1985): La investigación acción, Crefal, México. Sierra Bravo, R. (1992): Técnicas de investigación social, Paraninfo, Madrid, 8ª edición. Simanowitz, A. (2001): “Una Revisión de Herramientas Evaluación de Impacto”, Mejorando el Impacto de Microfinanzas en la Pobreza. Programa de Investigación Acción, Institute of Development Studies, University Sussex. Simons, H. (1999): Evaluación escolares, Morata, Madrid.

democrática

de las de of

instituciones

Smith, E.R. y Tyler, R.W. (1942): Appraising and Recording Student Progress, Harper & Row, Nueva York. Soler, J.R. (1999): La Participación Democrática de la Comunidad Educativa en la Administración-Gestión del Centro Escolar: El Consejo Escolar. Tesis doctoral. Departamento de Pedagogía Aplicada, Facultad de Ciencias de la Educación, Universidad Autónoma de Barcelona. Mímeo.

300

Mª JOSÉ ASENSIO COTO.

Sorman, G. (1991): Los verdaderos pensadores de nuestro tiempo, Seix Barral, Barcelona, 2ª edición 1991. Spiegel, H.W. (1990): El desarrollo del pensamiento económico, Omega, Barcelona. Stake, R.E. (1975): “Program Evaluation: Particularly responsive evaluation”, Occasional Paper, nº 5, noviembre, Kalamazoo: Centro de Evaluación Universidad de Western Michigan. Stufflebeam, D.L. et al. (1971): Educational Evaluation and Decisión Making, Etasca, Peacock. Stufflebeam, D.L. y Shinkfiel, A.J. (1993): Evaluación sistemática. Guía teórica y práctica, Paidós, Barcelona. Subirats, J. (1996): “Democracia: Participación y eficiencia”, Gestión y análisis de políticas públicas, nº 5-6, pp. 35-44. Sudman, S. y Bradburn, N.M. (1987): Asking Questions, Jossey Bass, San Francisco. Tenbrink, T. D. (1981): Evaluación. Guía práctica para profesores, Narcea Ediciones, Madrid. Terceiro, J.B. (1976): Estructura económica. Teoría general y técnicas básicas, Pirámide, Madrid. Tesch, R. (1990): Qualitative Research, Falmer Press, Nueva York. Thoris, G. (1997): Analyse économique des systèmes, Armand Colin, París. Trochim William M.K. (1996): “Developing an evaluation culture”, Http://trochim.human.cornell.edu/kb/evalcult.htm. Turner, J.C. (1981): Matemática moderna aplicada. Probabilidades, estadística e investigación operativa, Alianza, Madrid, 3ª ed. en español, 1ª ed. en inglés 1970. Tyler, R. (1973): Principios básicos del currículo, Troquel, Buenos Aires. Tyler, R.; Gagne R. y Scriven, M. (eds.) (1967): Perspective of Curriculum Evaluation, Rand McNally, Chicago. Ulises

Moulines, C. (1991): Pluralidad y recursión. Estudios epistemológicos, Alianza Universidad, Madrid.

EVALUACIÓN DE PROYECTOS SOCIOECONÓMICOS.

301

Uphoff, N. (1991): “A Field Methodology for Participatory SelfEvaluation,” Community Development Journal, vol. 26, nº 4. USAID (1989): “Methodologies for Assessing the Impact of Agricultural and Rural Development Projects: A Dialogue”, AID Program Design and Evaluation Methodology Report, nº 11, Washington, D.C., Junio. Vedung, E. (1997): Evaluación de Políticas Públicas y Programas, Ministerio de Trabajo y Asuntos Sociales, Instituto Nacional de Servicios Sociales, Madrid. Villasante, T.R. (coord.) (1996): Métodos y Técnicas de Investigación y Participación, Red CIMS, Madrid. Villasante, T.R. (1993) "Aportaciones básicas de la IAP a la Epistemología y a la Metodología", Documentación Social, nº 92, Madrid. Villasante, T.R. (1994): "De los movimientos sociales a las metodologías participativas", en Delgado, J.M. y Gutierrez, J. (1994). VV. AA. (1991): “Evaluación de Programas”, Bordón, monográfico, vol. 43, 4. VV. AA. (2001): VII Seminario sobre gestión pública local: evaluación y control de políticas públicas. Indicadores de gestión, Ayuntamiento de Gijón, Gijón. Weiss,

R.S. (1972): Investigación evaluativa. Métodos para determinar la eficiencia de los programas de acción, Trillas, México.

Weiss,

C.H. (1983): Investigación evaluativa. Métodos para determinar la eficiencia de los programas de acción, Trillas, México.

Weiss,

C.H. (1996): Investigación evaluativa. Métodos para determinar la eficiencia de los programas de acción, Trillas, México, 3ª reimpresión de la 2ª ed. en español, 1ª edición en inglés 1975.

Weiss, R.S. (1997): A.D.D. and Creativity: Taping Your Inner Muse, Publishing Company, Taylor, Dallas. Wholey, J.S. et al. (1975): Federal Evaluation Policy: Analysing the Effects of Public Programs, Urban Institute, Washington, DC.

302

Mª JOSÉ ASENSIO COTO.

Wiener, R. (1948): Cybernetics of Control and Communication in the Animal and the Machine, John Wiley and Sons, Nueva York. Wilden, A. (1972): Sistema y estructura, Alianza, Madrid. Winter, R. (1989): Learning from experience, Falmer Press, Londres. World Bank Group (2002): “Glossary of Key Terms in Social Analysis”, http://inweb18.wordbank.org. Worthen, B.R.; James R.S. y Fitzpatrick, J. (1997): Program Evaluation: Alternative Approaches and Practical Guidelines, White Plains, Nueva York, 2° Edición.