Proyecto de evaluación de programas by 1991carmen

2014

Metodología de Evaluación de Sistemas, Centros y Programas

“Aprendiendo juntos” Profesora: Raquel Barragán

Grupo 3 Jiménez Navas, Silvia Marcos Jiménez, Ignacio Pecellín Marchena, Roberto C. Real Benítez, Isabel Reina Utrera, Carmen Mª

ÍNDICE INTRODUCCIÓN ............................................................................................................................. 1 1. FUNDAMENTACIÓN TEÓRICA ................................................................................................... 1 Definición de Evaluación de Programas. ............................................................................... 1 Características de la Evaluación de Programas. .................................................................... 2 Momentos de la Evaluación de Programas. .......................................................................... 2 Teorías de la Evaluación de Programas ................................................................................. 3 Tipos de Evaluación de Programas........................................................................................ 5 Técnicas de Evaluación de Programas. ................................................................................. 7 Criterios de la Evaluación de Programas. .............................................................................. 9 Fases de la Evaluación de Programas. ................................................................................. 10 Componentes Fundamentales de la Evaluación Programas. .............................................. 13 2. IDENTIFICACIÓN DEL OBJETO DE EVALUACIÓN ...................................................................... 14 2.1 Presentación del programa que vaya a ser objeto de la evaluación: ............................... 14 OBJETIVOS ........................................................................................................................... 14 CONTENIDOS ....................................................................................................................... 14 METODOLOGÍA.................................................................................................................... 15 ACTIVIDADES ....................................................................................................................... 15 Caracterización de los destinatarios o protagonistas del objeto de la evaluación ................. 20 3. DELIMITACIÓN DEL CONTEXTO DE LA EVALUACIÓN .............................................................. 22 3.1 Contexto histórico y geográfico donde se enmarca el objeto de evaluación: .................. 22 3.1.1. Origen y evolución del centro-institución. ................................................................ 22 3.1.2. Carácter y líneas de trabajo. ..................................................................................... 23 3.1.3. Ubicación geográfica: zona, barrio, población etc. ................................................... 23 3.2 Contexto humano donde se desarrollará el proceso de evaluación................................. 24 4. DISEÑO DEL PROYECTO DE EVALUACIÓN ............................................................................... 25 4.1 ¿Para qué vamos a evaluar?.............................................................................................. 25 4.2 ¿Desde qué perspectiva vamos a evaluar? ....................................................................... 26 4.3 ¿Qué vamos a evaluar? ..................................................................................................... 27 4.4 ¿Cómo vamos a evaluar? .................................................................................................. 29 4.5 ¿Qué instrumentos vamos a emplear? ............................................................................. 31 4.6 ¿Cómo vamos a analizar los datos? .......................................................................... 33 5. RESULTADOS Y CONCLUSIONES .............................................................................................. 34 6. REFERENCIAS BIBLIOGRÁFICAS .............................................................................................. 36

INTRODUCCIÓN El proyecto de evaluación de programas que desarrollaremos a continuación, tratará de explicar de forma clara y sencilla, todos los pasos realizados por el grupo para conseguir los objetivos marcados. Para ello primeramente haremos referencia a una fundamentación teóricas que nos servirá como guía y base en todo el desarrollo del proyecto de evaluación. Tras esto, llevaremos a cabo una descripción del objeto evaluado, en este caso un programa de intervención, y el contexto en el que se llevo a la práctica. Tras la contextualización de la evaluación, pasaremos a describir el diseño y planificación de la evaluación (qué, para qué, cómo vamos a evaluar el programa y el posterior análisis de los datos). Por último, expondremos las conclusiones del trabajo realizado.

1. FUNDAMENTACIÓN TEÓRICA Definición de Evaluación de Programas.

El término de evaluación es uno de los más utilizados por los profesionales de la educación. Podemos mencionar definiciones como la de Comité (1988) que entiende la evaluación como un “enjuiciamiento sistemático sobre el valor o mérito de un objeto, para tomar decisiones de mejora”. Pero centrándonos ya en lo que respecta a la definición propiamente de evaluación de programas, podemos seguir la que nos proporciona Pérez (1995), entendiendo la evaluación de programas como un proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa, una información valiosa, válida y fiable que nos orienta para poder valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora, tanto del programa como del personal implicado y, de modo indirecto, del cuerpo social en que se encuentra inmerso. Una vez mostrada la definición de evaluación de programas según este autor es necesario volver a recalcar que la finalidad de la misma no es otra que

perseguir la mejora, hasta el más mínimo detalle de las acciones educativas teniendo como base la información.

Características de la Evaluación de Programas.

Una vez definido el concepto de “Evaluación de Programas” (Ortega, 2009), podemos hablar de una serie de características referentes del mismo:

Es un recurso de gran utilidad y orientado claramente a la mejora de las acciones educativas.

Se trata de una metodología científica aplicada.

Se entiende como un proceso sistemático, diseñado intencional y técnicamente.

La evaluación es un proceso de intervención dirigido a la toma de decisiones.

La información relevante, válida y fiable es un elemento de gran valor en el proceso de evaluación.

Se trata de una evaluación metódica, no un simple juicio.

El programa que se pretende evaluar tiene que cumplir una serie de requisitos: haber sido planificado, diseñado, implantado y ejecutado de forma sistemática.

Junto con el carácter sistemático, ha de primarse la flexibilidad metodológica a lo largo de todo el proceso de evaluación.

Tiene que responder a los plazos temporales establecidos.

Momentos de la Evaluación de Programas.

La evaluación de programas tiene tres grandes momentos, estos son: el inicial, la evaluación del programa en sí mismo; el programa en su desarrollo; y el finalmente, es el programa en sus resultados. El primer momento, el programa en sí mismo, está formado por tres dimensiones

y las cuales cada una de ellas tiene sus objetivos

correspondientes. Estas dimensiones son la calidad intrínseca de programa y que tiene como objeto el contenido del programa, la calidad técnica y la evaluabilidad. La siguiente dimensión es la adecuación a los destinatarios y que tiene como objeto dar respuestas a las necesidades y carencias, y su priorización. Y la última dimensión de este momento es la adecuación a la situación de partida y que tiene como único objetivo la viabilidad del programa.

El segundo momento, el programa en su desarrollo, está formado por dos dimensiones. La primera de las dimensiones es la ejecución del programa, que abarca las actividades, secuencias, la temporalización y la flexibilidad con que el programa se lleva a cabo. Y la segunda dimensión es el marco en el que desarrolla el programa, en la que se valora el clima social y la coherencia institucional.

El tercer momento, el programa en sus resultados, está formado por tres dimensiones. La primera de ellas, es la medida y los logros del programa que tiene como objetivo la constatación y contraste de los resultados de estos. La segunda dimensión es la valoración, que

con los criterios y referencias

adecuados, permitirá un juicio sobre los resultados obtenidos en la aplicación del programa.

Y la última dimensión es la continuidad, en la que se tiene como objetivo el crear nuevas decisiones y que se incorporen mejoras en el programa, pero siempre llevadas a cabo con un plan de seguimiento.

Teorías de la Evaluación de Programas

Según Chen (1990), la teoría de programas debe proporcionar orientaciones para identificar qué temas son los más importantes en una evaluación, qué método o métodos son los más relevantes, y sugerir cómo aplicar el método para alcanzar los objetivos propuesto en le evaluación.

El uso de una metodología u otra para la evaluación de programa dependerá de los propósitos de la evaluación, del estado de madurez del programa, de los recursos disponibles, de los intereses y necesidades de los patrocinadores y de los evaluadores y del medio político y organizativo del programa. Actualmente, cuando el debate metodológico

ha contribuido al

desarrollo de los métodos, se necesita un debate comprehensivo, general, teórico que vincule e integre las actividades de la evaluación a un nivel más general que el que consigue los modelos de evaluación de programas. Porque a medida que se ha ido desarrollando los modelos de evaluación de programas, se ha ido tomando consciencia de que las intervenciones de los programas sociales y educativos no trabajan, normalmente, de un modo predecible, y que los problemas a resolver no son sencillos. Los que toman decisiones prefieren solucionar o reducir los problemas más que iniciar cambios globales precipitados. Por ello, las evaluaciones que se centran solo en los resultados no son útiles, puesto que no informan para tomar decisiones al no indicar en qué dirección, en qué aspectos y de qué manera se debe incidir para conseguir mejores resultados. Un programa de intervención educativa o social supone un esfuerzo intencional y organizado para intervenir con el propósito de solucionar un problema y proporcionar un servicio. La estructuración

de los esfuerzos

organizados adecuadamente y dirigidos a la consecución de las metas deseadas supone que el programa opera bajo la teoría, aunque a veces esta teoría está implícita. La teoría está siempre implícita o explícita en la mente de los investigadores, y de los evaluadores. La teoría explícita proporciona una guía general para la elaboración del programa y explica cómo el programa organiza su funcionamiento, aunque pueda verse influida por prejuicios. La teoría, en la evaluación de programa, debe estar explícita. Weiss (1972) sugería que la utilización de los recursos de una evaluación podría verse reforzada si se incluyeran los siguientes elementos básicos: 1. Un análisis de las premisas teóricas del programa.

2. Una especificación de los procesos del programa para informar acerca de los vínculos entre los objetivos y las metas del programa. 3. Un análisis de las realizaciones del programa y de sus resultados. 4. Un informe detallado de cuáles son sus alternativas más efectivas que pueden ayudar a mejorar el programa, y cómo realizarlas.

Por otra parte, las dificultades implícitas en la puesta en prácticas de los programas proporcionan a los evaluadores grandes dificultades para desarrollar sus estrategias y sus marcos conceptuales de modo que les permitan hacer frente a los problemas, y ciertamente en las Ciencias sociales y en la educación, no pueden utilizarse los métodos de una manera estricta como en las Ciencias Físicas. En las Ciencias Sociales y en Educación no pueden los métodos de investigación aplicar si no es atendiendo a los propósitos, las circunstancias y los contextos en los que se desarrollan los programas.

Desde el punto de vista conceptual, los evaluadores no solo deben de informar de la realización de sus evaluaciones, sino que deben trabajar con los patrocinadores del programa para conocer y mejorar los modos de implementación del programa. Deben informar sobre los cambios del programa, qué criterios los fundamentan, qué estrategias se deben planificar para lograrlos, quiénes deben afrontar los cambios, y qué consecuencias se producirán para la mejora (De la Orden, 1996).

Tipos de Evaluación de Programas.

Según la Plataforma de ONG Acción Social, (2013, Noviembre) la evaluación tiene una gran diversidad de tipología, atendiendo al momento en el que se va a llevar a cabo, a su naturaleza, a las características del objeto evaluable, a los implicados y a los procesos que se utilizan. Por ello se pueden clasificar de la siguiente forma: 

Por su Ubicación temporal

Aunque anteriormente se tenía concebida únicamente la evaluación cómo aquel análisis realizado al final del proceso, este ha evolucionado una concepción mucho más compleja, en la que existe una evaluación continua. Atendiendo a la temporalidad, se pueden dividir de la siguiente forma:



Evaluación previa.

Evaluación simultánea u ongoing.

Evaluación final.

Evaluación posterior.

Por su objeto Evaluación que permite establecer una clasificación que acota el objeto

de estudio y las características especificas de su ámbito de aplicación. Este tiene la siguiente tipología: -Por el propósito. -Por naturaleza, su escala y sus niveles. 

Por su quién lo hace En este apartado se aborda todo lo relacionado con el agente evaluador.

Se distinguen tres tipos de evaluaciones en función del sujeto que la realice: -Evaluación externa: está realizada por especialistas ajenos al proyecto. -Evaluación interna: es aquella que realizan las mismas personas que han desarrollado el proyecto. -Evaluación mixta: se trata de una combinación de las dos anteriores. -Evaluación participativa: realizada por personas responsables del proyecto. 

Por los instrumentos Los datos cualitativos derivan de actitudes, percepciones, opiniones,

comportamientos, creencias, etc. Mientras que los datos cuantitativos consisten en cifras, tasas, variables, etc. Por ello se pueden dividir en: -Instrumentos cuantitativos. -Instrumentos cualitativos.

Técnicas de Evaluación de Programas.

Según la Plataforma de ONG Acción Social, (2013, Noviembre), la evaluación permitir la toma de decisiones que mejoren nuestra intervención actual o las futuras.

Las de evaluación son muchas y muy variados pero pueden resumirse en este cuadro:

TÉCNICAS

CUANTITATIVAS

CUALITATIVAS

PARTICIPATIVAS Análisis de

Encuesta

Observación

acontecimientos

estructurada

críticos.

Entrevista en Medición directa

Censo

profundidad o semi-

Ranking de riqueza o

estructurada

bienestar

Grupos de discusión

Matrices de clasificación y puntuación

Análisis económico-

Análisis documental

Diagramas de Venn

financiero

Las técnicas cualitativas y cuantitativas ponen énfasis en la medición objetiva. Las cualitativas se centran en la descripción y compresión interpretativas de la conducta humana en el grupo social donde actúa. Las técnicas participativas por su parte, parte de la implicación de la población en el desarrollo de las técnicas. Para que los datos recopilados tengan una mayor riqueza y fiabilidad es recomendable optar por la triangulación metodológica (cualitativa, cuantitativa y participativa), de forma que podemos contrastar la información. La triangulación

consiste en utilizar de distintos tipos de técnicas para analizar de forma completa la realidad.

 TÉCNICAS CUANTITATIVAS Las técnicas cuantitativas tienen un carácter puramente objetivo, persigue la generalización de resultados. Las principales técnicas cuantitativas son:  La encuesta.  La medición directa.  El censo.  Técnicas de Análisis Económico-financiero y Medición de Impacto.

 TÉCNICAS CUALITATIVAS Las técnicas cualitativas permiten obtener información relevante e inmediata sobre las percepciones de las partes de los implicados y las condiciones y procesos que pueden haber afectado el desarrollo de un programa. Las técnicas más usadas son las siguientes:  Observación estructurada.  Entrevistas.  Grupo de discursión.  Análisis documental.

 TÉCNICAS PARTICIPATIVAS Se caracteriza por requerir la interacción activa y continua entre el equipo evaluador y los agentes críticos a lo largo de todo el proceso del programa que se está evaluando.

Criterios de la Evaluación de Programas.

Los criterios de evaluación de un programa, nos indican cuales son los espacios intencionales que hay entre una serie de términos para su utilización, aplicación,…

Los criterios se pueden formular:

En término de unidades de mención, como: cuantificación métrica en términos de presencia/ausencia, frecuencia o valor.

En forma de argumentos o razones en las que se fundamente la valoración.

Pero para que la evaluación sea más acertada, según Tejada (2004) se va a lograr mediante una serie de criterios, tales como los siguientes:

Pertinencia. Que se adecue al programa, a la formulación y al contexto.

Actualización. Adecuación de los objetivos del programa a las necesidades reales.

Objetividad. Adecuado a las leyes y principios científicos.

Aplicabilidad. Que se

pueda llevar a la práctica los objetivos

propuestos. -

Suficiencia. El grado de satisfacción del programa hacia las necesidades detectadas.

Eficacia. Nivel de logro de los objetivos.

Eficiencia. Grado de implicación de los recursos humanos, materiales y funcionales.

Comprensividad. Si se ha logrado un grado de optimización.

Relevancia. Grado de importancia del programa para cubrir las necesidades individuales y sociales.

Coherencia.

Grado

adecuación

entre

sí

distintos

componentes-elementos de un programa.

La complejidad de la evaluación, se hace evidente a la lo analizado y justifica que una evaluación nunca es completa en sí misma. Por este motivo, la planificación tiene que hacer énfasis en los aspectos más significativos de cada realidad y momento evaluativo.

Fases de la Evaluación de Programas.

Según Hernández y Martínez (2013, Noviembre) encontramos seis fases en el proceso de evaluación de programas, siendo las siguientes:

1. Supuestos Teóricos. Antes de iniciar el diseño de evaluación de cualquier programa, hay que fijar los supuestos teóricos previos en los que se va a basar dicha evaluación. Se deben especificar aspectos como: la finalidad; los propósitos y objetivos de la evaluación; el papel del evaluador y el tipo de evaluación; los destinatarios; el tipo de información que se va a dar; el diseño de investigación en la evaluación y por último la utilidad y adecuación de la evaluación en el contexto al que va dirigido, que es

lo que en cierta medida matizará los

destinatarios y los responsables de tomar decisiones sobre el programa, teniendo en cuenta tanto la procedencia de la demanda del programa como la de la evaluación.

Estos aspectos, junto con las características del programa y las del contexto, nos servirán para determinar el modelo y tipo de evaluación de esta, una vez que se valide el programa y podamos pasar a precisar la metodología de evaluación.

2. Viabilidad. Esta segunda fase, junto con la siguiente, corresponde al momento de evaluación del diseño del programa. Aunque algunos autores prefieren

considerar

ambas como una fase única

evaluabilidad de la evaluación, la experiencia en la aplicación del modelo

reafirma en considerarlas como dos fases con entidad propia dentro del momento de la evaluación del diseño, ya que, cada una de ellas responde a una cuestión básica y secuenciada: ¿es un programa y un buen programa para este contexto? ¿Es un programa evaluable? Esta segunda

fase

divide

tres

aspectos

dimensiones

fundamentalmente: a) Características de la calidad formal/intrínseca del programa. b) La adecuación y adaptación al contexto. c) La aceptación.

Con

estos

aspectos

viabilidad

posible

conocer

las

características técnicas del programa y constatar si dicha intervención es adecuada y aceptable al contexto donde se dirige.

3. Validación o Evaluación. En esta tercera fase de la evaluación se pretende responder a la cuestión básica de si el programa reúne las condiciones para poder ser evaluado. Si con la superación del control de la fase anterior podemos afirmar que es realmente un programa porque responde a la estructura formal de lo que se considera como tal y es adecuado y aceptable al contexto y necesidades a los que se dirige e implica. En esta fase se pretende comprobar que los elementos formales están diseñados de tal forma que pueden ser evaluados, ya deben de reunir los requisitos.

4. Evaluación del Proceso. En esta fase se lleva a cabo el proceso de análisis de los datos y la toma de decisiones. El análisis girará en torno a la marcha del programa tanto en su adecuación a la programación previa como a los aspectos dinámicos y de relación del mismo. Tiene por tanto un carácter formativo e implica la realización de evaluaciones intermedias que permitan la retroalimentación del programa. En cada una de ellas se puede distinguir como fases sucesivas, la evaluación de la implementación y la evaluación del desarrollo.

a) Evaluación de la implementación. Consiste en evaluar ”qué” está funcionando del programa una vez que se ha puesto en marcha. El fin de esta fase es contrastar si hay o no discrepancias entre el diseño y la realidad. En caso afirmativo, realizar la adaptación pertinente, redefinir el programa para lograr su óptima y adecuada puesta en marcha. b) La

evaluación

desarrollo.

La evaluación

del

desarrollo explica el “cómo”, como diría Municio (1992). Se quieren saber qué requisitos debe cumplir el proceso de puesta en marcha para que se considere adecuado, correcto y acorde con un buen desarrollo del mismo.

Esta es la fase que resulta más difícil definir los criterios e indicadores porque es donde más claramente entra en juego la visión subjetiva del evaluador.

5. Evaluación de la Eficacia. En esta fase, la evaluación de la eficacia del programa de Orientación, trata de que se realice una evaluación de los resultados y efectos del programa. Como dirían Aguilar y Ander-Egg (1992) consiste en comprobar en qué medida se están alcanzando los resultados previstos y también los efectos y resultados no previstos. Se trata de recoger suficiente información para saber si el programa está o no consiguiendo los resultados esperados, a través de dos preguntas principalmente: ¿se están consiguiendo los resultados esperados? ¿Estos resultados guardan relación y concordancia con el programa diseñado?

Según la respuesta que se dé a estas preguntas, se pasaría a la realización de la última fase.

6. Informe. Esta última fase, consiste en la elaboración del informe donde quedan registrados y detallados todos los puntos anteriores.

Componentes Fundamentales de la Evaluación Programas.

La evaluación de programas tiene

según Pérez (2000) como

componentes fundamentales, los contenidos a evaluar, la información a recoger, la valoración de la información y la finalidad. En cuanto a los contenidos a evaluar se refiere a los componentes más importantes que conforman los procesos educativos. Después encontramos la información a recoger que debido al carácter técnico, tiene que estar muy bien diseñada, un buen orden en su recogida y organización. A continuación tenemos que tener en cuenta

la valoración de la

información, pues en ella diferenciamos los criterios dados a las diferentes unidades de información, y las referencias que se utilizan para hacer una crítica de la evaluación de los diferentes programas. Y por ultimo esta la finalidad que nos ayuda a elegir el camino para decir las mejoras, que desde una perspectiva educativa son los alumnos, los profesores o el centro educativo.

2. IDENTIFICACIÓN DEL OBJETO DE EVALUACIÓN 2.1 Presentación del programa que vaya a ser objeto de la evaluación: OBJETIVOS

Los objetivos generales y específicos abordados en el programa evaluado son: 2.1.1.1. Objetivo general -Mejorar la convivencia del centro 2.1.1.2. Objetivos específicos - Practicar las distintas normas de cortesía. -Mejorar la expresión de experiencias personales y emociones. -Desarrollar la asertividad en la relación con los compañeros y el profesor. -Trabajar los medios de comunicación apropiados a los distintos contextos.

CONTENIDOS

2.1.2.1. Módulo I: Normas de cortesía y medios de comunicación - Normas de cortesía en distintos contextos y en el aula. - Distintos tipos de comunicación y nivel influencia social de las mismas.

2.1.2.2. Módulo II: Valoración personal. - Conocimiento de uno mismo. - Logros personales, oportunidades y metas. - Conocimiento de uno mismo en la sociedad.

2.1.2.3. Módulo III: Conductas apropiadas para distintas situaciones.

- Conductas tipo para distintas situaciones. - Asimilación de conductas asertivas. - Sentimientos que se producen en la sociedad. - Despedida y valoración de lo realizado.

METODOLOGÍA.

La metodología llevada a cabo en el programa ha sido desarrollada a partir del ensayo de conducta, el modelado y la retroalimentación y reforzamiento. Asimismo, se ha realizado una puesta en común entre todos para aclarar las ideas, por lo tanto, se ha pretendido usar una metodología en el aula, en la cual, se fomente el aprendizaje cooperativo entre los miembros que la componen, además de trabajar los distintos tipos de comunicación en diversas situaciones de la vida cotidiana, haciéndolo todo de una forma significativa y colaborativo.

El ensayo de conducta es de las metodologías más empleadas para entrenar las habilidades sociales. Con este procedimiento se le presenta al alumno situaciones de la vida real que son problemáticas y la manera de afrontarlas. Y tiene como objetivo “centrarse en el cambio de una conducta como un fin en sí mismo y no como una técnica para identificar o expresar supuestos”. La metodología aplicada es la retroalimentación y reforzamiento, que son dos elementos fundamentales para desarrollar las habilidades sociales.

ACTIVIDADES

Actividad 1: “Qué sé realmente”

Se les distribuye a los alumnos una serie de pruebas o instrumentos para valorar lo que realmente saben sobre el programa.

Actividad 2: “Aprende imitando”

Se les lee a los alumnos una serie de situaciones problemáticas y estos tendrán que responder a las preguntas que posteriormente se les presente, para después realizar una puesta en común con el resto de sus compañeros.

Actividad 3: “Lo digo bien”

Se les da a dos alumnos unas series de situaciones de la vida diaria que deben de interpretar en clase por grupos seis y que tienen distintos niveles de comunicación, dejamos un tiempo para que los alumnos reflexionen, mientras, los demás compañeros tendrán que ver y apuntar cuales son correctas y cuales son incorrectas. Para terminar, se realiza una puesta en común entre todos para aclarar las ideas. Actividad 4: “Cómo me veo”

Se propone que cada alumno/a se identifique con un animal y una vez realizado este paso se pregunta los motivos de esa elección a cada alumno, teniendo estos que salir a la pizarra a contarle los motivos a sus compañeros. Después, los alumnos hacen la misma actividad

pero con un

compañero sin que ni él mismo ni nadie lo sepa, una vez hecho el dibujo se tratara de explicar qué tipo de animal o cosa es y porque lo ha escogido al resto de la clase en la pizarra, por último, la clase intentará adivinar de qué alumno se está hablando. Para terminar se intenta sacar conclusiones de lo que se ha hecho en clase entre todos.

Actividad 5: “El día de mañana”

El maestro reparte unos papelitos y se pide un minuto de reflexión para pensar cada uno lo que quiere ser de mayor De forma voluntaria se pide a los alumnos que cuenten a sus compañeros lo que quieren ser de mayor y cómo se han dibujado y se invita a algunos que recuerden lo dicho por otro compañero. El educador resume las profesiones que se han expresado y les pregunta el porqué quieren esa profesión, se hará una segunda ronda en la que cada uno expresa lo que más le gusta hacer y lo que mejor saben hacer Actividad 6: “Campaña publicitaria” Los alumnos intentan crear una campaña publicitaria en la cual sean capaces de vender a su pareja utilizando las mejores cualidades y características de su compañero para poder “venderlo a su clase”, se pueden utilizar dibujos, viñetas, frases, o cualquier aspecto positivo de su compañero. Después, se les que se vuelvan a reunir con su pareja y, estableciendo un cierto orden, saldrán juntos a exponer su campaña.

Actividad 7: “Actuar de forma correcta” Para empezar, se presentan distintas situaciones a modo de test y el alumnado tendrá que elegir de las tres opciones la correcta. La actividad se presenta a modo de debate. Como estamos a mediados de programa, preguntamos a los alumnos directamente si han visto algún cambio en su comportamiento o en la conducta de sus compañeros desde los inicios de las sesiones implementadas. Después de realizar el debate, se les preguntará a los alumnos qué le ha parecido la clase a modo de conclusión.

Actividad 8: “Cómo me ven”

Para empezar, se pone a cada uno de los alumnos una hoja de papel en la espalda para que sus compañeros escriban en esta todas las características o cualidades de su compañero. Luego se comenta en clase haciéndole a cada uno de los alumnos una serie de preguntas sobre lo que sus compañeros han escrito.

Actividad 9: “Soy así” Se distribuye una papeleta a cada uno con el nombre de un compañero. Y cada cual escribe en ella la cualidad (de forma anónima) que, a su parecer, caracteriza mejor al compañero que le ha tocado. Después cada alumno dirá a quién ha descrito, con qué cualidad y porqué, haciendo así una puesta en común

Actividad 10: “Juguemos al balón” Introduciendo un balón entre el grupo-clase. Los alumnos se ponen de pie y lo pasan al compañero mientras dice en alto una característica buena del mismo. Se terminará la actividad cuando toda la clase haya intervenido.

Actividad 11: “Me comporto adecuadamente” Se le pide al niño/a que, en grupo de seis personas invente cuatro situaciones problemáticas o conflictivas que se pueda dar en clase, recreo, casa o en el parque, una por cada grupo, después los alumnos las representaran a modo de “teatrillo” al resto de sus compañeros,

presentando la situación conflictiva (creada por ellos mismos) y posteriormente, la solución que ellos le darían a ese conflicto.

Actividad 12: “Me comporto según la situación”

Se le distribuyen a los alumnos una ficha en la cual se le presentan una serie de situaciones reales que se pueden dar en su vida diaria, para que ellos mismos cuenten, de forma sincera, cómo afrontarían dichas situaciones. A continuación, entre todos repasan cada una de las situaciones propuestas, para, de esta forma, llegar a una conclusión o respuesta global.

Actividad 13: “¿Cómo me hacen sentir los demás?”

Se escribe en la pizarra una serie de sentimientos tales como enfado, alegría, tristeza, timidez, miedo, cansancio, sorpresa y dolor. Se deja un tiempo para que, en grupos de tres personas, escojan una emoción de las expuestas en la pizarra e identifiquen una situación de su vida en la que se vea reflejada la emoción que previamente han elegido. A continuación, repartimos varias marionetas con las cuales, cada grupo debe representar mediante un teatro a sus compañeros la situación en la que se ve envuelta esa emoción. Para ir terminando la actividad, el resto de la clase, deberá adivinar qué emoción están representando sus compañeros en el “teatrillo” de marionetas.

Actividad 14: “Cómo me ha ido”

Se realiza una evaluación final de los resultados para poder contemplar si hemos alcanzado los objetivos.

Caracterización de los destinatarios o protagonistas del objeto de la evaluación

El programa de orientación presentado versará sobre las habilidades sociales en alumnos de cuarto de primaria del C.E.I.P. Adriano del Valle. Se llevará a cabo sobre todos los alumnos/as de este curso. El CEIP Adriano del Valle está situado en la barriada de La Plata, conocida también por “Su Eminencia, en la zona sureste de la ciudad de Sevilla. Las necesidades detectadas en la realización del programa son: 1. Comunicarse adecuadamente con los compañeros:

2. Dificultad para expresar sus sentimientos.

3. Respeto al profesor cuando está explicando.

4. Impuntualidad.

5. Dificultad para expresar las dudas.

Las expectativas que tenía el alumnado en referencia a los aprendizajes que iban a adquirir con respecto al programa eran:

Iban a “aprender” a no pelearse con los compañeros.

Resolver discusiones entre ellos.

Adquirir normas de cortesía.

Desarrollar

valores

tolerancia,

respeto,

colaboración,

compañerismo,… En cuanto a las preferencias, ideas e intereses son básicamente los mismos que las expectativas que se acaban de enunciar anteriormente.

3. DELIMITACIÓN DEL CONTEXTO DE LA EVALUACIÓN 3.1 Contexto histórico y geográfico donde se enmarca el objeto de evaluación: 3.1.1. Origen y evolución del centro-institución. La creación de esta barriada se remonta a los “años 40” del pasado siglo. Por aquel entonces empezaron a llegar familias de distintos pueblos de la provincia de Sevilla, y de otras provincias de Andalucía, Badajoz y Portugal que decidieron emigrar a la ciudad en busca de un futuro mejor. Cada vecino construyó su hogar como pudo, con los recursos de los que disponían. No había agua, ni luz, ni alcantarillado. A mediados de los “años 50”, comienza a construirse una segunda parte del barrio y ya en los “años 60”, un grupo de personas con ideas de izquierda, empezaron a movilizarse para pedir el alcantarillado, la luz y el agua. Los “70” fueron años donde la lucha continuaba, esta vez poniendo el énfasis en la necesidad de que en nuestra barriada se construyera un colegio, reivindicación el derecho a la educación, tras muchos años de esfuerzo. Desde el 77 éste se convierte en la única oferta socioeducativa del barrio hasta que en el 2005 se inaugura el Centro Cívico “Su Eminencia. En el año 1977 se crea el CEIP Adriano del Valle, como oferta educativa para todos los niños/as de este barrio, por lo que es un centro muy reciente. La historia del barrio ya llevado consigo unos cambios en el centro educativo, propiciando en él una gran diversidad cultural. La acción compensadora fue seña de identidad de este centro desde el curso 88/89 la Consejería de Educación de la Junta de Andalucía lo considera CAEP (Centro de Actuación Educativa Preferente), por la demanda social que tenía. En el curso 2006/07 se crea una Comunidad de Aprendizaje para dar respuesta a la realidad de esta escuela.

3.1.2. Carácter y líneas de trabajo.

El centro tiene como objetivos conseguir una escuela inclusiva, transformadora y dispuesta a mejorar la educación para que favorezca el cambio social y disminuya las desigualdades. Intentan elevar las expectativas y la autoestima del alumnado, fomentar la enseñanza entre iguales, en grupo, hacer desaparecer la exclusión social, integrar y asimilar las diferentes culturas y etnias dentro de la diversidad, para hacer frente a las necesidades de la sociedad actual.

3.1.3. Ubicación geográfica: zona, barrio, población etc.

El centro se encuentra en la barriada la Plata. La población de este barrio pertenece a un sector socioeconómicamente desfavorecido, con grave riesgo de exclusión social, a causa del alto índice de desempleo y economía sumergida. La calle donde se sitúa el centro es uno de los mayores puntos de tráfico y distribución de drogas de Sevilla. El grueso de la población se concentra en la franja que recoge a aquellas personas sin estudios, con notable diferencia respecto a aquellas que tienen el graduado escolar y mucho más contrasta con los que han realizado estudios medios o superiores. El índice de familias numerosas es bastante elevado, agudizándose los problemas con la convivencia en un mismo hogar de varias generaciones, especialmente entre la población migrada. La convivencia de distintas familias, por necesidades económicas, es la situación más habitual. Esta realidad tiene una incidencia muy concreta en el rendimiento escolar, pues el alumnado en edad escolar carece de espacio donde estudiar, no puede dormir las horas necesarias, etc. La barriada de La Plata se ha convertido en los últimos años en una zona receptora de familias migrantes de origen heterogéneo. La llegada continua de alumnado de otras culturas y lenguas a nuestro centro se viene

produciendo desde hace varios cursos con un aumento progresivo de alumnos/as, así como de países de origen.

3.2 Contexto humano donde se desarrollará el proceso de evaluación. El centro está compuesto por docentes de Educación Infantil y de Educación Primaria, además de todos aquellos especialistas. En cuanto al Equipo Directivo encontramos a:  Directora  Jefa de Estudios  Secretario En Educación Infantil encontramos 6 maestras que ejercen como tutoras de cada una de las clases 4 años, 5 años y 6 años, existiendo dos líneas. En cuanto a Educación Primaria el centro cuenta con 18 profesionales, que trabajan con las dos líneas que posee el centro. Los profesionales son:  12 Maestros/as tutores/as.  1 Especialista de Inglés.  1 Especialista de Música.  1 Especialista de Religión.  1 Especialista de E. Física.  2 PT

Todos ellos forman parte de los distintos órganos que se crean en el centro según les corresponda: equipo docente, equipo de ciclo, consejo escolar, claustro de profesores, coordinadores de proyecto.

4. DISEÑO DEL PROYECTO DE EVALUACIÓN 4.1 ¿Para qué vamos a evaluar?

Finalidad de la evaluación y objetivos evaluativos: Los objetivos generales que hemos abordado en nuestra investigación son: -

Comprobar la utilidad del proyecto llevado a cabo para la mejora de futuros proyectos.

Verificar si el proceso llevado a cabo en el proyecto

ha sido el

adecuado. -

Comprobar si los resultados obtenidos del programa llevado a cabo son los esperados.

En cuanto a los objetivos específicos que desarrollaremos serán:

Comprobar si las actividades guardan coherencia con los objetivos del proyecto.

Comprobar si la temporalización del diseño y de la implementación ha sido la adecuada.

Considerar

los

materiales

recursos

utilizados

para

implementación han sido los adecuados. -

Comprobar si el diseño y la implementación es acorde con el contexto.

Analizar si la metodología utilizada ha sido la adecuada.

Analizar la capacidad de adaptación del docente y el alumnado.

Analizar si ha causado efecto la implementación del programa en el alumnado.

Tipos de evaluación: Evaluación Interna y Evaluación Externa (Mixta)

La evaluación más apropiada para nuestro proyecto, es aquella que conjugue tanto con la evaluación interna como externa, es decir la evaluación mixta, porque pensamos que ayuda a analizar los aspectos mencionados en el apartado anterior desde diferentes perspectivas. Por ello, la elección de una evaluación mixta ha sido porque algunos de los miembros del equipo han colaborado directamente tanto en el diseño como en la implementación del programa, mientras que otros miembros no han participado, y por tanto, serán los que evalúen desde un punto de vista externo.

4.2 ¿Desde qué perspectiva vamos a evaluar? La perspectiva desde la que vamos a evaluar es desde la “Crítica”. Los roles que se derivan son: -

Para el evaluador: de Compromiso. Los evaluadores van a estar comprometidos con el proceso de evaluación. Para los participantes: los participantes no van a intervenir de forma activa en la evaluación del proyecto.

El enfoque metodológico derivado de la evaluación por la perspectiva crítica es el Mixto, ya que combina la evaluación cuantitativa y cualitativa. Dentro de la perspectiva crítica vamos a emplear el Modelo de Evaluación de Contraposición (Owens). Para ello vamos evaluar desde dos puntos de vista: - Desde un punto de vista interno: realizado por cuatro miembros del grupo que han diseñado y llevado a cabo el proyecto. - Desde un punto de vista externa: realizado por un miembro del grupo que no ha diseñado y llevado a cabo el proyecto. La toma de decisiones será un acuerdo de ambos grupos.

4.3 ¿Qué vamos a evaluar? En la siguiente tabla vamos a detallar las relaciones existentes entre las dimensiones, variables e indicadores:

Dimensiones

Variables Característica de la profesora Características del alumnado

Características del barrio Contexto Características del centro

Características de los padres

Diseño

Proceso

Presentación Objetivos Actividades Contenidos Metodología Evaluación Temporalización Temporalización

Nivel de adaptación:  Contexto  Imprevistos  Alumnado

Asistencia

Indicadores             

Metodología de enseñanza Nivel de motivación Experiencia Diversidad Edad Intereses Nivel de motivación Nivel socioeconómico Diversidad Demografía Líneas Estrategias de actuación Recursos humanos y materiales  Infraestructuras  Nivel de formación  Tipo de familia    

Claridad Coherencia Aplicabilidad Viabilidad

 Consecución del estimado para actividades  Consecución del estimado para explicaciones

tiempo las tiempo las

 Bajo  Medio  Alto  Número de alumnos/as por sesión  Coordinación

Grupo-docente

Producto

Objetivos

Alumnado:  Intereses:  Motivación:  Actitudes:  Aplicación de lo adquirido en clase  Capacidad de cambio en el alumnado

     

Adaptación Cohesión Flexibilidad Relación grupo-clase Consecución Objetivos imprevistos

 Bajo  Medio  Alto

4.4 ¿Cómo vamos a evaluar? En el siguiente apartado vamos a especificar los pasos a realizar, la fecha, las personas encargadas y el instrumento:

Pasos de la evaluación

Fecha

Personas encargadas

Instrumento

Evaluación del contexto

12/12/2013

Grupo interno

Entrevistas y cuestionarios

Evaluación del diseño

16/12/2013

Grupo interno y externo de evaluación

Interno: Documentos oficiales.

Grupo interno y externo de evaluación

Interna: Escala de estimación

Grupo interno y externo de evaluación

Interna: Pruebas de respuestas libres

Evaluación del proceso

Evaluación del producto

18/12/2013

20/12/2013

Externo: esquemas o guías (grupo de discusión)

Externa: guía o esquema (grupo de discusión)

Externa: Entrevistas

Evaluaci贸n:

4.5 ¿Qué instrumentos vamos a emplear? En relación con los indicadores que hemos establecido en el anterior apartado vamos a concretar qué tipo de instrumentos vamos a utilizar para evaluar los siguientes puntos: - Evaluación del contexto: Para este apartado evaluaremos las opiniones, valores e ideas tanto del docente, los discentes, como del centro. Para ellos el grupo interno va a emplear la técnica de las Encuestas u opiniones, utilizando instrumentos como son las entrevistas y cuestionarios hechos en la barriada, familiar, al director del centro, profesorado y alumnado.

Evaluación del diseño: Evaluaremos el diseño del programa de orientación a través de la técnica de análisis de documentos oficiales, como es el caso del mismo proyecto de orientación, diseñado por alumnos del 4º curso de la Licenciatura en Pedagogía de la Facultad de Ciencias de la Educación, de la Universidad de Sevilla, que realizarán la evaluación interna. De forma externa, un grupo de evaluadores que no han participado ni en el diseño ni en la implementación del programa de orientación, van a evaluar el diseño mediante grupos de discusión, para conocer en primera persona con la ayuda de un esquema, los criterios establecidos, como presentación, objetivos, actividades,…

Evaluación del proceso: Evaluaremos lo implementado desde dos formas, de forma interna y externa. De forma interna, a través de la observación, se va a pasar una escala de Estimación, donde vamos a evaluar la asistencia, coordinación, flexibilidad, temporalización….

De forma externa, el evaluador, va a realizar un grupo de discusión, donde mediante técnicas narrativas los que implementaron el programa le cuenten vivencias, anécdotas, sentimientos, siguiendo el evaluador una guía o esquema.

Evaluación del producto: Evaluaremos los resultados de la implementación del programa de forma interna mediante la técnica de pruebas, teniendo como instrumentos pruebas de respuestas libres para contrastar y verificar los resultados obtenidos, ya que se realizará al principio de la implementación y al final, pudiendo observar el cambio en los alumnos en cuanto a sus conocimientos y habilidades. De forma externa, el evaluador realizará también en dos tiempos, la obtención de la información. Esta se realizaría al comienzo del programa, en primer lugar entrevistas individuales a los alumnos y al final del programa, de forma grupal. Con ello se busca ver si hay mejora de los intereses, motivación y actitudes.

Ejemplo de instrumento para el proceso: 1

Temporalización ¿Se ajusta el tiempo a las actividades? ¿Se ajusta el tiempo a las explicaciones? ¿Se ajustan las sesiones a la temporalización? ¿Se ajusta el programa a la temporalización?

Asistencia ¿Es alto el número de alumnos por sesión? ¿Suelen la mayor parte de los alumnos/as a las sesiones?

Grupo-Docente ¿Se coordinan los docentes entre ellos? ¿Se adapta el grupo de docentes a las situaciones de las sesiones? ¿Se adapta el grupo de docentes a los alumnos/as? ¿Hay cohesión entre el grupo de docentes? ¿Son flexibles al cambio? ¿Hay buena relación con el grupo clase?

Baja

Media

Alta

Contexto ¿Se ha adaptado el programa al contexto? ¿Se ha adaptado el grupo docente al contexto?

Imprevistos ¿Se ha adaptado el grupo de docentes a los imprevistos que hayan ocurrido? ¿Se han adaptado los estudiantes a los imprevistos que hayan tenido lugar?

Alumnado ¿Se han adaptado los estudiantes a las sesiones programadas? ¿Se ha adaptado el programa a los estudiantes?

4.6 ¿Cómo vamos a analizar los datos? Para el análisis de la información recopilada en los instrumentos aplicados anteriormente, procederemos a utilizar tanto un análisis estadísticos como de contenido, ya que nuestra evaluación es mixta. En cuanto al análisis de contenido, se realizará con el fin de estudiar con detalle, el mensaje de la comunicación escrita, oral o visual. Para ello, se empleará el programa Atlas Tic. Este proceso de análisis de contenido, se desarrolla en tres fases: El pre-análisis, el aprovechamiento del material y el tratamiento de los resultados, es decir, la inferencia y la interpretación. Por otra parte, también se realizará un análisis estadístico, utilizando el programa SPSS. Este análisis requiere en una serie de etapas: - Vaciado y organización de la información obtenida. - Introducir esos datos en el programa para definir la matriz de datos. - Seleccionar la prueba estadística a emplear. Para ello, se considerará dos tipos de datos del que disponemos, el grupo que estamos examinando y su tamaño, el número de variables a estudiar, y la relación entre ellas. - Aplicación del programa estadístico. - Análisis de los resultados y conclusiones.

5. RESULTADOS Y CONCLUSIONES Teniendo en cuenta todos los apartados anteriores y suponiendo que hemos llevado a cabo la

evaluación del programa completo, vamos a

destacar los resultados tanto positivos como negativos que podríamos obtener en dicha evaluación. Por un lado, podríamos destacar como aspectos positivos, que nos ha ayudado a comprobar que el programa estaba dando respuestas satisfactorias a las necesidades por las que se diseñó; que nos puede ser útil para reformular el programa, actualizarlo e incorporar mejoras para futuras implementaciones. Además, la evaluación del programa nos ha aportado información sobre las limitaciones que este programa tiene a la hora de su implementación y la planificación del mismo guarda una coherencia adecuada con respecto a la puesta en práctica. En cuanto al diseño, podemos decir que tras la evaluación del mismo, se han obtenido datos positivos en lo que se refiere a su aplicabilidad y a la coherencia entre los elementos de este programa (objetivos, contenidos, actividades, temporalización). Por otro lado, señalando los aspectos más negativos de nuestra evaluación, podemos destacar, que la temporalización estimada para cada una de las actividades diseñadas no se cumplió en el posterior desarrollo del mismo, ya que no se tuvo en cuenta, desde un primer momento, las características de los destinatarios aunque, las actividades se adecuaban a las peculiaridades de la clase y el ritmo de trabajo era más rápido del previsto. Otro aspecto negativo referente a los resultados obtenidos sería el escaso impacto que tuvo el logro de los objetivos en la extrapolación a otras situaciones, es decir, los logros se pudieron observar durante el desarrollo de la clase pero no fuera del contexto escolar, debido al poco tiempo destinado a la implementación del programa.

Por último, mencionar que no se le dio importancia a la aparición de logros negativos imprevistos, ya que se obtuvieron en el análisis final un deterioro de algunos aspectos evaluados. En cuanto a la capacidad de coordinación del grupo, podemos decir que a pesar de no coincidir con el mismo horario de asignaturas, así como tampoco de domicilio de residencia, no hemos presentado ninguna dificultad en el momento de ponernos de acuerdo para organizarnos y para llevar a cabo el diseño de la evaluación del programa. Asimismo, estimamos la capacidad del grupo para la adaptación de las exigencias de la asignatura, adecuándonos tanto a las fechas de entregas como a todo el proceso llevado a cabo para la realización del programa.

6. REFERENCIAS BIBLIOGRÁFICAS

Ortega Medina (2009). El desarrollo de la Evaluación de Programas. Recuperado

día

octubre

2013

desde:

http://aborges.webs.ull.es/ep%20tema%202.pdf

Plataforma de ONG Acción Social, (2013, Noviembre). Guía de Evaluación de Programas y de Proyectos Sociales [Online] Disponible: http://www.plataformaong.org/planestrategico/ARCHIVO/documentos/6/6 .pdf. Hernández y Martínez (1996). Evaluación de Programas [Online].Disponible en: http://www.uv.es/RELIEVE/v2n2/RELIEVEv2n2_1.htm, X/X/2013.

Referencias web:

http://www.dipujaen.es/export/sites/default/galerias/galeriaDescargas/diputacion /dipujaen/formacion/centrodocumental/Evaluacixn_programas_de_formacixn.pd f http://www.plataformaong.org/planestrategico/ARCHIVO/documentos/6/6.pdf

http://revistas.um.es/rie/article/view/121001

http://www.uv.es/RELIEVE/v2n2/RELIEVEv2n2_1.htm pag 4

http://www.doredin.mec.es/documentos/007200230097.pdf

http://www.uned.es/educacionXX1/pdfs/01-04.pdf