Evaluación de implementaciónla del programa de Intervención Innovadora Educativa MAESTRÍA EN Ambientes, Sistemas y Gestión en Educación Multimodal
En esta fase se busca evaluar el nivel de implantación y los procesos del programa. Es decir, una vez puestas en marcha las actividades señaladas en el diseño del programa, la evaluación operacional debe continuar durante todo el proceso, y es necesario tomar en cuenta la participación de todos los colaboradores en el éxito de la ejecución. Se entiende que los programas son intervenciones sociales dirigidas a cambiar una situación que se considera anómala o injusta, y se fundan en una serie de hipótesis. Para lograr ese cambio y asegurar los resultados es necesario auxiliarse de la evaluación participativa. En consecuencia, la identificación de situaciones problemáticas y mejoras es la constante durante el proceso de ejecución, por ello es importante dirigir la atención hacia la información generada por la evaluación participativa para la toma de decisiones. Nota. Evaluación. Tomada de Pxhere, https://pxhere.com/es/photo/9177152017.
2 IMPLANTACIÓN Y SEGUIMIENTO DEL PROGRAMA DE INTERVENCIÓN INNOVADORA Evaluación de la implementación del programa de Inter vención Innovadora Educativa EVALUACIÓN DE INNOVADORAPROGRAMAIMPLEMENTACIÓNLADELDEINTERVENCIÓNEDUCATIVA
• Especificaciones de tratamiento
delParticipantesprogramadeCoordinadorlaevaluación
• Evaluación operacional
• Asegurar la implantación de las lecciones aprendidas que ayudarían al personal del programa a mejorar la implantación del programa en el futuro.
3 IMPLANTACIÓN Y SEGUIMIENTO DEL PROGRAMA DE INTERVENCIÓN INNOVADORA
• Trabaja en asociación con los participantes del programa en todas las fases del proceso de evaluación.
vención Innovadora
• Evaluación de componentes
• Ofrecer información sobre el uso de los recursos proporcionados, en qué proporción se han alcanzado los objetivos planteados y cómo se han realizado las actividades planificadas.
• Evaluación de esfuerzo
El primer aspecto desde lo administrativo se puede cubrir con los diferentes tipos de evaluación:
Evaluación de la implementación del programa de Inter Educativa La función del seguimiento y evaluación se puede resumir en dos aspectos:
• Generalmente externo al programa o a la organización.
• Son aquellos individuos que tienen una responsabilidad en el resultado de la evaluación. Representan personas que más adelante tomarán decisiones y utilizarán la información generada en el proceso de evaluación.
• Evaluación de resultado Sin embargo, para el segundo aspecto es necesaria la participación de los colaboradores y de la comunidad, es ahí donde realmente se generan las experiencias de la implantación del programa que servirán como antecedente para aplicaciones futuras. Es relevante identificar a los colaboradores que intervienen en el procedimiento participativo y, con ello, determinar la responsabilidad que tienen en la evaluación. Estos son los colaboradores que participan:
Evaluación de la implementación del programa de Inter vención Innovadora Educativa La evaluación participativa, como podemos observar, es un proceso sistematizado y analítico: sus resultados sirven para la toma de decisiones y, además, involucra la participación de todos los colaboradores. Por ello, es indispensable revisar qué elementos intervienen en este tipo de evaluación en el siguiente esquema: Nota. Evaluación participativa. Elaborado con base en Ausbel Judi, 2000. Manual de evaluación participativa del programa. Involucrando a los participantes del programa en el proceso de evaluación Publicación conjunta de Catholic Relief Services y Child Survival Technical Support
• Demanda un ejercicio de aprendizaje sistemático y una actitud de flexibilidad a lo largo de la evaluación.
Todo tipo de evaluación tiene una función específica y pueden presentar ventajas o desventajas, según cómo se aplique; y la evaluación participativa
Propósito de la participativevaluacióna Medir los cuantitativlogrosos Desarrollar lecciones aprendidas a integrarse al programa Enfoque para recoger informaciónla Análisis hólistico Dimensiones y preguntas adicionales emergen del proceso iterativo de aprendizaje Métodos de recoleccióninformaciónde Cualitativa y cuantitativa "Juicio subjetivo"
Participantes del programa (coordinadores externos) Participantes del programa (ejecutores)
4 IMPLANTACIÓN Y SEGUIMIENTO DEL PROGRAMA DE INTERVENCIÓN INNOVADORA
• Las técnicas utilizadas en este enfoque son de orden cualitativo (como la entrevista semiestructurada, los grupos focales o la observación participante). Facilitan la construcción y el análisis por parte de los mismos participantes.
• Las técnicas pueden aplicarse en un periodo relativamente corto de trabajo de campo, y centran la atención en aquellos tópicos específicos que se desee complementar o profundizar a partir de estudios anteriores, o de preguntas específicas en torno a la intervención.
Características de la evaluación participativa:
• Implica una actitud de escucha y de apertura frente al sujeto y al significado que le otorgue a las intervenciones sociales que están afectando su vida.
Responsabilidadderecoleccióndeinformación
Toma en cuenta los pasos para planificación de la evaluación participativa que propone Ausbel Judi (2000): Ventajas
vención
• Recolecta información directamente de las personas
participativaluaciónEva participativaluaciónEva
• Dificultades y problemas de movilidad, comunicación y conocimiento de los sectores más vulnerables, que pueden limitar su participación.
• Posibilita la loselpermanentretroalimentacióne,permitiendoajustedelaspolíticasyprogramasexistentes.
Evaluación de la implementación del programa de Inter Innovadora Educativa no es la excepción. En el siguiente esquema se presenta las ventajas y las limitaciones que se deben considerar durante su aplicación:
• Dificultades para asegurar la disponibilidad continua de las partes interesadas a lo largo de todo el proceso
Nota. Ventajas y limitaciones de la evaluación participativa. Elaborado con base en CEPAL, 2007. Guía metodológica para la evaluación participativa de políticas y programas, en el marco de la Estrategia Regional sobre el Envejecimiento. CELADE.
• Identifica temas emergentes no contemplados inicialmente por los tomadores de decisiones, en virtud de las técnicas utilizadas.
Limitaciones
Organización de los participantes en torno a un grupo de trabajo Definición de los aspectos de la evaluación. Identificación de fuentes y técnicas de recolección información.de Conclusión de la elaboración de la muestra de lugares para la recolección de información y de personas a encuestar Desarrollo instrumentdeos para la recolección información.de
5 IMPLANTACIÓN Y SEGUIMIENTO DEL PROGRAMA DE INTERVENCIÓN INNOVADORA
• Amplía las fuentes de (informacióncualitativa-cuantitativa).
• Capacitación y experticia para analizar y procesar la información cualitativa.
• la información recolectada es clasificada en categorías Relacionamientopredeterminadasentreelencuestador y los
6 IMPLANTACIÓN Y SEGUIMIENTO DEL PROGRAMA DE INTERVENCIÓN INNOVADORA Evaluación de la implementación del programa de Inter vención Innovadora Educativa Selección de la muestra de evaluación
Tamaño de la muestra: • muestra grande Tipo de muestra: • muestreo al azar Técnica de recolección de información: • cuestionario a llenarse individualmente Análisis de la información:
• muestra pequeña Tipo de muestra: • muestreo específico Técnica de recolección de información: • entrevistas individuales o en grupo, Análisisobservacióndela información: • la información recolectada es clasificada en categorías, que se identifican en las mismas Relacionamientorespuestas entre el encuestador y los •encuestados:menosformal, semiestructurada, se intenta llegar lo más cerca a la comunidad como sea posible Nota. Características de los métodos cuantitativos y cualitativos. Tomado de Ausbel Judi, 2000. Manual de evaluación participativa del programa. Involucrando a los participantes del programa en el proceso de evaluación. Para saber más sobre la selección de la muestra consulta: JPAL. (s. f.). Introducción a las evaluaciones. org/sites/default/files/documents/introduccion-evaluaciones.pdfhttps://www.povertyactionlab.
•encuestados:informal,estructurada, distante Tamaño de la muestra
Un enfoque de este tipo no requiere necesariamente de una muestra representativa de participantes, sino que puede trabajarse a partir de una selección deliberada de los mismos, que asegure la diversidad de los puntos de vista existentes en torno al tema de estudio. Sin embargo, es importante distinguir las características de los diferentes métodos de recolección de información cuantitativa y cualitativa, como se muestra en el siguiente cuadro: Características de los métodos cuantitativos y cualitativos Métodos cuantitativos Métodos cualitativos
Calidad de la información: puede ser interpretable y contribuye en la toma de Cumplimiento:decisiones. desfases, desajustes, flexibilidad; coherencia institucional; eficacia parcial; satisfacción de los implicados: agentes, colaboradores, destinatarios. Independencia: se pueda verificar de forma cuantificable si este se ha cumplido o no y en qué Verificabilidad:medida.se deberán verificar y tomar constancia sobre los cambios que se vayan produciendo en el proceso de Validez:ejecución.deberán medir de forma fiable lo que se pretende. Accesibilidad: que la información sea fácil de conseguir en datos y en el tiempo.
7 IMPLANTACIÓN Y SEGUIMIENTO DEL PROGRAMA DE INTERVENCIÓN INNOVADORA
• semiestructuradaEntrevista
Evaluación de la implementación del programa de Inter vención Innovadora Educativa Indicadores y criterios de evaluación Criterios Indicadores Instrumentos para la recogida de datos Especificidad: el enfoque de evaluación participativa requiere la adaptación de la metodología para la evaluación a las características concretas del entorno y del grupo de Flexibilidadparticipantes.y dinamismo: el proceso de evaluación será flexible y dinámico, debido a la necesidad de adaptación al contexto y a los agentes implicados en el programa.
• Grupo de discusión
• Observación del participante Nota. Indicadores y criterios de evaluación. Tomado de INEEd, 2016; Márquez, I., 2014 y Pérez, R., 2000.
Toma de decisiones para la mejora de los proce sos de intervención El programa de intervención educativa innovadora se deriva de etapas previamente planificadas, sin embargo durante la ejecución existe la posibilidad de presentar diferentes problemáticas y dificultades que requieren de la toma de decisiones, esta última se encuentra en estrecha relación con la evaluación pues su proceso tiene como finalidad facilitar la toma a tiempo de decisiones de mejora a partir de la acumulación y análisis de información, también es importante resaltar que en cada fase de ejecución los coordinadores del programa se enfrenta a diferentes decisiones, tal como se refiere en el siguiente cuadro:
Nota. La evaluación de programas educativos: conceptos básicos, planteamientos generales y problemática. Tomado de Pérez Juste, R., 2000.
Facilitar la toma a tiempo de decisiones de delfuturasmejorasparainformaciónAcumularmejora.introducirenedicionesprograma. programa.laComprobareficaciadel Ciclos sucesivos de evaluación / mejora / evaluación / mejora. asumida).encargadalarealizaciónprograma,(retiradasumativasEnmejoraformativasGeneralmente(deprevia).casosgraves,delnodeevaluacióno parciales.Ajustes En casos programa.lasuspensiónextremos,deaplicacióndel edición.unaprogramamejorarFormativas:programa.suprimirmantenerSumativas:oelelparanueva Plena integración del programa y de su evaluación, lo que viene a redundar en la mejora tanto del programa como de la propia metodología de la evaluación, así como en educadores.profesionalperfeccionamientoeldelos
evaluaciónmomento:Primerinicialdelprograma evaluaciónmomento:Segundodelprocesodeimplantacióndelprograma resultadosevaluaciónmomento:Tercerdelosdelaaplicacióndelprograma
Finalidad
8 IMPLANTACIÓN Y SEGUIMIENTO DEL PROGRAMA DE INTERVENCIÓN INNOVADORA Evaluación de la implementación del programa de Inter vención Innovadora Educativa Momentos deImplantacióndeProgramayEvaluación
Revista de Investigación Educativa, 18(2), 261-287.
Cuarto institucionalizaciónmomento:delaevaluacióndelprograma de la evaluación Establecer la calidad técnica del programa, su óptimas.enelPonerevaluabilidad.prácticaviabilidadysuenmarchaprogramacondiciones
Decisiones
El proceso de toma de decisiones conlleva a elegir la mejor opción, en un tiempo determinado, en función de la situación que se esté presentando durante la ejecución del programa de intervención. Para ello, es fundamental asegurarse de que las decisiones sean de gran calidad y contribuyan a alcanzar las metas estratégicas, a través de la aplicación de una metodología y con la debida participación de la comunidad, considerando que las decisiones que se tomen van a estar directamente vinculadas con todos los agentes participativos, tanto a nivel interno, como externo de la institución, programa u organización.
Chiavenato (2002) refiere que la toma de decisiones es un proceso complejo que:
DebilidadesFortaleza OportunidadesRiesgos ¿para (alt¿c¿quéqué??ómo?ernativas)
Técnica FORD Es una guía para riesgo.situacionesyelpromoveresacciones,políticas,reorientardecir,cambiodisminuirde
• Transforma la solución o curso a seguir
FORTALEZAS ¿Qué logramos como producto de nuestras obligaciones (funciones) y compromisos cumplidos en la institución a favor del desarrollo del perfil ideal de nuestros OPORTUNIDADESestudiantes?¿Qué podemos obtener como beneficio de nuestras fortalezas para mejorar la atención a nuestros desconocimiento,generadovacíosDEBILIDADESestudiantes?¿Quécarencias,oerroressehancomoresultadodelomisiónofalta de compromiso frente al servicio que brindamos a nuestros estudiantes? ¿CómoRIESGOSafectan las carencias, vacíos o errores que se han detectado en el logro del perfil de nuestros estudiantes? (UGEL, 2010).
9 IMPLANTACIÓN Y SEGUIMIENTO DEL PROGRAMA DE INTERVENCIÓN INNOVADORA Evaluación de la implementación del programa de Inter vención Innovadora Educativa • Identifica la situación • Define la situación • Diagnostica las causas de la situación
• Identifica los objetivos
• Evalúa la aplicación de la decisión definida Existen diferentes métodos y técnicas para la toma de decisiones, lo importante es elegir aquéllas que mejor satisfagan las necesidades de ejecución, aquí se presentan algunas: Herramienta Definición Esquematización Características
mediosCadena -fines Es útil etcétera.alternativas,generarobjetivos,clarificarproblemática,enfocarparala Por ejemplo, se puede estar presentando el siguiente problema: los costos son demasiado altos, que es expresable en términos de un objetivo: reducir los costos. Entonces podemos plantearnos dos preguntas: ¿para qué deseamos reducir los costos? Y, ¿cómo podemos hacerlo? Se puede responder de la siguiente manera: (PARA QUÉ) Aumentar las (CÓMO)ganancias.Mejorar la eficiencia de los procesos productivos. Este modelo permite cuestionarse para arriba y para abajo (Lazzati, 2013).
Resumenativ Medición de verificació SupuestoIndicado Fin ComponentPropósitesActividades Nota. Métodos y técnicas para la toma de decisiones. Elaborado con base en CEPAL, 2004, Lazzati, 2013 y UGEL, 2010.
Árbol decisiónde El árbol
Es una forma gráfica (que semeja las ramas de un árbol) de representar un conjunto de alternativas inherentes a un proceso decisorio que están sucesivamente Elencadenadas.“nodo”(planteo) de la alternativa (corresponde a la primera acepción). Las “ramas” (cursos) que se desprenden de la alternativa planteada (corresponde a la segunda acepción (Lazzati, 2013). Matriz indicadoresde de un programa o proyecto Gestión de ciclos de vida de programas y
aleatorios.depersonasdedequealternativasseprimariaunacuandoespecialmente,sueledecisióndeseemplear,dedecisiónpropiadesprendendependendecisionesotrasohechos
10 IMPLANTACIÓN Y SEGUIMIENTO DEL PROGRAMA DE INTERVENCIÓN INNOVADORA Evaluación de la implementación del programa de Inter vención Innovadora Educativa Herramienta Definición Esquematización Características
programa.ejecuciónfinalundecisionestomaAyudaproyectos.aladeenprocesodedel
La casilla superior de esta columna corresponde al “Fin”, el cual se define como un objetivo de desarrollo de nivel superior e importancia nacional, sectorial o regional, a cuyo logro contribuirá el proyecto a mediano o largo plazo. La segunda casilla corresponde al “Propósito”, que es el resultado directo (impacto) que se espera lograr cuando se haya concluido la ejecución del proyecto. La tercera casilla corresponde a los “Componentes”, los cuales son los bienes o servicios que el proyecto debe entregar durante su ejecución o al concluir ésta. Estos deben ser los necesarios y suficientes para lograr el “Propósito”. Por último, la cuarta casilla corresponde a las “Actividades” que es necesario ejecutar para generar los “Componentes del proyecto”. Éstas se presentan en orden cronológico y son agrupadas por “Componente” (CEPAL, 2004).
Evaluación de la implementación del programa de Inter vención Innovadora Educativa En este bloque hemos revisado los componentes y características de la evaluación participativa, si bien este tipo de evaluación se caracteriza por la recolección y análisis de información cualitativa, es importante considerar los criterios e indicadores para asegurar la calidad de ésta y, sobre todo, que ayude en la toma de decisiones. Como se ha expuesto, la toma de decisiones es un proceso complejo que implica el uso de diferentes metodologías y técnicas para su adecuada ejecución, y se basa en el análisis de información cualitativa y cuantitativa; parte de la complejidad del proceso en la toma de decisiones radica en que cada decisión impactará en la continuidad del programa y en situaciones extremas en la suspensión de éste.
Referencias Ausbel, J. (2000). Manual de avaluación participativa del programa. Involucrando a los participantes del programa en el proceso de evaluación. N. 2. Publicación conjuta de Catholic Relief Services y Child Survival Technical Support. manual-de-evaluacic3b3n-participativa-del-programa.pdfhttps://evalparticipativa.net/wp-content/uploads/2019/05/11.-
Banerjee, A. (2010) Pitfalls of Participatory Programs: Evidence from a Randomized Evaluation in Education in India. American Economic Journal: Economic Policy, 2(1), 1-30.
CEPAL. (2007). Guía metodológica para la evaluación participativa de políticas y programas, en el marco de la Estrategia Regional sobre el Envejecimiento. CELADE.
11 IMPLANTACIÓN Y SEGUIMIENTO DEL PROGRAMA DE INTERVENCIÓN INNOVADORA
Castro, L. y Pirelli, M. (2014) La importancia de evaluar los programas educativos. Boletín del Instituto Nacional de Evaluación Educativa. INEEd.
CEPAL. (2004). Boletín del Instituto. Santiago de Chile: Instituto Latinoamericano y del Caribe de Planificación Economía y Social (ILPES). INEEd. Chiavenato, I. (2006) Introducción a la Teoría General de la Administración. McGraw-Hill. INEEd. (2016). Guía metodológica de evaluación de programas educativos, INEEd Lazzati, S. (2013). La toma de decisiones: principios, procesos y aplicaciones. Ediciones Granica.
12 IMPLANTACIÓN Y SEGUIMIENTO DEL PROGRAMA DE INTERVENCIÓN INNOVADORA Evaluación de la implementación del programa de Inter vención Innovadora Educativa Márquez, I. (2014). Programación, ejecución y difusión de proyectos educativos en el tiempo libre. IC Editorial. Pérez, R. (2000) La evaluación de programas educativos: conceptos básicos, planteamientos generales y problemática. Revista de Investigación Educativa, 18(2), 261-287. basicos,%20planteamientos%20generales%20y%20problematica.pdfLa%20evaluacion%20de%20programas%20educativos%20conceptos%20https://digitum.um.es/digitum/bitstream/10201/45401/1/ UGEL. (2010). Guía de elaboración del proyecto educativo institucional articulado al proyecto educativo local de ventanilla. UNICEF.