PONTIFICIA UNIVERSIDAD CATÓLICA DEL ECUADOR
INFORME 1: EVALUACIÓN DEL CURRICULUM DE LA “MAESTRÍA EN GESTIÓN PÚBLICA MENCIÓN CENTROS EDUCATIVOS” DEL INSTITUTO DE ALTOS ESTUDIOS NACIONALES - IAEN
Autores:
Myriam Larco Pablo Jaramillo Gabriel Cevallos
El Instituto de Altos Estudios Nacionales - IAEN es la Universidad de Postgrado del Estado ecuatoriano y como tal pertenece al Sistema de Educación Superior y se rige por la Ley Orgánica de Educación Superior - LOES y su reglamento, por tanto será evaluado a nivel externo por el Consejo de Evaluación, Acreditación y Aseguramiento de la Calidad de la Educación Superior - CEAACES a nivel institucional y por programas. El propósito de este informe es presentar una propuesta de evaluación de programas de postgrado que esté contextualizada a las necesidades del IAEN y se pueda aplicar en todos los programas de la oferta de formación de la universidad.
1. Reunión del equipo de evaluadores Aquí nos reunimos conversamos hicimos el modelo, para lo cual contamos con algunos insumos el primero de ellos la Ley Orgánica de Educación Superior – LOES en donde establece en su Disposición Novena: “El Instituto de Altos Estudios Nacionales –IAEN- es la Universidad de Posgrado del Estado, con la misión de formar, capacitar y brindar educación continua, principalmente a las y los servidores públicos; investigar y generar pensamiento estratégico, con visión prospectiva sobre el Estado y la Administración Pública; desarrollar e implementar conocimientos, métodos y técnicas relacionadas con la planificación, coordinación, dirección y ejecución de las políticas y la gestión pública”.\ Otro insumo fue el “Modelo para la evaluación de instituciones de Educación Superior con fines de Acreditación”, CEAACES (Consejo de Evaluación, Acreditación y Aseguramiento de la Calidad de la Educación Superior), el cual nos permitió establecer una comparación con respecto a los criterios y dimensiones, generando una discusión crítica, dándonos paso al establecimiento de nuestro propio modelo.
2. Establecimiento de dimensiones de evaluación
Llegamos a la conclusión que debemos proponer dos dimensiones fundamentales a ser evaluadas: ○
Resultados de Aprendizaje (que nos indica el nivel o estado de desarrollo alcanzado en competencias generales y de especialidad al término del programa de postgrado) con dos indicadores: a) Competencias de Especialidad y b) Formación, y la segunda dimensión
○
Entorno de Aprendizaje (Conjunto de condiciones y factores que favorecen los resultados del aprendizaje) cuyos indicadores son: Presentación, Matriz pedagógica, Matriz didáctica, Demanda y Validación.
Figura 1: Dimensiones del modelo de evaluación
Figura 2: Dimensión “Resultados de Aprehendizaje”
Figura 3: Dimensión “Resultados de Aprehendizaje”
Figura 4: Criterio: “Currículo”
Figura 5: Criterio: “Docencia”
Figura 6: Criterio: “Investigación”
Figura 7: Criterio: “Gestión”
Como puede verse en las figuras, cada uno de los indicadores tiene un peso relacionado con la meta global, tal ponderación se realizó a través del método AHP soportado por la herramienta Logical Decisions. Por otro lado, en lo que respecta a las dimensiones de evaluación se aplicó la asignación de pesos directa, donde los diseñadores del modelo de evaluación consideraron que los resultados y el entorno son dos caras de la misma moneda, resultados de alto desempeño se relacionan con entornos saludables de aprendizaje, y resultados de aprendizaje de calidad suelen obtener buenos resultados de aprendizaje. En cuanto a los criterios e indicadores de evaluación, se estableció una metodología básica de trabajo, y un vocabulario propio de cada uno de los elementos a utilizarse en la evaluación, cabe decir que los indicadores utilizados, en gran medida son indicadores educativos típicos, pero también se han diseñado nuevas formas de medición y sus respectivos instrumentos. La definición de elementos utilizada en la evaluación es la siguiente: ● Dimensiones: Son las grandes facetas o ejes principales de evaluación. ● Criterio: Es una arista o parte del programa a evaluarse. ● Indicador: Es la expresión matemática de un suceso que permite medirlo, Índice: Valor que toma el indicador ● Estándar: es el VALOR CONSENSUADO en un contexto determinado que garantiza satisfacción o utilidad. ● Categoría: es la relación entre el contexto y el indicador de no ser este absoluto.
La metodología de diseño, se basa en una ruta de seis pasos:
Figura 8: Ruta básica de evaluación
En definitiva, el modelo de evaluación propuesto es del tipo objetivista ya que se espera establecer métodos y herramientas de medición que cuantifiquen con claridad el desempeño del programa de formación y sus estudiantes a través de diversas comparaciones, y por otro lado está enfocado tanto a los resultados como al proceso, evidentemente estos dos enfoques se representan a través de las dimensiones seleccionadas para formar el modelo. Por otro lado, vale la pena decir que adicional a la metodología, toda propuesta de evaluación debe ser socializada en la comunidad universitaria, con el propósito de que la misma sea afinada y perfeccionada, y además que los efectos que tenga la evaluación en el trabajo académico y administrativo del programa de formación sean conocidos de antemano por todos los implicados.
Código 1
1.1
1.1.1
Criterio /Indicador
Definición
Descriptor (Indicadores)
Autoevaluacion de Proceso de evaluación interna de programas programas de postgrado del Instituto postgrado del IAEN de Altos Estudios Nacionales sobre la base del modelo de evaluación propuesto por el doctor Arturo Villavicencio. Resultados de Nivel o estado de desarrollo Aprehendizaje alcanzado en competencias generales y de especialidad al término del programa de postgrado. (LOES: Art. 27,: "De competencias y capacidades para crear y trabajar..."). Competencias de Resultados de aprehendizaje, Promedio de los estudiantes de un Especialidad competencias o capacidades programa de postgrado obtenido al rendir terminales que permiten hacer un examen complexivo por competencias productivo el conocimiento de los elaborado por expertos externos del área campos científicos, tecnológicos y de sobre la base del perfil de egreso del los núcleos propios y programa. transdiciplinares del programa.
Valoración/Instrumento Sumatoria ponderada de todos los indicadores del modelo.
Valor global 1
0,5
Cuantitativa: Examen complexivo por competencias
0,7
1.1.2
Formación Ciudadana
1.2
Entorno de Aprendizaje
1.2.1
Currículo
1.2.1.1
Sílabo
Resultados de aprehendizaje: competencias o capacidades terminales formativas (relacionadas con la Ética, trabajo en equipo, pensamiento crítico y creativo, comunicabilidad y autonomía). Conjunto de factores y condiciones que favorecen los resultados de aprehendizaje. Estructura fractal de seis componentes: propósitos, evaluación, contenidos o enseñanzas, secuencia, didacticas y recursos. que constituye la oferta académica curricular a nivel meso y micro y en referencia al macro. Plan microcurricular de una cátedra diseñado y desarrollado por un profesor investigador que determina la información necesaria y suficiente de la cátedra, del profesor, horario y número de créditos; el problema, el objeto de estudio, el contexto y su pertinencia con las líneas de investigación del programa; los propósitos por competencias o los resultados del aprehendizaje, la evaluación, los contenidos, así como la secuencia o programación, estrategias didácticas y recursos. Utilización de un formato estandarizado para el diseño de sílabo de la cátedra, que establezca la relación entre ésta y el programa de maestría, operacionalizando sus
Promedio que obtuvieron los estudiantes Cuantitativa: Examen de un programa de postgrado del IAEN al complexivo por rendir un examen por competencias competencias formativas elaborado por expertos externos del área sobre la base del perfil de egreso del programa.
0,3
0,5
0,359
0,5
1.2.1.1.1
Presentación
propósitos a través de contextos y medios de aprehendizaje precisos y observables.Se analiza la existencia de una estructura estandarizada para la presentación de los sílabos que incluya al menos: a)Datos informativos (nombre de la cátedra, nombre y correo electrónico del profesor, fechas, horarios, créditos, horas de clase); b)Presentación (problema, objeto y contexto: carácter de la investigación en los entornos de aplicación); c) Matriz de propósitos que operacionaliza el perfil (competencias y desempeños profesionales que fortalecen la cátedra); d) Sistema de evaluación de acuerdo con la normativa vigente (indicadores e instrumentos de evaluación); e) Secuencia o programación de contenidos; f)Estrategias didácticas; y, g) Recursos (uso de tecnología, desarrollo de ambientes de aprendizaje, bibliografía). Descripción de la cátedra o curso, La estructura deberá tener: - Cualitativa: Rúbrica.-Muy 0,122 puntualizando la importancia del El problema que constituye las dificultades satisfactorio: Los datos tema y el aporte que la propuesta de o el por qué se va estudiar la propuesta de informativos están estudio dará a los participantes estudio desde las demandas sociales y competos y la presentación educativas. es precisa, coherente y - El objeto de estudio o el qué se va pertinente. estudiar desde la cátedra o curso. Satisfactorio: Los datos - El contexto que ubica el momento informativos están histórico, las circunstancias temporales, completos, la presentación espaciales, políticas, culturales y/o requiere afinación.
económicas del problema y estudio y a qué destinatarios se dirigirá la oferta académica Datos informativos: Nombre de la cátedra, nombre y correo electrónico del profesor, fechas, horarios, créditos, horas de clase.
1.2.1.1.2
Matriz Pedagógica Muestra los contenidos de estudio, de aprehendizaje, de manera secuencial articulado con las sesiones o tiempos de trabajo. La selección de contenidos deberá responder al ámbito de estudio, a la competencia y a la matriz de propósitos manteniendo pertinencia y relevancia con el nivel académico del curso o cátedra de estudio
1.2.1.1.3
Matríz Didáctica
Presentación: Problema. Objeto Contexto (relavancia, pertinencia, coherencia líneas investigación). Se muestra la descripción de los propósitos por competencias y resultados del aprehendizaje, la evaluación y los contenidos.
Insatisfactorio: Los datos informativos y la presentación están incompletos o tienen poca significancia.
Cualitativa: Rúbrica.-Muy 0,648 satisfactorio: La matriz pedagógica está completa, es pertinente y relevante a la cátedra. Satisfactorio: La matriz pedagógica no está completa. Insatisfactorio: La matriz pedagógica no existe o no responde en absoluto al nivel académico de la cátedra Ordena, secuencia, distribuye, las Verifica que el sílabo contenga la Cualitativa: Rúbrica.Muy 0,23 materias a ser desarrolladas en el distribución y secuencia de contenidos, las satisfactorio: La matriz postgrado y garantiza que al término didácticas y los recursos. didáctica muestra con de sus estudios el estudiante posea claridad el orden y las competencias estipuladas en el secuencia de los perfil de egreso contenidos. Satisfactorio: La matriz didáctica no es
completamente precisa. Insatisfactorio: La matriz didáctica no existe o no comunica el orden y secuencia de la cátedra. 1.2.1.3
Matriz Curricular
Describe, ordena, secuencia y distribuye por competencias, cátedras, contenidos y créditos por ser desarrolladas en el programa y garantiza que al término de sus estudios, el estudiante poseerá las competencias establecidas en el perfil de egreso. Existencia documentada de mesocurrículo con propósitos y productos (competencias o resultados de aprehendizaje) por cada nivel de la matriz curricular y cuyo contenido se despliega de manera progresiva y lógica para garantizar el éxito del proceso de aprehendizaje. Campo profesional Caracterización explícita del campo Evalúa la existencia y pertinencia de un de ejercicio ocupacional y campo profesional de campo de profesional del egresado del postgrado. programa.
Organización
La matriz distribuye las cátedras a desarrollarse en el programa, por competencias y créditos
Mesocurrículo diseñado por competencias.
0,25
Cualitativa: Rúbrica.Satisfactorio: El campo profesional está completo tanto en lo referente a lo ocupacional como a lo profesional. Insatisfactorio: El campo profesional ausente o incompleto. Cualitativa: Rúbrica.Satisfactorio: El campo profesional está completo tanto en lo referente a lo ocupacional como a lo
1.2.1.3
Perfíl de Egreso
Existencia documentada de las competencias de especialidad congruentes con el macrocurrículo, que los estudiantes alcanzarán al término de sus estudios,
profesional. Insatisfactorio: El campo profesional ausente o incompleto. Valoración de expertos al perfil de egreso Cualitativa: Rúbrica.- Para 0,25 de acuerdo con la especificidad de los el análisis del perfil de programas, su adecuación a las egreso se toman en cuenta competencias formativas, su conformidad tres aspectos: internacional y coherencia e integración curricular. a) Existencia de documentos de difusión del perfil de egreso; b) Que el documento de difusión contenga: las dimensiones de desarrollo humano, las competencias profesionales que alcanzará el egresado y sus desempeños vinculados a las funciones y objeto de la profesión (perfil ocupacional); y, c) Que exista congruencia entre el perfil de egreso del programa y los elementos declarados dentro del macrocurrículo. d) Que exista un documento de valoración de expertos al perfil de egreso de acuerdo con la especificidad de los programas, su adecuación a las
1.2.1.3.1
Demanda
El diseño del programa tiene un perfil Evalúa la existencia de un estudio de de egreso en correspondencia con demanda, que contiene la población las misiones y visiones intitutcionales objetivo, y la población de demanda y del programa; las demandas del específica y además características de gobierno y del estado; las elegibilidad. necesidades de la sociedad y los avances científicos de la profesión. (Art. 107)
competencias formativas, su conformidad internacional y coherencia e integración curricular. Los siguientes descriptores permiten valorar el indicador: 1. Insatisfactorio: Cuando no existen documentos certificados por la autoridad competente, no existen mecanismos institucionales para la difusión del perfil de egreso de los programas o cuando cumple solo uno de los aspectos señalados. 2. Satisfactorio: Cuando cumple al menos tres de los aspectos señalados o cuando cumple la tercera y cuarta. 3. Muy satisfactorio: Cuando cumple los cuatro aspectos señalados. Cualitativa: Rúbrica.- Muy 0,6 satisfactorio: El estudio de demanda contiene toda la información descrita. Satisfactorio: El estudio de demanda no está completo, o presenta carencias técnicas en su construcción.
1.2.1.3.2
Validación
1.2.1.3.3
Publicado
1.2.2
Cátedra
1.2.2.2.1
Del profesor investigador
1.2.2.2.2
Del Estudiante
Insatisfactorio: No existe un estudio de demanda o justificación del programa. Valoración de expertos al perfil de Evidencias documentales de la validación 1. Satisfactorio: Existe 0,2 egreso de acuerdo a la especificidad de expertos del programa de formación, Validación y sistematización de los programas, su adecuación a reuniones, sistematizaciones, etcétera. de la misma las competencias formativas y su conformidad internacional y coherencia e integración curricular 2. Insatisfactorio: No se ha validado el programa Los estudiantes comprenden del perfil del egresado y los resultados de la evaluaciones de su cumplimiento en las versiones anteriores (Art. 103), que ha sido difundido y promovido por medios masivos de información y comunicación. Actividad docente en el ejercicio del desarrollo de las clases valoradas por los estudiantes, cordinador y por el mismo profesor investigador Evaluación por parte del profesor investigador de las condiciones en que se desarrolló la cátedra
Porcentaje de aspirantes que en la Cuantitativo: Postulantes entrevista demuestran un entendimiento con conocimiento/total de pleno del perfil del programa de formación aspirantes al que postulan.
0,2
Promedio del promedio ponderado de todos los profesores del programa
0,186
Promedio de evaluaciones a las catedras del programa emitidas por los estudiantes.
Promedio de las evaluaciones a las cátedras del programa emitidas por los estudiantes
Promedio de las evaluaciones a las cátedras del programa emitidas por los profesores
Cualitativa: Sumatoria de las evaluaciones emitidas pro los profesores del programa/Número de profesores del programa Cualitativa: Sumatoria del promedio de las evalauciones de las cátedras del programa/Número de
0,4
0,4
cátedras del programa 1.2.2.2.3
1.2.3
1.2.3.1
1.2.3.2
Del Coordinador
Evalúa el desempeño administrativo, Promedio de las evaluaciones a las pedagógico y académico del cátedras del programa emitidas por los coordinador con respecto a su cordinadores relación con los estudiantes, los profesores y el programa Tutorías Procesos y productos que permiten la aplicación, generación y difusión del conocimiento para el desarrollo de las ciencias y tecnologías en el ámbito del programa de postgrado. Trabajos de Sustentación de monografías, tesis o Número de sustentaciones Titulación trabajos de investigación según los aprobadas/número de estudiantes criterios establecidos en el egresados (por 100) Reglamento del IAEN. Estudio de campo Número de actividades diseñadas en Actividades ligadas a la investiogación otras instituciones o instancias ejecutas por los estudiantes del programa. relacionadas con el ámbito del programa y ligado al trabajo de investigación (tésis, monografias, etc.)
Cualitativa: Sumatoria de las evaluaciones por cáetdra emitidas por los coordinadores/Número de cátedras
0,2
0,315
Cuantitativa: Verificación de 0,75 sustentaciones aprobadas
1. Muy satisfactorio: si el 0,25 número de pasantías es de dos por programa.
2. Satisfactorio: si el número de pasantías es uno por programa. 3. Insatisfactorio: si el número de pasantías es cero o más de dos. 1.2.4
Gestión Académica Planificación, ejecución y control de los procesos, productos y ambientes académico-administrativos relacionados con las actividades de investigación, docencia, estudiantiles y de organización. Garantiza el
0,139
cumplimiento del principio de igualdad de oportunidades (Art. 71, LOES) Desempeño administrativo y Promedio de las evaluaciones a los académico del coordinador con cordinadores, por parte del Decano de respecto a su gestión en el program escuela, los profesores y estudiantes del programa, según formato vigente.
1.2.4.1
Coordinación
1.2.4.2
Decanato
Evaluación realizada por autoridad superior.
1.2.4.3
Fortalecimiento
Curso de fortalecimiento para los estudiantes admitidos al programa de postgrado en cuanto a competencias de razonamiento lógico matemàtico, competencias linguisticas, manejo de gráficas de base matemàtica y no matemática e investigativas
1.2.4.4
Deserción
Se considera que un estudiante ha desertado si ha interrumpido sus estudios por seis meses o más.
Cuantitativa: 0,46 Sumatoria(0.50(evaluación estudiantes)+0.30(evaluació n por parte del decano de escuela)+0.20(de los profesores))/profesores del programa Cuantitativa: Evaluación 0,119
Evaluación al decano de escuela realizada por el decano general, según formato vigente Existencia y condiciones para la ejecución Muy Satisfactorio: el de un curso de fortalecimiento. programa posee un curso de fortlecimiento diseñado por compeetncias que se aplica al inicia de cada edición.
0,201
Satisfactorio: El programa ha diseñado un curso de fortalecimiento que aún no se aplica o se aplica progresivamente Insatisfactorio: No existe un sistema de fortalecimiento para el estudiante. Evalúa la tasa de deserción estudiantil Cuantitativa: número de 0,22 antes de que el estudiante haya aprobado estudiantes que han el 35% de los créditos de la carrera. desertado dividido para el número total de estudiantes de la cohorte.
Toda evaluación debería ser lo más participativa posible para poder cubrir todas las aristas y enfoques de un programa de formación. La evaluación primordialmente debería perseguir el propósito de mejora continua, lamentablemente muchos procesos de evaluación educativos han tenido un carácter punitivo, por tanto no deberíamos considerar a la evaluación solamente como un proceso evolutivo de mejora continua tampoco se le debería temer, pues posibilita un cuestionamiento permanente, que permitirá rediseñar si fuere el caso, la visión, misión y objetivos de las instituciones educativas.
El modelo de evaluación propuesto se forma de dos dimensiones 8 criterios y 19 indicadores en base a la experiencia y la investigación previa conocemos que modelos por debajo de los 40 indicadores son administrables y gestionables.
Los modelos de evaluación curricular han venido sufriendo cambios que van de la mano con las nuevas teorías educativas y los cambios sociales que en los últimos años han sido cada vez más frecuentes y rápidos, asociados con la evolución de la capacidad del ser humano al acceso de información. Estos modelos, deben de responder a esas nuevas dinámicas, y convertirse en la herramienta necesaria para encontrar y demostrar la pertinencia tanto del programa como de sus contenidos y procedimientos, de forma que den cabida a los avances que tanto la disciplina pueda mostrar,
como las demandas sociales que configuran el uso, evolución o cambio de las profesiones. No es posible encontrar un modelo perfecto, ciertamente al igual que toda obra del ser humano estos modelos son perfectibles.
La teoría holística de la docencia sostiene que el facilitador debe guiar y evaluar el aprendizaje, sin embargo creemos nosotros se debe guiar y evaluar el aprendizaje en programas educativos centrado en el desarrollo de competencias, debería realizarse por un comité evaluador que de manera objetiva determine el nivel de competencia alcanzado, en este caso las evaluaciones realizadas sobre la base del modelo propuesto, deberían ser calificadas en conjunto por profesionales de la propia universidad y de ser posible por pares externos.
Pensamos que para evaluar por ejemplo competencias de cualquier curso debería involucrar a algunas etapas como: ○ ○
○ ○ ○ ○
○
Planificar el proceso de evaluación Considerar el portafolio de evidencias como un elemento de reflexión del trayecto educativo Establecer procedimientos Capacitar a los evaluadores Definir las competencias Designar a un docente en cada curso para que sea el responsable del proceso de evaluación del programa educativo Recibir evidencias