PONTIFICIA UNIVERSIDAD CATÓLICA DEL ECUADOR
INFORME 1: EVALUACIÓN DEL CURRICULUM DE LA “MAESTRÍA EN GESTIÓN PÚBLICA MENCIÓN CENTROS EDUCATIVOS” DEL INSTITUTO DE ALTOS ESTUDIOS NACIONALES - IAEN Autores: Myriam Larco Pablo Jaramillo Gabriel Cevallos
2012
INTRODUCCIÓN El Instituto de Altos Estudios Nacionales - IAEN es la Universidad de Postgrado del Estado ecuatoriano y como tal pertenece al Sistema de Educación Superior y se rige por la Ley Orgánica de Educación Superior - LOES y su reglamento, por tanto será evaluado a nivel externo por el Consejo de Evaluación, Acreditación y Aseguramiento de la Calidad de la Educación Superior - CEAACES a nivel institucional y por programas. El propósito de este informe es presentar una propuesta de evaluación de programas de postgrado que esté contextualizada a las necesidades del IAEN y se pueda aplicar en todos los programas de la oferta de formación de la universidad.
DISEÑO DEL MODELO DE EVALUACIÓN 1. Reunión del equipo de evaluadores Aquí nos reunimos conversamos hicimos el modelo, para lo cual contamos con algunos insumos el primero de ellos la Ley Orgánica de Educación Superior -LOES en donde establece en su Disposición Novena: “El Instituto de Altos Estudios Nacionales –IAEN- es la Universidad de Posgrado del Estado, con la misión de formar, capacitar y brindar educación continua, principalmente a las y los servidores públicos; investigar y generar pensamiento estratégico, con visión prospectiva sobre el Estado y la Administración Pública; desarrollar e implementar conocimientos, métodos y técnicas relacionadas con la planificación, coordinación, dirección y ejecución de las políticas y la gestión pública”. Otro insumo fue el “Modelo para la evaluación de instituciones de Educación Superior con fines de Acreditación”, CEAACES (Consejo de Evaluación, Acreditación y Aseguramiento de la Calidad de la Educación Superior), el cual nos permitió establecer una comparación con respecto a los criterios y dimensiones, generando una discusión crítica, dándonos paso al establecimiento de nuestro propio modelo. 2. Establecimiento de dimensiones de evaluación LLegamos a la conclusión que debemos proponer dos dimensiones fundamentales a ser evaluadas: ○ Resultados de Aprendizaje (que nos indica el nivel o estado de desarrollo alcanzado en competencias generales y de especialidad al
término del programa de postgrado) con dos indicadores: a) Competencias de Especialidad y b) Formación, y la segunda dimensión ○ Entorno de Aprendizaje (Conjunto de condiciones y factores que favorecen los resultados del aprendizaje) cuyos indicadores son: Presentación, Matriz pedagógica, Matriz didáctica, Demanda y Validación.
MODELO DE EVALUACIÓN
Figura 1: Dimensiones del modelo de evaluación
Figura 2: Dimensión “Resultados de Aprehendizaje”
Figura 3: Dimensión “Resultados de Aprehendizaje”
Figura 4: Criterio: “Currículo”
Figura 5: Criterio: “Docencia”
Figura 6: Criterio: “Investigación”
Figura 7: Criterio: “Gestión”
Como puede verse en las figuras, cada uno de los indicadores tiene un peso relacionado con la meta global, tal ponderación se realizó a través del método AHP soportado por la herramienta Logical Decisions. Por otro lado, en lo que respecta a las dimensiones de evaluación se aplicó la asignación de pesos directa, donde los diseñadores del modelo de evaluación consideraron que los resultados y el entorno son dos caras de la misma moneda, resultados de alto desempeño se relacionan con entornos saludables de aprendizaje, y resultados de aprendizaje de calidad suelen obtener buenos resultados de aprendizaje. En cuanto a los criterios e indicadores de evaluación, se estableció una metodología básica de trabajo, y un vocabulario propio de cada uno de los elementos a utilizarse en la evaluación, cabe decir que los indicadores utilizados, en gran medida son
indicadores educativos típicos, pero también se han diseñado nuevas formas de medición y sus respectivos instrumentos. La definición de elementos utilizada en la evaluación es la siguiente: ●
Dimensiones: Son las grandes facetas o ejes principales de evaluación.
●
Criterio: Es una arista o parte del programa a evaluarse.
●
Indicador: Es la expresión matemática de un suceso que permite medirlo, Índice: Valor que toma el indicador
●
Estándar: es el VALOR CONSENSUADO en un contexto determinado que garantiza satisfacción o utilidad.
●
Categoría: es la relación entre el contexto y el indicador de no ser este absoluto.
La metodología de diseño, se basa en una ruta de seis pasos:
Figura 8: Ruta básica de evaluación
En definitiva, el modelo de evaluación propuesto es del tipo objetivista ya que se espera establecer métodos y herramientas de medición que cuantifiquen con claridad el desempeño del programa de formación y sus estudiantes a través de diversas comparaciones, y por otro lado está enfocado tanto a los resultados como al proceso, evidentemente estos dos enfoques se representan a través de las dimensiones seleccionadas para formar el modelo.
Por otro lado, vale la pena decir que adicional a la metodología, toda propuesta de evaluación debe ser socializada en la comunidad universitaria, con el propósito de que la misma sea afinada y perfeccionada, y además que los efectos que tenga la evaluación en el trabajo académico y administrativo del programa de formación sean conocidos de antemano por todos los implicados. MATRIZ DE DIMENSIONES, CRITERIOS E INDICADORES Código 1
1.1
1.1.1
1.1.2
1.2
1.2.1
Criterio /Indicador
Definición
Descriptor (Indicadores)
Valoración/Instrumento
Autoevaluacion de Proceso de evaluación Sumatoria ponderada de programas postgrado interna de programas de todos los indicadores del del IAEN postgrado del Intituto de modelo. Altos Estudios Nacionales sobre la base del modelo de evaluación propuesto por el doctor Arturo Villavicencio. Resultados de Nivel o estado de Aprehendizaje desarrollo alcanzado en competencias generales y de especialidad al término del programa de postgrado. (LOES: Art. 27,: "De competencias y capacidades para crear y trabajar..."). Competencias de Resultados de Promedio de los estudiantes Cuantitativa: Examen Especialidad aprehendizaje, de un programa de postgrado complexivo por competencias o obtenido al rendir un examen competencias capacidades terminales complexivo por competencias que permiten hacer elaborado por expertos productivo el conocimiento externos del área sobre la de los campos científicos, base del perfil de egreso del tecnológicos y de los programa. núcleos propios y transdiciplinares del programa. Formación Ciudadana Resultados de Promedio que obtuvieron los Cuantitativa: Examen aprehendizaje: estudiantes de un programa complexivo por competencias o de postgrado del IAEN al competencias capacidades terminales rendir un examen por formativas (relacionadas competencias formativas con la Ética, trabajo en elaborado por expertos equipo, pensamiento externos del área sobre la crítico y creativo, base del perfil de egreso del comunicabilidad y programa. autonomía). Entorno de Conjunto de factores y Aprendizaje condiciones que favorecen los resultados de aprehendizaje. Currículo Estructura fractal de seis componentes: propósitos, evaluación, contenidos o
Valor global 1
0,5
0,7
0,3
0,5
0,359
1.2.1.1
Sílabo
enseñanzas, secuencia, didacticas y recursos. que constituye la oferta académica curricular a nivel meso y micro y en referencia al macro. Plan microcurricular de una cátedra diseñado y desarrollado por un profesor investigador que determina la información necesaria y suficiente de la cátedra, del profesor, horario y número de créditos; el problema, el objeto de estudio, el contexto y su pertinencia con las líneas de investigación del programa; los propósitos por competencias o los resultados del aprehendizaje, la evaluación, los contenidos, así como la secuencia o programación, estrategias didácticas y recursos. Utilización de un formato estandarizado para el diseño de sílabo de la cátedra, que establezca la relación entre ésta y el programa de maestría, operacionalizando sus propósitos a través de contextos y medios de aprehendizaje precisos y observables.Se analiza la existencia de una estructura estandarizada para la presentación de los sílabos que incluya al menos: a)Datos informativos (nombre de la cátedra, nombre y correo electrónico del profesor, fechas, horarios, créditos, horas de clase); b)Presentación (problema, objeto y contexto: carácter de la investigación en los entornos de aplicación); c) Matriz de propósitos que operacionaliza el perfil (competencias y desempeños profesionales que fortalecen la cátedra); d) Sistema de
0,5
1.2.1.1.1
Presentación
evaluación de acuerdo con la normativa vigente (indicadores e instrumentos de evaluación); e) Secuencia o programación de contenidos; f)Estrategias didácticas; y, g) Recursos (uso de tecnología, desarrollo de ambientes de aprendizaje, bibliografía). Descripción de la cátedra o curso, puntualizando la importancia del tema y el aporte que la propuesta de estudio dará a los participantes
La estructura deberá tener: Cualitativa: Rúbrica.-Muy 0,122 - El problema que satisfactorio: Los datos constituye las dificultades o el informativos están por qué se va estudiar la competos y la presentación propuesta de estudio desde es precisa, coherente y las demandas sociales y pertinente. educativas. Satisfactorio: Los datos - El objeto de estudio o el informativos están qué se va estudiar desde la completos, la presentación cátedra o curso. requiere afinación. - El contexto que ubica el Insatisfactorio: Los datos momento histórico, las informativos y la circunstancias temporales, presentación están espaciales, políticas, incompletos o tienen poca culturales y/o económicas del significancia. problema y estudio y a qué destinatarios se dirigirá la oferta académica Datos informativos: Nombre de la cátedra, nombre y correo electrónico del profesor, fechas, horarios, créditos, horas de clase.
1.2.1.1.2
Matriz Pedagógica
1.2.1.1.3
Matríz Didáctica
Presentación: Problema. Objeto Contexto (relavancia, pertinencia, coherencia líneas investigación). Muestra los contenidos de Se muestra la descripción de estudio, de aprehendizaje, los propósitos por de manera secuencial competencias y resultados articulado con las del aprehendizaje, la sesiones o tiempos de evaluación y los contenidos. trabajo. La selección de contenidos deberá responder al ámbito de estudio, a la competencia y a la matriz de propósitos manteniendo pertinencia y relevancia con el nivel académico del curso o cátedra de estudio Ordena, secuencia, Verifica que el sílabo distribuye, las materias a contenga la distribución y
Cualitativa: Rúbrica.-Muy 0,648 satisfactorio: La matriz pedagógica está completa, es pertinente y relevante a la cátedra. Satisfactorio: La matriz pedagógica no está completa. Insatisfactorio: La matriz pedagógica no existe o no responde en absoluto al nivel académico de la cátedra Cualitativa: Rúbrica.Muy satisfactorio: La matriz
0,23
ser desarrolladas en el secuencia de contenidos, las postgrado y garantiza que didácticas y los recursos. al término de sus estudios el estudiante posea las competencias estipuladas en el perfil de egreso
1.2.1.3
Matriz Curricular
Campo profesional
Organización
1.2.1.3
Perfíl de Egreso
Describe, ordena, secuencia y distribuye por competencias, cátedras, contenidos y créditos por ser desarrolladas en el programa y garantiza que al término de sus estudios, el estudiante poseerá las competencias establecidas en el perfil de egreso. Existencia documentada de mesocurrículo con propósitos y productos (competencias o resultados de aprehendizaje) por cada nivel de la matriz curricular y cuyo contenido se despliega de manera progresiva y lógica para garantizar el éxito del proceso de aprehendizaje. Caracterización explícita Evalúa la existencia y del campo de ejercicio pertinencia de un campo ocupacional y profesional profesional de campo de del egresado del postgrado. programa.
didáctica muestra con claridad el orden y secuencia de los contenidos. Satisfactorio: La matriz didáctica no es completamente precisa. Insatisfactorio: La matriz didáctica no existe o no comunica el orden y secuencia de la cátedra. 0,25
Cualitativa: Rúbrica.Satisfactorio: El campo profesional está completo tanto en lo referente a lo ocupacional como a lo profesional. Insatisfactorio: El campo profesional ausente o incompleto. La matriz distribuye las Mesocurrículo diseñado por Cualitativa: Rúbrica.cátedras a desarrollarse competencias. Satisfactorio: El en el programa, por campo profesional está competencias y créditos completo tanto en lo referente a lo ocupacional como a lo profesional. Insatisfactorio: El campo profesional ausente o incompleto. Existencia documentada Valoración de expertos al Cualitativa: Rúbrica.- Para 0,25 de las competencias de perfil de egreso de acuerdo el análisis del perfil de especialidad congruentes con la especificidad de los egreso se toman en cuenta con el macrocurrículo, que programas, su adecuación a tres aspectos: los estudiantes alcanzarán las competencias formativas, al término de sus su conformidad internacional estudios, y coherencia e integración
curricular.
1.2.1.3.1
Demanda
El diseño del programa tiene un perfil de egreso en correspondencia con las misiones y visiones intitutcionales y del programa; las demandas del gobierno y del estado; las necesidades de la sociedad y los avances científicos de la profesión.
Evalúa la existencia de un estudio de demanda, que contiene la población objetivo, y la población de demanda específica y además características de elegibilidad.
a) Existencia de documentos de difusión del perfil de egreso; b) Que el documento de difusión contenga: las dimensiones de desarrollo humano, las competencias profesionales que alcanzará el egresado y sus desempeños vinculados a las funciones y objeto de la profesión (perfil ocupacional); y, c) Que exista congruencia entre el perfil de egreso del programa y los elementos declarados dentro del macrocurrículo. d) Que exista un documento de valoración de expertos al perfil de egreso de acuerdo con la especificidad de los programas, su adecuación a las competencias formativas, su conformidad internacional y coherencia e integración curricular. Los siguientes descriptores permiten valorar el indicador: 1. Insatisfactorio: Cuando no existen documentos certificados por la autoridad competente, no existen mecanismos institucionales para la difusión del perfil de egreso de los programas o cuando cumple solo uno de los aspectos señalados. 2. Satisfactorio: Cuando cumple al menos tres de los aspectos señalados o cuando cumple la tercera y cuarta. 3. Muy satisfactorio: Cuando cumple los cuatro aspectos señalados. Cualitativa: Rúbrica.- Muy 0,6 satisfactorio: El estudio de demanda contiene toda la información descrita. Satisfactorio: El estudio de demanda no está completo, o presenta carencias técnicas en su construcción. Insatisfactorio: No
(Art. 107)
1.2.1.3.2
Validación
1.2.1.3.3
Publicado
1.2.2
Cátedra
1.2.2.2.1
Del profesor investigador
1.2.2.2.2
Del Estudiante
1.2.2.2.3
Del Coordinador
1.2.3
Tutorías
existe un estudio de demanda o justificación del programa. Valoración de expertos al Evidencias documentales de 1. Satisfactorio: Existe 0,2 perfil de egreso de la validación de expertos del Validación y sistematización acuerdo a la especificidad programa de formación, de la misma de los programas, su reuniones, sistematizaciones, adecuación a las etcétera. competencias formativas y su conformidad internacional y coherencia e integración curricular 2. Insatisfactorio: No se ha validado el programa Los estudiantes comprenden del perfil del egresado y los resultados de la evaluaciones de su cumplimiento en las versiones anteriores (Art. 103), que ha sido difundido y promovido por medios masivos de información y comunicación. Actividad docente en el ejercicio del desarrollo de las clases valoradas por los estudiantes, cordinador y por el mismo profesor investigador Evaluación por parte del profesor investigador de las condiciones en que se desarrolló la cátedra
Porcentaje de aspirantes que Cuantitativo: Postulantes en la entrevista demuestran con conocimiento/total de un entendimiento pleno del aspirantes perfil del programa de formación al que postulan.
0,2
Promedio del promedio ponderado de todos los profesores del programa
0,186
Promedio de las Cualitativa: Sumatoria de evaluaciones a las cátedras las evaluaciones emitidas del programa emitidas por los pro los profesores del profesores programa/Número de profesores del programa Promedio de evaluaciones Promedio de las Cualitativa: Sumatoria del a las catedras del evaluaciones a las cátedras promedio de las programa emitidas por los del programa emitidas por los evalauciones de las estudiantes. estudiantes cátedras del programa/Número de cátedras del programa
0,4
Evalúa el desempeño administrativo, pedagógico y académico del coordinador con respecto a su relación con los estudiantes, los profesores y el programa Procesos y productos que permiten la aplicación, generación y difusión del conocimiento para el desarrollo de las ciencias y tecnologías en el ámbito del programa de postgrado.
0,2
Promedio de las Cualitativa: Sumatoria de evaluaciones a las cátedras las evaluaciones por del programa emitidas por los cáetdra emitidas por los cordinadores coordinadores/Número de cátedras
0,4
0,315
1.2.3.1
1.2.3.2
Trabajos de Titulación Sustentación de monografías, tesis o trabajos de investigación según los criterios establecidos en el Reglamento del IAEN. Estudio de campo Número de actividades diseñadas en otras instituciones o instancias relacionadas con el ámbito del programa y ligado al trabajo de investigación (tésis, monografias, etc.)
Número de sustentaciones aprobadas/número de estudiantes egresados (por 100)
Cuantitativa: Verificación de 0,75 sustentaciones aprobadas
Actividades ligadas a la 1. Muy satisfactorio: si el 0,25 investiogación ejecutas por número de pasantías es de los estudiantes del programa. dos por programa.
2. Satisfactorio: si el número de pasantías es uno por programa. 3. Insatisfactorio: si el número de pasantías es cero o más de dos. 1.2.4
Gestión Académica
1.2.4.1
Coordinación
1.2.4.2
Decanato
1.2.4.3
Fortalecimiento
Planificación, ejecución y 0,139 control de los procesos, productos y ambientes académico-administrativos relacionados con las actividades de investigación, docencia, estudiantiles y de organización. Garantiza el cumplimiento del principio de igualdad de oportunidades (Art. 71, LOES) Desempeño administrativo Promedio de las Cuantitativa: 0,46 y académico del evaluaciones a los Sumatoria(0.50(evaluación coordinador con respecto cordinadores, por parte del estudiantes)+0.30(evaluació a su gestión en el program Decano de escuela, los n por parte del decano de profesores y estudiantes del escuela)+0.20(de los programa, según formato profesores))/profesores del vigente. programa Evaluación realizada por Evaluación al decano de Cuantitativa: Evaluación 0,119 autoridad superior. escuela realizada por el decano general, según formato vigente Curso de fortalecimiento Existencia y condiciones para Muy Satisfactorio: el 0,201 para los estudiantes la ejecución de un curso de programa posee un curso admitidos al programa de fortalecimiento. de fortlecimiento diseñado postgrado en cuanto a por compeetncias que se competencias de aplica al inicia de cada razonamiento lógico edición. matemàtico, competencias linguisticas, manejo de gráficas de base matemàtica y no matemática e investigativas Satisfactorio: El programa ha diseñado un curso de fortalecimiento que aún no se aplica o se aplica
1.2.4.4
Deserción
progresivamente Insatisfactorio: No existe un sistema de fortalecimiento para el estudiante. Se considera que un Evalúa la tasa de deserción Cuantitativa: número de 0,22 estudiante ha desertado si estudiantil antes de que el estudiantes que han ha interrumpido sus estudiante haya aprobado el desertado dividido para el estudios por seis meses o 35% de los créditos de la número total de estudiantes más. carrera. de la cohorte.
CONCLUSIONES Y RECOMENDACIONES ●
Toda evaluación debería ser lo más participativa posible para poder cubrir todas las aristas y enfoques de un programa de formación.
●
La evaluación primordialmente debería perseguir el propósito de mejora continua, lamentablemente muchos procesos de evaluación educativos han tenido un carácter punitivo, por tanto no deberíamos considerar a la evaluación solamente como un proceso evolutivo de mejora continua tampoco se le debería temer, pues posibilita un cuestionamiento permanente, que permitirá rediseñar si fuere el caso, la visión, misión y objetivos de las instituciones educativas.
●
El modelo de evaluación propuesto se forma de dos dimensiones 8 criterios y 19 indicadores en base a la experiencia y la investigación previa conocemos que modelos por debajo de los 40 indicadores son administrables y gestionables.
●
Los modelos de evaluación curricular han venido sufriendo cambios que van de la mano con las nuevas teorías educativas y los cambios sociales que en los últimos años han sido cada vez más frecuentes y rápidos, asociados con la evolución de la capacidad del ser humano al acceso de información. Estos modelos, deben de responder a esas nuevas dinámicas, y convertirse en la herramienta necesaria para encontrar y demostrar la pertinencia tanto del programa como de sus contenidos y procedimientos, de forma que den cabida a los avances que tanto la disciplina pueda mostrar, como las demandas sociales que configuran el uso, evolución o cambio de las profesiones. No es posible encontrar un modelo perfecto, ciertamente al igual que toda obra del ser humano estos modelos son perfectibles.
●
La teoría holística de la docencia sostiene que el facilitador debe guiar y evaluar el aprendizaje, sin embargo creemos nosotros se debe guiar y evaluar el
aprendizaje en programas educativos centrado en el desarrollo de competencias, debería realizarse por un comité evaluador que de manera objetiva determine el nivel de competencia alcanzado, en este caso las evaluaciones realizadas sobre la base del modelo propuesto, deberían ser calificadas en conjunto por profesionales de la propia universidad y de ser posible por pares externos. ●
Pensamos que para evaluar por ejemplo competencias de cualquier curso debería involucrar a algunas etapas como: ○ ○ ○ ○ ○ ○ ○
Planificar el proceso de evaluación Considerar el portafolio de evidencias como un elemento de reflexión del trayecto educativo Establecer procedimientos Capacitar a los evaluadores Definir las competencias Designar a un docente en cada curso para que sea el responsable del proceso de evaluación del programa educativo Recibir evidencias