[DUODÉCIMO CUADERNO TÉCNICO]: Formación de directivos en Chile y efectos en sus prácticas: Hacia un by CedleChile

Con dirección Cuadernos para el desarrollo del liderazgo educativo

Formación de directivos en Chile y efectos en sus prácticas:

Hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

agosto 2018

Investigadores: Gonzalo Muñoz

Índice

María José Valdebenito Josefina Amenábar

ANTECEDENTES Y RELEVANCIA DEL ESTUDIO ...................................................................................................................................................................................................................02 OBJETIVOS Y METODOLOGÍA DEL ESTUDIO ...........................................................................................................................................................................................................................03 1. Objetivos de la investigación ..............................................................................................................................................................................................................................................................03 2. Metodología .............................................................................................................................................................................................................................................................................................................03 APORTES DE LA LITERATURA Y LA EXPERIENCIA INTERNACIONALES PARA UN MODELO ...................................................................................05 DE EVALUACIÓN DE LA FORMACIÓN DE DIRECTIVOS MAPA ACTUALIZADO DE LA FORMACIÓN DE DIRECTIVOS ESCOLARES EN CHILE ............................................................................................................07 1. Descripción de los Programas de Formación en Liderazgo ..........................................................................................................................................................................07 2. Características curriculares y metodológicas de los Programas ............................................................................................................................................................. 08 3. La realidad de la evaluación de la formación ...................................................................................................................................................................................................................1 3 4. Síntesis de resultados ...................................................................................................................................................................................................................................................................................1 6 LA VISIÓN DE LOS ACTORES SOBRE LA IMPORTANCIA Y CARACTERÍSTICAS DE UN MODELO .........................................................................1 7 DE EVALUACIÓN DE LA FORMACIÓN DE DIRECTIVOS 1. Visión acerca de los aspectos de la formación que se debe evaluar ...................................................................................................................................................1 8 2. Visión acerca de la forma como la formación debe ser evaluada ...........................................................................................................................................................1 8 PROPUESTAS PARA UN MODELO DE EVALUACIÓN DE LA FORMACIÓN DE DIRECTIVOS EN CHILE .............................................................2 1 1. Fundamentos y principios del Modelo .....................................................................................................................................................................................................................................2 1 2. Componentes del Modelo de Evaluación ............................................................................................................................................................................................................................. 22 3. Dispositivos a considerar en la evaluación .........................................................................................................................................................................................................................24 CONCLUSIONES Y RECOMENDACIONES DE POLÍTICA ............................................................................................................................................................................................... 27 BIBLIOGRAFÍA ..................................................................................................................................................................................................................................................................................................................30

Formación de directivos en Chile y efectos en sus prácticas: hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares Nota: La elaboración de este documento procuró el uso de un lenguaje que no discrimine ni reproduzca esquemas discriminatorios entre hombres y mujeres. Sin embargo, no hay acuerdo entre los lingüistas sobre la manera de hacerlo en español. Con el objetivo de evitar la sobrecarga gráfica que implica utilizar en español o/a; los/las y otras formas referentes al género para denotar la presencia de ambos sexos, se optó por el uso de la forma masculina en su acepción genérica tradicional, en el entendido que es de utilidad para hacer referencia tanto a hombres como a mujeres.

ANTECEDENTES Y RELEVANCIA DEL ESTUDIO

El contexto general de reforma educacional que enfrenta el sistema escolar chileno desafía fuertemente a la función directiva. Si bien hace ya algunos años se ha venido develando la necesidad de fortalecer el liderazgo pedagógico de los directivos escolares (debido a su comprobada relevancia e incidencia en el mejoramiento de los aprendizajes), la implementación gradual de las transformaciones que actualmente vive la educación chilena tensiona a la función directiva y la invitan a traducir cada uno de los cambios en curso en oportunidades concretas de mejoramiento del trabajo de sus unidades educativas. Es así como ahora, por ejemplo, los directivos escolares tendrán un rol clave en la implementación del Sistema de Desarrollo Profesional Docente, de la Ley de Inclusión Escolar y del Nuevo Sistema de Educación Pública.

Lo anterior obliga a desarrollar y a potenciar las capacidades de los líderes educacionales. Es en este marco que el MINEDUC ha venido generando y financiando programas de formación de directivos desde el año 2000 (aunque con mayor intensidad y recursos desde el 2011 en adelante), y creó recientemente dos Centros de Liderazgo Educativo, con la misión de aportar al desarrollo de esta dimensión del quehacer escolar, entre otros formando líderes escolares. En este marco, hoy es necesario impulsar una agenda de calidad de la formación de los líderes educativos, lo que es doblemente relevante en un escenario de proliferación de programas de formación de líderes (con la consecuente inversión pública y privada) y, como se podrá apreciar a lo largo de este reporte, de poca evidencia sobre los resultados que esta formación logra. Si bien existe consciencia nacional e internacional respecto a la relevancia de la formación para el fortalecimiento del liderazgo directivo, la evidencia disponible sobre el impacto de la formación en las prácticas de los directivos sigue siendo escasa (Huber, 2008; Davis y Darling Hammond, 2012;

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

Goldring et al., 2010; Orr y Orphanos, 2011). La evidencia en este tema en América Latina y en Chile es aún más precaria o simplemente inexistente. En efecto, un estudio reciente de UNESCO (2015) sobre experiencias innovadoras de formación de directivos escolares en la Región destacó la falta de investigación destinada a medir los efectos y el impacto específico de los programas de formación en las prácticas de liderazgo de los directores y en las escuelas que lideran. La evidencia reciente muestra específicamente que en el caso de Chile, si bien los directivos escolares cuentan con altos niveles de formación, existe poca o nula información sobre el real efecto que estas oportunidades de perfeccionamiento tienen en las prácticas y el quehacer directivos (Weinstein y Muñoz, 2012). En este escenario, se hace urgente e indispensable contar con orientaciones que permitan evaluar comprensivamente el efecto de los programas de formación de directores en las prácticas de liderazgo escolar. El estudio que aquí se presenta se hace cargo de este desafío, a través de una investigación realizada el 2017 que combina: i) un análisis de la experiencia y la literatura internacionales, ii) un catastro de la situación de la evaluación de la formación en Chile y, iii) un conjunto de talleres de trabajo con actores relevantes, actividades que permitieron desarrollar un modelo preliminar de evaluación de la formación en liderazgo. Este primer paso está siendo complementado el presente año 2018 con una segunda fase de la misma investigación, centrada en traducir esta propuesta en instrumentos para aproximarse a los efectos de la formación de directivos en las trayectorias, creencias y prácticas de los líderes en sus establecimientos, una vez finalizada su participación en instancias formativas. Contar con un diagnóstico como este es particularmente pertinente tanto para los policy makers como para los propios formadores, debido a que, como también quedará en evidencia en las páginas siguientes, los programas no cuentan con instrumentos ni información sistemática sobre sus efectos en el trabajo de los directivos que forman.

OBJETIVOS Y METODOLOGÍA DEL ESTUDIO

1. Objetivos de la investigación El objetivo principal de esta investigación consistió en desarrollar una propuesta de modelo –un conjunto de dimensiones y variables clave, junto con distintas alternativas metodológicas para abordarlas– que permitiera evaluar los efectos de la formación de directivos escolares en sus prácticas. Para cumplir con este propósito, se definieron los siguientes objetivos específicos: • Sistematizar la literatura y la experiencia internacionales sobre evaluación de programas de formación de directivos. • Actualizar información básica sobre la situación de la formación en Chile, e indagar acerca de la forma como se está abordando su evaluación. • Conocer las percepciones de directivos en ejercicio egresados de programas de formación, y de responsables de los propios programas, respecto de distintas alternativas e instrumentos de evaluación de la formación. • Explorar alternativas de dispositivos de evaluación de capacidades directivas en contextos escolares específicos, identificando condiciones de (re) aplicabilidad para distintos contextos y propuestas formativas. • Proponer un modelo de evaluación de la formación, con énfasis en las prácticas de liderazgo relacionadas con los docentes.

2. Metodología Componentes de la Investigación El estudio estuvo basado en un diseño mixto, que utilizó metodologías cualitativas y cuantitativas. Para el logro de los objetivos propuestos, el proyecto consideró tres componentes principales, que se describen a continuación en la Tabla 1.

cuaderno nº 12

Tabla 1. Componentes metodológicos de la investigación Componente

Descripción

Análisis de la experiencia y la literatura internacionales

Revisión y sistematización de la literatura y la experiencia internacionales sobre evaluación de la formación de directivos escolares.

Catastro de la formación de directivos y de su evaluación en Chile

Elaboración de un catastro de las “prácticas de evaluación de la formación” en Chile, a través de una revisión de información secundaria y la aplicación de una encuesta electrónica a los encargados de programas de formación (Magister) con ciertas características básicas. Para cada programa de Magister, se aplicó un instrumento estructurado al profesional responsable (director o coordinador académico). La tasa de respuesta fue cercana al 80% del universo (45 programas en total, que cumplen con el criterio de desarrollarse durante un período mínimo de un año calendario), lo que corresponde a 35 programas. Adicionalmente, se desarrolló para este componente un análisis de información secundaria, que permitió completar el catastro de los programas de formación y sus características básicas.

Talleres con actores clave

Desarrollo de 8 talleres con directivos ex alumnos de programas de formación y encargados de los programas mismos. El propósito de esta actividad fue levantar información sobre la relevancia y viabilidad de contar con un modelo de evaluación de la formación, así como también sobre las variables y métodos que una eventual evaluación de este tipo debiera considerar. Los talleres se realizaron con profesionales directivos ex alumnos de programas de formación (5 talleres) y encargados de los programas mismos (3 talleres) de 13 programas de formación de las regiones Metropolitana, de Valparaíso y de la Araucanía. Fuente: Elaboración propia

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

APORTES DE LA LITERATURA Y LA EXPERIENCIA INTERNACIONALES PARA UN MODELO DE EVALUACIÓN DE LA FORMACIÓN DE DIRECTIVOS

El estudio de la relación entre la formación de directores, el desempeño de los egresados, las prácticas docentes y los resultados de las escuelas que dirigen, ha representado un desafío metodológico importante para la investigación. Sin embargo, en los últimos años se ha venido avanzando sustantivamente en la materia (en cuanto a variables centrales y metodologías de investigación, sobre todo en términos del efecto de la formación en las prácticas de liderazgo pedagógico y vinculación con los docentes del establecimiento) (Cowie y Crawford, 2009; Orr, Young & Rorrer, 2010; Orr & Pounder, 2011; Pounder, 2012; Tucker, Young y Koschoreck, 2012; Buskey & Karvonen, 2012; Orr, 2010; Orphanos & Orr, 2014; Orphanos, 2013). Con miras a ir avanzando hacia el desarrollo de un modelo de evaluación que sea pertinente para Chile y que considere las experiencias internacionales más relevantes, se realiza a continuación un esfuerzo -basado en el análisis de dichas experiencias- por definir las principales dimensiones que debieran considerarse en un primer ejercicio como el que propone este estudio. En primer lugar, cabe señalar que la evaluación de los programas de formación puede tener como foco un análisis de sus procesos y/o un análisis de sus resultados en los estudiantes. En el primer caso, la evaluación tiende a centrarse en los procesos de enseñanza, sus dinámicas, los procesos de gestión interna, la calidad y efectividad de los dispositivos internos y los costos implicados. Esta perspectiva no involucra los resultados de los procesos de la formación, sino más bien la manera en que las distintas acciones son diseñadas, organizadas e implementadas. La evaluación puede considerar también a los actores formativos, la visión de

los estudiantes (satisfacción), la de agentes externos, y el análisis de indicadores de gestión (Buskey y Karvonen, 2012; Pounder, 2012). La propuesta que se desarrolla en esta investigación considera que esta dimensión de procesos de la formación no debiera ser el foco central del modelo a implementar, pero al mismo tiempo se hace cargo de que constituye un área ineludible para posteriormente analizar los efectos de los programas formativos. En el caso de los resultados de la formación, estos pueden referirse a dos ámbitos principales, a saber, la dimensión individual y la dimensión organizacional de dichos resultados. La primera busca dar cuenta de los efectos de la formación en el individuo y en su desarrollo, mientras que la segunda busca indagar en los impactos (output) de dichos aprendizajes en la comunidad laboral (comunidad escolar) (Darling-Hammond et al., 2009; Brundrett, 2006; Orphanos & Orr, 2014; Darling-Hammond et al, 2007). La dimensión individual de los efectos de la formación es uno de los focos más recurrentes en las investigaciones revisadas, y en general involucra cuatro variables o componentes mayores: • El primero de ellos apunta a conocer los cambios en las representaciones y concepciones profundas acerca de un quehacer profesional o de un ámbito del conocimiento, pudiendo involucrar cambios en principios éticos e ideológicos. Para su evaluación, es posible utilizar distintos métodos, entre ellos, la aplicación de evaluaciones individuales (pruebas, entrevistas), la consulta a otros agentes y el análisis de la toma de decisiones (Buskey y Karvonen, 2012). • El segundo refiere a la adquisición de conocimientos. Se busca conocer el grado de apropiación de cierto corpus teórico que da soporte a un ejercicio profesional o académico y que, tradicionalmente, es exigido para la adquisición de alguna certificación académicaprofesional. Para ello, es posible utilizar la aplicación de un instrumento individual o grupal de carácter oral o escrito, que dé cuenta de la adquisición y compre-

cuaderno nº 12

sión de conceptos o teorías. Junto a la técnica señalada, en algunos casos también es posible consultar a otros agentes. (Orr, Young y Rorrer, 2010; Pounder, 2012). • En tercer lugar, la evaluación de los efectos de la formación puede versar sobre cambios en las prácticas profesionales. Generalmente, esta evaluación buscará conocer de qué manera un estudiante o un egresado ha logrado modificar sus acciones en un espacio laboral determinado. Esto puede medirse a través de juicio evaluativos externos (comunidad laboral), observación de prácticas, portafolios, entrevistas, examen de eventos críticos, entre otros aspectos (Orr, Young y Rorrer, 2010; Pounder, 2012). • Finalmente, la dimensión individual puede relacionarse también con los cambios o efectos de un proceso formativo en las trayectorias profesionales de un sujeto. Se intenta en este caso dar cuenta de los recorridos post egreso de un estudiante, relevando sus progresos salariales y la obtención de mejores posiciones jerárquicas. Se evalúan para ello indicadores profesionales bajo una perspectiva longitudinal (Orr, Young y Rorrer, 2010; Pounder, 2012). La revisión bibliográfica muestra que las transformaciones en el ámbito individual pueden tener un impacto en los resultados y en las dinámicas de la comunidad educativa. En este sentido, la revisión de la literatura y la experiencia internacionales también indica que el impacto del liderazgo asociado a las prácticas de un líder escolar puede transformar positiva o negativamente un centro educativo. En consecuencia, los progresos formativos pueden afectar las dinámicas y prácticas escolares y los resultados de aprendizaje de los estudiantes de una escuela o liceo. En este sentido, su análisis puede abarcar la percepción de la comunidad, la observación y análisis de estas dinámicas, el análisis de indicadores internos de gestión, y el progreso de los aprendizajes, medidos a través de pruebas estandarizadas u otros meca-

nismos. Esta evaluación requiere la utilización de distintas técnicas que permitan aislar el efecto formación, así como una mirada longitudinal de largo plazo (Buskey y Karvonen, 2012; Orr, Young y Rorrer, 2010; Pounder, 2012). Ahora bien, independiente de la diversidad de focos y metodologías, la literatura tiende a señalar la falta de evidencia acerca de la efectividad o eficacia de los programas (Pounder, 2012; Cowie & Crawford, 2009; Brundrett, 2006; Darling-Hammond et al., 2009; Orphanos & Orr, 2014; Orr, 2010), y el escaso acuerdo existente en cuanto a cómo medirla (Orr, 2010). Esto vuelve estratégico el hecho de que países como Chile comiencen a avanzar, en el marco de su política de fortalecimiento del liderazgo escolar, en el desarrollo de mecanismos y sistemas de evaluación de la formación, utilizando como base la experiencia internacional, pero con pertinencia local.

Cuadro síntesis. Focos y dimensiones de la evaluación de la formación de directivos, de acuerdo a la literatura y la experiencia internacionales

Creencias

Conocimientos Efectos Individuales Prácticas Resultados Evaluación de la Formación

Trayectorias Procesos

Efectos Organizacionales

Dinámicas Escolares Aprendizaje Estudiantes

Fuente: Elaboración Propia

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

MAPA ACTUALIZADO DE LA FORMACIÓN DE DIRECTIVOS ESCOLARES EN CHILE

Uno de los objetivos centrales de este estudio ha sido actualizar el diagnóstico de la situación de los programas de formación en liderazgo escolar que existen en nuestro país. Cabe señalar que el instrumento utilizado para ello (encuesta electrónica a los encargados de Programas de Formación existentes actualmente) incluyó entre sus preguntas algunas similares a las utilizadas por un catastro de Programas de Formación para Líderes Escolares realizado por Fundación Chile el año 2010. Su incorporación tuvo como propósito

dar cuenta de la evolución de la oferta de Programas de Magister en Liderazgo y Gestión 7 años después, identificando los cambios en los énfasis curriculares y en las características de la oferta existente en el país.

1. Descripción de los Programas de Formación en Liderazgo La cobertura de este componente de la investigación alcanzó una muestra de 34 programas de un total de 45 programas catastrados y vigentes en Chile1. La distribución regional de los programas consultados es similar a la nacional, y se concentra en las zonas centro y sur del país. Previo a analizar las características curriculares y metodológicas de los programas, se presenta en la Tabla 2 una descripción de aspectos generales de los mismos.

Tabla 2. Caracterización de los Programas Aspectos de los programas descritos

Descripción

Instituciones en las que se imparten

27 universidades de carácter público y privado, de las cuales el 71.1% no pertenece al Consejo de Rectores.

Modalidad de estudio

Presencial: 73.3%; semipresencial: 20%; a distancia: 6.7%.

Años de existencia

5 años o menos: 38,2%; entre 6 y 10 años: 35,3%; más de 10 años: 26, 5%.

Certificación/Acreditación

Programas inscritos en los registros de perfeccionamiento del CPEIP: 70,6%; programas acreditados por la Comisión Nacional de Acreditación: 5.

Cohortes egresadas

6 en promedio. (53% de los programas tiene 4 o menos cohortes de egresados)

Profesionales egresados

Más de 100 egresados en casi 60% de los programas.

Cobertura Promedio de ingreso del 2017*: 40 estudiantes por Magister (con importantes diferencias entre programas).

*Este promedio considera también programas cuya fecha de inicio fue noviembre o diciembre del 2016.

Perfil de los profesionales que los programas reciben actualmente

Principalmente: profesores que aspiran a ser directores: 88,2%; directivos no directores que aspiran a ser directores: 73,5%; profesores en búsqueda de perfeccionamiento general: 67,6%.

(Nota: Un mismo encuestado podía tener más de una motivación para participar en un programa de formación, lo que explica que la sumatoria de porcentajes supere el 100%.)

Estudiantes por programa que acceden a cargos directivos

Menos de 25% de los estudiantes: 44,1 programas; entre el 26% y el 50% de los estudiantes: 35% programas; entre 51% y 75%: 117,6%; más del 75%: 2,9%. Fuente: Elaboración propia

1. Complementario a la aplicación de la encuesta se realizó un catastro de todos los programas de magister orientados a directivos escolares, que permitió caracterizar al universo en al menos algunos de sus elementos básicos. Además, se realizó un análisis de información secundaria de los procesos de acreditación de programas que accedieron a poner a disposición de este estudio dicha información.

cuaderno nº 12

2. Características curriculares y metodológicas de los Programas Respecto a los contenidos impartidos2, la encuesta aplicada permite concluir que los programas de Magister vigentes en Chile cubren una amplia variedad de contenidos y materias. Aunque no es posible distinguir un único ámbito que destaque por sobre otros en las mallas, es posible observar que los tópicos con mayor presencia curricular corresponden al liderazgo educativo y la gestión de los centros educativos y organizacional. En segundo término, encontramos cuestiones relativas a la gestión de recursos humanos, diseño, evaluación y gestión de proyectos educativos e investigación. En tercer lugar, se encuentran los contenidos asociados a la planificación y evaluación curricular, gestión y administración de recursos y política educativa, y finalmente los contenidos asociados a la evaluación de aprendizajes y teoría en educación. Cabe señalar que todos los ámbitos son cubiertos por casi la totalidad de los programas, a excepción de los últimos dos reseñados (Tabla 3).

Al realizar un ejercicio comparativo con los resultados alcanzados en el catastro del año 2010, se observan algunos cambios durante el período de contraste. Así, las dimensiones referidas al liderazgo educativo, la gestión organizacional y la gestión de recursos humanos son las que presentan una mayor alza. Estos ámbitos, que aumentan en más 10 puntos porcentuales, representan precisamente las dimensiones en las que las políticas educativas de apoyo y monitoreo al liderazgo escolar han puesto mayor énfasis (OECD, 2008; Uribe, 2010; Weinstein y Muñoz, 2012; en MINEDUC, 2015). Por el contrario, la dimensión teórica de la formación, que incluye los ámbitos de teoría de la educación y política educativa, presentan un descenso, poniendo de manifiesto que los ajustes realizados por los programas de formación han transitado hacia perspectivas de carácter más práctico o de fortalecimiento del liderazgo. También es importante destacar el descenso de la dimensión de evaluación de aprendizajes (Gráfico 1).

Tabla 3. Contenidos de las mallas

Frecuencia Porcentaje 12

35,3%

Políticas y situación educacional en Chile

Teoría de la Educación

76,5%

Liderazgo educativo

94,1%

Planificación y gestión de centros educativos

94,1%

Organización y clima organizacional de establecimientos educacionales

94,1%

Planificación y evaluación del currículo educativo

76,5%

Gestión y administración de recursos financieros

76,5%

Gestión y administración de recursos humanos

88,2%

Diseño, evaluación y gestión de proyectos educativos

85,3%

Investigación en Educación

82,4%

Evaluación de aprendizajes

55,9%

Fuente: Encuesta encargados Programas de Magister

2. Para obtener esta información, se presentó a los encuestados un listado de contenidos posibles, solicitándoles que indicaran cuáles estaban incluidos en la malla curricular del programa del que eran responsables.

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

Gráfico 1. Comparación contenidos de las mallas 2010-1017

Evaluación de aprendizajes

74,0

55,9

80,0 82,4

Investigación en educación

86,0 85,3

Diseño, evaluación y gestión de proyectos 71,0

Gestión de RRHH 64,0

Gestión de recursos financieros

88,2 76,5 78,0 76,5

Planificación y evaluación del currículo

84,0

Gestión organizacional

94,1 90,6 94,1

Gestión de centros educativos 82,0

Liderazgo educativo Políticas educativas Teoría de la educación

2010 2017

76,5 35,3

94,1

86,0

55,0

Fuente: Encuesta encargados Programas de Magister

Para refrendar lo señalado anteriormente, cuando se contrastan los énfasis formativos declarados por los encargados, es decir, los contenidos curriculares considerados como prioritarios3, se observa que el ámbito de mayor relevancia para los directores y/o coordinadores refiere a “Liderazgo Educativo”4, mientras que el año 2010 la principal focaliza-

ción se encontraba en el desarrollo de contenidos vinculados a la “Planificación y gestión de los centros educativos”. Los programas de formación han venido priorizando con mayor fuerza, entonces, los contenidos directamente relacionados con el desarrollo de competencias para el liderazgo escolar (Tabla 4).

3. Para identificar estos contenidos prioritarios, se presentó a los encuestados el listado de alternativas que figura en la Tabla 4 a continuación, solicitándoles que indicaran cuáles consideraban primera, segunda y tercera prioridad para el Plan de Estudios del programa que tenían a cargo. 4. Definido en la encuesta como: “Visión y Misión del equipo directivo. Alineamiento del equipo en torno a metas comunes. Competencias para un liderazgo efectivo. Reconocimiento y estímulos para el desempeño de excelencia.”

cuaderno nº 12

Tabla 4. Contenidos considerados como primera prioridad en las mallas. Comparación 2017-2010

2017 2010

Liderazgo educativo

68,8%

Planificación y gestión de centros educativos

12,5% 37%

Políticas y situación educacional en Chile

6,3%

Planificación y evaluación del currículo educativo

6,3% 6%

Organización y clima organizacional de establecimientos educacionales

3,1% 4%

Investigación en Educación

3,1%

12%

Diseño y evacuación de proyectos educativos

- 12%

Evaluación de aprendizajes

Gestión y Adm. de RRHH

Gestión y Adm. de recursos financieros

Fuente: Encuesta encargados Programas de Magister

En consonancia con esta transformación, el análisis de los énfasis formativos asociados a cada uno de los contenidos muestra que, en general, para cada uno de los contenidos tratados se busca en primer término modificar las prácticas y, en segundo lugar, aportar al manejo teórico y conceptual de los estudiantes. Esta pregunta se incorporó con el objetivo de entender cuál es el resultado esperado de la introducción de cada uno de los contenidos incorporados en los programas, utilizando para ello una distinción que la literatura provee y que es muy relevante para efectos de esta investigación: efecto en los conocimientos, en las creencias y/o en las prácticas. La Tabla 5 da cuenta que, a excepción de los ámbitos o contenidos propiamente “teóricos” y aquel vinculado a la organización y al clima organizacional, todos los programas focalizan su preocupación en el mejoramiento del liderazgo a través de las prácticas. Cuando se analizan las metodologías utilizadas por los programas en sus prácticas de enseñanza y de evaluación, observamos que las acciones con mayor prevalencia son las

Tabla 5. Relación contenidos y énfasis formativos (% de programas que declara abordar este contenido) Contenidos

Manejo de contenidos

Modificación de prácticas

Cambios en las creencias

Teoría de la Educación

26,5

14,7

20,6

Políticas y situación educacional en Chile

44,1

32,4

29,4

Liderazgo educativo

55,9

58,8

32,4

Planificación y gestión de centros educativos

35,3

61,8

17,6

Organización y clima organizacional de establecimientos educacionales

58,8

50,0

26,5

Planificación y evaluación del currículo educativo

38,2

50,0

26,5

Gestión y administración de Recursos Financieros

44,1

52,9

5,9

Gestión y administración de Recursos Humanos

32,4

50,0

35,3

Diseño, evaluación y gestión de proyectos educativos

35,3

70,6

14,7

Investigación en Educación

38,2

41,2

14,7

Evaluación de aprendizajes

14,7

32,4

26,5

Fuente: Encuesta encargados Programas de Magister

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

clases expositivas, talleres, trabajos grupales o individuales,

muestra el Gráfico 4, las competencias a las que se abocan

estudios de casos, tesis y proyectos de grado. Estas acciones son muy similares a las señaladas por los coordinadores o encargados 7 años atrás, observándose sólo un incremento en las metodologías expositivas (Gráfico 2). En esta materia, al consultar a los encargados por los vínculos con establecimientos educativos para el desarrollo de prácticas, los datos muestran que aun cuando la institucionalidad de los vínculos (firma de convenios) no aumentó masivamente (Gráfico 3), sí se observa un alza en la proporción de programas que indica que sus estudiantes realizan prácticas profesionales. En este sentido, es posible afirmar que, si bien hay un leve aumento de instancias de formación eminentemente prácticas, los programas siguen utilizando metodologías tradicionales, lo que de acuerdo a toda la experiencia internacional relatada en esta investigación debe ser un aspecto que revisar con miras a fortalecer la pertinencia y calidad de dicha formación. La encuesta realizada también indagó en las competencias que los programas de formación buscan desarrollar. Como

los programas de Magister se centran en el desarrollo organizacional y de recursos, la gestión del cambio, la visión compartida, el clima organizacional y el liderazgo pedagógico, lo que es consistente con los contenidos priorizados, mencionados previamente. Estas competencias son complementadas en un segundo nivel de prioridad con el desarrollo de habilidades transversales asociadas a la comunicación y el desarrollo ético. En una posición secundaria quedan las competencias vinculadas a la promoción del desarrollo profesional y la participación familiar. El análisis comparativo con el año 2010 muestra que las principales alzas se producen en el área de desarrollo de habilidades transversales asociadas a la comunicación, el desarrollo ético y la articulación teórico-práctica. Estas cifras vuelven a confirmar el impacto de las transformaciones de las orientaciones de las políticas en esta materia, que han puesto el énfasis en el despliegue de prácticas de liderazgo, implicando con ello la necesidad de abordar habilidades de carácter más transversal.

Gráfico 2. Comparación metodologías de enseñanza y evaluación 2010-1017 (% de programas que declara utilizar esa metodología)

97,1

94,1 89,0

94,1

93,0

100

100 93,0

91,0

55,9

52,0

33,0 23,5

17,6

2017 2010

24,0

as ías rreno de casos rabajos sociales oyecto grupos sant t expositivs o pa en te o pr es o edes a ses res ller tesis estudio a de r t ctic cla tuto uso prá

Fuente: Encuesta encargados Programas de Magister

cuaderno nº 12

Gráfico 3. Convenios para prácticas. Comparación 2010-1017 (% de programas que declara contar con convenios)

55,9 50,0 41,0 35,3

2017 2010 8,8

9,0

sí

no, pero los alumnos realizan prácticas en establecimientos educacionales sin convenio

Fuente: Encuesta encargados Programas de Magister

Gráfico 4. Competencias desarrolladas (% de programas que declara desarrollar estas competencias). Comparación 2010-2017 87,0 91,2

Organizar las funciones, estructuras y recursos Gestionar procesos de cambio

83,0

Visión compartida

83,0 63,0

Articular teórica y práctica

74,0

Apoyo procesos de mejoramiento de la enseñanza Expresión y comprensión de otros

48,0

Desarrollo profesional Participación familiar

50,0

82,2

82,4

79,4 57,0

Valores de integridad, honestidad y respeto

91,2 91,2

78,0

Propiciar un clima escolar favorable

91,2

73,5 63,0

2010 2017

43,0 41,2

Fuente: Encuesta encargados Programas de Magister

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

3. La realidad de la evaluación de la formación Con el propósito de conocer las acciones de evaluación y monitoreo que actualmente ejecutan los programas de formación de directivos –tema central de esta investigación– la encuesta integró un grupo de preguntas enfocadas a identificar el tipo de contenidos y competencias evaluadas, las estrategias utilizadas y las temporalidades (momentos) de su desarrollo (Gráfico 5). En una primera aproximación a los resultados, se evidencia que los ámbitos más evaluados son la apropiación de los conocimientos teóricos y la satisfacción respecto del proceso formativo. Otros ámbitos, como la modificación de perspectivas y creencias, el mejoramiento de resultados y de procesos escolares, el desempeño efectivo en el puesto de trabajo y la progresión en las trayectorias, son áreas que, si bien presentan menor número de menciones, alcanzan cifras que rondan entre el 70% y 60% de los casos. Desde la

perspectiva de los encargados de los programas, entonces, existiría una amplia evaluación de los efectos de la formación, que cubriría distintos ámbitos de esta. Como se verá en el capítulo de resultados cualitativos de esta investigación, estos datos deben ser leídos con cautela. Cuando se efectúa el ejercicio de contraste entre las dimensiones realizadas y las preferencias o requerimientos de evaluación de los encargados/as (lo que quisieran evaluar), se aprecia una cierta disonancia entre lo deseado y lo realizado efectivamente. A modo de ejemplo, la modificación de creencias y el desempeño efectivo de directivos en contextos escolares son los ámbitos que según los encargados debiesen ser evaluados con mayor prioridad; sin embargo, la apropiación de contenidos y satisfacción del proceso es lo que finalmente se termina evaluando con mayor fuerza en la práctica. Esto es relevante, pues empieza a mostrar que los programas no tienen la capacidad de realizar una evaluación que incluso ellos mismos consideran relevante de poner en práctica (Tabla 6).

Gráfico 5. Dimensiones evaluadas (% de programas que declara que sí evalúa las dimensiones indicadas)

88,2 79,4 70,6

apropiación de conocimientos teóricos

satisfacción con el proceso formativo

modificación de las perspectivas y creencias

67,6

64,7

mejoramiento de resultados y procesos

desempeño directivo en contextos escolares

61,8

progresión en las trayectorias profesionales

Fuente: Encuesta encargados Programas de Magister

cuaderno nº 12

Tabla 6. Contraste dimensiones evaluadas: lo deseado y lo realizado

Lo deseado

Lo realizado

1°

3°

Desempeño directivo en contextos escolares

2°

5°

Apropiación de conocimientos teóricos asociadas al liderazgo directivo

3°

1°

Mejoramiento de resultados y procesos educacionales

4°

Progresión en las trayectorias profesionales

5°

6°

Satisfacción con el proceso formativo

6°

2°

Modificación de las perspectivas y creencias de liderazgo directivo

Fuente: Encuesta encargados Programas de Magister

Profundizando en esta misma dimensión, la encuesta permite constatar que, si bien se estaría ejecutando una evaluación de los distintos ámbitos reseñados, las estrategias utilizadas se circunscriben generalmente a mecanismos tradicionales de evaluación (autoevaluación e instrumentos de evaluación de conocimientos, como pruebas durante el proceso formativo) (Tabla 7). El análisis de la práctica profesional a través de indicadores directos o indirectos, no se realiza de manera extendida. En el Gráfico 6 se observa además que los programas no realizan un seguimiento a las prácticas al finalizar el proceso (61,8%) y solo una proporción menor (un 20%) monitorea indicadores asociados a las trayectorias profesionales. Es más, cuando se consulta por la frecuencia de dicho seguimiento, solo un grupo minoritario dice realizarlo de manera permanente. Este es probablemente el cuadro más decidor para entender la situación de la evaluación de la formación en Chile: mientras pareciera ser una prioridad para

los programas, por distintos factores hoy no se ejecuta una evaluación extendida ni menos exhaustiva de los efectos de la formación, al menos si consideramos aquellas áreas que la literatura especializada ha venido relevando. Finalmente, cuando se consulta a los coordinadores o directores de los programas acerca de las disposiciones y condiciones institucionales para implementar nuevos dispositivos de evaluación, la mayoría de ellos destaca la importancia de fortalecer los procesos de evaluación, en especial al finalizar el proceso formativo. Junto con ello, señalan contar con recursos y capacidades internas para conocer el impacto de la formación. Sin embargo, declaran requerir apoyo sobre todo para conocer lo que ocurre luego del egreso de los estudiantes. En consonancia con lo ya relatado en este mismo capítulo, se le encuentra sentido a la idea de un modelo nacional de evaluación que suponga la participación y co-diseño de los propios programas de formación (Tabla 8).

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

Tabla 7. Dispositivos de evaluación y temporalidades (% de programas que declara implementar estas estrategias de evaluación) Estrategias de evaluación Al inicio

Durante el proceso de formación

Justo al finalizar el programa

Después de finalizar el programa

No lo realizamos

Observación de prácticas en espacios laborales de estudiantes y/o egresados

17,6

26,5

5,9

2,9

47,1

Autoevaluación de aprendizajes por parte de estudiantes o egresados

11,8

76,5

14,7

5,9

8,8

Evaluación de aprendizajes regulares (pruebas, exámenes, etc)

14,7

88,2

41,2

2,9

5,9

55,9

29,4

20,6

5,9

2,9

35,3

47,1

Análisis de indicadores externos (mejora en procesos o indicadores de establecimientos educativos)

2,9

26,5

5,9

2,9

64,7

Análisis de indicadores individuales (trayectorias laborales, trayectorias educativas, mejora remuneraciones de los estudiantes o egresados)

8,8

17,6

2,9

20,6

52,9

Encuesta de satisfacción a estudiantes o egresados Consulta a comunidades escolares (equipos directivos, profesores, sostenedores, etc)

Gráfico 6. Seguimiento de egresados Sí, se hace seguimiento en todas las generaciones

14,7% No se ha realizado ningún seguimiento laboral

61,8%

Sí, se ha hecho al menos un seguimiento

23,5%

Fuente: Encuesta encargados Programas de Magister

cuaderno nº 12

Tabla 8. Disposiciones y condiciones institucionales (% de programas que declara contar con distintas condiciones para la evaluación) Disposiciones y condiciones

(Muy de acuerdo + de acuerdo)

Contamos con los recursos humanos y económicos para desplegar las estrategias de evaluación requeridas

87,1

Tenemos las capacidades internas para conocer el impacto de nuestra formación

83,9

Para conocer lo que ocurre con nuestros egresados necesitamos apoyo externo

51,6

Tenemos planificado fortalecer nuestros procesos de evaluación

100,0

Los antecedentes que manejamos son suficientes para conocer el impacto de nuestra formación

54,8

Contamos con antecedentes acerca de las trayectorias de nuestros egresados

38,7

Es necesario contar con un modelo nacional para la evaluación del impacto de los programas de formación de líderes escolares

77,4

La evaluación de los programas debe ser diseñada por los propios equipos, por lo que no debe aplicarse un modelo externo

71,0

Fuente: Encuesta encargados Programas de Magister.

4. Síntesis de resultados Esta investigación ha realizado un esfuerzo importante por sistematizar información clave sobre los programas de formación en liderazgo escolar vigentes en Chile. El catastro y la encuesta aplicada en el marco de este estudio da cuenta de trasformaciones curriculares importantes en los cerca de 45 programas de formación en liderazgo que actualmente se desarrollan en Chile. Al comparar con la situación del año 2010, se evidencia una mayor priorización curricular de áreas como los conocimientos específicos sobre liderazgo educativo, el acercamiento a herramientas de mejoramiento escolar y la gestión de recursos humanos. Este cambio convive, sin embargo, con una estabilidad de las principales metodologías utilizadas por los programas y la poca presencia de instancias prácticas de desarrollo profesional. Este componente de la investigación también permite

entender que exite un importante espacio para avanzar en materia de evaluación de la formación. Si bien hay un grupo importante de programas que desarrolla (y declara) distintos tipos de evaluación de sus resultados, las estrategias metodológicas utilizadas son tradicionales (autoevaluación e instrumentos de evaluación de conocimientos, como pruebas durante el proceso formativo) y no se hacen cargo de lo que ocurre después del proceso formativo. Otro hallazgo interesante es que existe una disonancia clara entre lo que los programas aspirarían a evaluar y lo que efectivamente logran hacer. Así, la modificación de creencias y el desempeño efectivo de directivos en contextos escolares son los ámbitos que los actores reconocen que debiesen ser mayormente evaluados. Sin embargo, la evaluación se circunscribe por ahora principalmente a la apropiación de contenidos y satisfacción respecto a los procesos de los programas.

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

LA VISIÓN DE LOS ACTORES SOBRE LA IMPORTANCIA Y CARACTERÍSTICAS DE UN MODELO DE EVALUACIÓN DE LA FORMACIÓN DE DIRECTIVOS

Los talleres realizados con directivos ex alumnos de programas de formación y con encargados de los mismos programas consistieron en una reflexión guiada que tuvo como objetivo central la identificación de las variables que un modelo de evaluación de la formación de directivos en Chile debiera considerar, y las metodologías y tiempos que un esfuerzo de esta envergadura implicaría.5 Independiente de las diferentes posiciones y trayectorias que caracterizan a los directores de programas de formación y a los egresados de estos programas, ambos actores reconocen la importancia de la evaluación de la formación, por tres razones principales: en primer lugar, debido al efecto que el liderazgo directivo tendría en los docentes e indirectamente en el aprendizaje de los estudiantes; luego, debido a que la política educativa ha priorizado e invertido recursos públicos importantes en la formación de líderes, a través de becas y otros mecanismos; y, por último, debido a la utilidad que dicha información podría tener para la mejora continua de los propios programas. En este sentido, los encargados de los programas relevaron que contar con instrumentos en esta línea podría traducirse en mejoras importantes en la actualización de la formación que imparten y en una mejor respuesta a las necesidades de los estudiantes. Más allá del consenso que existe respecto a la importancia de la evaluación de la formación, tanto los encargados de los programas como los egresados de los mismos reconocen que es poco lo que se realiza actualmente en los

programas para evaluar la efectividad de la formación que imparten. Cuando existen dispositivos de evaluación, estos tienden a concentrarse en la evaluación de procesos (análisis de la satisfacción de los estudiantes, evaluaciones docentes, entre otros) más que en una evaluación de los programas centrada en su efecto en los estudiantes y en sus prácticas. Esto confirma algo que la evidencia cuantitativa de este estudio ya permitió apreciar anteriormente. A pesar de que existe una amplia disposición para avanzar, todos los programas que participaron del estudio consideran bastante lejano el horizonte de contar con sistemas de evaluación propios, dadas las precarias condiciones institucionales del sistema en general para realizar este tipo de levantamientos. Resalta, de acuerdo a la opinión de los propios actores, la falta de recursos económicos, de tiempo y de académicos, dado que la mayoría de los funcionarios de los Magister no poseen contratos a tiempo completo.6 Los actores concuerdan en la necesidad de avanzar hacia un modelo nacional de evaluación de la formación en liderazgo escolar que tenga efectos tanto en la política pública como en los programas mismos. Consideran en este sentido que este modelo debería tener un corpus común de variables que se apliquen a todos los programas, y otro flexible que se ajuste a las diferentes mallas curriculares y perfiles de egreso, lo que es totalmente consistente con el análisis de experiencias internacionales ya presentado. Ahora bien, para que los resultados sean más pertinentes, los actores declaran la necesidad de “controlar por contexto y perfil de ingreso de los egresados”, entendiendo por “contextos” las posiciones de liderazgo de los egresados, el tipo de escuela en el que ejercen, y la política local en la que se insertan, entre otros; y refiriéndose el “perfil de ingreso” sobre todo al nivel de experiencia en el aula y las expectativas laborales futuras.

5. No se observaron en los talleres grandes diferencias entre actores o entre regiones. 6. Los programas a distancia parecieran ser todavía más precarios institucionalmente en esta dimensión, y si se considera además su dificultad para tomar contacto con una multiplicidad diversa de estudiantes de distintas partes de Chile, la evaluación de la formación y el seguimiento a egresados parece un objetivo prácticamente inabarcable.

cuaderno nº 12

Por último, si bien los actores concuerdan en que el modelo de evaluación a diseñar debe poner el foco en los resultados que dichos programas obtienen con sus egresados, esto no debiera implicar, según ellos, el abandono de todo el objetivo de evaluación de procesos, lo que permitiría además contar con un modelo de evaluación mucho más comprensivo.

1. Visión acerca de los aspectos de la formación que se debe evaluar Como ya se dijo, los talleres se concentraron en la discusión sobre las dimensiones y variables que según los distintos actores debieran ser parte de un modelo de evaluación, así como también sobre el nivel de importancia relativa que cada una de ellas debiera tener en dicho modelo. Para ello, se utilizó como marco general la síntesis del marco conceptual presentado anteriormente, y que permitió establecer la distinción entre: i) las creencias y representaciones de los egresados de los programas, ii) los conocimientos adquiridos en el proceso formativo, iii) la modificación en las prácticas de liderazgo mismo, iv) las trayectorias profesionales de los egresados de los programas y, finalmente, v) los efectos de la formación en la organización escolar misma donde se desempeñan los egresados. En primer lugar, es importante constatar que si bien los actores que participaron del estudio asignaron distintos niveles de relevancia a cada una de estas dimensiones de impacto, la gran mayoría de ellos coincidió en que un modelo de evaluación debiese tener como eje central las prácticas que los egresados de los programas desarrollan en sus entornos escolares, básicamente dado que es en estas prácticas donde efectivamente se puede observar el efecto de la formación, y estas prácticas son al mismo tiempo reflejo de los conocimientos adquiridos y las creencias que se encuentran a su base. Por otro lado, es posible observar que la mayoría de los entrevistados señala que las variables de trayectorias y resultados en la organización se encuentran en otro nivel, pues

dependen de muchos otros factores distintos a la formación, como son las expectativas laborales en el caso de las trayectorias. Los efectos en la organización escolar serían todavía más indirectos y por tanto difíciles de atribuir al proceso formativo. El ejercicio realizado también permitió identificar nuevas variables no consideradas inicialmente en la propuesta de modelo, aunque siempre en el marco general de las dimensiones que la experiencia y la literatura internacionales habían permitido construir. Así, por ejemplo, aparecieron con fuerza variables como las habilidades socio-emocionales de los directivos, las capacidades para motivar y movilizar a los adultos (docentes) y la habilidad para definir metas institucionales compartidas por las comunidades educativas. En la Tabla 9 se presenta una síntesis de las variables que este componente del estudio ha arrojado como prioritarias para la construcción preliminar de un modelo de evaluación.

2. Visión acerca de la forma como la formación debe ser evaluada Como quedó en evidencia en el análisis de experiencias y literatura internacionales, evaluar los efectos de la formación en liderazgo supone un gran desafío metodológico. En esta sección se analizan las percepciones y propuestas de los actores respecto a la temporalidad y las mejores herramientas para medir los resultados de los procesos formativos. El primer consenso observable es el hecho de que, para poder medir un cambio en todas las dimensiones del modelo, es necesario -como mínimo- desarrollar una evaluación al inicio (para lo cual los procesos de postulación representan una oportunidad) y otra luego de finalizar el programa formativo. Dar este paso parece ya extremadamente desafiante para los propios programas, aunque se trate de estudios y evaluaciones muestrales, y no censales. En concordancia con el análisis internacional, una parte de los entrevistados considera necesaria una evaluación intermedia, ya sea inmediatamente al finalizar el proceso formativo o un poco antes de ese hito. Pareciera que esta evaluación es especialmente

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

Tabla 9. Síntesis de principales variables y prioridades para un modelo de evaluación de la formación, de acuerdo a la opinión de los actores Dimensión de efecto Nivel de de la formación prioridad

Variables que debiera tomar en cuenta

Creencias y Medio-Alto representaciones

• Concepciones sobre el rol y la relevancia del equipo directivo • Auto concepto y sentido de autoeficacia de los líderes • Nivel de compromiso y motivación con las responsabilidades directivas • Nivel de confianza personal y profesional • Adhesión a principios y valores presentes en la normativa educacional (Ej.: inclusión, justicia social, respeto a la diversidad, participación y colaboración) • Creencias sobre el rol transformador de la escuela en la sociedad actual

Conocimientos Medio y habilidades

• Conceptos y evidencias sobre gestión escolar y liderazgo educativo

Prácticas* Alto * Cada una de

• Prácticas de desarrollo de capacidades profesionales y motivación del equipo del centro (distribución

estas áreas de práctica está compuesta a su vez por prácticas más específicas, desarrolladas entre paréntesis.

• Conceptos y evidencias sobre efectividad y cambio educativo • Conocimientos sobre pedagogía y didáctica • Conocimientos sobre evaluación educacional • Capacidad de planificación estratégica y control de gestión • Habilidades de comunicación interpersonal • Capacidad para movilizar y motivar equipos de trabajo • Conocimientos sobre las políticas educativas nacionales • Conocimientos y evidencias de las tendencias y discusiones de política educativa internacional • Conocimientos sobre el funcionamiento específico del entorno institucional de la escuela

de liderazgo, desarrollo de trabajo colaborativo, favorecer el desarrollo profesional docente, fomentar la motivación laboral, propiciar un ambiente laboral basado en la confianza entre todos los estamentos) • Prácticas de planificación y gestión estratégica de la escuela (elaboración y despliegue de procesos para la gestión educativa, generar adhesión de estos en la comunidad educativa, crear buenos diagnósticos institucionales y pedagógicos de la escuela, monitoreo, seguimiento y evaluación de los procesos, y gestión de recursos financieros y pedagógicos) • Prácticas de gestión de la convivencia, de la participación de la comunidad y del entorno de la escuela (fomento de la participación de padres y apoderados, establecer buenas relaciones con el sostenedor y actores externos, dar coherencia a las demandas externas que la función directiva debe procesar, mantención de un buen clima y convivencia escolar)

Trayectorias Medio-Bajo Resultados Medio escolares

• Modificaciones en el cargo de los egresados • Responsabilidades asumidas por los egresados • Modificaciones en las remuneraciones de los egresados • Satisfacción laboral de los egresados • Organización y funcionamiento general de la escuela • Gestión curricular y del proceso de enseñanza de la escuela • Convivencia y las relaciones interpersonales al interior del centro • Resultados académicos de los estudiantes Fuente: Elaboración propia

cuaderno nº 12

relevante para observar el movimiento en las creencias y co-

identificaron principalmente dos metodologías que debieran

nocimientos de los actores, que podrían en alguna medida diluirse en el tiempo si no son observadas. En cuanto al tiempo ideal para realizar una evaluación de los efectos una vez finalizado un programa de formación en liderazgo, los diferentes actores reconocen la necesidad de esperar un tiempo prudente para que los distintos ámbitos de resultados puedan desplegarse y consolidarse, especialmente a nivel de las prácticas. En este sentido, la mayoría de los directivos y encargados de programas de formación se inclina por una medición a los 2 o 3 años de finalizar el programa; otros consideran que debería ser incluso más tiempo, llegando a los 5 años y más luego del egreso. Por otra parte, los actores plantean una variedad de instrumentos para observar cada una de las dimensiones del modelo de evaluación, aunque en general, como ya se planteó, existe acuerdo en que tanto las creencias como los conocimientos deben ser medidos a través de su expresión práctica, lo que obliga a poner foco en mecanismos que permitan efectivamente conocer el despliegue de dichas prácticas. Si bien en Chile existen varios estudios que han avanzado en esta dirección, para los actores es evidente que se requiere generar instrumentos con la finalidad explícita de conocer los efectos de la formación. Por lo demás, observar las creencias sin esta expresión práctica es muy complejo y reviste el riesgo de la deseabilidad social que en general se presenta en este tipo de indagaciones. En relación con los conocimientos, la situación es similar, pues según los actores su valor se expresa en la capacidad de ponerlos en práctica. En este mismo sentido, la mayoría de los entrevistados considera que el modelo de evaluación debiera basarse en un método que considere lo más fielmente el contexto educativo en el que se desenvuelve el egresado. Para ello, se

priorizarse, dada su viabilidad y confiabilidad: por un lado, el acompañamiento al egresado, observando su comportamiento y prácticas en las diferentes situaciones a las que se enfrenta en su rutina laboral; por otro, se plantea que la evaluación debe priorizar también las percepciones de la comunidad educativa, o al menos la de los equipos que trabajan directamente con la persona, esto por medio de entrevistas, focus group y cuestionarios estructurados. Otra herramienta metodológica señalada por los actores son las autoevaluaciones de los participantes sobre sus aprendizajes y percepciones en general de los resultados del proceso formativo. Esta metodología es planteada con mayor fuerza para observar las creencias y representaciones de los estudiantes y egresados. En este sentido, los actores concuerdan en que debiesen existir también –como parte del sistema de evaluación– instancias individuales que permitan a los estudiantes auto observar y sistematizar su proceso de desarrollo, a través de artefactos como las bitácoras de aprendizaje o la elaboración de ensayos, que luego son analizados por el propio sistema de evaluación. La autoevaluación constituye para los actores un eslabón fundamental de cualquier sistema de evaluación que pretenda priorizar su componente formativo7. Por otro lado, en general los actores consideran que el modelo de evaluación de la formación debe recurrir a instrumentos cuantitativos (test o cuestionarios, por ejemplo), que permitan observar ciertos conocimientos y manejo conceptual y de políticas. Según los actores, las encuestas constituyen además el mejor mecanismo para realizar seguimiento a los egresados8. Estos instrumentos debieran sin embargo ser en su visión siempre complementados con las otras alternativas ya presentadas, explorando además en la

7. Ahora bien, en línea con lo planteado anteriormente, la gran mayoría de los entrevistados considera que estas declaraciones y autoevaluaciones deben ser siempre puestas en relación con la observación de prácticas, pues su coherencia o incoherencia también constituye un resultado de la formación misma. 8. Respecto a la trayectoria, los actores concuerdan además en que, dado que la medición de esta dimensión es más simple y de menor costo que otras, debiese ser observada empíricamente con mayor frecuencia, al menos dos veces después del egreso de los estudiantes.

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

alternativa de los denominados assesment center, a través de los cuales los estudiantes y egresados podrían enfrentar distintas situaciones y problemas, cuya resolución sería objeto de evaluación. Este tipo de evaluaciones, fundamentalmente formativas y en ejecución en algunos contextos internacionales, asoma también como alternativa para responder adecuadamente al desafío de observar prácticas, pero en un escenario más viable desde un punto de vista económico y temporal. Como complemento a estas distintas metodologías, los actores recomiendan el uso de las tesis o planes de mejora que los egresados deben realizar durante su formación (en general hacia el cierre de esta), ya sea para evaluar sus creencias y conocimientos, o bien para observar, de ser pertinente, su ejecución práctica posterior. Otros actores señalan que se podría considerar también como fuente la elaboración de portafolios o análisis de documentos de los procesos propios de la escuela y su implementación, como por ejemplo el Proyecto Educativo Institucional. Se plantea que esta puede ser una forma más viable de conocer lo que ocurre “después” de la formación, aunque se reconoce que debe asegurarse que existan los incentivos para que especialmente los egresados se motiven y comprometan a participar en un ejercicio como ese. Las principales complejidades sistematizadas a partir de los talleres tienen que ver con el cargo y el contexto en el que se desenvuelve el egresado, variables que influyen directamente en su capacidad de desplegar prácticas, conocimientos. Mientras algunos actores sostienen que la muestra debiera considerar solamente a las funciones/cargos que tienen la posibilidad de desarrollar prácticas de liderazgo, otros proponen realizar una evaluación diferenciada de acuerdo a estas variables. En este mismo sentido, para el caso particular de la educación pública, los actores estiman que no debieran descartarse las evaluaciones anuales de desempeño que se realiza a los directores (en el contexto del sistema de Alta Dirección Pública) como insumo para conocer sus prácticas y efectos de la formación si procede.

Por último, los actores consideran que la metodología para medir el efecto de la formación en la organización escolar es mucho más compleja, pues este análisis no puede circunscribirse a los resultados académicos y debe combinar herramientas cualitativas y cuantitativas.

PROPUESTAS PARA UN MODELO DE EVALUACIÓN DE LA FORMACIÓN DE DIRECTIVOS EN CHILE

El análisis desarrollado a lo largo de este informe ha permitido diseñar una primera propuesta de Modelo de Evaluación para Programas de Formación de Directivos Escolares, que fue construido en base a ciertos fundamentos y estructurado en torno a ciertos componentes y dispositivos que se describen a continuación.

1. Fundamentos y principios del Modelo Esta propuesta concibe que tanto la evaluación de los procesos como la de los aprendizajes deben constituir un elemento central de la formación de directivos, esto en coherencia con lo que la literatura internacional y los actores relevantes en Chile identifican como necesidad. En este sentido, el modelo considera entre sus atributos principales la importancia de desarrollar una estructura amplia que, mediante distintas formas y dimensiones evaluativas, procure la diversificación de las estrategias evaluativas y ámbitos, aportando al mejoramiento continuo de los programas. Así, se reconoce la existencia de distintos contextos, estudiantes, dificultades y posibilidades, razón por la cual el modelo se define como un modelo inclusivo. Se plantea una estructura abierta a las distintas propuestas formativas centrada en el análisis de las prácticas, y que cuenta con una temporalidad que permite identificar los progresos e

cuaderno nº 12

impactos en el desempeño profesional de los egresados. El modelo también asume la necesidad de abarcar la mayor cantidad de participantes en la definición de criterios evaluativos y de los distintos momentos de evaluación, incorporando dispositivos de coevaluación, autoevaluación y heteroevaluaciones, que se encaminan a la retroalimentación y cambio de las prácticas individuales e institucionales.

2. Componentes del Modelo de Evaluación En base a estos principios, los ámbitos de evaluación en los que el modelo se inscribe son dos: el análisis de los procesos formativos; y los aprendizajes de sus estudiantes e impacto profesional. El primero se centra fundamentalmente en la implementación de los procesos de enseñanza, las dinámicas de los procesos de gestión interna, y la calidad y efectividad de los dispositivos del programa. Mediante su evaluación, es posible reconocer los énfasis formativos, los contenidos desplegados y las dinámicas de las prácticas de enseñanza y aprendizaje. Si bien esta dimensión no involucra los resultados de los procesos de la formación (dado que procurará más bien mirar cómo son diseñadas, organizadas e implementadas las distintas acciones formativas), la visión de los estudiantes (satisfacción) y el análisis de indicadores de resultados internos (retención, titulación) posibilitará establecer una relación entre lo intencionado por los programas y los resultados alcanzados. Contiguo a los procesos, el modelo incluye un componente de análisis de los resultados de aprendizaje e impacto profesional. Este busca identificar el progreso de los aprendizajes y efectos en cuatro dimensiones: cambios en las creencias, conocimientos/habilidades, prácticas y trayectorias profesionales. El ámbito de las creencias apunta a relevar los cambios en las disposiciones de los estudiantes, reconociendo las transformaciones en las representaciones y concepciones acerca de un quehacer profesional o de un ámbito del conocimiento (por ejemplo: cambios en la per-

cepción sobre el valor del liderazgo escolar). El ámbito de los conocimientos y habilidades, por su parte, busca identificar el grado de apropiación de cierto corpus teórico que da soporte a un ejercicio profesional o académico. El tercero, referido a las prácticas, apunta al reconocimiento del despliegue de los aprendizajes en un contexto de desempeño particular. Dado que esta propuesta de evaluación busca integrar distintos indicadores que permitan dar cuenta de los progresos en las creencias, conocimientos y prácticas, el modelo se plantea bajo una perspectiva longitudinal. En este sentido, se definen estadios o expectativas de logro asociados a cada momento o ciclo formativo, permitiéndose el reconocimiento temporal de las trasformaciones, en función de las dinámicas de los procesos formativos, de las capacidades de apropiación de los conocimientos, y de las posibilidades de despliegue y práctica de las mismas. Con todo, el modelo sugiere el análisis de desempeños ex ante, durante, al término y ex post del proceso de formación (al menos dos años después del egreso, en concordancia con la experiencia internacional). Junto a lo anterior, es necesario precisar que, dada la naturaleza y propósitos de estos programas formativos, los ámbitos asociados a las transformaciones de las creencias, al desarrollo de conocimientos y a las prácticas, requieren ser mirados de manera integral y asociados a la ejecución de un quehacer ligado al ejercicio de una labor directiva o de liderazgo. Asumiendo esta exigencia, el modelo se propone una metodología que incluye un fuerte componente de análisis de prácticas en contextos reales de desempeño. Finalmente, el ámbito de trayectorias se centra en conocer el efecto de la formación en el progreso y avances de las trayectorias, buscando distinguir el efecto de la formación en los roles y posiciones jerárquicas a lo largo del tiempo. En los esquemas siguientes se presentan gráficamente los componentes del modelo de evaluación propuesto, así como la temporalidad en la que dichos componentes debieran desplegarse.

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

Componentes Modelo de Evaluación de Formación

Desarrollo de procesos formativos

Efecto en los aprendizajes y trayectorias

• Análisis de prácticas de enseñanza • Análisis de satisfacción de estudiantes • Análisis de indicadores internos

• Análisis de cambios de creencias, conocimientos y prácticas • Efecto en trayectorias profesionales

Temporalidad de los componentes evaluativos Ex ante

Durante

Al término

Ex Post (2 años de egreso)

Análisis de prácticas de enseñanza Análisis de satisfacción Análisis de tasas de retención

Línea de base: creencias, conocimiento y habilidades

Análisis de satisfacción Análisis de tasas de titulación efectiva

Progresión: creencias, conocimiento y habilidades

(Evaluación Intermedia)

(Evaluación Término Formación)

(Evaluación Final) Fuente: Elaboración Propia

cuaderno nº 12

3. Dispositivos a considerar en la evaluación

Respecto de los aprendizajes, el modelo buscará relevar el logro de ciertos atributos del ejercicio profesional de los estudiantes y egresados. Para ello, los dispositivos deben permitir el reconocimiento de las transformaciones y progresos de las creencias, conocimientos y habilidades que los estudiantes desarrollan a lo largo de sus procesos formativos, y su posterior despliegue en contextos laborales. Esto implica centrar la evaluación en la práctica de su ejercicio profesional, vinculando sus características con los principios establecidos en las Prácticas de Liderazgo Educativo presentes en el Marco de la Buena Dirección y los énfasis de las propuestas de formación de los programas (contenidos curriculares y perfil de egreso). Tal como se ha mencionado a lo largo del estudio, es en la consistencia de los logros con estas definiciones marco que se juega parte importante de la efectividad de los programas de formación. En términos operativos, para la configuración de el, o los dispositivos, se requiere definir una expectativa de práctica, ajustada a un conjunto de indicadores de conocimientos,

En consonancia con lo expuesto anteriormente, uno de los desafíos principales del modelo es la definición de dispositivos de evaluación para cada uno de los ámbitos expuestos. En relación al primer ámbito, el modelo debe dar cuenta de la consistencia interna del programa, de los distintos mecanismos de implementación del proceso formativo y de sus resultados internos. Para ello, se propone desarrollar dispositivos que permitan conocer y analizar las prácticas docentes, los contenidos curriculares, su articulación y su consistencia con el perfil de egreso, así como otros indicadores asociados a la implementación, tales como análisis de satisfacción de los estudiantes, índices de retención, titulación y titulación oportuna. Las prácticas pedagógicas pueden ser analizadas a través de observación, mientras que lo relativo a la estructura formativa y su consistencia, mediante análisis curricular.

Proceso de definición de dispositivos para la evaluación de programas formativos

Marco para la Buena Dirección

selección de principales componentes formativos

diseño análisis de procesos

diseño análisis de aprendizajes

dispositivos evaluación final: efectos

perfil de egreso

FASE 1 Definición de expectativas de desempeño

FASE 2 Definición metodológica

FASE 3 Definición de criterios de ponderación y análisis final Fuente: Elaboración propia

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

habilidades y creencias9. Este potencial de práctica debe estar descrito de tal manera que se pueda reconocer su manifestación en estudiantes y/o egresados, especialmente por aquellos actores próximos a su ejercicio profesional y que pueden realizar un juicio evaluativo de este. Tomando lo anterior en consideración, la construcción de los dispositivos de evaluación exige identificar, seleccionar y priorizar conocimientos, habilidades y disposiciones que permitan configurar la estructura de los instrumentos. En primer lugar, se debe identificar aquellos componentes que permitirían reconocer directamente la práctica, así como aquellos que solo pueden ser evaluados mediante la observación de acciones o procesos objetivos y de sus resultados. Los equipos deben priorizar aquellos contenidos, habilidades y disposiciones más relevantes de ser considerados en la evaluación. Esta última tarea puede ser realizada a través de un trabajo colectivo con miembros de comunidades académicas, que permita detectar un conjunto de atributos directamente relacionados con los procesos formativos. Por otra parte, es necesario destacar que la mirada respecto de las prácticas, es decir, el conjunto de actividades ejercidas por una persona, debe realizarse tomando en consideración las circunstancias particulares en que estas se despliegan y las expectativas de resultados (Leithwood, 2011, en Marco para la Buena Dirección, 2015). Ello implica la identificación de las condiciones para desarrollar las tareas,

la ejecución o puesta en marcha de las mismas, y la constatación de los cambios o logros que se espera que generen. En correspondencia con lo señalado, el modelo de evaluación debe centrarse en un conjunto de miradas al trabajo de los estudiantes y egresados, que permitan identificar tanto sus características y la disponibilidad de condiciones para cumplir con sus responsabilidades, como el desarrollo efectivo de las tareas y objetivos propuestos. Desde lo anterior, se pueden definir distintos dispositivos de evaluación, que en la propuesta de esta investigación deberían traducirse en los siguientes instrumentos: a) Instrumento de observación de prácticas pedagógicas b) Encuesta de satisfacción estudiantes/egresados c) Instrumento de reconocimiento de prácticas estudiante/egresado (observación de prácticas, entrevistas, portafolios) d) Instrumentos de auto evaluación de progreso de prácticas estudiante/egresado e) Encuesta/Entrevista de evaluación del superior directo del egresado f) Encuesta/Entrevista del equipo de trabajo del egresado g) Encuesta de seguimiento trayectoria profesional En la Tabla 10 y siguiente se presenta la propuesta final del modelo de evaluación propuesto.

9. En el caso de los indicadores de desempeño de las prácticas pedagógicas de los docentes del programa. la definición de dichos criterios debe realizarse de la misma forma.

cuaderno nº 12

Tabla 10. Dimensiones, dispositivos, objetivos, temporalidad, actores y ámbitos de observación para la evaluación de la formación de directivos escolares Área

Dispositivo Objetivo Temporalidad de evaluación

Actor involucrado

Procesos formativos

Observación de prácticas pedagógicas, análisis de diseño curricular y otros mecanismos de evaluación

Conocer las prácticas pedagógicas, diseño curricular y mecanismos y procesos de evaluación implicados en el proceso formativo

Evaluación de medio término y evaluación final

Cuerpo docente y equipo central

• Coherencia curricular • Pertinencia perfil de egreso • Prácticas pedagógicas y de evaluación • Calidad cuerpo docente

Encuestas de satisfacción

Conocer el grado de satisfacción con el proceso formativo por parte de los estudiantes

Evaluación de medio término y evaluación final

Estudiantes/ Egresado

• Progresos en conocimientos, disposiciones, creencias y prácticas de acuerdo al perfil de egreso (percepción) • Satisfacción con proceso

Revisión de Indicadores

Dar cuenta de los indicadores de retención, titulación y titulación oportuna del programa

Evaluación de medio término y evaluación final

Equipo central

• Retención • Titulación (tasa) • Titulación oportuna del programa

Instrumentos de evaluación de prácticas, con foco en el despliegue de conocimientos, habilidades y creencias (observación de prácticas, entrevistas, portafolio)

Conocer y comparar los conocimientos, prácticas y creencias demostradas por el egresado, mediante el análisis de prácticas en contextos de desempeño profesional

Fase de inicio, evaluación de medio término, evaluación final y 2 años de egreso

Estudiantes/ Egresado

• Prácticas de planificación y gestión estratégica de la escuela

Autoevaluación

Conocer el progreso a partir de la evaluación que el propio egresado realiza

Evaluación inicial, intermedia, final y 2 años de egreso

Estudiantes/ Egresado

Evaluación del egresado por parte del superior directo

Conocer las trasformaciones de las prácticas del egresado a partir de la mirada de su superior directo (Entrevista)

Evaluación final y 2 años de egreso

Superior directo

Evaluación del egresado por parte de sus pares

Conocer las trasformaciones de las prácticas del egresado a partir de la mirada de sus pares (Entrevista)

Evaluación final y 2 años de egreso

Pares

Observación de Trayectorias Profesionales

Dar cuenta de información cualitativa y cuantitativa acerca de las distintas dimensiones del quehacer del profesional

2 años de egreso

Estudiantes/ Egresado

Prácticas y efecto en trayectorias profesionales

Ámbitos de observación principales

• Prácticas de desarrollo de capacidades profesionales • Prácticas de gestión de la convivencia y de la participación de la comunidad y el entorno de la escuela • Prácticas de gestión de los procesos de enseñanza y aprendizaje en la escuela*

• • • •

Cargo Responsabilidades Remuneración Satisfacción laboral

Fuente: Elaboración propia * Las prácticas de liderazgo que se incluyen en esta primera propuesta corresponden a las áreas generales de práctica que se desprenden del ejercicio conceptual y de los resultados de la fase cualitativa de este estudio. Como puede apreciarse, estas dimensiones son altamente consistentes con el Marco para la Buena Dirección vigente desde el año 2015, aunque en el caso de este estudio los actores no relevaron las prácticas de liderazgo instruccional como un eje relevante a evaluar.

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

CONCLUSIONES Y RECOMENDACIONES DE POLÍTICA

El objetivo de este estudio consistió en proponer un modelo de evaluación de la formación realizada por los diversos programas que hoy preparan a los directivos escolares en Chile. Esto, a partir de tres insumos principales: una revisión de la experiencia y la literatura internacionales, la realización de un estudio descriptivo de los programas de Magister dirigidos a directivos en Chile, y la ejecución de un conjunto de talleres con actores clave (encargados de programa y egresados) para levantar categorías y estudiar la factibilidad metodológica de construir un sistema de evaluación de la formación. Este estudio se realizó además en un escenario internacional de intensa discusión sobre la formación de directivos, sus mejores prácticas y la necesidad de evaluar su impacto en el liderazgo educativo. El primer paso del estudio consistió en actualizar información básica sobre los programas de Magister que forman directivos en Chile. Este componente del estudio permitió dar cuenta, a partir de la definición de los propios encargados de los programas, de un cambio importante en los énfasis curriculares de los más de 40 programas de formación en liderazgo que actualmente se desarrollan en nuestro país. Al comparar con la situación del año 2010, se evidencia una mayor priorización curricular de áreas como los conocimientos específicos sobre liderazgo educativo, el acercamiento a herramientas de mejoramiento escolar y la gestión de recursos humanos y del desarrollo profesional docente. Este interesante cambio convive sin embargo con una estabilidad de las principales metodologías utilizadas por los programas y la poca presencia de instancias prácticas de desarrollo profesional a lo largo de los mismos. Más allá de la realización de este catastro (que sin duda

aporta información valiosa al debate nacional), la primera conclusión relevante de este estudio es que la evaluación de la formación de directivos en Chile es un desafío absolutamente pendiente y su desarrollo pareciera crítico para la mejora de las políticas y prácticas de preparación en liderazgo. Si bien un grupo importante de programas desarrolla al menos alguna acción de evaluación de sus resultados, las estrategias metodológicas utilizadas son muy tradicionales (por ejemplo, encuestas de satisfacción, instrumentos de evaluación de conocimientos, pruebas durante el proceso formativo) y no se hacen cargo de lo que ocurre una vez finalizada la formación. Sobre el sentido que tendría abordar este importante tema desde las políticas educacionales, los actores involucrados reconocen la importancia de contar con un sistema de evaluación fundamentalmente formativo (con foco en su utilidad para mejorar la calidad de los propios programas), pero que también vaya avanzando y se complemente con una cierta lógica nacional, aprovechando la oportunidad que hoy ofrece el creciente número de investigadores e instituciones que están trabajando en este tema a nivel internacional, para determinar los niveles de calidad de la formación. El sello formativo de una evaluación de este tipo se ha traducido también en que el modelo propuesto combina un análisis de resultados del programa con una revisión de algunos de sus procesos críticos (necesarios de abordar cuando el objetivo es contribuir al mejoramiento del programa mismo). El recorrido realizado por la investigación permitió elaborar una propuesta que pone su foco principal en las prácticas de liderazgo, vale decir, en el desempeño que los líderes escolares despliegan antes, durante y después de pasar por su formación. Al mismo tiempo que posiciona en las prácticas el principal dominio a observar, el estudio también reconoce la existencia de otros tres dominios que deben ser evaluados, aunque siempre en relación con las prácticas: los conocimientos y habilidades, las creencias y disposiciones, y las trayectorias laborales de los líderes escolares. En con-

cuaderno nº 12

sistencia con la experiencia internacional reciente -que es contundente respecto a la dificultad de aislar el factor formación de los líderes- y con las capacidades hoy instaladas en el país, los efectos en la organización escolar misma y sobre todo en los resultados de aprendizaje de los estudiantes de las escuelas no debieran transformarse en prioridades de este modelo de evaluación. Por otro lado, el contexto institucional (básicamente sin regulación) en el que se forma a los directivos escolares en Chile y la diversidad de perfiles de estudiantes y trayectorias profesionales de quienes hoy participan en estos programas, evidencian que la evaluación debe ser lo suficientemente flexible para que su aplicación sea útil y posible en distintos contextos. Al mismo tiempo, dicho modelo debe considerar múltiples metodologías y momentos de observación de los efectos de la formación. La implicancia directa de esta conclusión (anclada en la experiencia internacional y el levantamiento nacional) es que la evaluación dependerá en parte importante del protagonismo de las propias instituciones, que debieran partir por definir con claridad cuáles son las expectativas centrales de sus perfiles de egreso, para en ese marco aplicar el modelo evaluativo propuesto. Una investigación como esta obliga a realizar una reflexión más general sobre la formación de directivos en Chile y sus desafíos, al menos en el espacio de los postgrados. Si bien se ha ido consolidando una oferta formativa a nivel nacional y se han ido ajustando algunos de los contenidos de los programas, una vez terminado este estudio queda claro que un paso más hacia la calidad de la formación supone acciones de política decididas en este ámbito. La pregunta por la evaluación, de hecho, ha dejado de manifiesto una absoluta falta de claridad acerca de lo que se espera de los programas de formación de líderes. Tal como ya está ocurriendo en varias partes del mundo, definir un marco mínimo de orientaciones y eventualmente de exigencias (de contenido y método) para estos programas debiera ser un punto de partida a abordar en forma urgente. Para cerrar, se listan a continuación las principales reco-

mendaciones que emergen de la investigación, para avanzar en la concreción de un sistema de evaluación de la formación de líderes escolares en Chile. En primer lugar, se recomienda poner en marcha, desde el Ministerio de Educación y en alianza con los Centros de Liderazgo Educativo, un sistema comprensivo (que aborde tanto procesos como resultados) y formativo (orientado a la mejora) de evaluación de la formación de directivos, que invite inicialmente a distintas instituciones a participar de esta evaluación de manera voluntaria. Debe evitarse la tentación, recurrente en Chile, de enfrentar la evaluación de la formación inicialmente sólo desde la mirada de un accountability externo con altas consecuencias. El primer paso debiera ser construir un sistema que ayude a los programas a mejorar. Como se ha dicho, parte importante de la aplicación de la evaluación supone la creación de instrumentos y acciones particulares para cada caso, por lo que debe definirse un proceso gradual de implementación e incentivarse la participación de las instituciones de educación superior en esta evaluación, por ejemplo, a través de proyectos de mejoramiento de la calidad de la formación, que suponga para los programas ejercicios auto reflexivos y evaluativos (como ha ocurrido en el pregrado de la formación docente gracias a los PMI). Para lograr lo anterior, es deseable construir y darle vida a una red de trabajo entre todos quienes están formando directivos escolares en Chile. Fue interesante apreciar en esta investigación que, trabajando en una misma área y para un mismo objetivo, la mayoría de quienes lideran los programas de formación nunca habían tenido la oportunidad de dialogar con sus pares. Más allá de este primer paso, lo importante es aprovechar la capacidad de esa red para diseñar en detalle la propuesta formativa, hacer parte a estos actores de las políticas que los afectan, e ir transformando este ejercicio en una oportunidad de colaboración y crecimiento para los programas. Luego, se requiere reforzar la realización de investigaciones que se centren en la pregunta sobre el desarrollo de

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

capacidades en los directivos y los efectos de la formación. Este estudio ha permitido obtener una perspectiva de los programas de Magister, pero en Chile hoy existe una gran oferta de programas de postítulos y cursos, varios de ellos financiados directamente por el MINEDUC, de los cuales también se requiere información sobre su calidad y pertinencia. Es fundamental terminar de construir el mapa completo de la formación de líderes escolares en Chile, para sobre eso definir una política que le dé coherencia a estos esfuerzos, y a su vez establecer cuáles serán los mecanismos de evaluación más pertinentes. Finalmente, todo lo anterior tendrá mayor sentido y viabilidad si primero se avanza en la elaboración de una política

nacional de formación de los líderes que oriente y regule la oferta actualmente existente, alineándola además con la propuesta de carrera directiva que ha comenzado a discutirse en el país. Una regulación u orientación de la formación implica tomar algunas decisiones altamente complejas, como por ejemplo priorizar áreas del Marco para la Buena Dirección dependiendo de la etapa formativa en la que se encuentren los líderes, o definir estándares metodológicos básicos para la formación directiva. Definiciones como estas serán particularmente relevantes en el inicio de la implementación de los nuevos servicios locales de educación, que también debieran tener un marco de acción propio para orientar la formación de docentes y directivos de su territorio.

cuaderno nº 12

BIBLIOGRAFÍA

• Blandford, S., & Squire, L. (2000). An evaluation of the Teacher Training Agency headteacher leadership and management programme (HEADLAMP). Educational Management & Administration, 28(1), 21-32. • Bordignon, F. R. A., Cicala, R. A., Cuzzani, K. P., Martinelli, S. I., & Oviedo, M. I. (2016). Autoridades escolares y TIC: articulaciones y tensiones. Formación de directores e inspectores en la UNIPE. Revista Ibero-americana de Educação, 70, 91-114. • Brundrett, M. (2006). The impact of leadership training: Stories from a small school. Education 3–13, 34(2), 173-183. • Brundrett, M. (2006b). Evaluating the individual and combined impact of national leadership programmes in England: Perceptions and practices. School Leadership and Management, 26(5), 473-488. • Buskey, F. C., & Karvonen , M. (2012). Evaluating innovative leadership preparation: How what you want drives what (and how) you evaluate. Journal of leadership education, 11(1), 204-221. • Cobb, C. D., Weiner, J. M., & Gonzales, R. (2017). Historical trends and patterns in the scholarship on leadership preparation. Handbook of research on the education of school leaders, 15-39, 15-39. • Cowie, K. A. (2017). Book Review—Leadership Challenges: Establishing Trust, Managing Talent, Driving Innovation. Global Business and Organizational Excellence, 36(2), 87-91. • Cowie, M., & Crawford, M. (2007). Principal preparation–still an act of faith? School Leadership and Management, 27(2), 129-146. • Cowie, M., & Crawford, M. (2009). Headteacher preparation programmes in England and Scotland: do they make a difference for the first-year head? School Leadership and Management, 29(1), 5-21. • Darling-Hammond, L., LaPointe, M., Meyerson, D., Orr, M. T., & Cohen, C. (2007). Preparing School Leaders for a Changing World: Lessons from Exemplary Leadership Development Programs. School Leadership Study. Final Report. Stanford Educational Leadership Institute.

• Darling-Hammond, L., Meyerson, D., LaPointe, M., & Orr, M. T. (2009). Preparing principals for a changing world: Lessons from effective school leadership programs. John Wiley & Sons. • Davis, S. H., & Darling-Hammond, L. (2012). Innovative principal preparation programs: What works and how we know. Planning and Changing, 43(1/2), 25. • De Fez, S. G., & Monzó, J. R. (2016). Los equipos directivos en la formación profesional española: una propuesta de formación continua. Revista Ibero-americana de Educação, 70, 161-182. • Del Pozo Serrano, F. J. (2016). Pedagogía social escolar en Colombia: el modelo de la Universidad del Norte en formación directiva y docente para la ciudadanía y la paz. Revista Iberoamericana de Educação, 70, 77-90. • Donmoyer, R., Yennie-Donmoyer, J., & Galloway, F. (2012). The search for connections across principal preparation, principal performance, and student achievement in an exemplary principal preparation program. Journal of Research on Leadership Education, 7(1), 5-43. • Fernández, R. G., Palacios, S. G., & Gutiérrez, V. (2016). Importancia de la dimensión formativa de los líderes pedagógicos. Revista Ibero-americana de Educação, 70, 131-144. • Fluckiger, B., Lovett, S., & Dempster, N. (2014). Judging the quality of school leadership learning programmes: An international search. Professional development in Education, 40(4), 561-575. • George W. Bush Institute. (2016). Developing Leaders: The Importance -and the Challenges- of Evaluating Principal Preparation Programs. American Institutes for Research. • Goldring, E. B., Porter, A. C., Polikoff, M. S., Murphy, J., Elliott, S. N., & May, H. (2010). Investigating the validity and reliability of the Vanderbilt Assessment of Leadership in Education. The Elementary School Journal, 111(2), 282-313. • Hitt, D. H., & Tucker, P. D. (2016). Systematic review of key leader practices found to influence student achievement: A unified framework. Review of Educational Research, 86(2), 531-569. • Huber, S. (2006). School leader development: Currenttrends from a global perspective. Schweizerische Zeitschrift für Bildungswissenschaften, 28, 15-34. • Huber, S. G. (2008). School development and school leader development: New learning opportunities for school leaders and their schools. International handbook on the preparation and development of school leaders, 173-175.

hacia un modelo de evaluación del desarrollo de capacidades en los líderes escolares

• Jackson, B. L., & Kelley, C. (2002). Exceptional and innovative programs in educational leadership. Educational administration quarterly, 38(2), 192-212. • Leithwood, K., & Jantzi, D. (2000). The effects of different sources of leadership on student engagement in school. Leadership for change and school reform: International perspectiveS, 50-66. • Leithwood, K., & Jantzi, D. (2005). Transformational leadership. The essentials of school leadership, 31-43. • Leithwood, K., Day, C., Sammons, P., Harris, A., & Hopkins, D. (2006). Successful school leadership: What it is and how it influences pupil learning. • Louis, K. S., & Murphy, J., (2017). Trust, caring and organizational learning: the leader’s role. Journal of Educational Administration, 55(1), 103-126. • Demerath, P., & Louis, K. S. (2017). US contexts of/for educational leadership. The Wiley International Handbook of Educational Leadership, 453. • Marzano, R. J., Waters, T., & McNulty, B. A. (2005). School leadership that works: From research to results. ASCD. • McKinsey & Company. (2007). How the world’s best performing school systems come out on top. Recuperado de http://www. mckinseyonsociety. com/downloads/reports/Education/Como_ hicieron_los_si stemas_educativos. pdf, 18. • Murillo, J. (2006). Una dirección escolar para el cambio: del liderazgo transformacional al liderazgo distribuido. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 4(4e), 11-24. • Murillo, F. J. (2012). La dirección escolar en Chile: Una visión en el contexto de América Latina. En M. Weinstein , & G. Muñoz, Qué sabemos sobre los directores de escuela en Chile (págs. 1940). Santiago: Centro de Innovación en Educación de Fundación Chile y Centro de Estudios de Políticas y Prácticas en Educación. • Muñoz, G., Marfán, J., & Pascual, J. (2010). Planes de Mejoramiento SEP: Sistematización, análisis y aprendizajes de política. Santiago: Centro de Estudios de Políticas y Prácticas en Educación. • Muñoz, G., & Marfán, J. (2011). Competencias y formación para un liderazgo escolar efectivo en Chile. Pensamiento Educativo. Revista de Investigación Educacional Latinoamericana 48(1), 63-80. • Núñez, I., Weinstein, J., & Muñoz, G. (2010). ¿Posición olvidada? Una mirada desde la normativa a la historia de la dirección escolar en Chile. Psicoperspectivas, 9(2), 53-81.

• OCDE. (2012). Preparing teachers and developing school leaders for the 21st century: Lessons from around the world. France: OECD Publishing. 2, rue Andre Pascal, F-75775 Paris Cedex 16. • Oplatka, I., & Arar, K. (2016). Research in Educational Administration & Leadership. • Orphanos, S., & Orr, M. T. (2014). Learning leadership matters: The influence of innovative school leadership preparation on teachers’ experiences and outcomes. Educational Management Administration & Leadership, 42(5), 680-700. • Orr, M. T. (2010). Pipeline to preparation to advancement: Graduates’ experiences in, through, and beyond leadership preparation. Educational Administration Quarterly, 0011000010378612. • Orr, M. T., & Orphanos, S. (2011). How graduate-level preparation influences the effectiveness of school leaders: A comparison of the outcomes of exemplary and conventional leadership preparation programs for principals. Educational Administration Quarterly, 47(1), 18-70. • Orr, M. T., & Pounder, D. G. (2011). Teaching and preparing school leaders. Finding, preparing, and supporting school leaders: Critical issues, useful solutions, 11-39. • Orr, M. T., Young, M. D., & Rorrer, A. K. (2010). Developing evaluation evidence: A formative and summative evaluation planner for educational leadership preparation programs. • Perez et al., L. G. (2011). Foregrounding fieldwork in leadership preparation: The transformative capacity of authentic inquiry. Educational Administration Quarterly 47(1), 217-257. • Pont, B., Nusche, D., & Moorman, H. (2008). Improving school leadership. Vol. 1: Practice and policy. • Pont, B., Nusche, D., & Moorman, H. (2008b). Improving school leadership. Vol. 2: Case Studies on System Leadership: Case Studies on System Leadership. • Pounder, D. (2012). School leadership preparation and practice survey instruments and their uses. Journal of Research on Leadership Education, 7(2), 254-274. • Qian, H., Walker, A., & Bryant, D. A. (2017). Global Trends and Issues in the Development of Educational Leaders. Handbook of research on the education of school leaders, 53-73. • Reyes-Guerra, D., & Barnett, B. (2017). Clinical Practice in Educational Leadership. Handbook of research on the education of school leaders, 229-261.

cuaderno nº 12

• Robinson, V. M., Lloyd, C. A., & Rowe, K. J. (2008). The impact of leadership on student outcomes: An analysis of the differential effects of leadership types. Educational administration quarterly, 44(5), 635-674. • Robinson, V. (2011). Student-centered leadership (Vol. 15). John Wiley & Sons. • Rutherford, D. (1999). A preliminary evaluation of the HEADLAMP programme for newly appointed headteachers . Educational Management & Administration, 27(2), 143-154. • Tucker, P. D., Young, M. D., & Koschoreck, J. W. (2012). Leading research-based change in educational leadership preparation: An introduction. Journal of Research on Leadership Education, 7(2), 155-171. • UCEA. (2016). SEP3 Toolkit. State Evaluation of Principal Preparation Programs. New Leaders. • UNESCO. (2005). Educación para todos. El imperativo de la calidad. Paris, Francia.

• Wallace Foundation. (2016). Improving University Principal Preparation Programs: Five Themes from the Field. Wallace Foundation. • Waters, T., Marzano, R. J., & McNulty, B. (2003). Balanced Leadership: What 30 Years of Research Tells Us about the Effect of Leadership on Student Achievement. A Working Paper. • Weinstein, J., Cuellar, C., Hernández, M., & Flessa, J. (2015). Experiencias Innovadoras y Renovación de la Formación Directiva Latinoamericana. Revista Ibero-americana de Educação, 69, 23-46. • Weinstein, J., & Muñoz, G. (2012). Cuando las atribuciones no bastan: Liderazgo directivo y Gestión pública o privada de escuelas en Chile. WEINSTEIN, J.; MUNÕZ, G. Qué sabemos sobre los diretores de escuelas em Chile, 55-79. • Weinstein. (2017). An Inefective preparation? The Scarce Effect in Primary School Principals´ Practices of School Leadership Preparation and Training in Seven Countries in Latin America. Working paper.

Centro de Desarrollo de Liderazgo Educativo Director Cedle: José Weinstein Coordinación publicación: Lorena Ramírez Edición general: Carmen Santa Cruz Diseño: Alejandro Esquivel