A diez años del PEC
La evaluación del Programa Escuelas de Calidad: resultados y retos Raquel Ahuja Sánchez Directora de Fomento a la Investigación
Edith Vázquez Viquez Coordinadora de Evaluación
Humberto Rivera Navarro Responsable de Proyectos Especiales
El Programa Escuelas de Calidad (PEC) ha estado comprometido desde su inicio con la evaluación de su trabajo. Antes de que, en 2007, el Gobierno Federal publicara los Lineamientos Generales para la Evaluación de los Programas Federales, el PEC ya había realizado seis evaluaciones anuales externas (ver Tabla 1), y desde ese año han continuado. Además de las evaluaciones solicitadas por el Programa y previstas por la normatividad mencionada, hay decenas de estudios realizados por instituciones nacionales y extranjeras. Entre esos hay dos evaluaciones de impacto.
Tabla 1 Tipo de evaluación
Evaluaciones realizadas
Evaluación anual externa de resultados
2001, 2002, 2003, 2004, 2005, 2006
Evaluación de diseño, consistencia y resultados
2007
Evaluación complementaria (seguimiento al cumplimiento del PETE)
2008
Evaluación específica de desempeño
2008, 2009
Evaluación de impacto
2006 (dos evaluaciones)
Estudios diversos
Decenas de estudios nacionales y extranjeros
23
En este artículo se presentarán algunos de los resultados más relevantes de las evaluaciones realizadas sobre el PEC y se valorará su aportación al mejoramiento del Programa.
Evaluaciones de impacto El impacto tiene que ver con la contribución última que un programa hace al bienestar de la población, en este caso al logro educativo de los niños y niñas. Las dos evaluaciones de impacto del PEC se han enfocado a tres indicadores relacionados con ese logro: deserción, reprobación y repetición; fueron realizadas por investigadores de instituciones académicas extranjeras: una por investigadores de la Universidad de Harvard (Murnane y otros, 2006), la otra por investigadores de la London School of Economics y del Banco Mundial (Skoufias y Shapiro, 2006). Los resultados principales son los siguientes: M urnane y otros (2006) encontraron que las escuelas de la segunda generación del PEC (que ingresaron al programa en el ciclo escolar 2002-2003), tras tres años de participación, tuvieron tasas de deserción menores que las escuelas no PEC. Este impacto fue mayor en las escuelas de estados con Índice Refinado de Desarrollo Humano (IRDH) medio que en las de IRDH alto. En las entidades de IRDH bajo, el efecto no fue significativo. Los autores del estudio consideran que una posible explicación para este último dato es que las autoridades educativas de esas entidades no tuvieron la capacidad para dar el apoyo que las escuelas PEC requerían. S koufias y Shapiro (2006) concluyeron que las escuelas PEC lograron que sus tasas de deserción fueran menores que las de escuelas no PEC. Lo mismo ocurre con las tasas de reprobación y de repetición. En las escuelas indígenas no hubo impactos medibles. Estos resultados, aunque modestos, son estadísticamente significativos porque revelan el aporte que el Programa está realizando, y los factores a tomar en cuenta para mejorar dicha contribución.
Fortalezas y debilidades en el funcionamiento del PEC Después de referir lo arrojado por las evaluaciones de impacto del PEC, enseguida se hace una breve presentación de hallazgos de las evaluaciones más recientes acerca de la forma en que el PEC
24
opera. Esta revisión se concentrará en algunos temas que pueden relacionarse con los resultados de las evaluaciones de impacto. El Programa ha cumplido sus metas de cobertura anual, como lo reporta la Evaluación Específica de Desempeño 2009-2010. Sin embargo, ya en el Informe de la Evaluación Específica de Desempeño 2008 se menciona la necesidad de que el PEC afine sus herramientas para identificar y cuantificar su población objetivo, para que este avance de cobertura refleje mejor los criterios de focalización del Programa. Por cierto, estos criterios contemplan, entre otras, a las escuelas de zonas urbano-marginadas, lo que esa misma evaluación considera un gran acierto del PEC, pues esa población no es atendida por otros programas educativos. Otro reto observado por la Evaluación Específica de Desempeño 2009-2010 es el monitoreo de las acciones que no controla directamente la Coordinación Nacional del PEC, ya que no se conoce con precisión cómo están implementando el modelo de gestión escolar con enfoque estratégico las escuelas incorporadas. Si no se efectúa conforme a lo previsto, se pone en riesgo el logro de los objetivos del PEC. La mencionada evaluación reconoce las dificultades que este monitoreo conlleva, pues la participación en el Programa (tanto a nivel entidad como a nivel escuela) es voluntaria y la operación se realiza de manera descentralizada. Por eso recomienda que el reforzamiento del monitoreo incluya encuestas para conocer el involucramiento y la satisfacción de los beneficiarios.
Conclusiones El PEC ha mostrado una gran capacidad operativa para cumplir sus metas de desempeño. En un horizonte más amplio, hay hallazgos alentadores sobre la contribución del PEC al mejoramiento de la educación en nuestro país. Las evaluaciones externas han arrojado información de aspectos cuya atención por el Programa es de primera importancia. Es central que el PEC pueda conocer las características de las escuelas que solicitan ingreso y de las que se incorporan para dar atención y apoyo diferencial en función de varios factores, entre ellos los relacionados con el nivel de desarrollo humano y la presencia de población hablante de lenguas indígenas, de manera que pueda revertirse la carencia de impactos en las entidades con menor IRDH y mayor presencia de hablantes de lenguas indígenas; esto contribuiría a la equidad del Sistema Educativo Nacional. El PEC ya ha avanzado en esta línea al conformar una base de datos con las escuelas que constituyen su población potencial. Por otra parte, la Evaluación Específica de Desempeño 2009-2010 señala otro gran reto del PEC: el monitoreo de su implantación. Un monitoreo adecuado puede ayudar a que la operación del Programa sea más eficiente y uniforme, lo que reforzaría el
impacto, y serviría para hacer evaluaciones más detalladas, esto es, que permitieran conocer el impacto de la incorporación y de las diferentes formas de participación en el PEC. El Programa ya ha incluido en las Reglas de Operación previsiones acerca del monitoreo, que se aplican en el ciclo escolar 2010-2011. Finalmente, se recomienda que el PEC mantenga el propósito de realizar evaluaciones de impacto en las que el criterio sea el resultado de las escuelas en la Prueba ENLACE. Este criterio se acerca más al logro educativo que las variables de reprobación, deserción y repetición. También sería conveniente que estas evaluaciones pudieran distinguir los resultados de las diferentes generaciones del PEC, para dar cuenta de la evolución de este Programa clave para la educación básica de nuestro país.
Referencias Informe de la Evaluación Específica de Desempeño 2009-2010. Programa Escuelas de Calidad. México: Coneval/SEP. Informe de la Evaluación Específica de Desempeño 2008. Programa Escuelas de Calidad. México: Coneval/SEP. Murnane, R.J.; Willett, J.; Cardenas, S. (2006). “¿Ha contribuido el Programa Escuelas de Calidad a mejorar la educación pública en México?”. En Reimers, F. (ed). Aprender más y mejor, políticas, programas y oportunidades de aprendizaje en educación básica en México 2000-2006. México: Fondo de Cultura Económica. Reglas de Operación del Programa Escuelas de Calidad (2010). México: SEP. Skoufias, E. and Shapiro, J. (2006). Evaluating the Impact of Mexico’s Quality Schools Program: The Pitfalls of Using Nonexperimental Data. Impact Evaluation Series No. 8.
25