Evaluación de impacto de Beca 18
Convocatoria 2013 Primera medición de seguimiento Gabriela Cuadra Dirección de Calidad de Gasto Público Ministerio de Economía y Finanzas
¿Por qué intervenir? • A pesar de que en los últimos años los jóvenes han experimentado un incremento en el acceso a la educación superior, aún persiste una clara brecha por condición de pobreza. Acceso a la educación superior de jóvenes mayores de 17 y menores de 23 años 2010 2015 Var Jóvenes pobres y pobres extremos 19.2% 25.2% 6.0 Jóvenes no pobres 41.6% 43.9% 2.2 Total 36.8% 41.5% 4.7 Fuente: ENAHO 2010 y 2015-INEI El a bora ci ón: DCGP-MEF
• Diversos estudios que han documentado que la educación superior juega un rol fundamental como canal de movilidad social. • Genera incrementos en la productividad, mejores oportunidades laborales y mayores ingresos (Yamada, 2007; Castro y Yamada, 2010, Castro y Yamada, 2012 entre otros.)
• En este contexto, los programas de becas y créditos a la educación superior ofrecidos por los Gobiernos aparecen como una alternativa para cerrar esta brecha.
Beca 18 • Subvenciona estudios superiores1 a jóvenes con alto rendimiento académico y en condición de pobreza o pobreza extrema. • ¿Qué cubre la beca? • • • • • • •
La inscripción/matrícula y pensión de la Institución de Educación Superior (IES). Ciclo de nivelación (Ciclo 0) Servicios de tutoría (individual y grupal) Materiales de estudio (incluida una laptop). Gastos de manutención (alimentación, transporte, vivienda, seguro médico). Idioma. Trámite para el bachillerato o título de profesional técnico.
• ¿Con qué objetivo? • Garantizarles el acceso, la permanencia y la culminación de sus estudios superiores, y con ello, mejorar sus oportunidades de inserción laboral pertinente (empleo “decente”).
1
En universidades e institutos elegibles.
¿Por qué evaluar Beca 18? • Relevancia presupuestal • Beca 18 nació en 2012 y entre 2012 y 2015 el número de becas otorgadas experimentó una tendencia creciente. Entre dichos años, solo en la modalidad ordinaria, se otorgaron más de 35 mil becas lo cual ha significado una inversión acumulada de S/. 900 millones.
• ¿Por qué una primera medición? • Además de las restricciones económicas, existen una serie de factores como la formación en la educación básica, las habilidades cognitivas, el background familiar, la calidad de la IES, que determinan el éxito en la educación superior (Araujo, 2008; Carneiro y
Heckman, 2002; Castro, 2014; Fontana y Jara, 2008; Yamada, 2010 y Yamada, 2012). • Las tasas de deserción y culminación de estudios superiores en Perú son poco alentadoras. La tasa de deserción de jóvenes de 25 a 30 años es 25% y en aquellos en condición de pobreza es 38%. La tasa de culminación de jóvenes de 25 a 34 años es 26% y en aquellos en condición de pobreza es 6%. • Por lo tanto, los esquemas de becas pueden ser insuficientes para garantizar dicho éxito. • Una primera evaluación de los indicadores de corto plazo nos permitirá verificar el grado de cumplimiento de los objetivos del programa y generar información que posibilite la mejora de su gestión y efectividad.
¿Qué se evaluó? Convocatoria 2013-Modalidad ordinaria • Características • Selección de carreras en base a dinámica del mercado laboral, perspectivas regionales y Plan Nacional Estratégico de Ciencia Tecnología e Innovación. • Selección de IES elegibles basada en un ranking de calidad y empleabilidad (30 universidades y 40 institutos). • Cupo de becas por región y por IES.
• Criterios de elegibilidad • Ser menor de 23 años. • Condición de pobreza o pobreza extrema determinada por el SISFOH. • Un hogar es pobre si su puntaje SISFOH < Umbral del conglomerado.
• Promedio de secundaria igual o mayor a 14 para universidades. • Promedio de secundaria igual o mayor a 13 para institutos. • Contar con el certificado de ingreso a una universidad o instituto elegible. No haber iniciado estudios superiores.
Metodología: RD fuzzy • Para poder realizar una estimación causal del efecto de Beca 18 es necesario identificar un grupo de control que se asemeje al grupo de tratamiento. La idea básica es que este grupo de control nos permita identificar cómo se habría comportado el grupo de intervención de no haber recibido el tratamiento. • Según los criterios de selección de Beca 18, para ser elegible, es necesario estar clasificado como pobre o pobre extremo según el índice de pobreza del SISFOH. • Por lo tanto, se optó por explotar la discontinuidad en la probabilidad de recibir la beca alrededor del umbral que define la clasificación de pobreza para seleccionar a los grupos de tratamiento y control. • En una ventana cercana a cada lado del umbral, ambos grupos serán muy parecidos, y su comparación permitirá generar un estimador válido del impacto alrededor del punto de corte: validez interna alta, sólo validez a nivel local (Lee, 2008; Hahn, 2001; Gertler et al, 2011). • De este modo, se estima el efecto de tratamiento promedio local de Beca 18.
Estrategia de identificaciรณn Discontinuidad en la probabilidad de recibir la beca en el umbral de pobreza
Postulantes a Beca 18
RD Plot- Beca18
.5 0
1
-.5
.5 0
Universidades Densidad
1.5
1
Universidades
-2
-1
0 1 Puntaje normalizado
Recibieron la beca
2
3 -3
-2
-1
0
Sample average within bin
No recibieron la beca
Postulantes a Beca 18
1
2
Polynomial fit of order 4
RD Plot- Beca18
.6 .4
.6
.2
.4 .2
0
0
Institutos Densidad
.8
1
.8
Institutos
-4
-2
0 Puntaje normalizado
Recibieron la beca
2
No recibieron la beca
4
-4
-2 Sample average within bin
0
2 Polynomial fit of order 4
4
Datos • Análisis independiente para universidades e institutos. • Según la trayectoria académica de los no becarios, éstos se distinguieron dos tipos: • Controles tipo 1, postulantes no becados que se matricularon en la educación superior durante el periodo evaluado. • Controles tipo 2, postulantes no becados que no se matricularon en la educación superior durante el periodo evaluado.
• Información de línea de base (2013): • Base de datos del padrón de postulantes de la convocatoria 2013 de PRONABEC (ficha socioeconómica de postulación), FSU del SISFOH, registro de notas EBR- MINEDU.
• Información de seguimiento (2014): • Dos operativos de campo (INEI) •
A la muestra de postulantes en sus hogares (Jun-Set 2014) para recoger información sobre características soocioeconómicas de su hogar, matrícula, trayectoria académica, servicio de tutorías, capital social, uso del tiempo, acceso y uso de TIC, entre otros.
•
A las IES (nov 2014-marzo 2015) para recoger información de la institución, así como información sobre la matrícula y trayectoria académica de postulantes.
Muestra • Padrón de postulantes a la convocatoria 2013 que cumplían todos los requisitos para recibir la beca, pero no necesariamente la condición de pobreza y con puntaje de pobreza asignado. • La elección de los postulantes se realizó según su cercanía al umbral que define la condición de pobreza de acuerdo a su puntaje SISFOH. • Se seleccionó la ventana más cercana al umbral que tenía suficientes observaciones de postulantes para cubrir el número mínimo requerido para tener el poder estadístico y que, garantizara grupos similares a cada lado del umbral, al menos en las variables observables contenidas en el padrón. +/-0.15 SD en universidades y +/- 0.35 SD en institutos. • La muestra estuvo compuesta por 1700 postulantes de universidades y 1706 postulantes de institutos.
EstadĂstica descriptiva -Balance Universidades Variable
Institutos
Controles
Tratados
p. value
Edad
18.80
18.77
0.65
Promedio de notas
15.35
15.35
% de mujeres
0.59
Tenencia de plancha
Variable
Controles
Tratados
p. value
Edad
19.10
19.11
0.92
0.92
Promedio de notas
14.07
14.09
0.68
0.58
0.63
% de mujeres
0.42
0.42
0.81
0.36
0.35
0.61
Tenencia de plancha
0.20
0.20
0.95
Nivel educativo jefe de H
3.79
3.77
0.52
Nivel educativo jefe de H
3.40
3.41
0.77
Max nivel educativo
3.45
3.46
0.95
Max nivel educativo
3.21
3.20
0.86
Electricidad en el hogar
0.94
0.92
0.26
Electricidad en el hogar
0.89
0.88
0.49
Tenencia de lavadora
0.02
0.02
0.75
Tenencia de lavadora
0.02
0.02
0.86
Tenencia de celular
0.84
0.84
0.90
Tenencia de celular
0.82
0.81
0.58
Tenencia de computadora
0.10
0.10
0.63
Tenencia de computadora
0.03
0.03
0.68
Tenencia de internet
0.03
0.03
0.32
Tenencia de internet
0.00
0.01
0.16
NĂşmero total
862
862
1724
866
866
1732
NĂşmero total
Validez del diseño –Test de Manipulación Test de McCrary Institutos
0
0
.2
.5
.4
1
.6
.8
1.5
Universidades
-2
-1
0
1
2
-4
-2
0
2
4
Resultados: Matrícula Institutos • El promedio de matrícula de los controles es 61%. • La matrícula se incrementa significativamente entre 14 y 20 pp (23 y 35%) para los tratados (solo es significativo para la estimación paramétrica). • No se hallan diferencias significativas en matrícula oportuna ni en el número de ciclos matriculados.
Universidades • El promedio de matrícula de los controles es 72%. • El impacto en la matrícula en universidades es mayor y más robusto que en el caso de institutos. La beca incrementa la probabilidad de matricularse en una universidad entre 29 y 40 pp (40 a 60%) según especificación paramétrica y entre 43 a 49 pp (60 a 70%) por especificación no paramétrica. • Se hallan diferencias significativas en matrícula oportuna y se encuentra que la beca incrementa el número de ciclos matriculados en los tratados.
Resultados: Continuidad Institutos • Incrementa la probabilidad de que el estudiante permanezca matriculado continuamente (sin interrupción) entre 31 y 48 pp (48 a 67% sobre el los controles tipo 1:64%); y de permanecer matriculado desde 2013-1 en 27 a 64 pp (40 a 90%). • Reduce la probabilidad de desertar en 8 y 12 pp (90 a 160%) sobre promedio en controles tipo 1, 10%).
Universidades • Incrementa la probabilidad permanezca matriculado, pero con alguna interrupción. • No hay efectos robustos en la reducción en la deserción (sólo 3 pp, con información de las universidades bajo la especificación paramétrica (deserción en c1 es baja, 3%).
Resultados: Desempeño académico Institutos • No hay impactos robustos en las variables que miden el desempeño académico.
Universidades • Impacto robusto en el promedio ponderado y promedio ponderado acumulado de los becados universitario. El efecto es alrededor de un punto adicional sobe el promedio de los controles (7% y 9%). El efecto sobre el promedio ponderado acumulado llega hasta 2.5 puntos adicionales, (20%). El efecto varía de 0.75 a 1.23 en la especificación paramétrica y de 1 a 2.5 en la especificación no paramétrica.
Resultados-Tutorías • El 29% de los controles tipo 1 recibieron tutorías en institutos (3.4 sesiones), mientras que el 18% de controles tipo 1 recibieron tutorías en universidades (solo una sesión). • El 96% de los tratados recibieron tutorías en institutos (en promedio 22 sesiones) y el 95% en universidades (en promedio 11 sesiones). • Se estiman los efectos de recibir tutorías para indicadores de trayectoria académica y rendimiento. • Recibir tutoría tiene un efecto robusto sobre promedio ponderado del último ciclo completo y promedio ponderado acumulado solo para el caso de universidades, en promedio recibir tutoría aumenta estos indicadores en 1.5 puntos. • De igual manera, recibir tutoría tiene un efecto robusto sobre el número de ciclos completos solo para el caso de universidades. Recibir este servicio académico aumenta en promedio en 0.7 el número de ciclos completos. • No hay efectos de las tutorías para los estudiantes de institutos.
Resultados: Otros indicadores Institutos • Reduce las horas de trabajo de los tratados entre 16 y 20 horas. • Aumenta el bienestar (medido en un índice de 0 a 35) en 4 puntos. Resultado significativo solo bajo la especificación paramétrica. • Incrementa el acceso y frecuencia de uso de internet y número de horas dedicadas al estudio.
Universidades • Reduce las horas de trabajo de los tratados entre 9 y 12 horas (robusto bajo todas las especificaciones). • Aumenta el bienestar (medido en un índice de 0 a 35) entre 3 y 8 puntos. Resultado robusto bajo todas las especificaciones. • Incrementa el acceso y frecuencia de uso de internet y número de horas dedicadas al estudio.
Conclusiones • • • •
Resultados distintos para becarios de universidades e institutos Efecto positivo y robusto en matrícula para becarios de universidades. Efecto positivo en acceso a institutos y universidades de “calidad”1. Becarios de universidades permanecen matriculados con algunas interrupciones, pero éstas son menores que las que experimentan los no becarios. Por lo tanto, los becarios logran completar mayor número de ciclos que los no becarios. • Becarios de institutos permanecen matriculados continuamente sin interrupción y se aprecian efectos positivos en la reducción de la deserción temporal. • Impacto positivo en el desempeño académico en universidades mas no en institutos. • Las tutorías generan un efecto positivo en el promedio ponderado y en el número de ciclos matriculados de los becarios de universidades pero no en los becarios de institutos. 1Proxy
de calidad: top, privada.
Recomendaciones de política • Beca 18 tiene impacto en el acceso a la educación superior y más aún en el acceso a IES elegibles. Por ello, es importante: • Elaborar un ranking de IES elegibles (institución externa). • Generar indicadores de calidad educativa y emplear dichos indicadores para monitorear y evaluar el desempeño de las IES elegibles.
• Las tutorías tienen mucho potencial sobre el rendimiento académico, sin embargo, solo se hallaron resultados robustos para universidades. Por tanto, se recomienda un control riguroso de los contenidos y estándares de calidad y que el esquema de tutorías de los institutos tome como ejemplo el de las universidades. • Solo se brindó ciclo de nivelación en algunas IES, lo que puede haber repercutido en el rendimiento académico de los estudiantes. En consecuencia se recomienda, implementar el ciclo de nivelación en todas las IES elegibles, estableciendo estándares de exigencia y contenidos según el tipo de institución académica y tipo de carrera. • Los exámenes descentralizados debieran generar las mismas condiciones.
Gracias