Programa Paralapracá Relatório de avaliação de impacto - 28/11/2018 by Avante - Educação e Mobilização Social

Programa Paralapracá Relatório de avaliação de impacto Versão final – 28/11/2018

Sumário Executivo Este relatório traz os resultados do processo de avaliação de impacto do Programa Paralapracá, do Instituto C&A e da Avante – Educação e Mobilização Social. Utilizamos o método de pesquisa quantitativa presencial aplicada com os responsáveis pelos alunos que passsaram pela escolas formadas pelo Pralapracá. Foram entrevistados 200 responsáveis por alunos que estudaram em escolas que passaram pelas formações do programa e 200 responsáveis por alunos que estudaram em escolas das mesmas regiões, mas não passaram pelas formações do programa. Ao todo visitamos 24 escolas distribuídas nas cinco redes participantes do segundo ciclo do Paralapracá: Olinda (PE), Natal (RN), Maceió (AL), Camaçari (BA) e Maracanaú (CE). O Instrumento utilizado foi o Early Human Capability Index (EHCI), desenvolvido pelo Telethon Kids Institute, da Australia. Este índice foi concebido como uma medida holística do desenvolvimento infantil, capaz de gerar métricas para diferentes culturas e contextos. O EHCI foi construído para capturar aspectos chave do desenvolvimento de crianças de 3 a 5 anos, nas seguintes dimensões: Comunicação verbal; Abordagens à aprendizagem; Numeração e conceitos; Leitura; Escrita; Conhecimento cultural; Habilidades socioemocionais; Perseverança; Saúde física. Os resultados indicam que as crianças oriundas de pré-escolas do Paralapracá chegam ao ensino fundamental com mais de um ano meio à frente no desenvolvimento de sua curiosidade e criatividade (dimensão abordagens a aprendizagem), em comparação com colegas com perfil sociodemográfico semelhante. Além disso, a avaliação também conclui que o Paralapracá contribuiu para o aprendizado inicial de Português e Matemática das crianças com mães de mais baixa escolaridade.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Introdução e contexto Este relatório traz os resultados do processo de avaliação de impacto do Programa Paralapracá, do Instituto C&A e da Avante – Educação e Mobilização Social. O Paralapracá é um programa que visa contribuir para a melhoria da qualidade do atendimento às crianças na educação infantil, com vistas ao seu desenvolvimento integral. Para isso, oferece formação continuada para redes municipais, em caráter presencial e a distância. As atividades de formação giram em torno de seis eixos: 

Assim se Brinca: que valoriza o brincar como forma de aprender e estabelecer relações com o outro e com o mundo;



Assim se faz Artes Visuais: com foco na apreciação, experimentação e ampliação de repertório das crianças por meio das artes visuais;



Assim se faz Música: que promove um passeio pelo universo da experimentação sonora por meio da música;



Assim se faz Literatura: que valoriza a leitura de livros e a contação de histórias para enriquecimento do repertório linguístico e imaginativo das crianças;



Assim se Explora o Mundo: que promove a interação com o meio natural e social para que as crianças começem a compreender como o mundo funciona;



Assim se Organiza o Ambiente: em que se discute o espaço físico e a forma de organização do ambiente da escola ou instituição de educação infantil.

O Paralapracá foi lançado em 2010 como um projeto do Programa de Educação Infantil do Instituto C&A, originalmente focado na região Nordeste. Desde então, chegou a dez municípios, em dois ciclos de implementação. No primeiro ciclo, entre 2010 e 2012, foi desenvolvido nas cidades de Campina Grande (PB), Caucaia (CE), Feira de Santana (BA), Jaboatão dos Guararapes (PE) e Teresina (PI). No segundo ciclo, que se iniciou em 2013 e vai até 2017, abrange os municípios de Camaçari (BA), Maceió (AL), Maracanaú (CE), Natal (RN) e Olinda (PE). Em 2015 o Programa Paralapracá tornou-se metodologia consagrada pelo Guia de Tecnologias Educacionais do Ministério da Educação (MEC),

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

ganhando caráter nacional. Nesse mesmo ano, a tecnologia social do Programa foi transferida para a Avante. Entre 2013 e 2015 o Paralapracá passou por um processo de avaliação externa que apontou para uma série de resultados interessantes1. Essa avaliação contou com metodologias qualitativa (por meio de grupos focais com gestores, equipes técnicas, diretoras entre outros atores) e quantitativa (por meio da aplicação de questionários estruturados sobre a adoção de práticas por coordenadoras pedagógicas e professoras). Entre os principais resultados, a avaliação apontou o fortalecimento em diversos aspectos a política municipal de educação infantil, valorizando mais esta etapa frente ao ensino fundamental, e a valorização do papel do coordenador pedagógico como formador e propositor das estratégias pedagógicas das escolas. Além disso, a avaliação mostrou que diversas práticas foram apropriadas pelas professoras, com destaque para a oferta de múltiplas experiências às crianças e a tematização das práticas. Por outro lado, a avaliação externa também revelou que características específicas de cada rede municipal tiveram importante influência sobre o alcance dos resultados, tais como a organização e as condições estruturais de cada rede e de suas escolas e as condições de transição política durante mudanças de gestão. Dessa forma, os resultados até aqui do Paralapracá mostram que o programa parece estar cumprindo seu papel, ao contribuir para o fortalecimento institucional da educação infantil e transmitir melhores práticas às rotinas pedagógicas das escolas, mas apontam também para importante heterogeneidade na sua implementação, muito influenciada pelas condições de oferta de cada rede municipal. Estes dois lados da moeda terão importante influência sobre o processo e os resultados de avaliação relatados neste relatório.

Relatório “Paralapracá - Avaliação externa - Relatório Final” liderado pela Move Social, 2016.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Esta avaliação tem como foco os potenciais impactos do Paralapracá sobre o desenvolvimento infantil de crianças beneficiárias. Conforme será descrito em detalhes a seguir, esta avaliação usa uma metodologia padrão de avaliação de impacto, na qual adotamos um grupo de controle para fazer inferências causais entre a intervenção do programa e indicadores de desenvolvimento infantil. Além disso, a metodologia desta avaliação faz uso de um instrumento de mensuração de desenvolvimento infantil inovador.

Metodologia Todo processo avaliação envolve a tomada de decisão acerca do recorte a ser avaliado (o público, o objeto de avaliação, os instrumentos de medida, metodologia etc.). A pergunta inicial desta avaliação foi: qual o impacto do Paralapracá sobre as crianças que dele participaram? A partir desta ampla pergunta começamos a tomar as decisões metodológicas. Primeiramente, escolhemos, em conjunto com a gestão do programa, o objeto da avaliação (o que avaliar). Embora o objetivo e as ações do Paralapracá (em seu ciclo 2013-2017) tenham foco sobre o atendimento da educação infantil (“melhoria da qualidade do atendimento às crianças que frequentam instituições de educação infantil, com vistas ao seu desenvolvimento integral”) a demanda de avaliar os impactos sobre as crianças requer dar foco à dimensão de “desenvolvimento integral”, que aparece como uma terminalidade do programa. O campo do conhecimento sobre o desenvolvimento infantil é extenso, composto por visões de múltiplas disciplinas e está em plena construção (Santos e Primi, 2014). Como esta discussão é especialmente importante para dar foco à avaliação e escolher o instrumento de medida ideal, optamos por adotar uma visão de desenvolvimento integral que fosse ao mesmo tempo holística (que cobrisse múltiplas dimensões), moderna (inserida nos debates mais atuais) e mensurável (com fácil disponibilidade de

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

instrumentos de mensuração). O processo de escolha do instrumento será descrito mais à frente. A segunda decisão metodológica importante é a escolha do grupo controle. Como se sabe, o grupo controle é o elemento essencial de uma metodologia de avaliação de impacto, pois é ele que permite gerar argumentos sobre a relação de causalidade entre a intervenção e os resultados captados pelo instrumento. Como descreveremos a seguir, o grupo de controle ideal deve mimetizar o contrafactual do grupo tratamento (crianças participantes do Paralapracá). Isto é, o grupo controle ideal deve representar, em média, qual seria o resultado alcançado pelas crianças do Paralapracá caso estas não tivessem passado pelo programa. No caso específico desta avaliação, por conta de restrições práticas (ligadas ao desenho do programa) optou-se por usar como grupo controle crianças que estudam nas mesmas escolas das crianças do tratamento, mas que cursaram educação infantil em escolas não atendidas pelo Paralapracá. Essa escolha tem vantagens práticas, mas requer algumas hipóteses de identificação que serão discutidas adiante.

O instrumento Nesta avaliação adotamos como instrumento de desenvolvimento infantil o Early Human Capability Index (EHCI), desenvolvido pelo Telethon Kids Institute, da Austrália (Brinkman, S. & Kinnell, A. 2013). Este índice foi concebido como uma medida holística do desenvolvimento infantil, capaz de gerar métricas para diferentes culturas e contextos. O EHCI foi construído para capturar aspectos chave do desenvolvimento de crianças de 3 a 5 anos, nas seguintes dimensões: 

Comunicação verbal: que captura aspectos sobre a capacidade da criança de se expressar;



Abordagens à aprendizagem: que captura aspectos relacionados à curiosidade, criatividade e abertura à experiências;

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018



Numeração e conceitos: que captura noções básicas de matemática (saber contar, identificar números, formas geométricas etc.)



Alfabetização formal - leitura: que captura noções básicas de leitura (identificação de letras e palavras);



Alfabetização formal - escrita: que captura noções básicas de escrita (“desenhar” letras, escrever uma palavra etc.);



Conhecimento cultural: que mede noções gerais sobre o ambiente em que a criança vive;



Habilidades socioemocionais: que captura aspectos gerais sobre o relacionamento da criança com adultos e outras crianças (respeito, colaboração, empatia etc.)



Perseverança: que captura a capacidade da criança de executar tarefas com autonomia e concentração;



Saúde física: mede aspectos básicos sobre a saúde infantil (peso, altura, frequência com que adoece etc.).

Dessa forma, o instrumento reúne dimensões que compõem um conceito de desenvolvimento infantil amplo e que serve a diferentes áreas do conhecimento, como educação, saúde, epidemiologia, economia entre outras. Dentre essas dimensões, podemos apontar algumas mais intimamente associadas aos propósitos do Paralapracá. Considerando a valorização do programa à brincadeira e às experiências de exploração e de mundo e artísticas acreditamos que as dimensões de ‘abordagens à aprendizagem’ e ‘conhecimento cultural’ devam estar mais associadas ao programa que as demais. Mesmo assim, é possível supor que o trabalho do programa repercuta nas dimensões de ‘numeração’ e ‘alfabetização’. O instrumento é medido segundo a percepção de pais/mães ou cuidadores por meio de um questionário de auto reporte. Esse questionário (que se encontra no anexo deste relatório) é composto por 58 perguntas de resposta sim/não que apuram diferentes comportamentos da criança associados às dimensões de desenvolvimento infantil e 2 perguntas sobre peso e altura de criança.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

O questionário é, portanto, de fácil aplicação, pois suas perguntas são simples de responder para pessoas que acompanham o dia a dia da criança. Dessa forma, o EHCI tem a intenção de ser um instrumento acessível para aplicação em ambientes de maior vulnerabilidade. As repostas do questionário são convertidas em um escore com valores que variam de zero a um, sendo que quanto mais próximo de um maior o desenvolvimento infantil em determinada dimensão. A metodologia permite a construção de um índice para cada dimensão de desenvolvimento, além de um índice de desenvolvimento global. Conforme as próprias autoras ressaltam, o EHCI não serve especificamente para avaliar marcos de desenvolvimento de crianças, mas é adequado para monitoramento, avaliação de intervenções voltadas ao desenvolvimento infantil e estudos longitudinais. Desde sua criação, o EHCI tem sido traduzido e aplicado com sucesso em diferentes países e contextos sociais, inclusive no Brasil, em geral sempre em ambientes de maior vulnerabilidade. Este é um aspecto importante de ser ressaltado, já que a transposição de instrumentos da natureza do EHCI para diferentes línguas e culturas não é um processo direto, requer trabalho de especialistas e uma série de testes amostrais de validação. Portanto, ter uma versão brasileira já testada é outra vantagem do EHCI2. Com seu atual histórico de aplicações, é possível ressaltar que o EHCI atende às seguintes

propriedades:

alta

sensibilidade

especificidade;

confiabilidade

psiconométrica; alta validade preditiva; baixo viés social de resposta. Sendo assim, a escolha do EHCI como instrumento para esta avaliação de impacto reúne as seguintes vantagens: é um instrumento holístico (múltiplas dimensões do desenvolvimento infantil); de fácil aplicação (auto reporte para pais ou cuidadores e

No caso do Brasil, o EHCI foi traduzido e validado pela equipe do Lepes/USP (Laboratório de Estudos e Pesquisas em Economia Social) com aplicação para 196 professores de escolas públicas de São Paulo, que responderam o questionário para 1.820 crianças. O artigo que reporta o processo de validação ainda não está publicado, mas seus autores gentilmente nos deram acesso aos seus resultados.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

adaptado a contexto vulneráveis); foi testado e validado para o Brasil (equipe do Lepes/USP).

A amostra Esta avaliação focou suas entrevistas sobre as crianças que já passaram pela préescolas formadas pelo Paralapracá e estão hoje nos primeiros anos do ensino fundamental 1 (EF1). Essa escolha é justificada para que pudéssemos avaliar crianças que completaram o ciclo inteiro da educação infantil. Naturalmente, devido às características do EHCI a coleta de dados aconteceu por meio de entrevistas com os pais/mães ou responsáveis pelas crianças e não diretamente com elas. A opção por entrevistar os pais (ao invés dos professores) foi pensada para tentar extrair informações de quem tem contato mais próximo com as crianças e com, potencialmente, menor viés, já que era de conhecimento geral que se estava avaliando um programa parceiro da secretaria de educação. Embora essas escolhas tenham sido bem pensadas e tenham justificativas práticas bem claras, elas trazem potenciais consequências para a avaliação. Com relação ao foco em crianças já no EF1 um potencial problema é que à medida que as crianças crescem seu desenvolvimento infantil naturalmente progride, de tal forma que para crianças mais velhas fica cada vez mais difícil (para o tipo de instrumento adotado aqui) capturar diferença de desenvolvimento entre crianças do tratamento e controle. Como veremos na seção de resultados, embora seja possível detectar este padrão de redução das diferenças como passar da idade, isso não chegou a trazer grandes prejuízos para a avaliação. Outro ponto de atenção é sobre a escolha dos pais como informantes. Embora o questionário do EHCI seja desenhado para minimizar o viés social (aquele em que o entrevistado dá a resposta que acha socialmente aceita, independente de ser verdadeira), há sempre o risco de os pais viesarem as respostas para cima, superestimando o desenvolvimento de seus filhos. Para tentar checar essa

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

possibilidade de viés, aplicamos o mesmo instrumento em uma amostra menor de professores das crianças entrevistadas. A ideia foi confrontar as duas visões e identificar algum possível viés que pudesse comprometer a validade da avaliação. Superadas as escolhas do público a ser entrevistado, foi preciso escolher o grupo controle. Como se sabe, o grupo controle, neste caso, é um conjunto de crianças que frequentaram pré-escolas não participantes do Paralapracá, mas que compartilham características socioeconômicas semelhantes às crianças oriundas de escolas do programa. A escolha de um grupo controle ideal é sempre um desafio, pois idealmente seria preciso ter acesso a duas informações indisponíveis no presente caso: 1- o background das crianças do tratamento e do controle, tanto em termos de informações diretamente observáveis e não-observáveis; 2- as variáveis por trás do processo de escolha das pré-escola pelos pais (o que está por trás de um pai/mãe ter escolhido uma escola com o Paralapracá e outros não). Apenas com este conjunto de informações seria possível acessar um grupo controle mais próximo do ideal3. Estes dois conjuntos de informação não são facilmente acessíveis, portanto, a opção foi por selecionar como grupo controle pais/mães/responsáveis de crianças que atualmente estão nas mesmas escolas de EF1 das crianças oriundas do Paralapracá, mas que frequentaram pré-escola em instituições não participantes do programa4. A escolhas deste grupo controle traz, naturalmente, vantagens e desafios. A grande vantagem é que maximizamos a chance de encontrarmos crianças com perfil socioeconômico semelhante, já que, de maneira geral, escolas públicas reúnem alunos que vivem no mesmo território e que, portanto, devem ter, em média, características socioeconômicas e demográficas parecidas. 3

Alternativamente, um desenho de avaliação que resolve esta problemática é a aleatorização, na qual as crianças que frequentam as escolas do programa (e as que frequentam outras escolas, portanto) são escolhidas por meio de um sorteio. Este tipo de desenho também não foi o caso do Paralapracá, o que torna esta estratégia de avaliação indisponível. 4 Em alguns casos, conforme documentado na avaliação externa, a metodologia do programa acabou sendo disseminada em toda a rede municipal. Nestas situações adotou-se como grupo controle crianças que vieram de pré-escolas que receberam o programa indiretamente ou até que vieram de escolas de municípios vizinhos.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

O maior desafio desta opção de grupo controle é justamente encontrar crianças oriundas de escolas fora do Paralapracá. Isso porque, em algumas praças o Paralapracá acabou se espalhando indiretamente para toda a rede de educação infantil. Para identificar corretamente os casos do grupo controle a equipe de campo contou com apoio das técnicas das secretarias de educação (que apontaram escolas de EF1 que recebem alunos tanto de escolas do Paralapracá quanto das que não participaram do programa) e das diretoras das escolas selecionadas (que ajudaram na identificação e mobilização dos pais para cada grupo). Portanto, a escolha do grupo tratamento e controle para a avaliação foi a mais pragmática, dado o desenho de implementação do Paralapracá. A partir dessa escolha, os resultados da avaliação serão criveis se partirmos de algumas suposições (um processo tecnicamente chamado de levantamento de hipóteses de identificação). Primeiro, é preciso supor que o avanço no desenvolvimento das crianças entrevistadas não tenha avançado substantivamente nos primeiros anos do EF1. Dito de outra forma, temos que supor que o processo de ensino-aprendizado nos primeiros anos do EF1 não foi suficiente para anular alguma diferença que as crianças do tratamento tenham carregado quando terminaram a pré-escola. Se essa hipótese não for verdadeira podemos não detectar diferenças entre tratamento e controle não por falta de impacto do programa, mas simplesmente porque as crianças do controle evoluíram tanto nos primeiros anos do EF1 que “alcançaram” as crianças do tratamento. Segundo, precisamos supor que o simples fato de frequentar a mesmas escolas já é suficiente que o grupo controle reúna um conjunto de características próximas (em média) do grupo tratamento. Em particular, é preciso supor que as crianças do grupo de controle tenham partido, quando na educação infantil, de patamares de desenvolvimento infantil semelhantes ao grupo controle. Se, por qualquer razão, as crianças

grupo

tratamento

partiram

estágios

mais

atrasados

desenvolvimento e, com a intervenção do Paralapracá, acabaram alcançando as

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

crianças do controle o resultado apontado por nossa metodologia será zero, embora tenha havido progresso causado pelo programa5. Terceiro, precisamos acreditar que a identificação das crianças do grupo controle pelas diretoras das escolas esteja correta e que as pré-escolas frequentadas pelas crianças não tenham, de fato, participado do programa ou que a participação indireta não seja capaz de gerar os mesmos resultados da participação direta no programa. Uma preocupação aqui é com a variedade de critérios adotados pelas diretoras das escolas entrevistadas para escolha do grupo controle. Em alguns casos, por exemplo, a melhor solução foi escolher para controle pais/mães cujas crianças frequentaram educação infantil em um município vizinho devido ao espalhamento do Paralapracá na rede municipal. Caso o trabalho da educação infantil da rede municipal vizinha seja muito diferente do que se praticaria numa pré-escola sem Paralapracá teríamos um possível fonte de viés no nosso grupo controle. Essas três hipóteses não são diretamente testáveis, infelizmente, e dependerão mais da leitura que podemos fazer do processo de implantação do programa e da coleta dos dados. Ressalta-se que toda avaliação de impacto tem por trás um conjunto de hipóteses como essas (ora mais restritivas ora menos). Mas hipóteses como essas não necessariamente geram descrédito para a avaliação e devem ser vistas apenas como ressalvas à interpretação dos seus resultados.

O campo No total, os questionários do EHCI foram aplicados a 400 pais/mães/responsáveis, 200 do grupo tratamento e 200 do controle, em 24 escolas distribuídas nas cinco redes participantes do segundo ciclo do Paralapracá: Olinda (PE), Natal (RN), Maceió (AL),

O ideal para verificar se esta hipótese é válida seria ter uma linha de base, ou seja, que o mesmo instrumento tivesse sido aplicado ao mesmo conjunto de crianças de tratamento e controle antes do início do Paralapracá. Esse tipo de dado não está disponível.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Camaçari (BA) e Maracanaú (CE). Assim, 80 pais participaram da pesquisa em cada rede6. Com este tamanho de amostra os erros-padrão nos levam a efeitos mínimos detectáveis da ordem de 0,04 a 0,08 (em pontos na escola do EHCI), a depender do padrão de variação de cada índice que compõe do EHCI7. Ou seja, esse tamanho de amostra permite identificar como impacto significativo apenas diferenças de indicadores que fiquem acima de 0.04 ou de 0.08 a depender do indicador. Com isso acreditamos ser possível fazer uma leitura relativamente confiável para a amostra como um todo, mas não para cada rede individualmente, já que 80 observações levaria a uma margem de erro grande demais.

Resultados Esta seção descreve os resultados do estudo. Primeiro, focamos numa descrição dos resultados gerais do EHCI, passo importante já que é um instrumento ainda pouco conhecido e é importante entender um pouco do seu funcionamento na prática. Em seguida partimos para as comparações entre as crianças que passaram pelo Paralapracá (grupo tratamento daqui em diante) e as que não passaram (grupo controle daqui em diante).

Resultados gerais O gráfico 1 traz um histograma com a distribuição do escore geral do EHCI para a amostra total. É possível notar que cerca de 70% das crianças têm, do ponto de vista de seus pais/mães, um índice de desenvolvimento acima de 0,8, em uma escala que vai de zero a um. Trata-se de um índice relativamente alto se comparado a outras experiências de aplicação deste instrumento. Como discutiremos mais abaixo, isso 6

A lista das escolas participantes encontra-se no anexo. Esses efeitos mínimos detectáveis foram calculados a partir dos desvio-padrão encontrados no processo de validação e adaptação para o Brasil (artigo ainda não publicado), considerando 90% de nível de confiança. 7

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

pode ser explicado pela idade das crianças que estão sendo avaliadas aqui (maioria entre 6 e 7 anos). Outra possível explicação poderia ser a de um viés positivo (de exagero nas respostas) dos pais, o que não foi confirmado pela coleta de dados juntos aos professores8.

Gráfico 1: Distribuição percentual da pontuação do EHCI geral

Amostra: 400 casos.

Como explicamos, o EHCI foi aplicado a uma amostra de professores que lecionam para as mesmas crianças entrevistas. Foram professores nas cinco praças que responderam o questionário para 60 crianças. Seus resultados foram comparados com os resultados dos pais/mães das mesmas crianças à procura de vieses que pudessem comprometer a avaliação. Embora os professores tenham reportado índices de desenvolvimento mais altos que os pais – o que contraria a hipótese de viés social por parte dos pais – a diferença entre pais e professores não é sistematicamente correlacionada com as características das crianças nem com o status de tratamento. Dessa forma, usando as respostas dos professores como parâmetro não é possível afirmar que o padrão de respostas dos pais possa enviesar os resultados da avaliação.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

O gráfico 2 mostra os valores médios dos nove indicadores que compõem o EHCI, além da média geral. Em conformidade com o que mostra o gráfico 1, a média geral do indicador foi de 0,84 e podemos ver que a maioria dos indicadores ficou em torno dessa média, mas com alguma variação importante.

Gráfico 2: Valores médios dos indicadores do EHCI9

Amostra: 400 casos.

As dimensões com escores mais baixos são a perseverança (associada à capacidade da criança de executar tarefas com foco) e a leitura. Já os escores mais altos são os de 9

Interessante observar que o indicador de leitura tenha nível tão mais baixo que o de escrita, já que a primeira competência geralmente é desenvolvida antes da segunda. Analisando as perguntas que compõem cada indicador podemos observar que as que mais impactam negativamente o indicador de leitura são: 1- ‘Esta criança consegue seguir as direções de leitura? (ex. da esquerda para direita, de cima para baixo)’, com média de respostas ‘sim’ igual a 0.6 e 2- ‘Esta criança consegue identificar ou ler palavras complexas?’, com média de respostas ‘sim’ igual a 0.4. O nível mais baixo de respostas pode indicar que as crianças devem ter especial dificuldade nestes dois tipos de situação. Se desconsiderarmos estas duas questões o indicador de leitura teria um nível mais compatível com o de escrita.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

comunicação verbal e conhecimento cultural. De forma geral, mas em especial os índices de numeração, leitura e escrita, os valores médios dessas competências são mais altos do que o capturado em outros estudos, inclusive no Brasil. Isso se deve ao fato de as crianças avaliadas aqui serem mais velhas que em outros estudos. Por outro lado, chama atenção o nível baixo de perseverança, que pode indicar necessidade de se trabalhar competências como foco e concentração dessas crianças. A próxima tabela mostra como os indicadores do EHCI variam de acordo com a escolaridade das mães. Para isso, separamos as mães entre as que pelo menos completaram o ensino fundamental e que têm escolaridade menor que essa. Como esperado (e compatível com o que se sabe na literatura), crianças com mães mais escolarizadas têm filhos/as com indicadores significativamente mais altos, com exceção da saúde física. As maiores diferenças em magnitude estão em leitura (diferença de 16% em favor das mães escolarizadas), numeração (diferença de 11%) e perseverança (diferença de 20%). Essas três competências são importantes determinantes do desempenho escolar futuro das crianças, já que estamos falando das noções básicas de língua portuguesa e matemática e da capacidade de concentração na realização de tarefas (muito associado à dimensão de conscienciosidade – Santos e Primi, 2014). Tudo isso sugere que deve ser importante ter um trabalho mais focado nestas competências para crianças cujas mães tem menos instrução.

Gráfico 3: Indicadores de desenvolvimento infantil X escolaridade da mãe

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Amostra: 399 casos. Nota: os valores me negrito são estatisticamente diferentes a um nível de confiança de pelo menos 90%.

O gráfico 4 releva que o índice geral, e especificamente para algumas dimensões, as meninas têm desenvolvimento mais avançado que os meninos. Esse resultado é compatível com outras aplicações deste mesmo instrumento. Isto é, parece mesmo uma tendência que as meninas se desenvolvam nessas dimensões mais rápido que os meninos. É importante ressaltar, no entanto, que em outros estudos as diferenças detectadas são maiores que as constatadas aqui. Isso pode indicar que na faixa etária que estamos avaliando (6-7 anos) as diferenças entre meninos e meninas começam a diminuir.

Gráfico 4: Indicadores de desenvolvimento infantil X sexo da criança

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Amostra: 400 casos. Nota: os valores me negrito são estatisticamente diferentes a um nível de confiança de pelo menos 90%.

O próximo gráfico mostra como os indicadores se relacionam com a idade das crianças. Em geral, os estudos que aplicam o EHCI capturam correlações mais significativas entre os indicadores e a idade. Isso porque as aplicações do instrumento costumam acontecer em públicos na faixa de 3 a 5 anos, idade em que as competências se desenvolvem mais rápido.

Gráfico 5: Indicadores de desenvolvimento infantil X idade da criança

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Amostra: 400 casos. Nota: os valores me negrito são estatisticamente diferentes a um nível de confiança de pelo menos 90%.

Na faixa etária que estamos analisando é possível que algumas dessas competências já tenham chegado ao ápice de desenvolvimento, o que faz com que o EHCI reduza sua capacidade de capturar diferença de desenvolvimento. Mesmo assim algumas diferenças por faixa etária chamam atenção. As únicas competências que se diferenciam entre crianças de até ou com mais de 6 anos são as relacionadas a língua portuguesa e matemática e a de perseverança. Como já dissemos, essas dimensões de desenvolvimento são muito importantes para os resultados educacionais no futuro e esta fase, início do ensino fundamental, parece chave para o crescimento dessas competências. Isso faz sentido já que é a fase de início de alfabetização no Brasil.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Gráfico 6: Desenvolvimento infantil de crianças do Paralapracá por rede de ensino

Amostra: 231 casos. Nota: os valores me negrito são estatisticamente diferentes a um nível de confiança de pelo menos 90%.

O gráfico 6 agora faz um recorte específico para as crianças que consideramos participantes do Paralapracá e reporta as médias dos indicadores por rede. É possível notar que há poucas diferenças entre os resultados médios das crianças de tratamento entre as redes, com exceção da competência de leitura que é significativamente mais alta em Maracanaú e a de perseverança que é mais baixa em Olinda. Como este gráfico ainda não faz comparações com o grupo controle, ainda não podemos afirmar se os impactos se diferenciam por rede. Os próximos dados procuram se aprofundar nesse ponto.

Resultados da avaliação de impacto Os resultados da avaliação de impacto indicam que as crianças oriundas de pré-escolas trabalhadas pelo Paralapracá chegam ao ensino fundamental com mais de um ano meio à frente no desenvolvimento de sua curiosidade, criatividade e abertura a novas

experiências,

comparação

com

colegas

escola

com

perfil

sociodemográfico semelhante. Além disso, a avaliação também conclui que o Paralapracá tem contribuído para o aprendizado inicial de Língua Portuguesa e

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Matemática das crianças cujas mães têm os mais baixos níveis de escolaridade, justamente as crianças com perfil mais desfavorável ao aprendizado.

Para se chegar a essas conclusões foi preciso fazer uma comparação “qualificada” entre tratamento e controle. Isso significa que devemos comparar os indicadores de crianças de mesmo perfil, cuja única diferença seja o status de participação do programa. Dessa forma, as diferenças de desenvolvimento infantil entre os dois grupos podem ser atribuídas à participação no programa. Para isso, estimamos um modelo de regressão múltipla para cada indicador, no qual controlamos as seguintes variáveis de perfil: sexo da criança, idade da criança, escolaridade da mãe e rede de ensino10. Com este modelo as diferenças entre os indicadores de tratamento e controle passam a ser “livres” da influência desses fatores. Dessa forma, nos aproximamos do impacto do Paralapracá pois estamos estimando a diferença de ter participado do programa independente do perfil da criança, de sua mãe e da rede de ensino que ela frequenta. O próximo gráfico traz essas estimativas de impacto.

Gráfico 7: Estatísticas do impacto do Paralapracá sobre desenvolvimento infantil

Amostra: 394 casos. Nota: o gráfico reporta as estatísticas t-Student que indicam a significância dos impactos do Paralapracá. Apenas o impacto sobre ‘abordagens de aprendizagem’ é significativo a um

Modelo de regressão estimado por Mínimos Quadrados Ordinários com erros-padrão robustos clusterizados por rede de ensino.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

nível de confiança de pelo menos 90%. As estimativas propriamente ditas (pontos estimados) encontram-se no anexo. O resultado está sendo reportado dessa forma para facilitar a visualização.

O gráfico nos permite afirmar com alto grau de confiança (pelo menos 90%) que o Paralapracá impactou a competência chamada ‘abordagens à aprendizagem’11. Esta competência está associada ao construto de abertura a novas experiências (a dimensão openness do conhecido framework de habilidades socioemocionais conhecido como Big Five – Santos e Primi, 2014). Os números do gráfico 7 não têm significado prático ao não ser indicar a significância estatística. Para dar mais significado ao resultado, consultamos os valores reportados na tabela A2 do anexo que nos indicam que o impacto estimado sobre ‘abordagens a aprendizagem’ é da ordem de 0,022 ponto na escala do EHCI. Isso equivale a 73% da evolução deste indicador entre os 3 e os 5 anos de idade (segundo as aplicações feitas no Brasil). Ou seja, podemos afirmar que as crianças oriundas de pré-escolas trabalhadas pelo Paralapracá chegam ao ensino fundamental com mais de um ano meio à frente no desenvolvimento de sua curiosidade, criatividade, abertura a situações diferentes etc., em comparação com colegas de escola com perfil sociodemográfico semelhante. Trata-se de um resultado bastante relevante considerando a importância desse tipo de habilidade socioemocional para o futuro dessas crianças (Santo e Primi, 2014). A abertura à novas experiências é uma competência relacionada à adaptabilidade e à capacidade de “aprender a aprender”, que são duas características consideradas absolutamente essenciais para lidar com um mundo em constante transformação, no qual as mudanças tecnológicas impõem desafios constante de adaptação.

Ao contrário do que supusemos a dimensão de ‘conhecimento cultural’ não foi impactada. Em parte, podemos explicar esse resultado pelo fato de o indicador dessa dimensão ser o mais ‘frágil’, na atual versão brasileira do EHCI. Tanto nesta avaliação como nas outras aplicações realizadas no Brasil esse indicador mostrou baixa consistência, o que sugere que os componentes do instrumento não devem estar capturando a dimensão que se propõe.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Além disso, das nove dimensões de desenvolvimento infantil avaliadas a ‘abordagens à aprendizagem’ parece mesmo ser a mais compatível com o trabalho realizado programa. Segundo o processo de avaliação externa, as maiores evidências de adoção de práticas do programa pelos coordenadores pedagógicos são justamente para aquelas relacionadas a “exploração de mundo”, por meio de brincadeiras (“brincar livre, não dirigido, mas preparado e acompanhado”), música (“exploração de sons e instrumentos além dos tradicionais”) e artes12. Ainda segundo esse relatório de avaliação, indicadores associados a práticas de literatura e organização do espaço não tiveram evolução significativa ao longo na implantação do programa. Além desses impactos gerais, válidos para a amostra toda, calculamos impactos para perfis específicos de crianças. A tabela abaixo reporta os resultados por escolaridade das mães das crianças13. A ideia foi estimar os mesmos modelos de regressão da amostra geral para recortes específicos, como objetivo de entender se algum perfil de criança tem sido mais ou menos impactado pelo Paralapracá.

Tabela 1: Estimativas do impacto do Paralapracá por escolaridade das mães (em pontos da escala EHCI) Escolaridade das mães EF incompleto EF completo ou mais Abordagens à 0,036 aprendizagem*** Numeração* 0,037 Escrita** 0,027 Amotra: 207 para EF incompleto e 187 para EF completo. Níveis de confiança: * 85%; ** 88%; *** 94%.

Esses resultados revelam que o impacto sobre a dimensão de “abordagens à aprendizagem” que detectamos para a amostra completa concentra-se apenas nas

Para mais detalhes, ver relatório de avaliação externa desenvolvido pela Move Social. Estimamos também impactos específicos por sexo da criança e faixa etária, mas os resultados não foram significativos e foram, então, não reportados. 13

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

crianças com mães mais escolarizadas14, já que entre as de menor escolaridade não somos capazes de detectar diferenças significantes entre tratamento e controle, após controlar o perfil das crianças. O impacto estimado para as crianças de mães escolarizadas foi de 0,036 ponto na escala do EHCI, diferença que equivale ao desenvolvimento observado entre os 3 e os 5 anos de idade no Brasil. Esses resultados levam a um aprendizado interessante. Podemos concluir que, ao menos no contexto de atuação do Paralapracá, desenvolver competências curiosidade, criatividade etc. é mais desafiador para crianças de mães que não chegaram a concluir o fundamental. Isso deve ser explicado por uma menor oferta de referências e experiências oferecidas pelas mães no ambiente doméstico. Por outro lado, para mães mais escolarizadas devem “facilitar” o processo de desenvolvimento dessas competências ao oferecer mais referências e possibilidades de experiências em casa. Dessa forma, o resultado sugere a importância de se adotar um trabalho ainda mais cuidadoso com crianças de mães com menos estudo para contribuir com o desenvolvimento de tais competências nas crianças. Com relação às mães de menor escolaridade, os resultados mostram impactos com alto grau de confiança sobre numeração e escrita15. No caso de numeração o impacto é de 0,037 ponto, o que equivale a uma evolução 50% acima do desenvolvimento observado entre 3 e 5 anos no Brasil. No caso de escrita o impacto é de 0,027, ou cerca de metade do progresso observado em crianças dos 3 aos 5 anos.

É muito importante reparar que, embora estejamos chamando esse grupo de ‘mais escolarizadas’, a escolaridade dessas mais também é muito baixa, já que a maioria não chegou a completa o ensino médio. Dessa forma o termo ‘mais escolarizada’ deve ser interpretado em termos relativos, dentro do perfil vulnerável do público-alvo do estudo. 15 Em geral, em ciências sociais, adotam-se níveis de confiança mínimos de 90% para considerar os coeficientes de uma regressão “significantes”. No caso dos impactos sobre numeração e escrita para mães menos escolarizadas, os níveis de confiança são de 85% e 88%, muito próximo, portanto, do padrão usual. Neste caso, é provável que essa pequena diferença de nível de confiança seja explicada pelo tamanho reduzido da amostra. De qualquer forma, é possível dizer que os resultados ao menos apontam para uma tendência a impactos positivos nessas dimensões. Portanto, decidimos fazer a leitura destes resultados apenas como impactos com alto grau de confiança.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Os dois resultados são altamente relevantes, pois indica que o Paralapracá tem contribuído para o aprendizado inicial de Língua Portuguesa e Matemática justamente para crianças com perfil mais desfavorável ao aprendizado. Isso porque é consenso na literatura de Economia da Educação que a escolaridade dos pais (especialmente das mães) é um dos maiores determinantes do desempenho escolar dos filhos. Dito de outra forma, a literatura mostra que crianças com pais/mães menos escolarizadas têm maiores dificuldades em aprender Matemática e Português e o Paralapracá tem contribuído de forma importante para transformar essa realidade. Assim, podemos concluir que o Paralapracá também tem contribuído para promover maior equidade nos resultados educacionais ao dar uma “vantagem” de 1 até 3 anos no desenvolvimento de conceitos básicos de Português e Matemática justamente às crianças com maiores “desvantagens” – aquelas cujas mães tem baixa escolaridade.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Equipe Plano CDE

Coordenação do projeto Rafael Camelo Maurício Prado

Coordenação de campo Breno Barlach Renata Leal Wladimir Machado

Coordenação de análise Rafael Camelo

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Referências Brinkman, S.; Kinnell, A. The Early Human Capability Index, 2013. Disponível em: https://ehci.telethonkids.org.au/tool/ Move Social. Paralapracá - Avaliação externa - Relatório Final, mimeo, 2017. Santos, D.; Primi, R. Desenvolvimento socioemocional e aprendizado escolar: Uma proposta de mensuração para apoiar políticas públicas, Instituto Ayrton Senna, São Paulo, 2014. Disponível em: http://educacaosec21.org.br/wpcontent/uploads/2013/07/desenvolvimento-socioemocional-e-aprendizadoescolar.pdf

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Anexos Anexo 1: descrição da amostra Tabela A1: estatísticas descritivas da amostra Controle

Tratamento

Amostra por rede (em número de crianças) Maceió

Maracanaú

Olinda

Camaçari

Natal

Perfil das crianças Proporção de meninos Idade média Prop. mães com EF completo

41,3%

41,6%

7,2

6,8

50,0%

44,9%

Médias dos indicadores do EHCI Saúde física

0,8605

0,8723

Comunicação verbal

0,9486

0,9372

Abordagens à aprendizagem

0,9002

0,9098

Numeração

0,8692

0,8727

Leitura

0,7267

0,7056

Escrita

0,9118

0,9040

Conhecimento cultural

0,9372

0,9255

Socioemocionais

0,8682

0,8810

Perseverança

0,5843

0,5909

EHCI geral

0,8452

0,8443

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Anexo 2: Estimativas pontuais Tabela A2: Estimativas do impacto do Paralapracá sobre o desenvolvimento infantil Saúde física Tratamento Observações R-quadrado

0.002 (0.917) 354 0.037 Escrita

0.001 (0.894) Observações 354 R-quadrado 0.062 P-valor robusto entre parênteses. *** p<0.01, ** p<0.05, * p<0.1 Tratamento

Comunicação Abordagens à verbal aprendizagem -0.005 0.022* (0.832) (0.066) 354 354 0.067 0.097 Conhecimento Socioemocionais cultural -0.014 0.014 (0.341) (0.363) 354 354 0.072 0.097

Numeração

Leitura

0.016 (0.498) 354 0.081

0.020 (0.611) 354 0.098

Perseverança

EHCI geral

0.031 (0.219) 354 0.081

0.010 (0.270) 354 0.112

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Anexo 2: questionário do EHCI16

Traduzido pela equipe do Lepes/USP.

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018

Anexo 3: Lista de escolas pesquisadas Maceió Escola Municipal António Simeão Lamenha Lins

Maracanaú Escola Municipal Carlos Jereissati

Olinda Escola municipal Ebenézer Gueiros

Camaçari Natal Escola Clube de Escola Mães Municipal Almerinda Bezerra

Escola Municipal Carmelita Cardoso Gama

Escola Municipal José Assis de Oliveira Anexo

Escola Municipal 19 de setembro

Escola Municipal Aloísio Oliveira

Escola Municipal Eulina de Alencar Escola Municipal Paulo Bandeira

Escola Municipal Paulo Freire

Escola Escola Municipal Allan Municipal Kardec Monteiro Lobato Escola Municipal Padre Paulo Maria Tonucci

Escola Municipal Professor Francisco Araújo do Nascimento

Escola Municipal Rui Palmeira

5 escolas

Escola Municipal Yolanda Pires

4 Escolas

3 Escolas

5 Escolas

Escola Municipal Antônio Campos Escola Municipal Bernardo Nascimento Escola Municipal Felina Fernandez

Escola Municipal Paulo Bandeira Escola Municipal Prof. Almerinda Bezerra Furtado Escola Municipal Tereza Satsuqui Aoqui de Carvalho 7 Escolas

Programa Paralapracá - Relatório de avaliação de impacto - Versão final – 28/11/2018