Boletim IDados da Educação N.4: O Brasil e o Pisa: a base e o topo

O BRASIL NO PISA: A BASE E O TOPO Boletim IDados da Educação nº 2016-02 Maio 2016

O BRASIL NO PISA: A BASE E O TOPO Boletim IDados da Educação Maio 2016

APRESENTAÇÃO

O Boletim IDados é uma iniciativa do IDados, que integra o Instituto Alfa e Beto e

se dedica à análise de dados e evidências sobre a educação brasileira, tendo como objetivo informar e lançar questões para debate entre os diversos públicos responsáveis e/ou comprometidos com a melhoria da Educação.

Neste Boletim apresentamos uma reanálise dos dados do Pisa, o Programme for In-

ternational Student Assessment (Pisa) - Programa Internacional de Avaliação de Estudantes - que é desenvolvido e coordenado pela OCDE (Organização para Cooperação e Desenvolvimento Econômico). Tradicionalmente, são divulgados e debatidos os dados referentes ao desempenho médio dos estudantes. Esta reanálise destaca duas informações que ainda não foram objeto de análise: o que acontece com os extremos, os melhores e piores alunos.

As notas dos 5% melhores alunos do Brasil em Matemática se comparam com a mé-

dia do conjunto de países da OCDE. Além de baixo em termos absolutos e relativos, o desempenho de nossas elites encontra-se estagnado. Dada a comprovada importância das elites intelectuais para o desenvolvimento econômico de um país, esse fato deveria constituir um sinal vermelho para os responsáveis pela formulação e implementação de políticas econômicas do país.

O resultado dos 5% piores alunos tem melhorado significativamente e contribuído

para aumentar a média. Esse resultado se explica sobretudo pelo aumento da participação na Pré-escola. Mas como a universalização da mesma já está praticamente concluída, ela deixará de influir no crescimento das notas nos próximos anos.

Este Boletim IDados de Educação está dividido em oito partes. Em cada uma das sete

primeiras partes explicamos um aspecto do desempenho dos brasileiros no Pisa e sugerimos itens para reflexão. A oitava parte apresenta algumas questões sugeridas pelo texto, com o objetivo de suscitar debate na comunidade empresarial e acadêmica, na mídia e na sociedade em geral.

Para conferir todas as edições do Boletim IDados da Educação, acesse: www.alfaebeto.

Perfil dos professores

org/idados

3

RESUMO EXECUTIVO 1. Como está o Brasil em relação ao resto do

melhorem seu desempenho. Mas a esmagadora

mundo?

maioria dos brasileiros situa-se abaixo do Nível 1, considerado como nível mínimo aceitável no Pisa.

O Brasil é o 8º pior país na Prova de Matemática de 2012, embora seus resultados tenham melhorado

5. A pré-escola faz diferença no desempenho dos

significativamente entre 2000 e 2012. Essa melho-

alunos?

ria já apresenta sinais de arrefecimento.

Os

dados

sugerem

um

efeito

positivo

da

2. Como é o desempenho dos alunos brasileiros

Pré-escola: quanto maior o número de alunos matri-

nos diferentes níveis da escala?

culados em Pré-escolas, 10 anos antes da Prova, melhor o desempenho. Essa melhora, como vimos, está

O desempenho dos alunos mais fracos - os que

restrita aos alunos de menor nível de desempenho.

tiram até 400 pontos no PISA - melhorou entre 2000 e 2012. Mas o desempenho dos demais alu-

6. Há relação entre os resultados da Prova Brasil

nos encontra-se praticamente estagnado em níveis

e do Pisa?

muito baixos em relação à média dos países da Sim, melhorias na Prova Brasil correspondem a

OCDE.

melhorias no Pisa. Em ambos os casos, no período 3. Como é o desempenho absoluto e relativo das

analisado, as melhorias foram positivas, pequenas e

elites?

restritas aos níveis inferiores da distribuição.

Se considerarmos como elite intelectual os 5%

7. Quais as perspectivas de melhoria do Brasil no

melhores,

Pisa?

esse

desempenho

está

estagnado

desde 2003, e situa-se próximo da média dos países da OCDE. Ou seja: os melhores alunos brasileiros

A projeção linear a partir dos resultados de 2009-

sabem tanto quanto um aluno de nível médio nos

2012 sugere que o Brasil alcançaria a atual média

países da OCDE.

da OCDE somente no ano de 2060. Se houvesse uma melhoria de 3% nas médias a cada 3 anos, essa

4. Como é o desempenho dos alunos mais fracos?

meta poderia ser alcançada em 2036 desde que os demais países da OCDE não melhorassem seu

A quantidade de brasileiros nos níveis mais baixos de desempenho caiu 7 pontos percentuais entre 2003 e 2012. Uma possível explicação para essa melhoria é a mudança nos itens da prova: foram incluídos itens que permitem que os alunos mais fracos respondam algumas perguntas e, assim,

desempenho.

1. COMO ESTÁ O BRASIL EM RELAÇÃO AO RESTO DO MUNDO?

A Figura 1.1 mostra a nota média dos brasileiros em Matemática, no Pisa no ano de 2012.

•

A média do Brasil foi 391. Esta média é significativamente inferior às médias de todos os países (473) e dos países da OCDE (494).

FIGURA 1.1 - NOTA MÉDIA EM MATEMÁTICA NO PISA 2012 - TODOS OS PAÍSES

Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto

Nota: Os países da OCDE são os considerados países ricos. Os demais países que participam do Pisa, como o Brasil, não são países da OCDE. O site do Pisa indica quais países pertencem a qual grupo.

A Figura 1.2 mostra o desempenho dos alunos brasileiros em Matemática entre 2000 e 2012.

•

Há um crescimento na média dos alunos brasileiros neste período, mas o ritmo do crescimento é decrescente.

•

Também houve melhoria relativa na média: a distância entre a média do Brasil e a do conjunto de países passou de 136 para 82 pontos entre 2000 e 2012. Em relação aos países da OCDE estamos com 103 pontos a menos

O BRASIL NO PISA:

5

FIGURA 1.2 – COMPARAÇÃO DA EVOLUÇÃO DA NOTA MÉDIA EM MATEMÁTICA – PISA 2000-2012.

O BRASIL NO PISA:

Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto

6

A Figura 1.3 mostra a evolução dos 7 países que estavam com média inferior a 400 pontos no

ano 2000.

FIGURA 1.3 - EVOLUÇÃO DA NOTA MÉDIA EM MATEMÁTICA DOS PAÍSES COM NOTA INFERIOR A 400 PONTOS NO ANO 2000

Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto

•

Praticamente todos esses países melhoraram no período.

•

Os países com pior desempenho no ano 2000 – Brasil, Indonésia e Peru – melhoraram

reduziram.

•

Ao longo desses 12 anos, países como o Brasil e o Peru se aproximaram de onde estavam Chile e México no ano 2000.

O BRASIL NO PISA:

um pouco mais do que os outros quatro países, e com isso as distâncias entre eles se

7

•

O Brasil continua entre os piores colocados no Pisa.

•

Houve melhoria nos resultados nos últimos anos.

•

Há uma inflexão no ritmo da melhoria.

O BRASIL NO PISA:

Em síntese:

8

2. COMO É O DESEMPENHO DOS ALUNOS BRASILEIROS NOS DIFERENTES NÍVEIS DA ESCALA?

A Figura 2.1 apresenta a evolução da média dos alunos brasileiros entre 2000 e 2012, por

percentis. Por exemplo, P-05 significa o ponto de corte do grupo dos 5% piores alunos, ou seja, os 5% piores alunos têm nota abaixo do ponto P-05. P-95 significa o ponto de corte do Percentil 95, ou seja, apenas os 5% melhores alunos têm nota melhor do que P-95. P-50 refere-se aos alunos que se encontram no ponto mediano: metade dos alunos tem nota acima de P-50 e a outra metade tem nota abaixo desse valor.

Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto

O BRASIL NO PISA:

FIGURA 2.1 - BRASIL: EVOLUÇÃO DA NOTA EM MATEMÁTICA POR PERCENTIS.

9

•

Quanto mais baixo o nível do percentil, maior a melhoria entre 2000 e 2012. Em outras palavras: os piores alunos melhoraram mais do que os melhores. Essa é a razão pela qual a média do Brasil no Pisa melhorou.

•

A taxa de melhoria é decrescente, com nível marcadamente reduzido entre 2009 e 2012.

Os níveis P-90 e P-95 encontram-se estagnados, ou seja, os melhores alunos brasileiros não têm melhorado o seu desempenho.

O BRASIL NO PISA:

•

10

3. COMO É O DESEMPENHO ABSOLUTO E RELATIVO DAS ELITES?

A Figura 3.1 compara o desempenho das elites brasileiras com a média e as elites dos países

da OCDE.

FIGURA 3.1 - COMPARAÇÃO DA DISTRIBUIÇÃO DAS NOTAS MÉDIAS EM MATEMÁTICA NO PISA EM 2000 E 2012.

Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto

No ano 2000, o ponto de corte do grupo P-95 - os 5% melhores alunos do Brasil – estava praticamente empatado com a média dos países da OCDE. Ou seja, os melhores alunos do Brasil apresentaram um desempenho escolar semelhante ao da média dos alunos dos países da OCDE.

O BRASIL NO PISA:

•

11

•

Em 2012 o desempenho dos 5% melhores havia melhorado um pouco, mas ainda se encontra muito próximo da média dos países da OCDE.

•

O desempenho do P-95 dos países da OCDE em 2012 estava quase 100 pontos acima do grupo de elite do Brasil. Essa diferença é quase igual à diferença entre a média do Brasil e a média dos países da OCDE. Ou seja:

•

Em média, nossos alunos estão 100 pontos abaixo da média dos países da OCDE.

•

Em média, nossas elites estão 100 pontos abaixo da média das elites dos países da OCDE.

A Figura 3.2 mostra o comportamento da média do grupo P-95 (grupo de elite) dos 9 piores

países nesse indicador.

FIGURA 3.2 - COMPARAÇÃO DA EVOLUÇÃO DA NOTA MÉDIA EM MATEMÁTICA DOS

Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto

O BRASIL NO PISA:

PAÍSES COM NOTAS MAIS BAIXAS NO PERCENTIL 95 NO PERÍODO DE 2000 A 2012.

12

•

O Brasil teve uma melhora em 2003 e estagnou desde então.

•

Poucos países, como Peru e Tunísia, tiveram aumento recente e significativo nesse

O BRASIL NO PISA:

indicador.

13

4. COMO É O DESEMPENHO DOS ALUNOS MAIS FRACOS?

A Figura 4.1 mostra o desempenho do P-05, o grupo dos 5% piores alunos, no Brasil e em

todos os países.

FIGURA 4.1 – COMPARAÇÃO DA DISTRIBUIÇÃO DAS NOTAS EM MATEMÁTICA NO PERCENTIL 5 – 2000 E 2012

Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto

•

A diferença entre as distribuições indica que há cada vez menos alunos nos níveis

com notas entre 300 e 400 pontos aumentou significativamente em 2012, em comparação com o ano 2000.

•

Em consequência, a nota do grupo P-05 no Brasil também aumentou de menos de 200 para pouco menos de 300 pontos, um aumento de quase 100 pontos.

O BRASIL NO PISA:

mais baixos da prova. Por exemplo, podemos observar que a quantidade de alunos

14

•

Os dados do Pisa não permitem identificar a causa, apenas permitem observar que, no caso do Brasil, são os alunos mais fracos que melhoram um pouco. Uma das explicações mais plausíveis para este fato seria a introdução de itens mais fáceis na prova.

Esses itens permitiram discriminar os alunos que sabiam rudimentos da matemática, rudimentos esses que não haviam sido identificados no teste do ano 2000.

A Figura 4.2 oferece informações mais detalhadas sobre a evolução dos alunos situados no

nível 1 ou abaixo em todos os países que tiveram média inferior a 400 pontos na prova do Pisa do ano 2000.

FIGURA 4.2 - EVOLUÇÃO DA PORCENTAGEM DE ALUNOS NO NÍVEL 1 OU ABAIXO NOS

Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto

O BRASIL NO PISA:

PAÍSES COM NOTA INFERIOR A 400 PONTOS NO ANO 2000 .

15

•

O nível 1 refere-se a alunos que logram até 420 pontos, considerado como o nível mínimo de desempenho. A OCDE criou a expressão Nível 1 e abaixo para incluir todos os alunos com desempenho nesse nível ou abaixo dele.

•

75% dos brasileiros estavam nos níveis mais baixos em 2003 – apenas acima da Indonésia.

•

Essa porcentagem caiu para 68% em 2012, colocando o Brasil próximo à Argentina.

•

Isso significa que, em 9 anos, o Brasil conseguiu reduzir em 7 pontos percentuais o tamanho do grupo dos alunos nos dois níveis mais baixos do Pisa - o Nível 1 e abaixo

O BRASIL NO PISA:

dele.

16

5. A PRÉ-ESCOLA FAZ DIFERENÇA NO DESEMPENHO DOS ALUNOS?

A Figura 5.1 mostra a relação entre a nota média do Brasil no Pisa e a taxa de matrícula na

Pré-escola 10 anos antes da aplicação da prova.

FIGURA 5.1 - BRASIL: PORCENTAGEM DE MATRÍCULA NA PRÉ-ESCOLA 10 ANOS ANTES E NOTA MÉDIA EM MATEMÁTICA

Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto

•

Os anos indicados na figura referem-se aos anos de realização da prova do Pisa. O grupo de alunos que fez o Pisa em 2003, por exemplo, é parte de uma coorte em que quase 50% dos alunos estavam matriculados na Pré-escola dez anos antes, em 1993.

•

O aumento nas notas de Matemática é correlacionado com a participação da popula-

entre 1990 e 2002.

•

Entre 2009 e 2012 começa uma leve inflexão mostrada pelos pontos da Figura 5.1 correspondentes a esses dois anos. Os pontos dos anos anteriores sugerem uma projeção linear, mas os dados do último triênio mostram uma desaceleração na tendência.

O BRASIL NO PISA:

ção na Pré-escola, que teve um aumento de aproximadamente 25 pontos percentuais

17

6. HÁ RELAÇÃO ENTRE OS RESULTADOS DA PROVA BRASIL E DO PISA?

A Figura 6.1 mostra a relação entre a evolução das notas dos alunos do 9º ano na Prova Brasil

e no Pisa – pois esses alunos têm idade bastante próxima e, portanto, fizeram as duas provas num período bastante próximo.

FIGURA 6.1 - BRASIL: NOTA MÉDIA EM MATEMÁTICA NO PISA VS. NOTA MÉDIA EM MATEMÁTICA NA PROVA BRASIL

Fonte: OCDE. Prova Brasil 2007 - 2011. IDados - Instituto Alfa e Beto

Nota: Notas no PISA em 2006, 2009 e 2012.

•

Existe uma correlação positiva entre os resultados dos alunos nas duas provas, sendo considerados para essa análise apenas os períodos de 2007-2011, para a Prova Brasil, e

•

Embora a correlação seja positiva, o aumento em ambas as provas é relativamente baixo: 25 pontos de ganho na média do Pisa e 15 pontos de ganho na média da Prova Brasil.

O BRASIL NO PISA:

2006 a 2012, para o Pisa.

18

7. QUAIS SÃO AS PERSPECTIVAS DE MELHORIA DO BRASIL NO PISA?

Uma das formas de analisar as perspectivas de melhoria do Brasil no Pisa é simular uma

distribuição dos alunos a partir do passado. Por exemplo, suponhamos que 20% dos brasileiros tivessem obtido a nota 391,5 em Matemática – esta foi a nota média do Brasil em 2012. E que 80% dos brasileiros tivessem obtido 529,5, que foi a nota de corte dos 5% melhores. A média seria (529,5 x 80%) + (391,5 x 20%) = 501,9. Ou seja, mesmo que a grande maioria dos brasileiros estivesse onde se encontrava nossa elite em 2012, a nota seria próxima à média dos países da OCDE. E, é óbvio, essa hipótese é altamente improvável de acontecer.

Outra forma de analisar as perspectivas de melhoria do Brasil é projetar um avanço dos

alunos com base nos dados do passado. É o que vemos na Figura 7.1.

QUADRO 7.1 - BRASIL: SIMULAÇÃO DA NOTA MÉDIA EM MATEMÁTICA PARA AS

Fonte: OCDE. Prova Brasil 2007 - 2011. IDados - Instituto Alfa e Beto

O BRASIL NO PISA:

PRÓXIMAS DÉCADAS

19

•

Na hipótese de crescimento de 1,5% na média a cada 3 anos (fato ocorrido no último triênio), levaríamos até o ano 2060 para atingir a média dos países da OCDE em 2012.

•

Na hipótese de crescimento de 3%, alcançaríamos a atual média da OCDE no ano de 2036.

•

Em ambos os casos, a suposição é a de que a média dos países da OCDE não teria avançado.

Ambas as hipóteses são pouco realistas, tendo em vista o desempenho anterior: os ganhos existentes parecem se dever mais a fatores extra-escolares, como a universalização da pré-escola ou mudanças na pontuação, que favorecem os alunos com pior desempenho.

O BRASIL NO PISA:

•

20

TÓPICOS PARA DEBATE 1.

Hanushek e Woessmann (2012) demonstram que cada desvio padrão adicional na nota do

Pisa, ou seja, 100 pontos, corresponde a um aumento de 2% do PIB dos países. Rinderman, Sailer e Thompson (2009) haviam sugerido que esse impacto é ainda maior de acordo com o nível das notas do grupo de elite (P-95), ou seja: a qualidade das elites está fortemente associada ao desenvolvimento econômico e aos fatores que concorrem para a estabilidade institucional, democrática e a livre concorrência entre os agentes econômicos. Se o desempenho médio do Brasil no Pisa é sofrível, o desempenho das elites é ainda pior – e isso não tem chamado a atenção nem das autoridades econômicas, nem do setor produtivo nem dos educadores e responsáveis pelas políticas educacionais. O que explica o alheamento das elites empresariais e das autoridades econômicas em relação ao desempenho da educação? O que explica o desempenho medíocre da elite escolar brasileira? Que tipo de medidas poderiam ser tomadas para aumentar significativamente o desempenho dos melhores alunos? E para aumentar o contingente de alunos com notas mais elevadas?

Na lógica da expansão que caracteriza a política educacional no Brasil, a ênfase para minorar efeitos como os apresentados neste Boletim se concentra em ministrar cursos de capacitação ou de ampliar as exigências e incentivos para os professores fazerem cursos de mestrado e especialização. À luz das evidências disponíveis sobre o impacto da formação inicial, essas políticas seriam eficazes?

Defensáveis?

2.

As poucas melhorias registradas no Pisa e Prova Brasil podem ser atribuídas a mudanças em

fatores extra-escolares, como a expansão do acesso à pré-escola ou à redução da repetência (Klein, 2007). Carnoy (2015) registrou melhorias consistentes no SAEB e Pisa - confirmando a consistência dessas duas medições. Como a pré-escola já está praticamente universalizada e há pouco espaço para melhorias no fluxo escolar, que outros fatores poderiam justificar a expectativa de melhoras no

3.

É pouco provável que o Brasil – ou qualquer país – consiga manter um ritmo de melhoria

constante no Pisa. Quanto maior a média, mais difícil fica melhorar. Que medidas o Brasil precisaria tomar para dar um salto de qualidade na educação? O que dizem as evidências e as melhores práticas?

O BRASIL NO PISA:

Pisa – ou na Prova Brasil?

21

REFERÊNCIAS 1. Carnoy, M., Khavenson, T., Costa, L., Fonseca, I. & Morotta, L. (2015). A educação brasileira está melhorando? Uma investigação comparativa usando as pontuações do Pisa e do SAEB. Stanford: CA: Lemann Center for Educational Entrepreneurship and Innovation in Brazil. (Mimeo).

2. Hanushek, E. A. & Woessmann, L. (2012). Schooling, Educational Achievement, and the Latin American Growth Puzzle. Journal of Development Economics 99, 497-512.

3. Klein, R. (2007). A Pré-Escola no Brasil. Revista Iberoamericana sobre Calidad, Eficacia y Cambio em Educación, 5(2e), 273-288.

4. Rinderman, H., Sailer, M. & Thompson, E. J. (2009). The impact of smart fractions, cognitive ability of politicians and average competence of peoples on social development.

O BRASIL NO PISA:

Talent Development & Excellence, 1(1), 3-25.

22

DADOS UTILIZADOS Este Boletim utilizou dados do PISA, da Prova Brasil e da PNAD. Os dados do PISA foram obtidos no site do Banco Mundial (http://databank.worldbank.org/data). Os dados da Prova Brasil foram obtidos no site do INEP (http://portal.inep.gov.br). E os dados da PNAD foram obtidos do IBGE (parte desses dados estão disponíveis na página do instituto: www.ibge.gov.br).

Quanto aos dados do PISA, vale destacar que a Prova de Matemática de 2000 não é inteiramente comparável com a dos anos subsequentes, dado que, a partir de 2003, outras áreas de conhecimento passaram a ser avaliadas. Para mais detalhes, consulte o relatório técnico disponível na página https://www.oecd. org/pisa.

COMO CITAR ESTE BOLETIM IDados. O Brasil no PISA: a base e o topo. Boletim IDados da Educação 2016-02 - Maio. Rio de Janeiro:

Perfil dos professores

Instituto Alfa e Beto.

23