3.2 Fontes de dados

lias, que será tema do Capítulo 4, além da oferta de escolas e professores de alta qualidade, assunto do Capítulo 5, e o envolvimento efetivo dos pais, descrito no Capítulo 6.

O Pisa é a maior fonte de dados internacionais comparáveis sobre desempenho educacional

O governo brasileiro anunciou que participará dos próximos ciclos do Estudo Internacional de Progresso em Leitura (PIRLS) e do Estudo Internacional de Tendências em Matemática e Ciências (TIMSS)10, mas essas avaliações somente serão realizadas em 2022 e 2023. Outras avaliações regionais das quais o Brasil participa não acontecem desde 2013. Assim, as comparações internacionais de resultados de aprendizagem são, no momento, fortemente dependentes do Pisa, uma pesquisa trienal com alunos de 15 anos, com foco na proficiência em Leitura, Matemática e Ciências. O Brasil participou de todos os ciclos do Pisa desde 2000. O Pisa tem sido importante para o Brasil (Inep, 2019[3]) e foi, por exemplo, usado para estabelecer metas nacionais de referência no Plano Nacional de Educação (PNE) (ver abaixo e no Capítulo 1).

No Pisa 2018, 10.691 alunos de 638 escolas realizaram a avaliação no País. A amostra de alunos representa apenas dois terços (65%) dos jovens brasileiros de 15 anos11 (OCDE, 2019[4]). O outro terço não está representado, principalmente, porque não frequentava a escola na época em que o Pisa 2018 foi realizado. A taxa de cobertura é muito mais baixa do que nos países da OCDE, onde apenas 12% da população de alunos de 15 anos não está incluída (ver Figura 3.1). Po-

10 O Brasil, como muitos países latino-americanos, participa de avaliações regionais de crianças mais novas, coordenadas pelo Escritório Regional de Educação da Unesco para a América Latina e o Caribe e o Laboratório Latino-americano de Avaliação da Qualidade da Educação (Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, LLECE). O Primeiro Estudo Regional Comparativo e Explicativo (Primer Estudio Regional Comparativo y Explicativo, Perce) foi implementado em 1997, em 13 países. Nove anos depois, em 2006, o Segundo Estudo (Segundo Estudio Regional Comparativo y Explicativo, Serce) avaliou alunos em 16 países e um estado mexicano. O Terceiro Estudo (Tercer Estudio Regional Comparativo y Explicativo, Terce) foi implementado em 2013, em 15 países e no mesmo estado mexicano. O Perce, o Serce e o Terce mediram os resultados de aprendizagem de Leitura e Matemática de crianças do 3º, 4º (somente em 1997) e 6º anos. O Brasil participou de todas as rodadas dos estudos. O País também participa do Estudo Internacional sobre Educação Cívica e Cidadania (do inglês International Civic and Citizenship Study, ICCS). Sua participação nessas avaliações foi, até pouco tempo, uma das razões pelas quais o Brasil não havia realizado o PIRLS e o TIMSS. No entanto, o governo brasileiro anunciou, recentemente, que o Brasil participará de ambos.

11 Esse número refere-se ao Índice de Cobertura 3 do Pisa, que representa a cobertura da população nacional de 15 anos. Ele estima a proporção da população nacional de 15 anos coberta pela porção não excluída da amostra de estudantes. O índice fica abaixo de 1,0 na medida em que há jovens de 15 anos excluídos ou que não estão matriculados no 7º ano ou ano superior. Para mais informações sobre a amostra de alunos do Brasil no Pisa, acesse: https://www.oecd.org/pisa/data/pisa2018technicalreport/

rém, ela melhorou nos últimos ciclos do Pisa – era de apenas cerca de 55%, em 2003 (OCDE, 2019[4]) –, como resultado das taxas crescentes de atendimento escolar no Brasil (ver Capítulo 2). A taxa de cobertura tem implicações importantes para a análise dos resultados do Pisa. Em primeiro lugar, as comparações internacionais, muitas vezes, ocultam níveis variáveis de cobertura entre as economias participantes do Pisa. Mais importante ainda, os aumentos na cobertura tornam mais difícil interpretar as mudanças nas pontuações médias do Pisa ao longo do tempo. A expansão do atendimento escolar, muitas vezes, implica que uma proporção maior de alunos desfavorecidos, com baixo desempenho, seja incluída nas amostras do Pisa (Avvisati, 2017[5]). Isso será discutido em detalhes abaixo.

Figura 3.1 Taxa de cobertura do Pisa 2018

Cobertura percentual da população total de 15 anos na amostra do Pisa 2018 (Índice de Cobertura 3 do Pisa)

% 100

90

80

70

60

50

40

30

20

10

0

Colômbia Costa Rica Brasil México Filipinas Malásia Tailândia Peru Uruguai Argentina B-S-J-Z (China) Indonésia Média da OCDE Chile Federação Russa

Observações: no Capítulo 3, são fornecidos detalhes completos de como essas estatísticas são calculadas (OCDE, 2019[6]). B-S-J-Z (China) é a sigla que designa as quatro províncias chinesas que participaram do Pisa 2018: Pequim, Shanghai, Jiangsu e Zhejiang.

Fonte: (OCDE, 2019[6]), Pisa 2018 Results (Volume I): What Students Know and Can Do [Resultados do Pisa 2018 (Volume I): O que os estudantes sabem e conseguem fazer], https://doi.org/10.1787/5f07c754-en.

O Saeb é o principal instrumento de avaliação nacional e fonte de dados de desempenho

O Brasil foi uma das primeiras economias emergentes a introduzir avaliações padronizadas. Desde o início da década de 1990, o Sistema de Avaliação da Educação Básica (Saeb) é utilizado para avaliar e monitorar a qualidade da Educação Básica no Brasil (Bruns, Evans e Luque, 2012[7]) e para subsidiar a formulação de políticas (Tabela 3.1). O Saeb é amplamente aceito como um ponto de referência para pesquisadores e formuladores de políticas em todo o País. No entanto, alguns críticos apontam que a maioria dos itens de avaliação não consegue captar habilidades de ordem superior (Mol, 2019[8]). O Saeb vem sofrendo adaptações regulares ao longo dos anos, assim como ocorreu mais recentemente dada a necessidade de alinhar as novas avaliações à Base Nacional Comum Curricular (BNCC). Estão sendo discutidas extensas reformas do Saeb, visando adaptar o instrumento para melhor apoiar o ensino e a aprendizagem12. Elas incluiriam, por exemplo, aumentar gradualmente a cobertura e o escopo das avaliações, bem como um programa piloto para o uso de um aplicativo digital.

12 Uma proposta de reforma do Saeb foi apresentada no início de 2021, mas não será mais implementada como planejado. O governo ainda planeja implementar muitas das mudanças propostas, porém, com um cronograma diferente. Um próximo relatório da OCDE fornecerá informações para essa discussão.

Tabela 3.1 O modelo atual do Saeb e possíveis mudanças

Frequência O Saeb atual (2019)13

A cada dois anos

Possíveis reformas em discussão

Anos escolares 2º, 5º e 9º anos do Ensino Fundamental e última série do Ensino Médio Todos os anos

Cobertura

Disciplinas

Aplicação

Documentos que orientam a formulação dos itens

Ingresso no Ensino Superior

Alinhamento e comparabilidade

Uso da avaliação

Escolas públicas: todos os alunos (censitário), com exceção do 2º ano (Ensino Fundamental), que, em 2019, foi avaliado de forma amostral. Escolas particulares: uma amostra de alunos foi avaliada em todos os anos/séries mencionados acima. Abrangeria escolas particulares

Língua Portuguesa e Matemática. Em 2019, uma amostra de alunos do 9º ano de escolas públicas e privadas também foi avaliada em Ciências Humanas e da Natureza. Abrangeria Ciências Humanas e da Natureza

Em papel

BNCC para: alunos do 2º e 9º anos avaliados em Ciências Humanas e da Natureza. Matrizes de Referência do Saeb: utilizadas para os itens de Língua Portuguesa e Matemática para alunos do 5º e 9º anos do Ensino Fundamental e última série do Ensino Médio. BNCC

As notas no Exame Nacional do Ensino Médio (Enem) são usadas para ingresso no Ensino Superior. O Saeb não é utilizado. Permitir que as notas no Saeb, nos três anos do Ensino Médio, sejam usadas para ingresso no Ensino Superior. As pontuações do Enem ainda seriam utilizadas.

Estrutura, métodos, itens, pontuações e escala não podem ser comparados com avaliações internacionais. Maior alinhamento com as avaliações internacionais.

Avaliação realizada em computador

Análises referentes a políticas de monitoramento (Índice de Desenvolvimento da Educação Básica - Ideb) Análises referentes a políticas de monitoramento (Índice de Desenvolvimento da Educação Básica - Ideb) Feedback pedagógico

Fonte: (Inep, 2020[9]), Inep se prepara para implantação do Novo Saeb em 2021, http://inep.gov.br/ artigo2/-/asset_publisher/GngVoM7TApe5/content/inep-se-prepara-para-implantacao-do-novo-saebem-2021/21206?inheritRedirect=false (acesso em 20 de maio de 2020).

13 Desde 2013, a Avaliação Nacional da Alfabetização (ANA) passou a ser incluída no Saeb. Em 2019, as três avaliações – ANA,

Avaliação Nacional da Educação Básica (Aneb) e Avaliação Nacional do Desempenho Escolar (Anresc) – deixaram de existir e passaram a ser identificadas simplesmente como Saeb, acompanhado da etapa da escolarização equivalente.

No Ensino Superior, o Brasil utiliza o Exame Nacional de Desempenho dos Estudantes (Enade) para avaliar a aquisição de conhecimentos e habilidades dos alunos, bem como a evolução de aprendizagem dos formandos em relação a quando ingressaram no Ensino Superior. Especialistas em Educação, bem como o relatório Repensando a Garantia de Qualidade para o Ensino Superior no Brasil, da OCDE, destacaram alguns de seus pontos fracos em termos de desenho e implementação (ver Quadro 3.1).

QUADRO 3.1 ENADE: UMA AVALIAÇÃO NACIONAL DO ENSINO SUPERIOR

O Brasil tem uma abordagem única para as avaliações do Ensino Superior. Todos os anos, os alunos que concluem os cursos de graduação fazem uma avaliação de competência obrigatória, o Enade. O objetivo é avaliar a aquisição de conhecimentos e competências especificados nas Diretrizes Curriculares Nacionais (DCNs), bem como a compreensão de algumas questões sociais mais amplas. Os resultados do Enade alimentam um indicador composto de qualidade para cada curso: o Conceito Preliminar de Curso (CPC). Ele inclui, também, pontuações para o perfil do corpo docente, feedback dos alunos e o Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD).

Embora essa abordagem seja inovadora, com poucos paralelos internacionais, existem dificuldades técnicas no desenho e implementação do Enade. O componente de conhecimento geral não tem relação com o conteúdo dos cursos que ele pretende avaliar. Os itens não são padronizados, portanto, não apresentam dificuldade equivalente entre anos e disciplinas, e não há limiares de qualidade explícitos para designar um “bom” desempenho. Os resultados dos alunos em cada curso são padronizados para gerar uma pontuação em uma escala de um a cinco, mas essa é uma medida relativa do desempenho médio do aluno, não uma indicação do nível de seus conhecimentos e habilidades. Por fim, o IDD, embora seja conceitualmente interessante, é baseado em suposições questionáveis sobre a influência dos cursos no desempenho dos alunos.

O relatório Repensando a Garantia de Qualidade para o Ensino Superior no Brasil, da OCDE, recomenda que os objetivos, custos e benefícios de avaliações em larga escala sejam revisados, com o objetivo de tornar o Enade uma ferramenta mais útil para professores e instituições. A qualidade do curso também pode ser avaliada usando um “painel de indicadores”, com uma gama mais ampla de indicadores desagregados, incluindo medidas de evasão e resultados de empregabilidade após a graduação.

Fonte: (OCDE, 2018[10]), Rethinking Quality Assurance for Higher Education in Brazil [Repensando a Garantia de Qualidade para o Ensino Superior no Brasil], Reviews of National Policies for Education, https:// doi.org/10.1787/9789264309050-en

Os resultados do Saeb são usados para calcular o Ideb, um índice de qualidade da Educação

Desde 2007, os resultados do Saeb são usados, juntamente com uma medida de desempenho com base no fluxo escolar (ou seja, com base nas taxas de reprovação e aprovação), para calcular o índice nacional de qualidade da Educação (Índice de Desenvolvimento da Educação Básica - Ideb). Esse índice bianual fornece médias de desempenho em uma escala de dez pontos