A Avaliação da Educação Básica: a experiência brasileira by Fino Traço Editora

A AValiação da Educação Básica: a experiência

brasileira

Nigel Brooke Maria Teresa Gonzaga Alves Lina Kátia Mesquita de Oliveira (Orgs.)

A Avaliação da Educação Básica: a experiência brasileira

ORGANIZAÇÃO

Nigel Brooke Maria Teresa Gonzaga Alves Lina Kátia Mesquita de Oliveira

Todos os direitos reservados à Fino Traço Editora Ltda. © Nigel Brooke, Maria Teresa Gonzaga Alves, Lina Kátia Mesquita de Oliveira Este livro ou parte dele não pode ser reproduzido por qualquer meio sem a autorização da editora. As ideias contidas neste livro são de responsabilidade de seus organizadores e autores e não expressam necessariamente a posição da editora.

cip-Brasil. Catalogação na Publicação | Sindicato Nacional dos Editores de Livros, rj A464 A avaliação da educação básica: a experiência brasileira / organização Nigel Brooke, Maria Teresa Gonzaga Alves, Lina Kátia Mesquita de Oliveira. - 1. ed. - Belo Horizonte, MG: Fino Traço, 2015. 604 p. : il. ; 24 cm. (EDVCERE ; 36) ISBN 978-85-8054-257-8 1. Avaliação educacional. I. Brooke, Nigel. II. Alves, Maria Teresa Gonzaga. III. Oliveira, Lina Kátia Mesquita de. IV. Série. 15-24957 CDD: 371.26 CDU: 37.091.26

Fino Traço Editora ltda. Av. do Contorno, 9317 A | 2o andar | Barro Preto | CEP 30110-063 Belo Horizonte. MG. Brasil | Telefone: (31) 3212-9444 finotracoeditora.com.br

Introdução 11 SEÇÃO 1 Primeiras Iniciativas Introdução 17 Leitura 1 Avaliação educacional: uma perspectiva histórica | Heraldo Marelim Vianna 31 Leitura 2 Avaliação de Sistemas Educacionais no Brasil | Bernardete A. Gatti 39 Leitura 3 Problemas e Impasses da Avaliação de Projetos e Sistemas Educacionais: dois casos brasileiros | Bernadete A. Gatti, Heraldo Marelim Vianna, Cláudia Davis 46 Leitura 4 Sistema Nacional de Avaliação da Educação Básica no Brasil: análise e proposições | Mônica Maia Bonel Maluf 61 Leitura 5 Sistema Nacional de Avaliação da Educação Básica (SAEB) | Orlando Pilati 67 Leitura 6 Avaliação da 8ª Série do Ensino Fundamental em Minas Gerais | Ana Lúcia Antunes 75 Leitura 7 A Prática Educativa nas Turmas da 8ª Série do Ensino Fundamental em Minas Gerais: caracterização geral | Ana Lúcia Antunes 79 Referências bibliográficas – Seção 1 81 SEÇÃO 2 As Avaliações chegam à Maioridade Introdução 85 Leitura 1 Um Olhar Retrospectivo Sobre a Avaliação Externa no Brasil: das primeiras medições em educação até o saeb de 2005 | João Luiz Horta Neto 102 Leitura 2 Avaliação e Política Educacional: o processo de institucionalização do saeb | Alícia Bonamino, Creso Franco 110 Leitura 3 O Saeb - Sistema de Avaliação da Educação Básica: potencialidades, problemas e desafios | Creso Franco 123 Leitura 4 A Consolidação da Política de Avaliação da Educação Básica no Brasil | Maria Helena Guimarães de Castro 131

Leitura 5 Evolução do Desenvolvimento Cognitivo do Brasil de 2000 a 2009 face aos demais Países | Sergei Suarez Dillon Soares, Paulo A. Meyer M. Nascimento 144 Referências bibliográficas – Seção 2 160 SEÇÃO 3 As Ferramentas da Avaliação Externa Introdução 165 Leitura 1 Impacto dos Testes sobre os Sistemas e Objetivos Educacionais: a experiência brasileira | Heraldo Marelim Vianna 173 Leitura 2 Construção de Instrumentos para a Avaliação de Larga Escala e Indicadores de Rendimento: o modelo saeb | Iza Locatelli 177 Leitura 3 Teoria da Resposta ao Item: conceitos e aplicações - Introdução | Dalton Francisco De Andrade, Heliton Ribeiro Tavares, Raquel Da Cunha Valle 181 Leitura 4 A Teoria da Resposta ao Item: medidas invariantes do desempenho escolar | Philip R. Fletcher 183 Leitura 5 Utilização da Teoria de Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica (Saeb) | Ruben Klein 189 Leitura 6 O Referencial Teórico na Construção dos Questionários Contextuais do SAEB 2001 | Creso Franco, Cristiano Fernandes, José Francisco Soares, Kaizô Beltrão, Maria Eugênia Barbosa, Maria Teresa Gonzaga Alves 193 Leitura 7 Nível Socioeconômico, Qualidade e Equidade das Escolas de Belo Horizonte | José Francisco Soares, Renato Júdice de Andrade 204 Leitura 8 Estudo Longitudinal sobre Qualidade e Equidade no Ensino Fundamental Brasileiro: Geres 2005 | Creso Franco, Nigel Brooke, Fátima Alves 217 Leitura 9 Projeto GERES / 2005 Novos Indicadores para Construção e Interpretação da Escala de Proficiência | Lina Kátia Mesquita De Oliveira, Creso Franco, Tufi Machado Soares 226 Referências bibliográficas – Seção 3 238

SEÇÃO 4 A Avaliação como Insumo de Pesquisa Introdução 243 Leitura 1 Qualidade e Equidade em Educação: reconsiderando o significado de “Fatores Intraescolares” | Creso Franco, Isabel Ortigão, Ângela Albernaz, Alicia Bonamino, Glauco Aguiar, Fátima Alves, Natália Sátyro 260 Leitura 2 Melhoria do Desempenho Cognitivo dos Alunos de Ensino Fundamental | José Francisco Soares 275 Leitura 3 A Alfabetização de Crianças com Seis Anos: uma contribuição para o debate sobre aquisição de habilidades de leitura escrita e matemática no primeiro ano do ensino fundamental | Nilma Fontanive, Ruben Klein, Mariza Abreu, Sônia Elizabeth Bier 286 Leitura 4 O Efeito da Escola Básica Brasileira: as evidências do PISA e do saeb | José Francisco Soares, Juliana Frizzoni Candian 296 Leitura 5 geres 2005: razões e resultados de uma pesquisa longitudinal sobre a eficácia escolar | Nigel Brooke, Alicia Bonamino 305 Leitura 6 Indicador de Valor Acrescentado e Tópicos sobre Consistência e Estabilidade: uma aplicação ao Brasil (1a parte) | Maria Eugénia Ferrão, Alcino Couto 312 Leitura 7 Contexto Escolar e Indicadores Educacionais: condições desiguais para a efetivação de uma política educacional | Maria Teresa Gonzaga Alves, José Francisco Soares 318 Referências bibliográficas – Seção 4 330 SEÇÃO 5 A Avaliação para o Apoio Pedagógico Introdução 343 Leitura 1 Avaliação Educacional como Instrumento Pedagógico | Sergei Soares 350 Leitura 2 A Perspectiva do Acompanhamento Longitudinal da Aprendizagem dos Alunos do Ensino Médio através dos Resultados do Spaece | Francesca Danielle Gurgel dos Santos, Maria Isabel Filgueiras Lima Ciasca 354 Leitura 3 A Avaliação Externa como Instrumento da Gestão Educacional nos Estados (1a parte) | Nigel Brooke, Maria Amália de A. Cunha 359

Leitura 4 Para que servem os Testes de Alfabetização? | João Batista Araújo E Oliveira, Luiz Carlos Faria Da Silva 365 Leitura 5 Políticas de Currículo e Avaliação e Políticas Docentes | Elba Siqueira de Sá Barreto 375 Leitura 6 Uso dos Resultados do Saresp e Formação de Professores: a Visão dos Níveis Centrais | Adriana Bauer 381 Leitura 7 Plano de Intervenção Pedagógica: Resultados e Perspectivas sob o Olhar da Inspeção Escolar | Vanessa Alves da Silva, Silma do Carmo Nunes 387 Referências bibliográficas – Seção 5 396 SEÇÃO 6 A Avaliação como Instrumento de Gestão Introdução 403 Leitura 1 Qualidade da Educação: avaliação, indicadores e metas (1a parte) | Reynaldo Fernandes, Amaury Gremaud 414 Leitura 2 Plano de Desenvolvimento da Educação: avaliação da educação básica e desempenho docente | Andréia Ferreira da Silva 421 Leitura 3 Gestão Educacional e Resultados no Ideb: um estudo de caso em dez municípios cearenses | Eloisa Maia Vidal, Sofia Lerche Vieira 426 Leitura 4 Avaliação e Gestão Municipal da Educação | Sandra Zákia Souza, Cláudia Oliveira Pimenta, Cristiane Machado 433 Leitura 5 Análise da Avaliação da Alfabetização de Minas Gerais: evolução e desigualdade | Juliana De Lucena Ruas Riani, Vania Candida Da Silva, Tufi Machado Soares 444 Leitura 6 A Avaliação Externa como Instrumento da Gestão Educacional nos Estados (2a parte) | Nigel Brooke, Mária Amália de A. Cunha 459 Leitura 7 Análise dos Pressupostos Educacionais e Estatísticos do Índice de Desenvolvimento da Educação Básica (Ideb) | José Francisco Soares 464 Referências bibliográficas – Seção 6 480

SEÇÃO 7 Avaliação e Accountability Introdução 485 Leitura 1 Qualidade da Educação: avaliação, indicadores e metas (2a parte) | Reynaldo Fernandes, Amaury Gremaud 499 Leitura 2 Três Gerações de Avaliação da Educação Básica no Brasil: interfaces com o currículo da/na escola | Alicia Bonamino, Sandra Zákia Sousa 510 Leitura 3 As Novas Políticas de Incentivo Salarial para Professores: uma avaliação | Nigel Brooke 523 Leitura 4 Impactos da “Educação De Resultados” no Ofício Docente | Maria Angélica Pedra Minhoto 541 Leitura 5 Para uma Concetualização Alternativa de Accountability em Educação | Almerindo Janela Afonso 548 Leitura 6 A Produção Científica sobre Avaliação Educacional e Gestão de Sistemas e de Escolas: o campo da questão entre 2000 e 2008 | Angela Maria Martins, Sandra Zákia Sousa 554 Leitura 7 Indicador de Valor Acrescentado e Tópicos sobre Consistência e Estabilidade: uma aplicação para o Brasil (2a parte) | Maria Eugénia Ferrão, Alcino Couto 557 Referências bibliográficas – Seção 7 562 Epílogo 573 Referencias bibliográficas – Epílogo 602

Introdução

Este livro é o segundo de uma série de coletâneas organizadas para servir de material de estudo para o Programa de Pós-graduação Profissional em Gestão e Avaliação da Educação Pública da UFJF. Como no primeiro livro da série, os textos reunidos sob o presente título não foram escritos especialmente para esta publicação, como seria o costume na nossa área de estudo. Ao invés disso, foram escolhidos entre os milhares de documentos sobre o tema da avaliação educacional escritos por autores brasileiros e publicados como trabalhos acadêmicos em algum momento dos últimos trinta anos. Isso faz com que o livro tenha propósitos claramente didáticos, no sentido de facilitar o acesso dos alunos a uma bibliografia extensa, mas nem sempre acessível. Como o objetivo é também tornar esta bibliografia mais compreensível, incluímos alguns textos explanatórios no começo de cada nova seção de leituras. Estes textos servem para introduzir o leitor ao assunto abordado em cada seção e também para explicar o lugar de cada leitura no desenvolvimento daquele tema. Qualquer semelhança com o primeiro livro desta série de coletâneas, intitulado Marcos Históricos na Reforma da Educação, não é mera coincidência! Lá também as leituras foram escolhidas pelo seu reconhecido valor histórico e pela capacidade de retratar, ou um certo momento, ou a evolução de determinado pensamento educacional. A diferença entre os dois livros é que o primeiro contém textos publicados em outros países, enquanto que o presente volume, sobre a evolução da avaliação no Brasil, é composto exclusivamente de artigos e capítulos de livros publicados no país. A escolha não-aleatória dos textos acaba apontando para o outro objetivo do livro, que é refletir o pensamento dos organizadores. Querendo ou não, ao fazer sua escolha entre os milhares de textos disponíveis nas bibliotecas e na internet, os autores expressam suas preferências. Às vezes, estas preferências são meramente de estilo, a favor do texto melhor elaborado e mais fácil de ler, mas há também escolhas teóricas e ideológicas que acabam espelhando a visão de mundo de quem faz a escolha. No livro Marcos Históricos, as razões das escolhas ficaram nas entrelinhas ou, na melhor das hipóteses, nas críticas lançadas nos textos introdutórios na hora de apresentar certos artigos. Desta vez, sentimos que havia a necessidade de tornar estas preferências mais explícitas e, quem sabe, contribuir para o debate sobre o papel e o futuro da avaliação educacional no Brasil. 11

No nosso meio, o tema da avaliação não é consensual. Ela suscita oposições e resistências, sobretudo em relação ao uso dos resultados para a avaliação de escolas e professores. Nesse cenário, nada mais lógico do que apresentar as posições em confronto na hora de introduzir cada nova seção. Em outras palavras, este livro tem propósitos acadêmicos maiores que seu antecessor, e que serão desenvolvidos por meio das justificativas apresentadas para nossas escolhas. Dificilmente estaríamos produzindo um livro sobre a evolução da avaliação educacional em larga escala sem acreditar na sua contribuição para a compreensão dos problemas do sistema e para o senso de urgência necessário para a sua solução. Ao olhar para o caminho percorrido desde o final da década de 1980, é possível apontar para diversos erros e exageros na forma em que a avaliação educacional foi adotada e nas esperanças excessivas nela depositadas. Podemos até encontrar sinais de possíveis prejuízos, como na capacidade de determinados tipos de avaliação high-stakes de provocar o estreitamento do currículo efetivamente ensinado. Mas temos confiança de que, no cômputo geral, o saldo é positivo, pela compreensão maior das dificuldades e desigualdades do sistema educacional, pelo uso dos resultados das avaliações nas políticas de gestão voltadas para a melhoria da distribuição e qualidade da educação e, principalmente, pelos ganhos na aprendizagem dos alunos. Este cálculo nos leva a outro posicionamento, de que os problemas e deficiências da avaliação são oportunidades para a melhoria conceitual e técnica dos seus instrumentos, e não pela redução de seu escopo ou abandono. Há diferenças de qualidade entre os diversos instrumentos disponíveis e também entre as decisões tomadas pelas autoridades com base nas informações fornecidas pelos seus sistemas de avaliação. A procura de soluções que tornam os sistemas de avaliação mais confiáveis, capazes de oferecer retratos válidos da distribuição de conhecimentos e habilidades entre a população escolar, é o que nos motiva. Acreditamos que os problemas da avaliação são superáveis, mediante soluções técnicas e políticas. Mesmo com todas estas justificativas, a escolha das leituras tem, inevitavelmente, um caráter um tanto idiossincrático. A tarefa de ler e apreciar todos os textos disponíveis é grande demais e certamente nos escaparam livros, artigos de revistas e outras modalidades de produção acadêmica que, na opinião de outros, deveriam constar de uma descrição atualizada do campo. Pedimos desculpas aos autores cujos textos poderiam ter sido incluídos, mas que não foram, e agradecemos a generosidade dos editores e/ou autores que autorizaram a inclusão dos textos que efetivamente escolhemos. Os textos escolhidos permitem criar um retrato da avaliação da educação básica no Brasil desde seus primeiros passos na década de 1980 até os dias de hoje. No entanto, 12

não se trata de um livro de história apenas. Também organizamos a bibliografia de acordo com os principais temas da área de avaliação, em termos das características técnicas dos instrumentos e dos usos dos resultados, de modo a focar a atenção nos assuntos de maior debate nos dias de hoje. Nas primeiras duas seções do livro, o foco é primordialmente histórico. A primeira seção até inclui informação sobre as origens da avaliação educacional nos Estados Unidos, além de dar o background sobre as primeiras experiências de avaliação em larga escala no Brasil na década de 1980 e as primeiras versões do Sistema Nacional de Avaliação da Educação Básica – SAEB, a partir de 1990. Também inclui a descrição de uma das primeiras experiências de avaliação censitária em larga escala em Minas Gerais. Foram anos de experimentação e de aprendizagem, de metodologias pautadas pela teoria clássica dos testes e de instabilidade nas agências responsáveis pela aplicação dos testes, tanto em nível nacional quanto nos estados pioneiros dos sistemas estaduais de avaliação. Os anos seguintes, tratados na segunda seção, foram marcados pela incorporação da nova metodologia da Teoria da Resposta ao Item, da institucionalização do SAEB e da consolidação do sistema de avaliação complexo e multifacetado que caracteriza o panorama de hoje, em nível nacional e estadual. A terceira seção introduz a discussão sobre os instrumentos da avaliação educacional e deixa claro que, entre suas diversas finalidades, encontram-se a pesquisa e a avaliação de políticas educacionais. Por esse motivo, a seção trata não só da incorporação da Teoria da Resposta ao Item no desenho dos testes e na formulação e interpretação de escalas de proficiência, mas também dos diferentes questionários contextuais que acompanham os instrumentos de medida para fornecer o retrato das condições em que a aprendizagem se desenvolve. A discussão metodológica também abrange a necessidade de criar uma medida de nível socioeconômico dos alunos e suas escolas para poder separar o efeito das origens dos alunos do efeito das escolas em que estudam. A seção inclui ainda uma discussão das limitações dos métodos convencionais de avaliação transversal e as vantagens, em determinadas condições, da avaliação longitudinal. A seção 4 se debruça sobre a pesquisa educacional que faz uso dos resultados das avaliações para identificar os fatores escolares que mais se associam às diferenças na aprendizagem dos alunos. Esta vertente da literatura, ainda em desenvolvimento, deixa em evidência a enorme contribuição da avaliação educacional em fornecer a variável dependente para uma multiplicidade de pesquisas sobre o impacto na aprendizagem de diferentes aspectos da organização e do funcionamento de escolas e sistemas, incluindo as contribuições do professor e das diferentes políticas de gestão. Variantes mais recentes desta pesquisa procuram superar as dificuldades associadas à avaliação 13

transversal mediante o emprego de metodologias longitudinais e o cálculo do ganho na aprendizagem atribuível exclusivamente à escola, também chamado de valor agregado. A seção seguinte, a 5, aborda a questão mais específica da contribuição da avaliação em larga escala para a formulação de políticas focadas na prática pedagógica do professor de modo a ajudá-lo a melhorar o desempenho dos alunos. Atribui-se este papel à avaliação com base na suposição de que o instrumento que afere o nível de desempenho também seja capaz de identificar as dificuldades dos alunos e, pari passu, contribuir para o desenho de modalidades de formação continuada dos professores. A dificuldade histórica em operacionalizar esta equação de forma satisfatória, pela falta de correspondência clara entre o que os professores fazem e o que os testes medem, leva ao debate da relação entre a avaliação, o ensino e o currículo. Esta seção também traz notícias de políticas mais recentes que trocam a proposta de criar oportunidades de formação continuada genéricas, com base na média dos resultados, por intervenções individualizadas junto aos professores com resultados insatisfatórios. A seção 6 dá destaque a outro uso dos resultados das avaliações, o da gestão dos sistemas de ensino. Nas suas origens, a avaliação em larga escala teve como objetivo medir a contribuição de programas governamentais de desenvolvimento educacional, como o Head Start nos Estados Unidos e o Edurural no Brasil. Na atualidade, a avaliação se configura como um elemento central da gestão educacional, presente na formulação de indicadores, como o IDEB, na fixação de metas de desempenho em todos os níveis de governo, na tomada de decisões sobre a distribuição de recursos e na definição de novas políticas. O rápido avanço da avaliação como instrumento de política educacional nos estados e municípios também é retratado aqui. Na seção 7, aprofundamos um dos aspectos mais importantes do uso dos resultados para a gestão dos sistemas de educação. Trata-se da avaliação de escolas a partir dos níveis de desempenho dos alunos e a formulação de políticas de accountability ou responsabilização. Por estar no centro do modelo de gestão educacional chamado de neoliberal, o tema da responsabilização talvez seja o mais polêmico de todos e a seleção de leituras tenta refletir este confronto de ideias. O uso dos resultados pela escola em processos autoavaliativos voltados para a formulação de um diagnóstico próprio também recebe um tratamento nesta seção, por representar uma alternativa ainda pouco pesquisada. Chamamos o capítulo final de Epílogo para mostrar que não segue o padrão das sete seções anteriores. Na verdade, esta quebra de padrão não foi planejada. O que se pretendia era fazer mais uma seleção de artigos e outros textos sobre os principais desafios da avaliação e os rumos prováveis nos próximos anos. Para servir de conclusão,

o que se queria era encontrar textos que identificassem os problemas maiores do nosso campo e outros que fizessem projeções e sugestões sobre as mudanças necessárias. O problema foi que não achamos esses textos. Parece que os assuntos do cotidiano da avaliação absorvem tanto as atenções dos observadores que não sobra tempo para pensar o futuro. Por esse motivo, nós mesmos tivemos que assumir a encomenda e, a partir de diversos dos assuntos levantados ao longo do livro, decidir quais deles configuram os desafios maiores e quais outros sinalizam os caminhos futuros do nosso campo. O tempo dirá se acertamos ou não.

Este livro reúne textos que permitem criar um retrato da avaliação da educação básica no Brasil desde os seus primeiros passos na década de 1980 até os dias de hoje. Mas não se trata de um livro de história apenas. A obra cobre os principais temas da área de avaliação, em termos das características técnicas dos instrumentos e dos usos dos resultados, de modo a focar a atenção nos assuntos de maior debate. Os organizadores reconhecem que em nosso meio o tema da avaliação não é consensual. Ele suscita oposições e resistências, sobretudo em relação ao uso dos resultados para a avaliação de escolas e professores. Ao olhar para o caminho percorrido nesses anos é possível apontar para diversos erros e exageros na forma em que a avaliação educacional foi adotada e nas esperanças excessivas nela depositadas. Por outro lado, é impossível não reconhecer que dificilmente a avaliação teria avançado com tamanha força no país, patrocinada por governos de distintas colorações, se não oferecesse informações valiosas para a gestão de todos os sistemas educacionais. Com tamanha amplitude temática, este livro tem a intenção de formar pesquisadores, gestores e técnicos em avaliação educacional. Ao colocar o foco tanto nos problemas quanto nos avanços dos sistemas de avaliação, o livro permite identificar as tendências emergentes que apontam para o futuro da avaliação da educação no Brasil.