Proposta para avaliação do Projeto UCA by Simao Pedro Marinho

MINISTÉRIO DA EDUCAÇÃO SECRETARIA DE EDUCAÇÃO A DISTÂNCIA PROJETO UM COMPUTADOR POR ALUNO - UCA

PROPOSTA PARA AVALIAÇÃO DO PROJETO UCA

Equipe Elaboradora Pedro Andrade – SEED/MEC Bartholomeu Tôrres Trócolli – UnB Cláudio de Albuquerque Marques - UFC Isabel Franchi Cappelletti - PUC/SP Ronaldo Pilatti – UnB Wagner Bandeira Andriola - UFC

Brasília, 29 de agosto de 2008

1. Eixos estruturantes do Projeto UCA

Em um mundo cada vez mais globalizado e interdependente, é fundamental que nossas crianças e adolescentes sejam inseridos na dimensão tecnológica, para agirem como cidadãos integrados e produtivos na sociedade do conhecimento. As tecnologias digitais vêm revolucionando a vida das pessoas, a relação interpessoal e a cultura. A comunicação ocorre entre as pessoas de todos os cantos do mundo, aumentando a circulação de idéias e conhecimentos com o acesso a bases de dados centrados na Internet. A expansão das redes é um novo e poderoso meio de alcance da inteligência coletiva, proporcionando condições de avanços para a educação brasileira. A escola pública em nosso país representa a entrada de seus alunos ao conhecimento sistematizado para a sociedade das redes e acesso à informação com as bases de dados disponibilizadas na rede mundial que, deveriam estar ao alcance de todos os cidadãos. De acordo com o Censo Escolar (INEP, 2006) 86% de estudantes estão matriculados nas escolas públicas, que em números correspondem, aproximadamente, a 48,5 milhões de estudantes, distribuídos em 82,6% das em escolas públicas localizadas em áreas urbanas e rurais. Ou seja, existem 168,4 mil escolas públicas abstraídas de um total de 203,9 mil estabelecimentos educacionais (educação básica) em todo país. Ao examinar o mesmo Censo Escolar, de 2006, no que se refere ao acesso a tecnologia pelas escolas públicas, constata-se que há apenas 36.816 (18%) de escolas públicas brasileiras com laboratório de informática, e 29.890 (14,6%) conectadas à Internet – 92% em baixa velocidade, 8% com velocidade maior que 512 Kbps, incluído nestes 8% os pontos de presença do Governo Eletrônico Sistema de Atendimento ao Cidadão (Gesac), programa do Ministério das Comunicações (MC). O Programa Nacional de Tecnologia Educacional (ProInfo) do Ministério da Educação (MEC) atendeu, no período de 10 anos, de 1997 a 2007, com a estratégia de laboratórios de informática, um total de 14.386 escolas. No ano de 2008, está ocorrendo o atendimento de 12.750 escolas, sendo que: 9 mil são escolas urbanas e 3.750 são escolas rurais. No total, o ProInfo atenderá até o ano de 2008, 27.136 escolas públicas. A conexão à Internet banda larga de 1 Mbps (Megabit por segundo) nas escolas públicas está sendo providenciada pelo MEC em parceria com o MC em termos gradativos. Todas as 56.685 escolas urbanas de ensino básico serão conectadas, num prazo de 3 anos (2008-2010), à Internet banda larga, numa parceria do governo federal 1

com as operadoras de telecomunicações, com a gratuidade da conexão. O prazo de concessão firmado com o governo federal é de 18 anos (2008-2025), de modo a chegar Internet em banda larga a todas as escolas públicas. São números que denotam o esforço do Governo Federal para levar laboratórios e recursos de informática às escolas e prover outros meios como conectividade, além da formação de professores e das equipes técnicas para o uso pedagógico da tecnologia na escola, visando a melhoria da qualidade da educação e a participação ativa no processo de inclusão digital. O volume de equipamentos computacionais adquiridos até agora para as escolas públicas, tornou possível o cálculo da média de 350 alunos para cada computador adquirido, muito longe da meta do governamental de universalização, até 2010, de atender a todas escolas públicas, que tangenciará uma média de um computador para cada 50 alunos. A inclusão digital tem um impacto na qualidade do ensino, mas só o laboratório de informática na escola não é suficiente para apoiar mudanças pedagógicas desejadas pelas redes escolares. Além da conexão com a Internet, de recursos educacionais complementares (conteúdos, guias de tecnologia), os projetos pedagógicos que envolvam a utilização da tecnologia devem ser experimentados para que mudanças de estruturação e funcionamento do modus operandi do ambiente de ensino possam ocorrer. O atual desafio do Governo é acrescido, no âmbito do ProInfo, em disseminar e promover o uso pedagógico do laptop educacional, com o Projeto Um Computador por Aluno – UCA; trata-se de um projeto de inclusão digital pedagógica nas escolas, com repercussão na família, baseado em um notebook, tipo subnotebook, ou um laptop de baixo custo, apto ao enlace de conectividade sem fio (em rede mesh ou wireless), objetivando difundir o conhecimento e tecnologias que oportunizam a inovação pedagógica nas escolas públicas. A idéia é revolucionar a educação, a partir do uso desse laptop por estudantes e educadores da escola pública em um ambiente que permita a imersão numa cultura digital e a sua utilização como ferramenta de aprendizagem. Outras características desse device, como mobilidade de uso pedagógico do equipamento em ambientes dentro e fora da escola, uso das diferentes mídias colocadas à disposição, contribuem para que a incorporação dos laptops na escola pública tome a forma de um projeto educacional capaz de motivar a construção de novos caminhos de expressão e de criação, práticas pedagógicas inovadoras e de incrementos adaptáveis aos contextos locais. 2

Pela liberdade que esse equipamento oferece, poderá produzir impacto na aprendizagem do aluno, na escola e no ambiente familiar. A imersão digital com o uso intensivo e efetivo dos laptops e a qualidade pedagógica com o uso de recursos educacionais articulados ao currículo estão no cerne da proposta de uso dos laptops com vista a autonomia individual e coletiva do aprendizado, a participação e gestão comunitária, a criação e produção de conhecimento e sua disseminação. Se efetivadas, essas expectativas podem constituir-se em uma revolução na educação (básica), transpondo os muros da escola, refazendo os tempos, espaços e modos de organização da educação formal, inspirando projetos e práticas pedagógicas inovadoras e contextualizadas, motivando o aprendizado e tornando-o socialmente significativo. A questão não é simplesmente como operacionalizar o Projeto UCA do ponto de vista das condições relacionadas ao contexto, organização, estrutura física e digital nas escolas. Este é o lado mais visível da estruturação técnica da sistematização e do acompanhamento. Mais complexo e fundamental é explicitar as situações inovadoras que surgirão nas escolas, quais seus resultados para inspirarem outras escolas a trilhar seus próprios caminhos com o uso pedagógico do laptop. A busca e a qualidade sócio-cultural da educação, sucesso na aprendizagem do aluno, fornecendo elementos para soluções alternativas em relação à expansão do Projeto, surgidas em processo e numa fase posterior. O Projeto Um Computador por Aluno - UCA é uma iniciativa da Presidência da República. Uma decisão presidencial, em junho de 2005, define a necessidade de estudar a proposta apresentada pelo Media Lab MIT, de um equipamento portátil na categoria de laptop sem fins lucrativos e não desenvolvido para o varejo do mercado. O Projeto Hundred-Dollar Laptop, ou laptop de cem dólares, pretende uma máquina para cada estudante. O ideal da proposição focaliza que seja utilizada para o aprendizado e para promover novo insight, novas descobertas. A partir do ato presidencial, foram desenvolvidos estudos para viabilização do projeto com a formação de grupos ministeriais em várias frentes, com tarefas definidas para serem concluídas até março de 2006, a cargo das seguintes Forças Tarefas: Desenvolvimento Pedagógico; Cadeia Produtiva e Desenvolvimento Tecnológico; Orçamento; Relações Internacionais; Comunicação Social; Jurídico e Institucional. Os trabalhos das Forças Tarefas forneceram elementos para análise de alternativas de um caminho próprio calcado em valores e parâmetros técnicos e políticos de nossa 3

realidade. Explicitou-se que a realização nacional seja balizada pela (1) melhoria da qualidade da educação; (2) inclusão digital; (3) inserção da cadeia produtiva brasileira no processo de fabricação; e (3) na manutenção dos equipamentos. Buscou-se reconhecer os requisitos funcionais e pedagógicos junto à comunidade acadêmico-científica e pedagógica nacional e a contratação de quatro centros de pesquisa para: realizar testes preliminares com os equipamentos disponíveis na categoria de laptops; apontar soluções técnicas capazes de encaminhar uma produção nacional; e avaliar os recursos existentes de formação de redes para as escolas públicas. Na seqüência, foram escolhidas cinco escolas públicas como palco para experimentações com laptops educacionais doados pelos fabricantes. Esta fase foi denominada, no âmbito governamental, de Fase I do Projeto UCA. Um Grupo de Assessoramento Pedagógico ao Projeto UCA foi constituído para acompanhar os experimentos e oferecer subsídios de cunho pedagógico ao Projeto. A Fase do Pré-Piloto do Projeto UCA nas escolas foi executada sem o planejamento prévio do processo de avaliação dessas experiências. Ademais não foram previstos recursos financeiros de atendimento às necessidades fundamentais do projeto e nem suportes externos governamentais para a capacitação das atividades. Contudo, busca-se resgatar a experimentação nas cinco escolas em uma documentação, em andamento. Denominada de Pré-Piloto, as experimentações pedagógicas na maioria das escolas contaram com o apoio de grupos de pesquisadores de universidades e das equipes das secretarias de educação, mas não foi de todo suficiente para um registro metodologicamente. O tamanho da amostra foi bastante reduzido e despojado de um préplanejamento sistemático. O Projeto UCA está atualmente na denominada Piloto, que pode ser concebida como estudo de pré-investimento necessário à expansão do Projeto UCA. Nesta fase, será preciso executar experimentações, investigações e avaliações para determinar a viabilidade e a especificação de seus principais atributos frente às circunstâncias de certos fatores decorrentes das condições ambientais em que se desenrolarão. O Piloto deverá ser desenvolvido em 300 escolas públicas pertencentes às redes de ensino estaduais e municipais, distribuídas em todas as unidades da federação, selecionadas mediante critérios acordados com o Conselho Nacional de Secretários Estaduais de Educação (Consed), a União Nacional dos Dirigentes Municipais de Educação (Undime), a Secretaria de Educação a Distância do Ministério da Educação (SEED/MEC) e a Presidência da República. Resumindo, o Piloto será executado em: 4

 vinte e sete estados e dez escolas públicas por Estado, sendo cinco escolas pertencentes a rede estadual, selecionadas pelas secretarias de educação dos estados, e cinco escolas pertencentes às redes municipais entre urbanas e rurais, selecionadas pela UNDIME. As escolas selecionadas atenderam o critério de 500 alunos e professores por escola.

 cinco municípios escolhidos pelo Governo Federal, denominados de UCA Total, onde serão atendidas todas as escolas na área do município. A escolha desses municípios foi condicionada à prévia realização de um convênio entre o Estado e o Município, de modo que as duas redes possam ser beneficiárias. Outro critério é que o número total de professores e alunos das redes municipal e estadual não seja superior a 3.000. Para atender às 300 escolas, mais todas as escolas de cinco municípios, o Governo Federal adquirirá de 150 mil laptops e servidores, os quais serão distribuídos da seguinte forma: 500 laptops/aluno e dois servidores por escola. Outro aspecto fundamental para a Fase II do Projeto UCA se refere às condições de suporte que deverão ser disponibilizados às escolas e aos municípios UCA Total. As responsabilidades das partes são:  Do governo federal – equipamentos, acesso de 1 Mbps à Internet, capacitação e avaliação.  Dos governos estaduais e municipais – adesão ao projeto das instâncias envolvidas, infra-estrutura física de instalação elétrica e lógica, projeto pedagógico da escola. Espera-se que essas condições de suporte e da amostra possibilitem uma certa compreensão do uso pedagógico do laptop nas diferentes realidades regionais, o desenvolvimento contextualizado de projetos político-pedagógicos, bem como o grau de aceitação das comunidades escolares às inovações educacionais. Espera-se igualmente que ocorram benefícios adicionais no desenvolvimento da tecnologia educacional por parte das instituições de ensino superior envolvidas, além do reforço no processo de inclusão digital de segmentos da sociedade brasileira. Caracteriza-se assim a realização de um projeto plural e a possibilidade de obtenção de dados que subsidiarão definições mais concretas no futuro, a respeito do uso do laptop educacional conectado, em escala mais ampla.

2. Avaliação de Políticas Públicas

O processo de avaliação do Projeto UCA tem por finalidade primeira identificar sucessos e obstáculos na implementação do Piloto (Fase II), com a conseqüente proposição de recomendações de ações para sua continuidade, bem como a inserção de novas propostas. Para tanto, faz-se necessário conhecer as relações entre a proposta de utilização do laptop educacional nas escolas, o processo de implementação e os resultados esperados e desejáveis do referido Projeto. O conhecimento a respeito dessas questões revelará importantes informações e indicadores que deverão ser utilizados nas seguintes ações: a) para a melhoria da qualidade das propostas pedagógicas; b) para a promoção de maior eficiência e eficácia do processo de implementação das ações do Projeto; e c) para subsidiar os gestores do Projeto UCA tanto no acompanhamento e monitoramento do desempenho dessa política, quanto no próprio redesenho dessa política. Na vasta literatura acerca da avaliação educacional há inúmeros intentos de classificação das investigações de cunho avaliativo que fornecem alguns subsídios para especificar a proposta de avaliação para a Fase II do Projeto UCA. Dentro das diversas modalidades avaliativas, optou-se por definir as modalidades que, em uma primeira proposta, parecem necessárias à avaliação da Fase II do Piloto UCA. São elas: avaliação diagnóstica, avaliação de processo, avaliação formativa, avaliação de resultados e avaliação de impacto. A primeira proposta refere-se à avaliação diagnóstica. Esse tipo de avaliação, além de oferecer elementos importantes sobre a factibilidade do Projeto, produz informações que podem ser incorporadas, melhorando seu processo de implementação. Neste projeto, a avaliação diagnóstica ganha importância quando esclarece a situação inicial em relação à inclusão digital, o uso que se faz das TIC, a qualidade do projeto pedagógico e outras tantas questões implicadas, que sem a avaliação de impacto não seria possível. A segunda proposta engloba as avaliações de processo e formativa. A avaliação de processo possibilitará a identificação do grau de coerência e de perfeição das atividades (ou dos processos) que estão sendo executadas, acompanhando, observando e diagnosticando em processo os objetivos do Projeto. A avaliação de um projeto piloto requer que a avaliação de processo tenha um caráter formativo, onde as informações levantadas pela avaliação de processo sejam utilizadas para o seu aprimoramento, em 6

muitos casos concomitantemente à sua execução. Este acompanhamento inclui o diagnóstico das eventuais falhas dos instrumentos, procedimentos, conteúdos e métodos, bem como da adequação das atividades propostas pelo Projeto UCA em relação a seu público-alvo. A terceira proposta se caracteriza como avaliação de resultados. Esse tipo de avaliação deverá responder se as metas, os objetivos e os públicos-alvos pretendidos pelo Projeto foram atingidos. Adicionalmente, por se tratar de um projeto piloto caracterizado pelo grau de pioneirismo do Projeto UCA, a avaliação deverá, obrigatoriamente, buscar identificar não somente as mudanças previamente definidas como também outras não esperadas e que acabaram sendo alcançadas como conseqüência do desenvolvimento de uma série de ações implementadas dentro o escopo do Projeto UCA. A quarta e última proposta se refere à avaliação de impacto. Este processo avaliativo busca identificar as mudanças significativas, positivas ou negativas, promovidas na realidade sobre as quais as ações do Projeto UCA foram desenvolvidas e por ele provocadas. Para tanto, a comparação entre os resultados é fundamental, mas não suficiente. Muito embora a literatura aponte a fragilidade de uma comparação do tipo “antes – depois”, há alternativas cientificamente mais densas que permitem comparar participantes do Projeto UCA e não participantes, confrontando objetivos, metas e realizações alcançadas. Nesse âmbito, cumpre destacar que o estudo de avaliação do Projeto UCA possui características marcantes, que exige diagnóstico que o caracterize, inicialmente, como ação processual/formativa, bem como avaliação de resultados efetivos. Os dados e as informações que serão gerados pelo estudo avaliativo permitirão, por parte dos gestores e formuladores, a revisão do Projeto UCA com vistas ao aprimoramento e à adequação ao público usuário (ANDRIOLA 1999; 2001a; 2001b; 2004). Desse modo, e para finalizar, cabe recorrer a Therrien e Sobrinho (1983/1984), para quem a avaliação deverá possibilitar o planejamento eficiente de ações, com vistas a assegurar a credibilidade (da atividade, do programa ou da política) frente aos olhos dos usuários e perante a sociedade na qual se insere. Seguem os mencionados autores afirmando que a avaliação deverá: (...) mostrar não apenas o somatório de realizações [da atividade, do programa, da política], mas, sobretudo, o efeito ou impacto de sua presença e atuação no contexto social que lhe dá razão de ser. (...) Ao mesmo tempo em que contribui para a unificação efetiva das partes num todo coerente e atuante, a avaliação consolida os 7

empenhos de participação, porque reconhece os princípios da democracia e da responsabilidade conjunta [de usuários, de executores, de gestores e de formuladores] (THERRIEN & SOBRINHO, 1983/1984, p. 19).

3. Desafios para avaliar o Projeto UCA

Por conformar um conjunto de ações de características marcadamente pioneiras e inovadoras, o Projeto UCA terá pela frente desafios, que não são, obviamente intransponíveis, mas que exigirão reflexão, amadurecimento, conhecimento e experiência, por parte da equipe responsável pelo desenho das estratégias de avaliação. Dentre as principais dificuldades, podem ser destacadas: 

Necessidade de oferecer evidências válidas e fidedignas acerca dos resultados do Projeto UCA;



Necessidade de acompanhar o grau de implementação das ações gerenciais, de formação e pedagógicas, propostas para cada Escola partícipe do Projeto UCA (há que se verificar o grau de realização do que foi proposto a priori, bem como identificar e corrigir problemas que porventura aconteçam nas diversas fases do projeto em foco).



Necessidade de utilizar as informações coletadas e produzidas pela Sala de Posição do Projeto UCA no sentido de produzir indicadores que possam auxiliar o processo de acompanhamento do grau de implementação das ações gerenciais (especificadas no item anterior).



Necessidade de verificar cientificamente se o Projeto UCA promoveu, de fato, as mudanças desejadas.



Necessidade de verificar que outras mudanças, além das esperadas, foram promovidas em decorrência da participação das escolas nas ações do Projeto UCA.



Necessidade de oferecer evidências a respeito da eficiência, da eficácia e da efetividade social do Projeto UCA, visando subsidiar a tomada de decisões para futuros ajustes e/ou para sua continuidade.



Necessidade de consolidar-se uma base de dados relevantes, do ponto de vista gerencial e educacional, com vistas ao acompanhamento das supostas mudanças promovidas pelas ações decorrentes da implementação do Projeto UCA.

Com base nas necessidades expostas, haverá que se considerar o uso de dois tipos principais de designs de pesquisas quase-experimentais: (1) pesquisa com grupos equivalentes

(sócio-economicamente

educacionalmente),

porém

submetidos

situações distintas, no que diz respeito ao uso dos insumos e das ações inerentes ao Projeto UCA, e (2) delineamentos pré e pós-teste e (especialmente nesta fase inicial). Desse modo, será possível detectar e documentar as mudanças que são esperadas que ocorram na comunidade (ambiente macro), na escola (ambiente meso), nas salas de aula (ambiente micro) e nos alunos, em decorrência das ações e mudanças oriundas da implantação do Projeto UCA (Ver Figura 1 abaixo).

Figura 1 – Fluxo da avaliação

Considerando o número de escolas e de atores que serão paulatinamente envolvidos no Projeto UCA, bem como o objetivo de se criar um sistema permanente de acompanhamento e avaliação, se faz necessário desenvolver estudos e projetos para a implantação de um sistema on-line de monitoramento de uso dos computadores, previsto para ser implementado através da Sala de Posição do Projeto UCA. Esse sistema alimentaria em tempo real bancos de dados com indicadores de utilização dos laptops por 9

parte dos usuários do programa. Desta forma garante-se um conjunto de informações essenciais para se acompanhar, avaliar, aperfeiçoar e desenvolver pesquisas sobre o projeto UCA.

4. Estrutura da avaliação do Projeto UCA

A avaliação do Projeto UCA será estruturada considerando os seguintes aspectos:

a) O Contexto no qual o Projeto UCA será implementado (macro, meso e micro; a efetividade das parcerias estabelecidas entre as esferas federal, estadual e municipal, o modelo de gestão escolar, etc.). b) Os Insumos utilizados na sua implementação e seu grau de adequação aos objetivos do referido projeto (os recursos físicos e tecnológicos; a infraestrutura; a sala de aula e o material pedagógico). c) Os

Recursos

Humanos

(formação

inicial;

características

marcantes,

experiências pedagógicas; conhecimento das TIC; uso das TIC em sala de aula). d) Os Processos de gestão administrativa e pedagógica do Projeto UCA e o uso dos equipamentos. e) Os Resultados (mudanças em indicadores sociais do município e da comunidade;

transformações

nos

processos

escolares;

mudanças

aprendizado discente; transformações das práticas educativas; uso do computador e de recursos tecnológicos para aprendizagem).

Estes elementos estão representados sinteticamente na Figura 2, que simboliza a relação funcional entre o grupo que planeja (GT-UCA) e o grupo que avalia (GTAvaliação). Esses grupos são responsáveis pelo desenvolvimento de ações de implementação e de avaliação dos diferentes objetos representados na figura (municípios, formação, escolas e salas de aula).

Figura 2 – Objetos de avaliação

5. Etapas do Processo Avaliativo

A avaliação do Projeto UCA será constituída das cinco etapas abaixo especificadas.

5.1. Etapa 1 - Organização da base de dados e delineamento amostral do Projeto UCA.

Antes mesmo de iniciarmos as atividades relativas à avaliação propriamente dita, será necessário realizar as seguintes atividades: a) Organização de uma base de dados com indicadores sociais, econômicos e educacionais dos municípios e das escolas, que deverão ser extraídos de diversas bases de dados já existentes (IBGE, EDUCACENSO, PROVA BRASIL, etc.). Essa base de dados deverá ser atualizada ao longo da execução do Projeto UCA, sempre buscando

agregar informações e indicadores que deverão ser utilizados nos diversos momentos de análise dos resultados obtidos. b) Realização de estudo descritivo do conjunto de escolas incluídas no Projeto UCA; c) Elaboração de um plano amostral das escolas1 partícipes, com vistas a alcançar os objetivos a seguir especificados nas diversas etapas do Projeto UCA. 5.2. Etapa 2 – Acompanhamento e avaliação dos processos formativos do Projeto UCA.

A proposta de avaliação do Projeto UCA inclui o acompanhamento e avaliação das diversas atividades de formação inicial que serão proporcionadas às IES Globais, IES Locais, NTEs e professores. Devido a sua importância, somente após a finalização da proposta de formação serão definidas as diretrizes gerais para o acompanhamento e avaliação de suas atividades.

5.3. Etapa 3 - Imediatamente anterior à implementação do Projeto UCA (Avaliação Diagnóstica).

A avaliação diagnóstica deverá ser realizada antes do início da implantação do Projeto UCA (ou durante os primeiros meses para alguns levantamentos). A realização das atividades dessa etapa obedecerá ao plano amostral das escolas proposto no item 5.1. Para essa fase estão propostos os seguintes objetivos:

a) Descrever o ambiente escolar no que diz respeito à adequação da infra-estrutura física, das instalações e dos equipamentos de informática. Serão empregadas as seguintes técnicas de coleta de dados: observação in situ, análise documental e entrevistas com os gestores das escolas; b) Verificar as parcerias estabelecidas com agentes externos, tais como secretarias municipais e estaduais, bem como grupos de pesquisa de IES e NTE. Serão empregadas as seguintes técnicas de coleta de dados: observação in situ, análise documental e entrevistas com gestores das escolas;

Em caso de mais de uma Escola ter iniciado a execução do referido projeto, será escolhida aquela que oferecer cursos nos níveis de E.F. I e II, bem como E.M. No caso de haver mais de uma escola nessa situação far-se-á sorteio.

c) Verificar a existência de Projeto Pedagógico e sua adequação aos objetivos do Projeto UCA. As técnicas de coleta de dados a serem usadas serão: a análise documental e entrevistas com professores e gestores; d) Caracterizar a gestão pedagógica da escola. As técnicas de coleta de dados a serem usadas serão: a análise documental e entrevistas com professores e gestores; e) Caracterizar as práticas pedagógicas da escola. As técnicas de coleta de dados a serem usadas serão: entrevistas com professores e gestores; f) Caracterizar o perfil da equipe responsável pela condução das ações do Projeto UCA nas escolas (alunos-monitores, professores, coordenadores e gestores). A coleta de dados dar-se-á através de questionários semi-estruturados;

Além desses aspectos, deverão também ser considerados:

g) As expectativas da comunidade escolar (alunos, professores, diretores e pais). A coleta de dados dar-se-á através do uso de questionários semi-estruturados, de entrevistas e/ou grupos focais; h) O perfil dos alunos em aspectos diversos, tais como: cognição, aspectos psicológicos e aprendizagem. Serão empregados questionários estruturados e semiestruturados,

bem

como

testes

padronizados

(para

avaliar

características

psicológicas); k) Os indicadores de inclusão digital no município em que o Projeto UCA estará presente. Será verificado o número de lan houses, uso das TIC na escola, uso do computador no âmbito familiar, etc.

5.4. Etapa 4 - Implementação do Projeto UCA (Avaliação Processual)

Nesta etapa será efetivado um estudo descritivo através de plano amostral, com vistas às seguintes ações: a) Monitoramento da atuação pedagógica dos professores em sala de aula. Serão realizadas filmagens (de caráter amostral e periódica, pois se trata de procedimento extremamente caro e complexo, sobretudo no que tange à análise qualitativa das informações coletadas) e perguntas/questionários on-line (pop-up) dirigidos aos gestores escolares, professores e alunos; b) Monitoramento on-line do uso das TIC pelos professores. Serão utilizadas perguntas/questionários on-line (pop-up) dirigidas aos professores e alunos; 13

c) Monitoramento on-line do uso dos laptops por parte dos alunos e dos professores (o que fazem, o quanto fazem, como o fazem e onde o utilizam). Serão utilizadas perguntas on-line (pop-up) acerca de temas relevantes à compreensão do processo de ensino e aprendizado, além da utilização de informações geradas pela Sala de Posição do UCA; d) Monitoramento on-line da satisfação dos usuários relativos à disponibilidade, facilidade e relevância dos recursos do laptop educacional como instrumento facilitador do aprendizado. Igualmente como no ponto anterior, serão utilizadas dirigidas aos alunos e aos professores; e) Avaliação da gestão acadêmico-pedagógica da escola a partir do uso do laptop como instrumento facilitador do aprendizado discente. Serão utilizadas perguntas on-line (pop-up) dirigidas aos professores; f) Monitoramento full time do funcionamento e da manutenção da rede, dos equipamentos (incluindo-se os computadores) e dos espaços de aprendizagem (laboratórios

salas

aula).

Serão

utilizadas

informações

decorrentes

monitoramento do sistema (rede, equipamento e espaços de informática) pela Sala de Posição; g) Monitoramente da gestão (execução) do Projeto UCA nas escolas. Para isso serão utilizadas perguntas on-line (pop-up) dirigidas aos professores; h) Adequação de parcerias institucionais estabelecidas entre as IES, NTE e secretarias de educação. Serão utilizados questionários semi-estruturados dirigidos aos gestores das escolas, bem como aos professores.

5.5. Etapa 5 - Avaliação de resultados

Com vistas a identificar as mudanças ocasionadas pela execução do Projeto UCA sobre os usuários, repetir-se-ão algumas medidas inicialmente feitas na etapa diagnóstica, dentre as quais: a) As expectativas da comunidade escolar (alunos, professores e diretores). A coleta de dados dar-se-á através do uso de questionários semi-estruturados e de entrevistas; b) O perfil dos alunos em aspectos diversos, tais como: cognição, aspectos psicológicos e aprendizagem. Serão empregados questionários estruturados e semiestruturados,

bem

como

testes

padronizados

(para

avaliar

características

psicológicas); 14

c) A relação dos resultados dos alunos das escolas do Projeto UCA com as informações apresentadas no ponto b, acima descritas. Para tal, far-se-á uso dos resultados dos referidos aprendizes em sistemáticas de avaliação externa (de responsabilidade federal, estadual ou municipal – desde que estas permitam a comparabilidade histórica). Com este propósito, serão utilizadas bases de dados do INEP com os resultados de sistemáticas avaliativas do aprendizado discente, tais como SAEB e Provinha Brasil, ou outras bases existentes nos respectivos Estados.

5.6. Etapa 6 - Avaliação de impacto

A avaliação de impacto implica em identificar o grau de mudanças significativas, positivas ou negativas, ocorridas nos indivíduos, nas famílias e na realidade na qual estão inseridos, decorrentes das ações desenvolvidas no âmbito do Projeto UCA. Além das comparações entre os resultados obtidos na avaliação diagnóstica e na avaliação de resultados, far-se-ão estudos comparativos envolvendo os seguintes aspectos:

a) A percepção das mudanças ocasionadas pelo Projeto UCA, através da opinião da comunidade escolar. Serão empregados questionários estruturados e semiestruturados aos alunos, professores, famílias e gestores; b) A percepção das mudanças na gestão pedagógica da Escola, através da opinião dos professores e das famílias dos alunos. Serão empregados questionários estruturados e semi-estruturados aos professores e às famílias dos alunos; c) A percepção das inovações pedagógicas introduzidas nas escolas e oriundas do Projeto UCA, através da opinião dos professores, dos alunos e dos gestores. Serão empregados questionários estruturados e semi-estruturados dirigidos aos professores, alunos e gestores; d) A percepção da inclusão digital ocasionada pelo Projeto UCA, através da opinião dos professores, dos alunos, dos gestores e dos familiares. Serão empregados questionários estruturados e semi-estruturados aos professores, alunos, gestores e familiares. e) Outros indicadores de inclusão digital no município em que o Projeto UCA esteve presente. Será verificado a abertura de novas lan houses, uso das TIC na Escola, uso do computador na família, etc. f) As mudanças em indicadores educacionais da escola. Serão coletadas informações a respeito de novas matrículas, evasão discente, reprovação discente, etc. 15

6. Análises dos dados

O processo de avaliação do Projeto UCA prevê a coleta de dados quantitativos e qualitativos, dependendo da natureza do objeto em questão.

6.1. Análises qualitativas

O processo de avaliação do Projeto UCA prevê a coleta de dados quantitativos e qualitativos, dependendo da natureza do objeto em questão. A pesquisa relativa às informações qualitativas é fundamental, dada a natureza do Projeto UCA, posto que envolve pessoas, suas representações, relações inter-pessoais, interesses e perspectivas diversas. É preciso que a avaliação penetre no mundo de significados que esses sujeitos sociais, envolvidos com o Projeto UCA, atribuem às suas práticas, às iniciativas institucionais, ao uso do computador, desvelando seus desdobramentos e repercussões no cotidiano escolar. Os fenômenos humanos e sociais resultam de inúmeros fatores que se conjugam e interagem e que devem ser examinados em sua complexidade. A sua compreensão comporta, pois, uma interpretação que exige um tipo de análise que ultrapasse os aspectos meramente formais. Para análise crítica e interpretação de informações qualitativas, serão utilizados os recursos da análise do discurso que permite desvelar os processos ideológicos e históricos que se inserem na linguagem dos sujeitos no contexto interativo e social em que é prolatada. Necessário se faz, assim, penetrar na rede de significados como forma de compreensão dos vários cenários e pessoas que se configuram como alvo de estudo. A apropriação da rede de significados não é uma tarefa mecânica e superficial. A partir das idéias, dos conceitos, das proposições, pela reflexão, busca-se, na convergência dos dados coletados, as categorias fundamentais para interpretá-los na intersubjetividade. Essas categorias gerais se desdobram em itens suficientemente específicos para explicar a trama que produz as relações individuais e coletivas (CAPPELLETTI, 1994, p. 95). Para tal, far-se-á uso de softwares desenvolvidos com os propósitos acima referidos, dentre os quais o CHIC, que analisa relações entre diferentes eventos; o Qualiquantisoft, que foi desenvolvido para o procedimento metodológico do Discurso do

Sujeito Coletivo (DSC), próprio para pesquisas sociais empíricas de cunho qualitativo; o NUDIST, que identifica padrões qualitativos em textos oriundos de entrevistas. Além da identificação das categorias, os referidos programas calcularão as freqüências de aparição dessas categorias qualitativas, em termos absolutos e relativos, organizando-os em quadros e tabelas. Esses resultados possibilitarão análises e inferências sobre aspectos qualitativos relacionados ao Projeto UCA.

6.2. Análises quantitativas

Além das análises qualitativas e dada a enorme diversidade de informações, serão utilizadas as seguintes técnicas estatísticas: a)

Univariadas: que implica na elaboração de tabelas ou gráficos de

freqüência relativa para cada uma das perguntas dos questionários, assim como de estatísticas descritivas básicas (média, moda, mediana, desvio-padrão, variância, amplitude, etc.); b)

Bivariadas: que compreende a geração de tabelas e gráficos de

freqüências, relativas ao cruzamento das perguntas integrantes dos questionários com variáveis de segmentação, como por exemplo: região geográfica, Estado, Escola, dentre outras; - Análise de variância e teste de qui-quadrado: visando identificar diferenças (ou associações) significativas de variáveis métricas ou categóricas em relação às populações pesquisadas ou segmentos de respondentes, dentro de um mesmo estrato;

Multivariadas: que consiste na elaboração de tabelas e gráficos integrando

blocos de perguntas dos questionários. Dentre as técnicas passíveis de serem utilizadas, dependendo de uma avaliação de cada situação, destacam-se as seguintes: - Análise fatorial: objetivando identificar avaliar estruturas subjacentes às correlações existentes entre variáveis; - Análise de conglomerados: visando identificar grupos homogêneos de entrevistados (clusters) em relação às variáveis mais relevantes da pesquisa; - Análise discriminante: visando identificar as variáveis mais relevantes que diferenciam os clusters multivariados identificados; - Mapeamento perceptual: tendo por objetivo mostrar qual o perfil de cada cluster identificado, em termos do conjunto de variáveis de diversidade e demográficas que compõe os bancos de dados da pesquisa. O uso deste método 17

permitirá uma apresentação visual integrada dos resultados obtidos segundo os diversos públicos/segmentos de respondentes e variáveis de caracterização demográfica dos mesmos. Poderão, ainda, serem empregados modelos para testar relações causais (análise de regressão múltipla, por exemplo) e de associações entre as variáveis (coeficiente de correlação, por exemplo). Poderão vir a serem efetivadas análises estatísticas para identificar possíveis diferenças entre grupos de respondentes (Análise de Variância, por exemplo). Para a efetivação das análises referidas utilizar-se-á a versão mais recente do o pacote estatístico Statistical Package for the Social Sciences (SPSS, version 16.0).

Referências

ANDRIOLA, W. B. Avaliação dos Programas Estaduais de Qualificação Profissional (PEQ's): Uma Revisão Conceitual do Modelo 3ER. Ensaio. Avaliação e Políticas Públicas em Educação, Rio de Janeiro, (9) 30, 43-56, 2001a. ANDRIOLA, W. B. Avaliação institucional na Universidade Federal do Ceará (UFC): organização de sistema de dados e indicadores da qualidade institucional. Avaliação: Revista da Rede de Avaliação Institucional da Educação Superior, Campinas, v. 9, n. 4, p. 33-54, 2004. ANDRIOLA, W. B. Evaluación: La vía para la calidad educativa. Ensaio. Avaliação e Políticas Públicas em Educação, Rio de Janeiro, 7 (25), 355-368, 1999. ANDRIOLA, W. B. Factores caracterizadores de centros educativos eficaces. Bordón. Revista de Pedagogía, Madrid, 53 (2), p. 175-183, 2001b. THERRIEN, J. & SOBRINHO, J. H. Avaliação institucional em Universidades: considerações metodológicas. Educação em Debate, Fortaleza, 6/7 (2/1), p. 17-27, 1983/1984.

7. Logística da avaliação Três meses antes do início do Projeto até dois meses após o início do Projeto

Dois primeiros meses do Projeto

Do 3o mês até o 24o mês do Projeto

Dois últimos meses do Projeto

Etapa 1 Organização da base de dados e delineamento amostral do Projeto UCA

Etapa 3 Avaliação Diagnóstica (No início da implementação do Projeto)

Etapa 4 Avaliação Processual (Fase de execução do Projeto)

Etapa 5 Avaliação de Resultados

Etapa 2 Avaliação dos diversos momentos de formação promovidos pelo Projeto UCA

Após o 24o mês do Projeto

Etapa 6 Avaliação de Impacto

8. Estratégias de coleta de dados e avaliação das atividades desenvolvidas pelo Projeto UCA

Análise de documentos referentes à proposta pedagógica do UCA para a escola. Será realizada pela equipe pedagógica do UCA. Perguntas on-line direcionada automaticamente aos usuários do laptop educacional (alunos e professores). Será utilizada em diversas ações de monitoramento e não necessitará de aplicadores, uma vez que deverá utilizar recursos da rede. Questionários e entrevistas aplicados a vários públicos (alunos, professores, gestores, familiares, etc.). Será utilizada para coletar informações através da aplicação de instrumentos por aplicadores externos à escola. Testes padronizados, questionários estruturados e semi-estruturados. Será utilizada para coletar informações através da aplicação de instrumentos por aplicadores externos à escola. Rotina especial de coleta de dados em diversas bases de dados. Rotina especial de filmagem da atuação dos professores em sala de aula Grupos focais com os pais

9. Cronograma de Atividades Proposta de Cronograma das Atividades a Serem Desenvolvidas nas Diversas Etapas do Projeto UCA -3

-2

-1

Meses após a implantação do Projeto UCA 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

ETAPA 1 - Organização da base de dados e delineamento amostral do Projeto UCA

- Organização da base de dados para o Projeto UCA (IBGE, EDUCACENSO, PROVA BRASIL, etc.) - Realização de estudo descritivo do conjunto de escolas UCA - Elaboração de um plano amostral das escolas UCA ETAPA 2 – Avaliação dos diversos momentos de formação promovidos pelo Projeto UCA

- Avaliação da formação inicial proporcionada aos IES Globais - Avaliação da formação inicial proporcionada aos IES Locais - Avaliação da formação inicial proporcionada aos NTE - Avaliação da formação inicial proporcionada aos professores ETAPA 3 - Avaliação Diagnóstica (Na fase de implementação do Projeto) Análise da proposta UCA (a ser realizada pela equipe pedagógica do UCA)

- Verificar a existência de Projeto Pedagógico e sua adequação aos objetivos do Projeto UCA - Verificar as parcerias estabelecidas com agentes externos Rotina inicial de descrição das condições iniciais do Projeto UCA

- Descrever a adequação da infra-estrutura física, das instalações e dos equipamentos de informática - Caracterizar a gestão pedagógica da escola - Caracterizar a prática pedagógica da escola - Descrever os indicadores educacionais da escola - Caracterizar o perfil da equipe responsável pela condução das ações do Projeto UCA nas escolas Rotina de caracterização dos participantes do Projeto UCA (será conduzida novamente na fase da Avaliação de Resultados) - Caracterizar o perfil dos alunos

- Caracterizar o perfil dos gestores, professores, alunos e pais - Identificar as expectativas da comunidade escolar - Identificar as expectativas dos pais ETAPA 4 - Avaliação Processual (Fase de implementação do Projeto) Rotinas de monitoramento dos recursos tecnológicos e da utilização dos laptops

- Monitoramento on-line do uso dos laptops por parte dos alunos e dos professores (perguntas on-line) - Avaliação do uso dos laptops por parte dos alunos e dos professores (questionários e entrevistas) - Monitoramento on-line do funcionamento e manutenção da rede, dos equipamentos e dos espaços de aprendizagem - Avaliação do funcionamento e da manutenção da rede, dos equipamentos e dos espaços de aprendizagem - Monitoramento on-line da disponibilidade, facilidade e relevância dos recursos do laptop educacional

- Avaliação da disponibilidade, facilidade e relevância dos recursos do laptop educacional Rotina de verificação da atuação dos professores - Monitoramento on-line da atuação pedagógica dos professores em sala de aula (perguntas on-line) - Avaliação da atuação pedagógica dos professores em sala de aula (questionários e entrevistas) - Monitoramento da atuação pedagógica dos professores em sala de aula através de filmagem - Monitoramento on-line do uso das TIC pelos professores (perguntas on-line) - Avaliação do uso das TIC pelos professores (questionários e entrevistas) Rotina de verificação da gestão escolar

- Avaliação da gestão acadêmico-pedagógica da escola - Monitoramente da gestão (execução) do Projeto UCA nas escolas (perguntas on-line) Rotina de verificação da gestão escolar

- Adequação de Redes Institucionais entre as IES (NTE) ETAPA 5 - Avaliação de Resultados Rotina de caracterização dos alunos do Projeto UCA (rotina igual à aplicada na Avaliação Diagnóstica)

- Caracterização do perfil dos alunos - Descrição das expectativas da comunidade escolar - Identificar as expectativas dos pais ETAPA 6 - Avaliação de Impacto

- Avaliação da percepção das mudanças ocasionadas pelo Projeto UCA, através da opinião da comunidade escolar - Avaliação da percepção das mudanças na gestão pedagógica da Escola - Avaliação da percepção das inovações pedagógicas introduzidas nas escolas e oriundas do Projeto UCA - Avaliação da percepção da inclusão digital ocasionadas pelo Projeto UCA - Levantamento dos indicadores de inclusão digital no município em que o Projeto UCA está presente - Avaliação das mudanças em indicadores educacionais da Escola LEGENDA DAS CORES UTILIZADAS NO CRONOGRAMA DE ATIVIDADES Análise de documentos referentes à proposta pedagógica do UCA para a escola. Será realizada pela equipe pedagógica do UCA. Perguntas on-line direcionada automaticamente aos usuários do laptop educacional (alunos e professores). Será utilizada em diversas ações de monitoramento e não necessitará de aplicadores, uma vez que deverá utilizar recursos da rede. Questionários e entrevistas aplicados a vários públicos (alunos, professores, gestores, familiares, etc.). Será utilizada para coletar informações através da aplicação de instrumentos por aplicadores externos à escola. Testes padronizados, questionários estruturados e semi-estruturados. Será utilizada para coletar informações através da aplicação de instrumentos por aplicadores externos à escola. Rotina especial de coleta de dados em diversas bases de dados. Rotina especial de filmagem da atuação dos professores em sala de aula Grupos focais com os pais