O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologia de operacionalização Parte I (Sessão 5) Plano de Avaliação
O Modelo de Auto‐Avaliação das Bibliotecas Escolares:
metodologias de operacionalização (Parte I)
“O propósito da auto‐avaliação é apoiar o desenvolvimento das bibliotecas escolares e demonstrar a sua contribuição e impacto no ensino e aprendizagem, de modo a que ela responda cada vez mais às necessidades da escola no atingir da sua missão e objectivos.” (Texto da sessão)
«An outcomes‐based evaluation facilitates your asking if your organization is really doing the right program activities to bring about the outcomes you believe (or better yet, you've verified) to be needed by your clients (rather than just engaging in busy activities which seem reasonable to do at the time). Outcomes are benefits to clients from participation in the program» MCNAMARA, Cárter. Basic Guide to Program Evaluation [Em linha]. 2008. [Consult. 26 Novembro 2009]. URL: http://www.managementhelp.org/evaluatn/fnl_eval.htm
Formanda: Susana Branco
DREC T3
O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologia de operacionalização Parte I (Sessão 5) Plano de Avaliação
PLANO DE AVALIAÇÃO Biblioteca Escolar EB 2, 3 Dr. José dos Santos Bessa – Carapinheira 2009/2010 Domínio seleccionado
• Leitura e Literacia
Indicadores Processo • B1 – Trabalho da BE ao serviço da promoção da leitura na escola/ agrupamento
Indicadores Produto • B3 – Impacto do trabalho da BE nas atitudes e competências dos alunos, no âmbito da leitura e da literacia Embora os dois indicadores estejam claramente relacionados, o indicador B1 incide mais sobre o processo, isto é, sobre as actividades e serviços que a biblioteca disponibiliza na promoção da leitura. Este indicador é complementado pelo indicador B3, um indicador de impacto (outcome), que nos permitirá conhecer o benefício para os nossos alunos das acções promovidas, isto é, se de alguma forma as actividades de promoção da leitura e das literacias se traduziram numa mudança de conhecimento/ gosto pela leitura, competências de leitura e de literacia… Formanda: Susana Branco
DREC T3
O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologia de operacionalização Parte I (Sessão 5) Plano de Avaliação
1.
• Diagnóstico da situação
No ano lectivo 2008/09 o domínio seleccionado para avaliação foi o Domínio A. No final do ano lectivo, aquando a apresentação dos resultados de auto‐avaliação em Conselho Pedagógico, ficou decidido que o domínio a avaliar no presente ano lectivo seria o Domínio B – Leitura e Literacia. Nos últimos anos tem‐se apostado muito em actividades de promoção da leitura e das literacias pelo que se pretende avaliar, de uma forma rigorosa, o trabalho desenvolvido no âmbito deste domínio, detectar pontos fracos e estabelecer acções para melhoria. Por outro lado, as avaliações das acções desenvolvidas têm‐se focalizado mais nos processos. Importa, agora, analisar o impacto desse trabalho nas aprendizagens e na melhoria das competências dos alunos do Agrupamento: • •
2.
Que trabalho tem sido desenvolvido pela Biblioteca Escolar para promover a leitura na escola sede e nas escolas e jardins‐de‐infância que serve? A promoção da leitura, por parte da BE, tem influência positiva no desenvolvimento das competências leitoras dos alunos? Qual tem sido a evolução das competências relacionadas com a leitura e literacia?
• Identificação do objecto de avaliação
As acções de promoção da leitura implementadas nos jardins‐de‐infância e nas escolas do 1º CEB que a BE serve, iniciaram‐se há 6 anos, logo após a constituição do Agrupamento, através do projecto “Viagem… com os livros”. Com o surgimento do Plano Nacional de Leitura, este projecto saiu reforçado e deverá estar a dar os seus frutos. Assim, a avaliação neste domínio terá de incidir sobre todo o Agrupamento, com especial enfoque para o 2º Ciclo. Também nos últimos anos se tem vindo a apostar muito no desenvolvimento das literacias, especialmente da informação, com especial relevo para o 3ºCiclo. Importa então medir os outcomes (impactos), isto é, “conhecer o benefício para os utilizadores da sua interacção com a biblioteca” (Texto da sessão)
Formanda: Susana Branco
DREC T3
O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologia de operacionalização Parte I (Sessão 5) Plano de Avaliação
3.
• Tipo de avaliação de medida a empreender
Serão usados vários métodos quantitativos e qualitativos na recolha da informação, tais como: B1 – Trabalho da BE ao serviço da promoção da leitura na Escola/ Agrupamento Avaliação quantitativa: 9 recolha documental de planeamento de actividades na/ com a BE, documentos da Escola (Projecto Educativo, PCT de uma turma, escolhida aleatoriamente, de cada ano de escolaridade, Plano Anual de Actividades, …); 9 nº de reuniões/contactos efectuados com os docentes e órgãos pedagógicos; 9 nº de actividades articuladas com os docentes na promoção da leitura/ literacias; 9 percentagem de turmas envolvidas em actividades de promoção da leitura/ literacias; percentagem de docentes envolvidos (em contexto de sala de aula e individualmente); 9 dados estatísticos sobre leitura presencial, domiciliária, requisição de computadores, etc.; 9 percentagem de alunos inscritos em actividades extra‐curriculares (de leitura) promovidos em articulação com a BE; 9 frequência com que determinados recursos são utilizados (PNL, Projecto Saúde, entre outros) 9 quantidade de livros e outros materiais adquiridos; 9 aplicação de uma checklist à BE (A BE possui/disponibiliza/elabora fichas de leitura, boletins bibliográficos, guiões de literacia de informação, pesquisa no catálogo electrónico, selecção de recursos electrónicos, fundo documental com recursos electrónicos, …); 9 … B3 – Impacto do trabalho da BE nas atitudes e competências dos alunos, no âmbito da leitura e da literacia Avaliação qualitativa – medição dos outcomes: contributo da BE para o desenvolvimento de competências de leitura e de literacia da informação, através de: 9 questionários a alunos, docentes; 9 feedback/ comentários sobre actividades realizadas (em folha própria ou no Blog); 9 comentários sobre actividades articuladas entre a BE e a sala de aula; 9 caixa de sugestões;
Formanda: Susana Branco
DREC T3
O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologia de operacionalização Parte I (Sessão 5) Plano de Avaliação
9 observação da utilização na BE (participação em actividades de leitura/ motivação para a leitura); 9 análise de trabalhos realizados pelos alunos; 9 entrevistas a alunos (2 alunos de cada ano de escolaridade), professores, AAE, encarregados de educação; 9 Focus group: um grupo de discussão de 6 elementos: um aluno representante de cada ano de escolaridade da escola. Serão discutidos os hábitos de leitura de crianças e jovens, os novos ambientes de leitura e a importância da literacia da informação.
4.
• Métodos e instrumentos a utilizar
Para cada indicador, serão utilizados os seguintes instrumentos de recolha de evidências: B1 – Trabalho da BE ao serviço da promoção da leitura na Escola/ Agrupamento • •
• • • • • •
Grelha de registo de reuniões/contactos com órgãos pedagógicos e docentes; Projecto Educativo; Plano de actividades da BE; actas do Conselho Pedagógico; Actas da reunião de coordenação dos Directores de Turma; actas dos conselhos de turma/ actividades de coordenação pedagógica (ACP); Projectos Curriculares de Turma, … ; Planificação de actividades de promoção da leitura, hora do conto, vinda de escritores, sessões de formação dirigida a professores/ alunos; Grelha de registo de actividades realizadas com/ na BE Questionário aos docentes (QD2) Questionário aos alunos (QA2) Checklist Levantamento estatísticos (Bibliobase, Excel)
B3 – Impacto do trabalho da BE nas atitudes e competências dos alunos, no âmbito da leitura e da literacia • • • •
Grelha de observação da utilização da BE (O3; O4); Questionário aos docentes (QD2) Questionário aos alunos (QA2) Grelha de análise de trabalhos realizados pelos alunos
Formanda: Susana Branco
DREC T3
O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologia de operacionalização Parte I (Sessão 5) Plano de Avaliação
5.
• Intervenientes
Toda a comunidade educativa será implicada neste processo: • • • • •
Professora Bibliotecária e equipa da BE – Implementação do processo; Conselho Pedagógico – Divulgação do modelo, parecer; Director – Acompanhamento de todo o processo; Professores, alunos, AAE – Questionários/ grelhas de observação e análise; Comunidade escolar – Divulgação dos resultados;
6.
• Calendarização
•
•
•
Calendarização/ Constituição de um grupo responsável pela condução/ acompanhamento/ tratamento do processo de auto‐avaliação da BE;
Outubro 2009
Levantamento recursos humanos, financeiros, materiais necessários ao processo de auto‐avalição
Outubro 2009
B1
B3
X
X
Selecção e identificação das amostras Outubro 2009 relativamente aos questionários e grelhas de observação a aplicar
X
•
Definição e elaboração dos instrumentos de recolha de evidências
Outubro/ Novembro 2009
X
•
Divulgação do Modelo de Auto‐Avaliação e do Novembro 2009 plano de avaliação ao Conselho Pedagógico
X
•
Questionários
Novembro 2009 Maio 2010
Formanda: Susana Branco
X
DREC T3
O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologia de operacionalização Parte I (Sessão 5) Plano de Avaliação
•
Dezembro 2010
Tratamento dos questionários
X
Junho 2010 •
Checklist BE
Dezembro 2009
•
Análise de documentos que regulam a actividade da Escola (PEE, PCT, RI) e relativos à actividade da BE (PDC, relatórios de actividades)
Janeiro 2010
•
Final do 1º, 2º e 3º Recolha e análise de dados estatísticos de circulação de documentos, de equipamentos, períodos …
X
X
X
•
Focus Group
Fevereiro 2010
X
•
Entrevistas
Abril/ Maio 2010
X
•
Aplicação da grelha da utilização da BE
Fev – Maio 2010
X
•
Aplicação da grelha de observação – Fev / Maio 2010 Participação em actividades de leitura (O3)/ Motivação para a leitura(O4)
X
•
Feedback, opiniões, …
•
Sistematização do registo de todas as Junho evidências
X
•
Elaboração do relatório de auto‐avaliação
Junho
X
•
Divulgação do resultado de auto‐avaliação
Julho
X
7.
Ao longo do ano
X
• Planificação da recolha e tratamento de dados
Caracterização da Amostra:
Quanto aos questionários destinados a professores e alunos, como metodologia de trabalho, optou‐se pela selecção de amostras. Para garantir a fiabilidade dos resultados obtidos, entendeu‐se que a dimensão da amostra deveria Formanda: Susana Branco
DREC T3
O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologia de operacionalização Parte I (Sessão 5) Plano de Avaliação
ser minimamente representativa do universo estudado. Assim, decidiu‐se submeter os questionários a 20% do total de alunos e a 20% de professores. Por outro lado, pretendeu‐se que a amostra fosse o mais diversificada possível. Por essa razão, a sua selecção foi feita aleatoriamente, tendo‐se recorrido para todas as turmas a um conjunto de números tirados à sorte. No universo de inquiridos assegurou‐se que houvesse representatividade de alunos com necessidades educativas especiais/ apoios. Por sua vez, na extracção aleatória dos professores procurou‐se assegurar, a representatividade de todos os graus de ensino, todos os Departamentos, Educação Especial, Directores de Turma e professores de ACND. •
Assim, serão distribuídos os seguintes questionários Alunos(QA2):
Ciclo
1º Ciclo (4º Ano) 2º Ciclo 3º Ciclo
Nº de alunos Escola Sede
17 (+ 34 das restantes escolas do 1º CEB que a BE serve) 118 166
Nº de inquéritos distribuídos 10 24 33
•
Docentes (QD2)
Nº de professores/ do Agrupamento 80
Nº de inquéritos distribuídos 16
Quanto às grelhas de observação (O3; O4) serão seleccionadas, aleatoriamente duas turmas por cada ciclo (2º e 3º Ciclos) e ainda a turma do 4º ano que se encontra na Escola Sede. Serão ainda aplicadas as grelhas em actividades extra‐curriculares de promoção da leitura, em articulação com a BE (1 grupo). De entre o universo das turmas, serão seleccionadas aleatoriamente uma turma por ciclo para observação de trabalhos realizados.
Formanda: Susana Branco
DREC T3
O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologia de operacionalização Parte I (Sessão 5) Plano de Avaliação
8.
• Análise e comunicação da informação
Ao longo do 2º e 3º períodos serão analisados os dados recolhidos. Em Junho será preenchido o modelo de relatório (três secções). Será feito o registo dos resultados no documento Modelo para a elaboração do Relatório de Auto‐Avaliação, identificando‐se os pontos fortes e fracos, as acções para melhoria e o nível de desempenho da BE em cada indicador. Os resultados serão divulgados em Conselho Pedagógico sob a forma de síntese, disponibilizando‐se também na plataforma Moodle (na disciplina BE). O resumo dos resultados da auto‐avaliação da BE será integrada no relatório de auto‐avaliação do Agrupamento.
9.
• Limitações/ Levantamento de dificuldades
A aplicação do modelo, a recolha de evidências, a análise e tratamento dos dados recolhidos levanta algumas dificuldades/ constrangimentos na sua concretização: •
falta de veracidade no preenchimento dos instrumentos de registo;
•
falta de colaboração no preenchimento dos questionários;
•
falta de experiência em realizar entrevistas e focus groups poderá influenciar respostas dos participantes;
•
dificuldades em analisar/interpretar/ tratar os dados;
•
dificuldades em mensurar os impactos;
•
falta de tempo para aplicação da grelha de observação e análise dos trabalhos dos alunos;
•
nº insuficiente de horas dos elementos da equipa para apoiar o processo;
Formanda: Susana Branco
DREC T3
O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologia de operacionalização Parte I (Sessão 5) Plano de Avaliação
10.
• Bibliografia
•
GABINETE DA REDE DE BIBLIOTECAS ESCOLARES. Modelo de Auto‐Avaliação das Bibliotecas Escolares [Em linha]. 2009. [Consult. 26 Novembro 2009]. URL: http://www.rbe.min─edu.pt/np4/?newsId=31&fileName=mod_auto_avalia cao.pdf
•
MCNAMARA, Cárter. Basic Guide to Program Evaluation [Em linha]. 2008. [Consult. 26 Novembro 2009]. URL: http://www.managementhelp.org/evaluatn/fnl_eval.htm
•
Texto da sessão [Em linha]. 2009. [Consult. 26 Novembro 2009]. URL: http://forumbibliotecas.rbe.min‐ edu.pt/mod/resource/view.php?inpopup=true&id=8173
Novembro 2009 A Formanda, Susana Branco
Formanda: Susana Branco
DREC T3