ebook_Avaliação by Nova Etapa

eBook Operacionalização da Formação Capítulo II – “Avaliação Pedagógica”

FICHA TÉCNICA Título Operacionalização da Formação – “Avaliação” Autor António Mão de Ferro Coordenação Técnica Nova Etapa – Consultores em Gestão e Recursos Humanos Coordenação Pedagógica António Mão de Ferro Direcção Editorial Nova Etapa – Consultores em Gestão e Recursos Humanos

Adaptação e Actualização (Junho de 2010) Alda Leonor Rocha Susana Martins Maria Helena Mão de Ferro Filmes Re-edição e Grafismos - Bruno Lajoso

Nova Etapa Rua da Tóbis Portuguesa n.º 8 – 1º Andar, Escritórios 4 e 5 – 1750-292 Lisboa Telefone: 21 754 11 80 – Fax: 21 754 11 89 Rua Agostinho Neto, n.º 21 A – 1750-002 Lisboa Telefone: 21 752 09 80 – Fax: 21 752 09 89 e-mail: info@nova-etapa.pt www.novaetapaworld.com

ÍNDICE

Objectivos

1.Introdução

2. Objecto da Avaliação

3. Avaliação Quanto ao Momento

4. Técnicas de Avaliação

4.1. Observação

4.2. Formulação de Perguntas

4.3. Medição

5. A Subjectividade da Avaliação

6. Nota Final – O Novo Papel da Avaliação

6.1. Impacto da Formação na Organização 7. Síntese Conclusiva

26 27

OBJECTIVOS

Pretende-se que, no final deste módulo, seja capaz de:  Distinguir diferentes níveis de avaliação dos resultados da formação;  Enumerar e caracterizar os três processos de avaliação;  Construir e aplicar instrumentos de avaliação em função dos objectivos previamente definidos;  Identificar as principais causas da subjectividade na avaliação;  Aplicar um método sistémico e evolutivo de análise de resultados da formação;  Reconhecer a importância da avaliação do impacto da Formação.

1. Introdução A rentabilidade da formação é uma das preocupações que todo o bom gestor tem.

formação

deve

obter-se

benefícios económicos e, para isso, uma atenção

redobrada

todos

pormenores é imprescindível para que eles possam ser obtidos.

Neste ebook iremos abordar a avaliação como sendo um processo geral que permite a obtenção de informações que serão utilizadas quer pelo formador quer pelo formando.

2. Objecto da Avaliação Na Formação Profissional deverão ser objecto de avaliação: 

O formador e os formandos;



O programa;



O próprio sistema de avaliação;



A entidade formadora.

3. Avaliação Quanto ao Momento Existem três momentos fundamentais na formação em que se deve proceder à avaliação:  Avaliação Diagnóstica - numa fase inicial;  Avaliação Formativa - ao longo da formação;  Avaliação Somativa – numa fase final.



A Avaliação Diagnóstica Permite

identificar

conhecimentos e as aptidões que os participantes possuem antes de iniciarem

novas

aprendizagens.

Pode ainda servir para verificar as expectativas, as necessidades e os gostos dos formandos. A avaliação diagnóstica possibilita que o formador conheça se os participantes já dominam alguns conteúdos do programa e se dominam os pré-requisitos necessários para o sucesso da formação. O teste de diagnóstico deverá ser elaborado com rigor, de modo a verificar se determinadas aprendizagens necessárias para acompanhar a matéria estão ou não adquiridas. Esta avaliação permite ao formador decidir o ponto de entrada na aprendizagem.



Avaliação Formativa

Uma vez iniciada a formação, o acompanhamento é feito através da

avaliação

avalia

formandos

formativa. que

medida

adquiriram

Esta os os

conhecimentos e atingiram os resultados propostos no decurso da formação. Permite avaliar as causas

dos

insucessos

aprendizagem e prescrever alternativas. 

Avaliação Somativa

A avaliação somativa controla as competências adquiridas e verifica até que ponto os objectivos gerais foram atingidos.

A Reter

Na formação, há três momentos fundamentais em que se deve proceder à avaliação:  Avaliação Diagnóstica - numa fase inicial;  Avaliação Formativa - ao longo da formação;



Avaliação Somativa – numa fase final.

4. Técnicas de Avaliação (Quanto ao Processo) O processo de avaliação da formação é realizado através de técnicas como:  Observação;  Formulação de perguntas;  Medição.

4.1. Observação Esta é certamente a técnica mais utilizada na formação profissional, embora nem sempre a mais fácil de realizar. Estamos continuamente a observar as reacções dos formandos, a forma como se relacionam com o grupo, o seu nível de empenhamento, enfim uma série de aspectos fundamentais para uma avaliação rigorosa e eficaz.

De forma a tirar o máximo proveito da observação, ela deve ser utilizada como técnica e não como um improviso. Assim, deverá: 

Inventariar previamente os itens que pretende observar, de acordo com os objectivos a atingir;



Observar discretamente, sem que o formando se aperceba que está a ser observado e avaliado.

Instrumentos para a Observação: Os instrumentos usados para a observação1 são:  Grelhas de Observação;  Listas de Ocorrências;  Escalas de Classificação.



Grelha de observação

Nela registam-se os factos com interesse para a avaliação (utilizada para visitas de estudo, sessões teóricas, práticas, etc.)

Exemplo: FICHA DE OBSERVAÇÃO Assunto:

 Lista de ocorrências Elaborada previamente, indica os comportamentos que se espera que venham a ocorrer, tornando a observação mais fácil de registar e objectiva.

Adaptado de TIRA-PICOS e J. SAMPAIO (1994), A Avaliação na

Formação Profissional – Técnicas e Instrumentos, Lisboa, Edições IEFP, colecção Formar Pedagogicamente, 9

Exemplo:

Formando

EMPENHAMENTO

PARTICIPAÇÃO

RIGOR NA EXECUÇÃO

C Pode ser complementada com uma escala de valores: 4 - Excelente; 3 - Bom; 2 - Suficiente; 1- Insuficiente



Escala de classificação

Permite atribuir um determinado grau, numa escala progressiva. Exemplo: O formando relativamente ao EMPENHAMENTO que demonstrou:

Nenhum

Pouco

Regular

Bom

Muito Bom

4.2. Formulação de Perguntas As perguntas permitem avaliar dados cognitivos, e por vezes afectivos. Estas podem ser feitas aos formandos de duas formas: - Oralmente - Avaliação Oral; - Por escrito - Avaliação Escrita.



Avaliação Oral

Possibilita avaliar um formando de cada vez. Permite conhecer com clareza os conhecimentos de cada formando e no caso de dúvidas há a possibilidade de as elucidar prontamente.

Regras para proceder à avaliação oral  Elaborar previamente a lista de perguntas a fazer aos formandos;  Fazer perguntas claras, o mais curtas possível, e com linguagem adaptada aos formandos;  Reformulá-las sempre que necessário;  Quando se tratar de avaliação formativa, dirigir as perguntas para o grupo. Só depois de um período de reflexão do grupo, se deverá dirigir expressamente a um formando;  Procurar obter respostas de um maior número possível de formandos e não apenas dos mais participativos.



Avaliação Escrita

Consiste em apresentar ao formando documentos escritos, aos quais ele terá de responder também por escrito. Como instrumentos de avaliação escrita poderão ser utilizados os testes. Os testes, numa perspectiva pedagógica, destinam-se a recolher dados sobretudo no domínio cognitivo. Os testes englobam-se em 2 grandes categorias: 

Testes de produção ou resposta aberta – que se subdividem em testes de produção curta e testes de produção longa;



Testes de selecção ou resposta fechada – neste tipo de testes são fornecidos ao formando a pergunta e as respostas, devendo ele seleccionar a correcta entre as várias hipóteses apresentadas. Neles englobam-se os testes designados por: 

Verdadeiro/falso ou dupla selecção



Completar ou de preenchimento



Emparelhamento ou correspondência



Escolha múltipla (americano).

Instrumentos para a Avaliação Escrita: Para a avaliação escrita os instrumentos são os seguintes:

Teste de Produção Curta Resposta Aberta Teste de Produção Longa

Resposta Fechada ou de Selecção:  Questões Verdadeiro/Falso;  Questões de completar;  Emparelhamento.  Questões de escolha múltipla.

Vejamos alguns exemplos e regras para concepção de cada um deles:

 Testes de resposta/produção curta

Consiste em apresentar as questões ao formando pedindo-lhe que forneça as respostas de forma sucinta (ex. numa palavra, frase, em 3 linhas, etc).

Exemplo:

Instruções: Responda às seguintes questões de forma sucinta, no máximo

de 2 linhas. 1. Enumere as técnicas de avaliação utilizadas na formação profissional. 2. Mencione uma vantagem da avaliação pela observação. 3. Refira dois instrumentos de avaliação utilizados na técnica da observação.

Eis algumas regras para conceber testes de produção curta: 

O texto deve ser claro e o mais curto possível;



Deve indicar a quantidade de respostas que se pretendem, ou a extensão das mesmas;



As respostas solicitadas devem ser homogéneas e semelhantes em extensão.

 Testes de resposta/produção longa Neste tipo de teste apresentam-se as questões ao formando, permitindo que ele responda de forma a dar largas à sua imaginação. São ideais para avaliar matérias complexas, o espírito crítico, a capacidade de julgar, a criatividade, etc.

Exemplo: Instruções: Responda às seguintes questões, não excedendo duas páginas

por resposta. 1- Inventarie as principais causas da subjectividade na avaliação e aponte soluções para as ultrapassar. 2- Relativamente às diferentes técnicas de avaliação, refira os seguintes aspectos: 2.1- Áreas do saber onde podem ser utilizadas. 2.2- Principais vantagens.

Eis algumas regras para conceber testes de produção curta:  O texto deve ser o mais claro e curto possível;  Limitar o âmbito da questão (forma, quantidade);  Indicar claramente o que se pretende; 

Sempre que possível, subdividir a pergunta em fracções tornando as perguntas menos longas.

 Teste de Questões Verdadeiro/Falso Consiste em formular afirmações que o formando deverá indicar como verdadeiras ou falsas.

Exemplo: Instruções: Assinale com um X no quadrado correspondente, conforme considere as

afirmações verdadeiras (V) ou falsas (F). V F 1. O ano bissexto ocorre de três em três anos. 2. O ano comum tem 366 dias. 3. No hemisfério sul, a estação do ano mais quente é o Inverno. 4. Portugal está situado no hemisfério norte.

Eis algumas das regras para concepção deste tipo de testes de selecção:  O texto deve ser: 

Claro e o mais curto possível;



Afirmativo;



Conter apenas uma ideia, totalmente falsa ou totalmente verdadeira.

 As instruções devem indicar claramente a forma de proceder para que o formando indique a sua a opção.

 Teste de Questões de Completar Consistem em apresentar ao formando frases incompletas, solicitando-lhe que as complete para que tenham sentido.

Exemplo Instruções: Complete as afirmações seguintes escrevendo a palavra adequada

nos espaços em branco: 1- Um jogo de futebol joga-se com ______ jogadores por equipa. 2 - Cada jogo tem a duração de ______, dividido em ______ partes. 3 - Sempre que necessário o jogo prolonga-se por mais ______ minutos, período esse que se designa por ______.

Algumas das regras indispensáveis à elaboração de questões de completar:  O texto deve ser claro e o mais curto possível;  A frase deve ter sentido lógico, apesar dos elementos omitidos;  Só se devem omitir elementos importantes;  Não se devem fornecer pistas gramaticais (a, o, as, os etc.);  Os elementos omitidos devem colocar-se no meio ou parte final da frase (nunca omitir a primeira palavra da frase);  Só deve ser possível uma única resposta, para evitar a ambiguidade.

 Teste de Emparelhamento Trata-se de fornecer ao formando dois grupos (série, colunas) de elementos, pedindo-lhe para os emparelhar, associar ou ligar entre si, atendendo à sua afinidade, razão pela qual são conhecidos por testes de correspondência, associação, etc. Os grupos podem ser constituídos só por frases, por frases e símbolos, ou apenas por símbolos. Este tipo de teste é sobretudo utilizado para recolher dados no domínio cognitivo.

Exemplo (dois grupos a emparelhar, com frases) Instruções: Associe os sectores de actividade económica (coluna A), com as profissões que lhe correspondem (coluna B), ligando-os através de uma linha, tendo em consideração que a cada elemento da coluna A pode corresponder um ou mais elementos da coluna B. COLUNA A

COLUNA B

- Sector primário

- Médico

- Sector secundário

- Agricultor

- Sector terciário

- Jornalista - Torneiro mecânico - Pastor

Regras

para

concepção

dos

testes

emparelhamento: 1. As instruções devem ser claras e precisas, indicando a forma de proceder ao emparelhamento; 2. Para evitar o acerto ao acaso, uma das listas deve conter mais um ou dois elementos do que a outra, os quais não deverão ser correctos.

 Teste de Questões de Escolha Múltipla Consistem em apresentar uma questão ao formando, fornecendo-lhe ao mesmo tempo várias respostas, entre as quais terá de seleccionar a(s) correcta(s). Nos testes de Escolha Múltipla temos os de Complemento Simples e os de Complementos Agrupados. Vejamos um exemplo de Complemento Simples:

Exemplo de teste de Questões de Escolha Múltipla

Instruções: Marque com um “X” o quadrado da resposta certa: - O primeiro homem a descer na lua foi: Yuri Gagarine Alan Shepard Vladimir Komarov Neil Armstrong John Gleen

Neste tipo de testes, tal como em todos os testes de selecção ou resposta fechada, existe a possibilidade de acerto ao acaso, pelo que se deverá considerar descontos para o caso de respostas erradas.

Algumas das regras de elaboração de testes de escolha múltipla: 1. Redigir as questões com clareza e sem palavras desnecessárias; 2. Introduzir no tronco todos os elementos, para que não haja necessidade de os repetir na lista de escolhas; 3. As instruções devem ser claras e objectivas, indicando se há apenas uma resposta certa ou errada; 4. Os distractores e a resposta certa deverão ser homogéneos em extensão, lógicos e coerentes; 5. A resposta certa deve aparecer na lista de escolhas (evitar a tendência de a colocar sempre no meio); 6. Conceber

sempre

que

possível,

cinco

alternativas

(reduz

probabilidade de acerto ao acaso); 7. Caso esteja previsto desconto em caso de resposta errada, deve estar indicado nas instruções.

4.3. Medição Esta técnica consiste em medir determinadas performances de execução do formando. É indispensável para a avaliação de tarefas de execução prática (domínio psicomotor). A medição pode ser quantitativa ou qualitativa por classificação. Nota: Poderá consultar as grelhas de medição disponibilizadas no manual integral “Operacionalização da Formação – Capítulo “Avaliação”.

A Reter

Grelhas de Observação Observação

Lista de Ocorrências Escala de Classificação

Formulação de perguntas

Avaliação Oral Resposta Aberta

Avaliação Escrita

Resposta Fechada Medição

Quantitativa Qualitativa

Teste Produção Curta Teste Produção Longa - V/F - Completar - Emparelhamento - Escolha Múltipla

5. A Subjectividade da Avaliação Das funções a desempenhar pelo formador a avaliação é, sem dúvida, uma das mais complexas, pela subjectividade inerente. No entanto, é preciso não ignorar que a eficácia de toda a acção depende do controlo ao modo como se desenvolve e à avaliação dos seus resultados. Eis algumas das principais causas da subjectividade presentes no momento da avaliação:  A informação prévia;  O efeito de “halo”;  O efeito da estereotipia;  Ausência de critérios comuns;  A classificação das provas umas em relação às outras;  O efeito da ordem de correcção;  A infidelidade do mesmo avaliador.

Informação Prévia Geralmente o conhecimento da informação prévia tende a influenciar o avaliador, podendo criar um preconceito e repercussões sobre a classificação do formando. Ex. O formador recebe informações sobre um formando antes de iniciar a sessão. Essa informação poderá condicionar a relação estabelecida e a forma como este será avaliado.

“Efeito de Halo” Diz respeito à impressão produzida por uma pessoa ao ser avaliada ao nível da sua aparência física, que poderá condicionar a sua avaliação. Ex. Um formando de aparência física atraente tende a ser percebido como simpático, inteligente, empreendedor,

enquanto

formando

aparência física sem atractivos tende a ser percebido como antipático, de raciocínio lento e preguiçoso.

Efeito de Estereotipia Tem a ver com a imutabilidade de quem avalia. Refere-se aos enviesamentos que podem ser introduzidos na avaliação, produzidos por juízos de valor sobre os indivíduos sujeitos à avaliação. A formação de estereótipos é um processo normal e inconsciente. Estas estereotipias podem afectar as nossas expectativas e o modo como comunicamos com as pessoas. Ex. Um formador que, por ter um formando com piercing, o avalia de modo menos abonatório.

Ausência de Critérios Comuns A maior parte da subjectividade presente na avaliação tem como causa a ausência de critérios comuns aos diferentes avaliadores. Com objectivos definidos operacionalmente e partilhados pelos diferentes avaliadores, evita-se a utilização de um critério pessoal, diferente dos outros avaliadores.

Classificação das Provas umas em Relação às Outras Refere-se à classificação de cada prova de um modo geral, mas tendo sempre por referência o valor médio das outras provas que servem de padrão para a comparação e para a atribuição de notas. Ex. Um formador com 10 provas para corrigir. Acontece que as 5 primeiras estavam excelentes e a sexta estava boa. A média na altura de corrigir a sexta prova era altíssima o que leva a que a avaliação da sexta seja abaixo do resultado que ela realmente tem.

Efeito da Ordem de Correcção Compreende dois tipos de efeitos:

- Efeito de contraste: suceder na ordem de correcção de uma prova “brilhante” revela-se em princípio desfavorável, uma vez que o avaliador está de certa forma influenciado pelas características da prova anterior. O inverso também poderá acontecer.

- Efeito de âncora: um conjunto de provas podem ser sobrestimadas ou subestimadas pela proximidade de uma (ou várias) prova(s) considerada(s) boa(s), ou pelo contrário, fraca(s). A estas provas atribui-se a designação de “âncora(s)” uma vez que servem de ponto de referência para avaliações subsequentes. 24

Infidelidade do mesmo Avaliador Resulta da discordância ou infidelidade do mesmo avaliador na atribuição de notas às mesmas provas, mas em momentos diferentes. Ex. Corrigir uma prova após uma discussão com o patrão ou após um jogo de futebol em que a nossa equipa venceu, são dois momentos que podem gerar que a mesma prova tenha duas notas distintas. Quanto maior for o intervalo de tempo entre a correcção, maior é o grau de discordância na classificação. Convidamo-lo agora a ver o filme seguinte:

6. Nota Final – O Novo Papel da Avaliação Se o acto de avaliar em si só já é difícil devido à enorme subjectividade que ele encerra, ainda se agrava mais quando, se faz formação sem saber para quê! O que se pretende com a formação? Questões para as quais nem

sempre encontramos resposta. Se não se sabe o que é que se pretendia, como será possível medir se se atingiu o que quer que seja. Para avaliar é preciso ter definido o ponto a que se quer chegar. A avaliação procura analisar até que ponto a formação atingiu os objectivos pretendidos que, naturalmente, terão implicações no que é produzido pela organização, e claro, reflexos no cliente. Mas, na avaliação, para além de analisar aquele que aprende e a instituição onde a formação se insere, é também necessário analisar factores contingenciais e a própria instituição que desenvolve a formação.

6.1. Impacto da Formação na Organização Na avaliação devem considerar-se as reacções:  dos formandos e do formador;  os resultados da aprendizagem; Mas também e, sobretudo: 

os resultados da formação no posto de trabalho;



os resultados da formação (o seu impacto) na organização.

É preciso não esquecer que a formação só tem utilidade se acrescentar valor àquilo que é produzido.

Pensar e repensar o papel do educador é uma exigência permanente.

Bill Gates afirma, no seu livro “Rumo ao Futuro” que “os educadores tal como tantos profissionais na economia actual são, entre outras coisas, facilitadores. Estes educadores tal como muitos outros trabalhadores semelhantes, terão de se adaptar e readaptar às condições em mudança. Todavia, ao contrário de outras profissões, o futuro do ensino parece ser extremamente brilhante. Os educadores que levem energia e criatividade para a sala vão prosperar”.

7. Síntese Conclusiva Enquanto formador o seu principal objecto de avaliação são os formandos.

A Avaliação quanto ao momento divide-se em:  Avaliação diagnóstica;  Avaliação formativa;  Avaliação somativa. Quanto ao processo a Avaliação divide-se em: 

Observação (Grelha de observação, Lista de ocorrências, Escalas de classificação);



Formulação de questões (Orais e Escritas);



Medição (Quantitativa, Qualitativa).

Finalmente não se esqueça que o processo de avaliação pode sofrer efeitos da subjectividade, tais como: 

A informação prévia;



O “efeito de halo”;



O efeito da estereotipia;



A classificação das provas umas em relação às outras



O efeito da ordem de correcção;



A infidelidade do mesmo avaliador;



Ausência de critérios comuns.

E não esqueça, para avaliar é preciso, ter definido o ponto a que se quer chegar.

Propomos-lhe agora a síntese com as principais ideias associadas a este tema, para que possa relembrar os conceitos mais importantes. Para explorar este tema e cimentar algumas ideias deverá ler o manual “Operacionalização da Formação” também disponível na plataforma.