ÍNDICE
Objetivos Pedagógicos
3
Conteúdos Programáticos
3
Introdução
4
1. Objeto de Avaliação
5
2. Avaliação Quanto ao Momento
5
3. Técnicas de Avaliação
6
3.1. Observação
6
3.2. Formulação de Perguntas
8
3.3. Medição
15
4. A Subjetividade da Avaliação
17
5. O Novo Papel da Avaliação
21
6. Impacto da Formação na Organização
22
7. Síntese
23
Mód. V – Unidade 3: Avaliação da Ação de Formação
OBJETIVOS PEDAGÓGICOS No final desta unidade deverá ser capaz de: Distinguir diferentes níveis de avaliação dos resultados de formação; Enumerar e caracterizar os três processos de avaliação; Construir e aplicar instrumentos de avaliação em função dos objetivos previamente definidos; Identificar as principais causas da subjetividade na avaliação; Aplicar um método sistémico e evolutivo de análise de resultados da formação; Reconhecer a importância da avaliação do impacto da Formação.
CONTEÚDOS PROGRAMÁTICOS
Objeto da Avaliação;
Avaliação Quanto ao Momento;
Técnicas de Avaliação - Observação; - Formulação de Perguntas; - Medição;
A Subjetividade da Avaliação;
O Novo Papel da Avaliação.
3|Página www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
INTRODUÇÃO A rentabilidade da formação é uma das preocupações que todo o bom gestor tem. Da formação deve obter-se benefícios económicos e, para isso, uma atenção redobrada a todos os pormenores é imprescindível para que eles possam ser obtidos. Neste módulo iremos abordar a avaliação como sendo um processo geral que permite a obtenção de informações que serão utilizadas quer pelo formador quer pelo formando.
4|Página www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
1. OBJETO DE AVALIAÇÃO Na Formação Profissional deverão ser objeto de avaliação:
O formador e os formandos;
O programa;
O próprio sistema de avaliação;
A entidade formadora.
2. AVALIAÇÃO QUANTO AO MOMENTO Existem três momentos fundamentais na formação em que se deve proceder à avaliação:
Avaliação Diagnóstica - numa fase inicial;
Avaliação Formativa - ao longo da formação;
Avaliação Somativa – numa fase final.
A Avaliação Diagnóstica Permite identificar os conhecimentos e as aptidões que os participantes possuem antes de iniciarem novas aprendizagens. Pode ainda servir
para
verificar
as
expectativas,
as
necessidades e os gostos dos formandos. A avaliação diagnóstica possibilita que o formador conheça se os participantes já dominam alguns conteúdos do programa e se dominam os prérequisitos necessários para o sucesso da formação. O teste de diagnóstico deverá ser elaborado com rigor, de modo a verificar se determinadas aprendizagens necessárias para acompanhar a matéria estão ou não adquiridas. Esta avaliação permite ao formador decidir o ponto de entrada na aprendizagem. 5|Página www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
Avaliação Formativa
Uma vez iniciada a formação, o acompanhamento é feito através da avaliação formativa. Esta avalia em que medida os formandos adquiriram os conhecimentos e atingiram os resultados propostos no decurso da formação. Permite avaliar as causas dos insucessos na aprendizagem e prescrever alternativas.
Avaliação Somativa
A avaliação somativa controla as competências adquiridas e verifica até que ponto os objetivos gerais foram atingidos.
3. TÉCNICAS DE AVALIAÇÃO (QUANTO AO PROCESSO) O processo de avaliação da formação é realizado através de três técnicas:
Observação;
Formulação de perguntas;
Medição.
3.1. Observação Esta é certamente a técnica mais utilizada na formação profissional, embora nem sempre a mais fácil de realizar. Estamos continuamente a observar as reações dos formandos, a forma como se relacionam com o grupo, o seu nível de empenhamento, enfim, uma série de aspetos fundamentais para uma avaliação rigorosa e eficaz. De forma a tirar o máximo proveito da observação, ela deve ser utilizada como técnica e não como um improviso. Assim, dever-se-á:
Inventariar previamente os itens que pretendemos observar, de acordo com os objetivos que pretendemos atingir;
6|Página www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
Observar discretamente, sem que o formando se aperceba que está a ser observado e avaliado.
Instrumentos para a Observação
Os instrumentos usados para a observação1 são:
Grelhas de Observação; Listas de Ocorrências; Escalas de Classificação. Grelha de observação Nela registam-se os factos com interesse para a avaliação (utilizada para visitas de estudo, sessões teóricas, práticas, etc.) Exemplo: FICHA DE OBSERVAÇÃO Assunto:
Lista de ocorrências Elaboradas previamente, indicam os comportamentos que se esperam que venham a ocorrer, tornando a observação mais fácil de registar e objetiva. Exemplo: Comportamento Esteve
Executou Participou
Compreendeu
atento
Aplicou a tarefa
Formando
A B C
Adaptado de TIRA-PICOS e J. SAMPAIO (1994), A Avaliação na Formação Profissional – Técnicas e Instrumentos, Lisboa, Edições IEFP, coleção Formar Pedagogicamente, 1
7|Página www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
Pode ser complementada com uma escala de valores: 4 - Excelente; 3 - Bom; 2 - Suficiente; 1- Insuficiente
Escala de classificação Permitem atribuir um determinado grau, numa escala progressiva. Exemplo: O formando relativamente ao EMPENHAMENTO que demonstrou:
Nenhum
Pouco
Regular
Bom
Muito Bom
3.2. FORMULAÇÃO DE PERGUNTAS As perguntas permitem avaliar dados cognitivos e por vezes afetivos. Estas podem ser feitas aos formandos de duas formas: Oralmente - Avaliação Oral; Por escrito - Avaliação Escrita.
Avaliação Oral Possibilita avaliar um formando de cada vez. Permite conhecer com clareza os conhecimentos de cada formando e, no caso de dúvidas, há a possibilidade de as esclarecer prontamente.
8|Página www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
Regras para proceder à avaliação oral Elaborar previamente a lista de perguntas a fazer aos formandos; Fazer perguntas claras e o mais curtas possível, e com linguagem adaptada aos formandos; Reformulá-las sempre que necessário; Quando se tratar de avaliação formativa, dirigir as perguntas para o grupo. Só depois de um período de reflexão do grupo, se poderá dirigir expressamente a um formando; Procurar obter respostas de um maior número possível de formandos e não apenas dos mais participativos.
Avaliação Escrita Consiste
em
apresentar
ao
formando
documentos escritos, aos quais ele terá de responder
também
por
escrito.
Como
instrumentos de avaliação escrita poderão ser utilizados os testes. Os testes, numa perspetiva pedagógica, destinam-se a colher dados sobretudo no domínio cognitivo. Os testes englobam-se em duas grandes categorias:
Testes de produção ou resposta aberta – que se subdividem em testes de produção curta e testes de produção longa;
Testes de seleção ou resposta fechada – neste tipo de testes são fornecidos ao formando a pergunta e as respostas, devendo ele selecionar a correta entre as várias hipóteses apresentadas. Neles englobam-se os testes designados por: o Verdadeiro/falso ou dupla seleção o Emparelhamento ou correspondência o Escolha múltipla (americano)
9|Página www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
Neste tipo de testes englobam-se ainda os de “completar ou de preenchimento”, nos quais se poderá optar por dar ou não as respostas.
Em síntese Instrumentos para a Avaliação Escrita Para a avaliação escrita os instrumentos são os seguintes:
Teste de Produção Curta Resposta Aberta Teste de Produção Longa
Resposta Fechada ou de Seleção:
Questões Verdadeiro/Falso;
Emparelhamento;
Questões de escolha múltipla;
Completar ou de preenchimento.
Vejamos alguns exemplos e regras para conceção de cada um deles:
Testes de resposta/produção curta Consiste em apresentar as questões ao formando pedindo-lhe que forneça as respostas de forma sucinta (ex. numa palavra, frase, em 3 linhas, etc). Exemplo: Instruções: Responda às seguintes questões de forma sucinta, no máximo de 2 linhas. 1. Enumere as técnicas de avaliação utilizadas na formação profissional. 2. Mencione uma vantagem da avaliação pela observação. 3. Refira dois instrumentos de avaliação utilizados na técnica da observação. 10 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
Eis algumas regras para conceber testes de produção curta: O texto deve ser claro e o mais curto possível; Deve indicar a quantidade de respostas que se pretendem, ou a extensão das mesmas; As respostas solicitadas devem ser homogéneas e semelhantes em extensão.
Testes de resposta/produção longa Neste tipo de teste apresentam-se as questões ao formando, permitindo que ele responda de forma a dar largas à sua imaginação. São ideais para avaliar matérias complexas, o espírito crítico, a capacidade de julgar, a criatividade, etc. Exemplo: Instruções: Responda às seguintes questões, não excedendo uma página por resposta. 1- Inventarie as principais causas da subjetividade na avaliação e aponte soluções para a ultrapassar. 2- Relativamente às diferentes técnicas de avaliação, refira os seguintes aspetos: 2.1- Áreas do saber onde podem ser utilizadas. 2.2- Principais vantagens. Eis algumas regras para conceber testes de produção curta:
O texto deve ser o mais claro e curto possível;
Limitar o âmbito da questão (forma, quantidade);
Indicar claramente o que se pretende;
Sempre que possível, subdividir a pergunta em frações tornando as perguntas menos longas.
11 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
Teste de Questões Verdadeiro/Falso Consiste em formular afirmações que o formando deverá indicar como verdadeiras ou falsas. Exemplo: Eis algumas das regras para conceção deste tipo de testes de seleção:
Instruções: Assinale com um X no quadrado correspondente, conforme considere as afirmações verdadeiras (V) ou falsas (F). V
F
1. O ano bissexto ocorre de três em três anos. 2. O ano comum tem 366 dias. 3. No hemisfério sul, a estação do ano mais quente é o inverno. 4. Portugal está situado no hemisfério norte.
O texto deve ser: Claro e o mais curto possível; Afirmativo; Conter apenas uma ideia, totalmente falsa ou totalmente verdadeira.
As instruções devem indicar claramente a forma de proceder para que o formando indique a sua a opção.
Teste de Emparelhamento Trata-se de fornecer ao formando dois grupos (série, colunas) de elementos, pedindo-lhe para os emparelhar, fazer compreender, associar ou ligar entre si, atendendo à sua afinidade, razão pela qual são conhecidos por testes de correspondência, associação, etc. Os grupos podem ser constituídos só por frases, por frases e símbolos, ou apenas por símbolos.
12 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
Este tipo de teste é sobretudo utilizado para recolher dados no domínio cognitivo. Exemplo (dois grupos a emparelhar, com frases) Instruções: Associe os setores de atividade económica (coluna A), com as profissões que lhe correspondem (coluna B), ligando-os através de uma linha, tendo em consideração que a cada elemento da coluna A pode corresponder um ou mais elementos da coluna B. COLUNA A
COLUNA B
- Setor primário
- Médico
- Setor secundário
- Agricultor - Jornalista - Torneiro mecânico - Pastor
Regras para conceção dos testes de emparelhamento: 1. As instruções devem ser claras e precisas, indicando a forma de proceder ao emparelhamento; 2. Para evitar o acerto ao acaso, uma das listas deve conter mais elementos do que a outra, alguns dos quais não deverão ser corretos; 3. Os elementos a fazer corresponder devem ser afins e homogéneos e conter apenas uma ideia, totalmente a optar ou a rejeitar.
Teste de Questões de Escolha Múltipla Consistem em apresentar uma questão ao formando, fornecendo-lhe ao mesmo tempo várias respostas, entre as quais terá de selecionar a(s) correta(s).
13 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
Como testes de Escolha Múltipla temos os de Complemento Simples e os Complementos Agrupados. Vejamos um exemplo de Complemento Simples: Exemplo: Instruções: Marque com um “X” o quadrado da resposta certa: O primeiro homem a descer na Lua foi: Yuri Gagarine Alan Shepard Vladimir Komarov Neil Armstrong John Gleen Neste tipo de testes, tal como em todos os testes de seleção ou resposta fechada, existe a possibilidade de acerto ao acaso, pelo que se deverá considerar descontos na pontuação obtida, proporcionais às respostas erradas. Algumas das regras de elaboração de testes de escolha múltipla: 1. Redigir as questões com clareza e sem palavras desnecessárias; 2. Introduzir no tronco todos os elementos, para que não haja necessidade de os repetir na lista de escolhas; 3. As instruções devem ser claras e objetivas, indicando se há apenas uma resposta certa ou errada; 4. Os distratores e a resposta certa deverão ser homogéneos em extensão, lógicos e coerentes; 5. A resposta certa deve aparecer na lista de escolhas (evitar a tendência de a colocar sempre no meio); 6. Conceber, sempre que possível, cinco alternativas (reduz a probabilidade de acerto ao acaso); 7. Caso esteja previsto desconto em caso de resposta errada, deve estar indicado nas instruções.
14 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
Teste de Questões de Completar Consistem em apresentar ao formando frases incompletas, solicitando-lhe que as complete para que tenham sentido. Exemplo: Instruções: Complete as afirmações seguintes escrevendo a palavra adequada nos espaços em branco: 1- Um jogo de futebol joga-se com ______ jogadores por equipa. 2 - Cada jogo tem a duração de ______, dividido em ______ partes. 3 - Sempre que necessário o jogo prolonga-se por mais ______ minutos, período esse que se designa por ______.
Algumas das regras indispensáveis à elaboração de questões de completar:
O texto deve ser claro e o mais curto possível; A frase deve ter sentido lógico, apesar dos elementos omitidos; Os elementos omitidos devem ser homogéneos e de extensão idêntica (tanto quanto possível);
Só se devem omitir elementos importantes; Não se devem fornecer pistas gramaticais (a, o, as, os, etc.); Os elementos omitidos devem colocar-se no meio ou parte final da frase (nunca omitir a primeira palavra da frase);
Só deve ser possível uma única resposta, para evitar a ambiguidade. 3.3. Medição Esta técnica consiste em medir determinadas performances de execução do formando. É indispensável para a avaliação de tarefas de execução prática
15 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
(domínio psicomotor). A medição pode ser quantitativa ou qualitativa por classificação (ver exemplo seguinte).
A Reter Grelhas de Observação
Observação
Lista de Ocorrências Escala de Classificação Avaliação Oral
Formulação de perguntas Avaliação Escrita
Medição
Quantitativa
Teste Produção Curta Resposta Aberta Teste Produção Longa Resposta Fechada
Qualitativa
- V/F - Emparelhamento - Escolha Múltipla - Completar
16 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
4. A SUBJETIVIDADE DA AVALIAÇÃO Das funções a desempenhar pelo formador a avaliação é, sem dúvida, uma das mais complexas, pela subjetividade inerente. No entanto, é preciso não ignorar que a eficácia de toda a ação depende do controlo ao modo como se desenvolve e à avaliação dos seus resultados. Eis algumas das principais causas da subjetividade presentes no momento da avaliação:
Informação Prévia Geralmente o conhecimento da informação prévia tende a influenciar o avaliador, podendo criar um preconceito e repercussões sobre a classificação do formando. Ex. O formador recebe informações sobre um formando antes de iniciar a sessão. Essa informação poderá condicionar a relação estabelecida e a forma como este será avaliado.
17 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
“Efeito de Halo” Diz respeito à impressão produzida por uma pessoa ao ser avaliada ao nível da sua aparência física, que poderá condicionar a sua avaliação. Ex. Um formando de aparência física atraente tende a ser percebido como simpático, inteligente, empreendedor, enquanto um formando de aparência física sem atrativos tende a ser percebido como antipático, de raciocínio lento e preguiçoso.
Efeito de Estereotipia Tem a ver com a imutabilidade de quem avalia. Refere-se aos enviusamentos que podem ser introduzidos na avaliação, produzidos por juízos de valor sobre os indivíduos sujeitos à avaliação. A formação de estereótipos é um processo normal e
inconsciente. Estas estereotipias
podem afetar as nossas
expectativas e o modo como comunicamos com as pessoas. Ex. Um formador que, por ter um formando com piercing, o avalia de modo menos abonatório.
18 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
Ausência de Critérios Comuns A maior parte da subjetividade presente na avaliação tem como causa a ausência de critérios comuns aos diferentes avaliadores. Com objetivos definidos operacionalmente e partilhados pelos diferentes avaliadores, evita-se a utilização de um critério pessoal, diferente dos outros avaliadores.
Classificação das Provas umas em relação às outras Refere-se à classificação de cada prova de um modo geral, mas tendo sempre por referência o valor médio das outras provas que servem de padrão para a comparação e para a atribuição de notas. Ex. Um formador com 10 provas para corrigir. Acontece que as 5 primeiras estavam excelentes e a sexta estava boa. A média na altura de corrigir a sexta prova era altíssima o que leva a que a avaliação da sexta seja abaixo do resultado que ela realmente tem.
Efeito da Ordem de Correção Compreende dois tipos de efeitos: - Efeito de contraste: suceder na ordem de correção de uma prova “brilhante” revela-se em princípio desfavorável, uma vez que o avaliador está de certa forma influenciado pelas características da prova anterior. O inverso também poderá acontecer. 19 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
- Efeito de âncora: um conjunto de provas pode ser sobrestimado ou subestimadas pela proximidade de uma (ou várias) prova (s) considerada (s) boa (s) ou, pelo contrário, fraca (s). A estas provas atribui-se a designação de “âncora (s) ” uma vez que servem de ponto de referência para avaliações subsequentes.
Infidelidade do mesmo Avaliador Resulta da discordância ou infidelidade do mesmo avaliador na atribuição de notas às mesmas provas, mas em momentos diferentes. Ex. Corrigir uma prova após uma discussão com o patrão ou após um jogo de futebol em que a nossa equipa venceu, são dois momentos que podem gerar que a mesma prova tenha duas notas distintas. Quanto maior for o intervalo de tempo entre a correção, maior é o grau de discordância na classificação.
20 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
5. O NOVO PAPEL DA AVALIAÇÃO Se o ato de avaliar em si só já é difícil devido à enorme subjetividade que ele encerra, ainda se agrava mais quando se faz formação sem saber para quê! O que se pretende com a formação? Questões para as quais nem sempre encontramos resposta. Se não se sabe o que é que se pretendia, como será possível medir se se atingiu o que quer que seja. Para avaliar é preciso ter definido o ponto a que se quer chegar. A avaliação procura analisar até que ponto a formação atingiu os objetivos pretendidos que, naturalmente, terão implicações no que é produzido pela organização e, claro, reflexos no cliente. Mas, na avaliação, para além de analisar aquele que aprende e a instituição onde a formação se insere, é também necessário analisar os fatores contingenciais e a própria instituição que desenvolve a formação.
21 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
6. IMPACTO DA FORMAÇÃO NA ORGANIZAÇÃO Na avaliação devem considerar-se as reações:
Dos formandos e do formador;
Dos resultados da aprendizagem.
Mas também e, sobretudo:
Os resultados da formação no posto de trabalho;
Os resultados da formação (o seu impacto) na organização.
É preciso não esquecer que a formação só tem utilidade se acrescentar valor àquilo que é produzido. Nota: Os resultados da formação no posto de trabalho e o seu impacto na organização serão abordados no módulo VIII: Avaliar o Impacto da Formação.
22 | P á g i n a www.nova-etapa.pt
Mód. V – Unidade 3: Avaliação da Ação de Formação
7. SÍNTESE Enquanto formador o seu principal objeto de avaliação são os formandos. A Avaliação quanto ao momento divide-se em:
Avaliação diagnóstica;
Avaliação formativa;
Avaliação somativa.
Quanto ao processo a Avaliação divide-se em:
Observação (Grelha de Observação, Lista de Ocorrências, Escalas de Classificação);
Formulação de questões (orais e escritas “testes”);
Medição (Quantitativa, Qualitativa).
Finalmente tenha em consideração que o processo de avaliação pode sofrer efeitos da subjetividade, tais como:
A informação prévia;
O “efeito de halo”;
O efeito da estereotipia;
A classificação das provas, umas em relação às outras;
A ordem de correção;
A infidelidade do mesmo avaliador;
Ausência de critérios comuns.
E não esqueça - para avaliar é preciso ter definido o ponto a que se quer chegar.
23 | P á g i n a www.nova-etapa.pt