eBook Operacionalização da Formação Capítulo II – “Avaliação Pedagógica”
FICHA TÉCNICA Título Operacionalização da Formação – “Avaliação Pedagógica” Autor António Mão de Ferro Coordenação Técnica Nova Etapa – Consultores em Gestão e Recursos Humanos Coordenação Pedagógica António Mão de Ferro Direcção Editorial Nova Etapa – Consultores em Gestão e Recursos Humanos
Adaptação e Actualização (Maio 2011) Alda Leonor Rocha Susana Martins Maria Helena Mão de Ferro Filmes Re-edição e Grafismos - Bruno Lajoso
Nova Etapa Rua da Tóbis Portuguesa n.º 8 – 1º Andar, Escritórios 4 e 5 – 1750-292 Lisboa Telefone: 21 754 11 80 – Fax: 21 754 11 89 Rua Agostinho Neto, n.º 21 A – 1750-002 Lisboa Telefone: 21 752 09 80 – Fax: 21 752 09 89 e-mail: info@nova-etapa.pt www.novaetapaworld.com
2
ÍNDICE
Objectivos
4
1.Introdução
5
2. Modelo de Avaliação (Níveis de Avaliação)
5
3. Avaliação NA Formação vs Avaliação DA Formação
6
4. Avaliação quanto ao momento
6
5. Avaliação de REACÇÃO – Nível 1
8
6. Avaliação das APRENDIZAGENS – Nível 2
9
7. Avaliação DA Formação – Avaliação do Impacto
23
8. Indicadores a medir na Avaliação do Impacto
25
9. Técnica e instrumentos da Avaliação do Impacto
27
10. A Subjectividade da Avaliação
29
11. Síntese Conclusiva
33
3
OBJECTIVOS
Pretende-se que, no final deste módulo, seja capaz de: Identificar os diferentes níveis de avaliação dos resultados de formação; Diferenciar os conceitos de “Avaliação NA e DA Formação”; Distinguir os momentos em que deve ser aplicada a avaliação; Enumerar e caracterizar os processos de avaliação; Construir e aplicar instrumentos de avaliação em função dos objectivos previamente definidos; Reconhecer a importância da avaliação do impacto da formação; Identificar indicadores que permitam avaliar o impacto da avaliação; Aplicar técnicas e instrumentos para avaliar o impacto da formação; Identificar as principais causas da subjectividade na avaliação.
4
1. Introdução A rentabilidade da formação é uma das preocupações que todo o bom gestor tem. Da formação deve obter-se benefícios económicos e, para isso, uma atenção redobrada a todos os pormenores é imprescindível para que eles possam ser obtidos.
Neste ebook iremos abordar a avaliação como sendo um processo geral que permite a obtenção de informações que serão utilizadas quer pelo formador quer pelo formando.
2. Modelo de Avaliação (Níveis de Avaliação) Um dos grandes contributos para a avaliação da formação partiu de Donald Kirkpatrick. O modelo proposto por Kirkpatrick (abordagem multinível) visa medir a qualidade de uma intervenção formativa a partir da análise de quatro níveis de avaliação: Nível 1 – Avaliação da reacção dos participantes à formação; Nível 2– Avaliação das Aprendizagens efectuadas pelos participantes Nível 3– Avaliação
dos
comportamentos
dos
participantes
no
contexto real de trabalho (transferência de conhecimentos adquiridos) Nível 4 - avaliação dos resultados da formação na organização (impacto
dos
conhecimentos
organização)
5
adquiridos
no
desempenho
da
3. Avaliação NA Formação vs Avaliação DA Formação A avaliação NA formação corresponde aos níveis 1 e 2 do modelo de Kirkpatrick. Esta permite obter informações sobre a aprendizagem dos formandos e pode ser aplicada em diferentes momentos da formação. Usualmente é aplicada para obter informações que permitam: Medir o progresso dos formandos; Fazer alterações à estratégia pedagógica; Fazer ajustamentos necessários ao programa. Quando se fala em avaliação DA Formação, podemos situar-nos nos níveis 3 e 4 do modelo de Kirkpatrick. Esta avaliação visa conhecer os efeitos que a formação tem nos indivíduos e nas organizações. Permite obter informações sobre a execução, o impacto e a eficácia da formação.
4. Avaliação Quanto ao Momento Existem três momentos fundamentais na formação em que se deve proceder à avaliação: Avaliação Diagnóstica Avaliação Formativa Avaliação Somativa
6
A Avaliação Diagnóstica Permite identificar os conhecimentos e as aptidões que os participantes possuem antes de iniciarem novas aprendizagens. Pode ainda servir para verificar as expectativas, as necessidades e os gostos dos formandos. A avaliação diagnóstica possibilita que o formador conheça se os participantes já dominam alguns conteúdos do programa e se dominam os pré-requisitos necessários para o sucesso da formação. O teste de diagnóstico deverá ser elaborado com rigor, de modo a verificar se determinadas aprendizagens necessárias para acompanhar a matéria estão ou não adquiridas. Esta avaliação permite ao formador decidir o ponto de entrada na aprendizagem.
Avaliação Formativa Uma vez iniciada a formação, o acompanhamento é feito através da avaliação formativa. Esta avalia em que medida os formandos adquiriram os conhecimentos e atingiram os resultados propostos no decurso da formação. Permite avaliar as causas dos insucessos na aprendizagem e prescrever alternativas.
Avaliação Sumativa A avaliação sumativa ocorre no final da actividade formativa. Controla as competências adquiridas e verifica até que ponto os objectivos gerais foram atingidos. Esta também permite avaliar em que grau de satisfação ocorreu a aprendizagem.
7
A Reter
Na formação, há três momentos fundamentais em que se deve proceder à avaliação: Avaliação Diagnóstica - numa fase inicial; Avaliação Formativa - ao longo da formação; Avaliação Somativa – numa fase final.
5. Avaliação de REAÇÃO – Nível 1 A avaliação de reacção visa recolher as reacções, as opiniões dos formandos sobre determinados aspectos: expectativas iniciais, objectivos, conteúdos, recursos, métodos, instalações etc. Permite avaliar o grau de satisfação dos formandos face à formação, se as suas necessidades e expectativas foram correspondidas, e também averiguar a qualidade da formação. Esta permite ainda detectar disfuncionalidades no sistema de formação, que possam ser corrigidos, e regular as práticas formativas, tendo em conta as necessidades do público-alvo. Esta deve ser assim realizada de forma contínua (podendo ser realizada no inicio, decurso e fim da formação). Neste tipo de avaliação importa considerar diferentes tipos de reacção: Reacções afectivas, de satisfação Reacções instrumentais, de utilidade Reacções de dificuldade, de aprendizagem
8
6. Avaliação das APRENDIZAGENS – Nível 2 A avaliação às aprendizagens efectuadas pelos formandos ao longo da formação, corresponde ao nível 2 do modelo de Kirkpatrick. De acordo com o momento e o que pretendemos avaliar, assim se devem utilizar as técnicas de avaliação. Na óptica da formação profissional, a avaliação é realizada através de três técnicas: Observação; Formulação de perguntas; Medição.
6.1. Observação Esta é certamente a técnica mais utilizada na formação profissional, embora nem sempre a mais fácil de realizar. Estamos continuamente a observar os formandos, interesses manifestados, dificuldades encontradas, eficácia na realização da tarefa, enfim, uma série de aspectos fundamentais para uma avaliação rigorosa e eficaz. De forma a tirar o máximo proveito da observação, ela deve ser utilizada como técnica e não como um improviso. Assim, deverá: Inventariar previamente os itens que pretende observar, de acordo com os objectivos a atingir; Observar discretamente, sem que o formando se aperceba que está a ser observado e avaliado.
9
Instrumentos para a Observação: Os instrumentos usados para a observação1 são: Grelhas de Observação; Listas de Ocorrências; Escalas de Classificação.
Grelha de observação Nela registam-se os factos com interesse para a avaliação (utilizada para visitas de estudo, sessões teóricas, práticas, etc.)
Exemplo: Ficha de Observação Actividade: ___________________________________________________ Data: ____/____/_____ Aspectos Observados
1
Comentários
Adaptado de TIRA-PICOS e J. SAMPAIO (1994), A Avaliação na
Formação Profissional – Técnicas e Instrumentos, Lisboa, Edições IEFP, colecção Formar Pedagogicamente, 10
Lista de ocorrências Elaborada previamente, indica os comportamentos que se espera que venham a ocorrer, com uma sequência prevista, tornando a observação mais fácil de registar e objectiva. Exemplo: Comportamento ESTEVE PARTICIPOU COMPREENDEU FORMANDO
ATENTO
A
X
APLICOU OS
EXECUTOU
CONHECIMENTOS
A TAREFA
B C
Pode ser complementada com uma escala de valores: 4 - Excelente; 3 - Bom; 2 - Suficiente; 1- Insuficiente
Escala de classificação Permite atribuir um determinado grau, numa escala progressiva. Exemplo: O formando relativamente a uma Preparação de uma Apresentação demonstrou: O formando demonstrou:
Nenhuma
Pouca
Regular
Preparação
11
Boa
Muito Boa
6.2. Formulação de Perguntas As perguntas permitem avaliar dados cognitivos, e por vezes afectivos. Estas podem ser feitas aos formandos de duas formas: - Oralmente - Avaliação Oral; - Por escrito - Avaliação Escrita.
Avaliação Oral Possibilita avaliar um formando de cada vez. Permite conhecer com clareza os conhecimentos de cada formando, e no caso de dúvidas há a possibilidade de as elucidar prontamente.
Regras para proceder à avaliação oral Elaborar previamente a lista de perguntas a fazer aos formandos; Fazer perguntas claras, o mais curtas possível, e com linguagem adaptada aos formandos; Reformulá-las sempre que necessário; Quando se tratar de avaliação formativa, dirigir as perguntas para o grupo. Só depois de um período de reflexão do grupo, se deverá dirigir expressamente a um formando; Procurar obter respostas de um maior número possível de formandos e não apenas dos mais participativos.
12
Avaliação Escrita Consiste em apresentar ao formando documentos escritos, aos quais ele terá de responder também por escrito. Como instrumentos de avaliação escrita poderão ser utilizados os testes. Os testes, numa perspectiva pedagógica, destinam-se a recolher dados sobretudo no domínio cognitivo. Os testes englobam-se em 2 grandes categorias:
Testes de produção ou resposta aberta – que se subdividem em testes de produção curta e testes de produção longa;
Testes de selecção ou resposta fechada – neste tipo de testes são fornecidos ao formando a pergunta e as respostas, devendo ele seleccionar a correcta entre as várias hipóteses apresentadas. Neles englobam-se os testes designados por: Verdadeiro/falso ou dupla selecção Completar ou de preenchimento Emparelhamento ou correspondência Escolha múltipla (americano).
13
A Reter
Instrumentos para a Avaliação Escrita: Para a avaliação escrita os instrumentos são os seguintes:
Teste de Produção Curta Resposta Aberta
Teste de Produção Longa
Resposta Fechada ou de Selecção: Questões Verdadeiro/Falso; Questões de completar; Emparelhamento. Questões de escolha múltipla.
Vejamos alguns exemplos e regras para concepção de cada um deles:
14
Testes de resposta/produção curta Consiste em apresentar as questões ao formando pedindo-lhe que forneça as respostas de forma sucinta (ex. numa palavra, frase, em 3 linhas, etc). Exemplo: Instruções: Responda às seguintes questões de forma sucinta, no máximo de 2
linhas. 1. Enumere as técnicas de avaliação utilizadas na formação profissional. 2. Mencione uma vantagem da avaliação pela observação. 3. Refira dois instrumentos de avaliação utilizados na técnica da observação.
Eis algumas regras para conceber testes de produção curta: O texto deve ser claro e o mais curto possível; Deve indicar a quantidade de respostas que se pretendem, ou a extensão das mesmas;
15
Testes de resposta/produção longa Neste tipo de teste apresentam-se as questões ao formando, permitindo que ele responda de forma a dar largas à sua imaginação. São ideais para avaliar matérias complexas, o espírito crítico, a capacidade de julgar, a criatividade, etc.
Exemplo: Instruções: Responda às seguintes questões, não excedendo duas páginas
por resposta. 1- Inventarie as principais causas da subjectividade na avaliação e aponte soluções para as ultrapassar. 2- Relativamente às diferentes técnicas de avaliação, refira os seguintes aspectos: 2.1- Áreas do saber onde podem ser utilizadas. 2.2- Principais vantagens.
Eis algumas regras para conceber testes de produção curta: O texto deve ser o mais claro e curto possível; Limitar o âmbito da questão (forma, quantidade); Indicar claramente o que se pretende; Sempre que possível, subdividir a pergunta em fracções tornando as perguntas menos longas.
16
Teste de Questões Verdadeiro/Falso Consiste em formular afirmações que o formando deverá indicar como verdadeiras ou falsas.
Exemplo: Instruções: Assinale com um X no quadrado correspondente, conforme considere as
afirmações verdadeiras (V) ou falsas (F). V F 1. O ano bissexto ocorre de três em três anos. 2. O ano comum tem 366 dias. 3. No hemisfério sul, a estação do ano mais quente é o Inverno. 4. Portugal está situado no hemisfério norte.
Eis algumas das regras para concepção deste tipo de testes de selecção: O texto deve ser: Claro e o mais curto possível; Afirmativo; Conter apenas uma ideia, totalmente falsa ou totalmente verdadeira. As instruções devem indicar claramente a forma de proceder para que o formando indique a sua a opção.
17
Teste de Questões de Completar Consistem em apresentar ao formando frases incompletas, solicitando-lhe que as complete para que tenham sentido.
Exemplo Instruções: Complete as afirmações seguintes escrevendo a palavra adequada
nos espaços em branco: 1- Um jogo de futebol joga-se com ______ jogadores por equipa. 2 - Cada jogo tem a duração de ______, dividido em ______ partes. 3 - Sempre que necessário o jogo prolonga-se por mais ______ minutos, período esse que se designa por ______.
Algumas das regras indispensáveis à elaboração de questões de completar: O texto deve ser claro e o mais curto possível; A frase deve ter sentido lógico, apesar dos elementos omitidos; Só se devem omitir elementos importantes; Não se devem fornecer pistas gramaticais (a, o, as, os etc.); Os elementos omitidos devem colocar-se no meio ou parte final da frase (nunca omitir a primeira palavra da frase); Só deve ser possível uma única resposta, para evitar a ambiguidade.
18
Teste de Emparelhamento Trata-se de fornecer ao formando dois grupos (série, colunas) de elementos, pedindo-lhe para os emparelhar, associar ou ligar entre si, atendendo à sua afinidade, razão pela qual são conhecidos por testes de correspondência, associação, etc. Os grupos podem ser constituídos só por frases, por frases e símbolos, ou apenas por símbolos. Este tipo de teste é sobretudo utilizado para recolher dados no domínio cognitivo.
Exemplo (dois grupos a emparelhar, com frases) Instruções: Associe os sectores de actividade económica (coluna A), com as profissões que lhe correspondem (coluna B), ligando-os através de uma linha, tendo em consideração que a cada elemento da coluna A pode corresponder um ou mais elementos da coluna B. COLUNA A
COLUNA B
- Sector primário
- Médico
- Sector secundário
- Agricultor
- Sector terciário
- Jornalista - Torneiro mecânico - Pastor
19
Regras para concepção dos testes de emparelhamento: 1. As instruções devem ser claras e precisas, indicando a forma de proceder ao emparelhamento; 2. Para evitar o acerto ao acaso, uma das listas deve conter mais um ou dois elementos do que a outra, os quais não deverão ser correctos.
Teste de Questões de Escolha Múltipla Consistem em apresentar uma questão ao formando, fornecendo-lhe ao mesmo tempo várias respostas, entre as quais terá de seleccionar a(s) correcta(s). Nos testes de Escolha Múltipla temos os de Complemento Simples e os de Complementos Agrupados. Vejamos um exemplo de Complemento Simples:
Exemplo de teste de Questões de Escolha Múltipla
Instruções: Marque com um “X” o quadrado da resposta certa: - O primeiro homem a descer na lua foi: Yuri Gagarine Alan Shepard Vladimir Komarov Neil Armstrong John Gleen
20
Neste tipo de testes, tal como em todos os testes de selecção ou resposta fechada, existe a possibilidade de acerto ao acaso, pelo que é admissível que se considerem descontos na pontuação obtida, proporcionais às respostas erradas.
Algumas das regras de elaboração de testes de escolha múltipla: 1. Redigir as questões com clareza e sem palavras desnecessárias; 2. Introduzir no tronco todos os elementos, para que não haja necessidade de os repetir na lista de escolhas; 3. As instruções devem ser claras e objectivas, indicando se há apenas uma resposta certa ou errada; 4. Os distractores e a resposta certa deverão ser homogéneos em extensão, lógicos e coerentes; 5. A resposta certa deve aparecer na lista de escolhas (evitar a tendência de a colocar sempre no meio); 6. Conceber
sempre
que
possível,
cinco
alternativas
(reduz
a
probabilidade de acerto ao acaso); 7. Caso esteja previsto desconto em caso de resposta errada, deve estar indicado nas instruções.
21
6.3. Medição Esta técnica consiste em medir determinadas performances de execução do formando. É indispensável para a avaliação de tarefas de execução prática (domínio psicomotor). A medição pode ser quantitativa ou qualitativa por classificação. Nota: Poderá consultar as grelhas de medição disponibilizadas no manual integral “Operacionalização da Formação – Capítulo “Avaliação”.
A Reter
Grelhas de Observação Observação
Lista de Ocorrências Escala de Classificação
Formulação de perguntas
Avaliação Oral Resposta Aberta
Avaliação Escrita
Resposta Fechada Medição
Quantitativa Qualitativa
22
Teste Produção Curta Teste Produção Longa - V/F - Completar - Emparelhamento - Escolha Múltipla
7. Avaliação DA Formação – Avaliação do Impacto Ao falarmos de avaliação da formação, podemos situar-nos nos níveis 3 e 4 da abordagem de Kirkpatrick, ou seja: Nível 3 – Avaliação dos comportamentos dos formandos no contexto real de trabalho Nível 4 – Avaliação dos resultados da formação na organização A avaliação dos efeitos produzidos pela formação corresponde a uma tarefa difícil, mas muito útil para o alcance da verdadeira qualidade da formação. Conhecer os efeitos que a formação tem nos indivíduos e nas organizações é uma necessidade. A avaliação da formação permite fornecer informações sistémicas sobre a execução, o impacto e a eficácia da formação.
Existem três principais eixos de análise que configuram este tipo de avaliação: Efeitos pedagógicos As mudanças no desempenho As mudanças na Organização
23
Efeitos Pedagógicos “Os formandos aprenderam novos conhecimentos na acção de formação? Têm consciência disso?” - Para obter estas informações pode questionar-se os formandos e os formadores da acção (corresponde ao nível 2 da avaliação na formação)
Mudanças no Desempenho “Os formandos aplicaram os conhecimentos adquiridos no seu contexto real de trabalho?” - Para aceder aos efeitos produzidos pelas aprendizagens, pode: Questionar os formandos Questionar os seus pares/chefias Questionar todos aqueles que desenvolvem actividades ligadas ao formando
Efeitos na Organização “Os
comportamentos
dos
formandos
empresa/organização também mudou?”
24
mudaram
mesmo?
E
a
Período em que deve decorrer a Avaliação do Impacto No que se refere ao desenvolvimento individual (desempenho do individuo no local de trabalho), esta nunca deverá ser realizada antes de três a seis meses após a conclusão da formação, permitindo assim aos ex-formandos aplicar e testar as novas técnicas e competências adquiridas em sala no contexto de trabalho. Quanto à Avaliação do impacto na organização, será conveniente avaliá-lo num período superior a um ano.
8. Indicadores a Medir na Avaliação do Impacto Mas então quais são os indicadores que poderão ser utilizados na avaliação dos efeitos da formação? A selecção dos indicadores a medir vai depender dos resultados esperados ou das expectativas dos indivíduos/organizações. No entanto, deixamoslhe alguns indicadores de carácter geral relativos aos dois principais eixos de análise: Comportamento e desempenho dos formandos no local de trabalho Efeitos sobre o contexto sócio-organizacional a que os formandos pertencem
25
Comportamento e desempenho dos formandos no seu local de trabalho Interessa avaliar: Quanto do que foi transmitido foi transformado em mudanças de comportamento e atitudes no trabalho; Até que ponto já foram resolvidos os problemas e as necessidades que conduziram à frequência do programa. Indicadores a Medir: Elementos obtidos através da avaliação de desempenho e respeitantes a: Ritmos de trabalho; Hipóteses de promoção profissional; Organização no trabalho; Capacidades de adaptação; Interesse pelo trabalho; Iniciativa; Conhecimentos do trabalho; Autoridade e sentido de responsabilidade; Relações de trabalho; Função de supervisão/chefia Melhoria do desempenho e integração profissional, em termos de: Melhoria da produtividade: Melhoria do nível de qualidade; Diminuição da rotação e do absentismo:
26
Efeitos sobre o Contexto Sócio-Organizacional a que os Formandos Pertencem Interessa avaliar: Se a formação contribuiu com uma parcela significativa no êxito organizacional. Indicadores a Medir: Índice de produtividade; Índice de qualidade; Índice de satisfação; Índice de promoção.
9. Técnicas e Instrumentos da Avaliação do Impacto Agora que já vimos alguns dos indicadores que poderão ser utilizados para proceder à avaliação dos efeitos da formação, vamos então passar à identificação das técnicas que podem ser utilizadas para obter esses dados. Para que possamos levar à prática esta avaliação, devemos utilizar e cruzar várias técnicas e instrumentos de modo a que se possam obter resultados fidedignos.
Técnicas e instrumentos que se podem utilizar 1. Observação Directa e Medição do Desempenho no Trabalho; 2. Autoavaliação dos participantes e Avaliação pela chefia; 3. Inquérito por Entrevista ou Questionário; 4. Análise Documental.
27
1. Observação Directa e Medição do Desempenho no Trabalho Estas funcionam como técnicas de recolha de informação, podendo ser utilizadas na detecção dos efeitos da formação nos formandos, no local de trabalho: Observação Directa – Consiste em examinar “in loco” o desempenho profissional dos formandos, detectando-se modificações nesse desempenho. Medição do Desempenho – Refere-se à medição do nível de qualidade/quantidade do desempenho de um trabalhador. 2. Autoavaliação dos participantes e Avaliação pela chefia; São as técnicas de recolha de informação de mais fácil aplicação, consistindo na aplicação de um questionário de autoavaliação aos formandos e de um outro de avaliação de desempenho dos mesmos às suas chefias directas. 3. Inquérito por Entrevista ou Questionário Esta é uma técnica possível de ser aplicada na recolha de informação para medição do impacto no contexto sócio-organizacional: Entrevista – Através de uma entrevista com as chefias de vários níveis, incluindo gestores de topo, tentar-se-á avaliar o impacto mais global da formação ao nível, nomeadamente, de aumentos de produtividade, níveis de vendas, qualidade e níveis de satisfação no trabalho.
28
4. Análise Documental Poderá
ser
apresentem
efectuada
sobre
informação
documentos
sistematizada
da
sobre
empresa os
que
indicadores
seleccionados.
10. A Subjectividade da Avaliação Das funções a desempenhar pelo formador a avaliação é, sem dúvida, uma das mais complexas, pela subjectividade inerente. No entanto, é preciso não ignorar que a eficácia de toda a acção depende do controlo ao modo como se desenvolve e à avaliação dos seus resultados. Eis algumas das principais causas da subjectividade presentes no momento da avaliação: A informação prévia; O efeito de “halo”; O efeito da estereotipia; Ausência de critérios comuns; A classificação das provas umas em relação às outras; O efeito da ordem de correcção; A infidelidade do mesmo avaliador.
29
Informação Prévia Geralmente o conhecimento da informação prévia tende a influenciar o avaliador, podendo criar um preconceito e repercussões sobre a classificação do formando. Ex. O formador recebe informações sobre um formando antes de iniciar a sessão. Essa informação poderá condicionar a relação estabelecida e a forma como este será avaliado.
“Efeito de Halo” Diz respeito à impressão produzida por uma pessoa ao ser avaliada ao nível da sua aparência física, que poderá condicionar a sua avaliação. Ex. Um formando de aparência física atraente tende a ser percebido como simpático, inteligente, empreendedor, enquanto um formando de aparência física sem atractivos tende a ser percebido como antipático, de raciocínio lento e preguiçoso.
Efeito de Estereotipia Tem a ver com a imutabilidade de quem avalia. Refere-se aos enviesamentos que podem ser introduzidos na avaliação, produzidos por juízos de valor sobre os indivíduos sujeitos à avaliação. A formação de estereótipos é um processo normal e inconsciente. Estas estereotipias podem afectar as nossas expectativas e o modo como comunicamos com as pessoas. Ex. Um formador que, por ter um formando com piercing, o avalia de modo menos abonatório.
30
Ausência de Critérios Comuns A maior parte da subjectividade presente na avaliação tem como causa a ausência de critérios comuns aos diferentes avaliadores. Com objectivos definidos operacionalmente e partilhados pelos diferentes avaliadores, evita-se a utilização de um critério pessoal, diferente dos outros avaliadores.
Classificação das Provas umas em Relação às Outras Refere-se à classificação de cada prova de um modo geral, mas tendo sempre por referência o valor médio das outras provas que servem de padrão para a comparação e para a atribuição de notas. Ex. Um formador com 10 provas para corrigir. Acontece que as 5 primeiras estavam excelentes e a sexta estava boa. A média na altura de corrigir a sexta prova era altíssima o que leva a que a avaliação da sexta seja abaixo do resultado que ela realmente tem.
Efeito da Ordem de Correcção Compreende dois tipos de efeitos:
- Efeito de contraste: suceder na ordem de correcção de uma prova “brilhante” revela-se em princípio desfavorável, uma vez que o avaliador está de certa forma influenciado pelas características da prova anterior. O inverso também poderá acontecer.
- Efeito de âncora: um conjunto de provas podem ser sobrestimadas ou subestimadas pela proximidade de uma (ou várias) prova(s) considerada(s) boa(s), ou pelo contrário, fraca(s). A estas provas atribui-se a designação de “âncora(s)” uma vez que servem de ponto de referência para avaliações subsequentes. 31
Infidelidade do mesmo Avaliador Resulta da discordância ou infidelidade do mesmo avaliador na atribuição de notas às mesmas provas, mas em momentos diferentes. Ex. Corrigir uma prova após uma discussão com o patrão ou após um jogo de futebol em que a nossa equipa venceu, são dois momentos que podem gerar que a mesma prova tenha duas notas distintas. Quanto maior for o intervalo de tempo entre a correcção, maior é o grau de discordância na classificação.
Convidamo-lo agora a ver o filme seguinte:
32
11. Síntese Conclusiva Ao longo deste ebook, abordámos a avaliação pedagógica através dos seus 4 níveis de aplicação e dos seus diferentes momentos de operacionalização. Através dos níveis 1 e 2 do modelo de KirkPatrick, pode ser feita uma avaliação NA formação, ou seja, pode ser medida a reacção e o grau de satisfação dos formandos face à formação (nível 1), e avaliação das aprendizagens efectuadas ao longo da formação (nível 2). A avaliação na formação pode ser feita em diferentes momentos e mediante diversos processos. A Avaliação quanto ao momento divide-se em: Avaliação diagnóstica; Avaliação formativa; Avaliação somativa. Quanto ao processo a Avaliação divide-se em: Observação (Grelha de observação, Lista de ocorrências, Escalas de classificação); Formulação de questões (Orais e Escritas); Medição (Quantitativa, Qualitativa).
33
Através dos níveis 3 e 4 do Modelo de KirkPatrick, pode ser feita a Avaliação DA formação, que visa medir o impacto do comportamento dos formandos no seu contexto de trabalho (nível 3), e o impacto da formação nos resultados da Organização. Para tal, é necessário considerar não só os vários indicadores a medir, mas também as várias técnicas/instrumentos a utilizar para proceder a essa avaliação. Finalmente não se esqueça que o processo de avaliação pode sofrer efeitos da subjectividade, tais como: A informação prévia; O “efeito de halo”; O efeito da estereotipia; A classificação das provas umas em relação às outras O efeito da ordem de correcção; A infidelidade do mesmo avaliador; Ausência de critérios comuns. E Não esqueça, para avaliar é preciso, ter definido o ponto a que se quer chegar.
34