(R)Manual_8_Avaliação_Quantitativa e qualitativa_2018 by Nova Etapa

Formação Pedagógica Inicial de Formadores

Módulo 8. Avaliação da Formação e das Aprendizagens Sub-Módulo 8.1 – Avaliação Quantitativa e Qualitativa

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

FICHA TÉCNICA

Título Avaliação Quantitativa e Qualitativa

Autor António Mão de Ferro

Coordenação Técnica Nova Etapa – Consultores em Gestão e Recursos Humanos

Coordenação Pedagógica António Mão de Ferro

Direção Editorial Nova Etapa – Consultores em Gestão e Recursos Humanos

Adaptação e Atualização Susana Martins Veronica Ghica

Nova Etapa Rua da Tóbis Portuguesa n.º 8 – 1º Andar, Escritórios 4 e 5 – 1750-292 Lisboa Telefone: 21 754 11 80 – Fax: 21 754 11 89 Rua Agostinho Neto, n.º 21 A – 1750-002 Lisboa Telefone: 21 752 09 80 – Fax: 21 752 09 89 e-mail: info@nova-etapa.pt www.novaetapaworld.com

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Índice

COMPETÊNCIAS A ADQUIRIR

CONTEÚDOS PROGRAMÁTICOS

PÚBLICOS-ALVO

BENEFÍCIOS DE UTILIZAÇÃO

CONDIÇÕES DE UTILIZAÇÃO

INTRODUÇÃO

1. AVALIAÇÃO: CONCEITO, FINALIDADES E OBJETOS

2. TIPOS DE AVALIAÇÃO NA FORMAÇÃO: INICIAL, CONTÍNUA E FINAL

3. INDICADORES E CRITÉRIOS DE AVALIAÇÃO DA APRENDIZAGEM

4. TÉCNICAS E INSTRUMENTOS DE AVALIAÇÃO

5. SUBJETIVIDADE NA AVALIAÇÃO

6. ESCALAS DE CLASSIFICAÇÃO

CONCLUSÃO

ANEXO

BIBLIOGRAFIA

ANEXOS

FILMES

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Competências a Adquirir

No final deste sub-módulo de formação deverá ficar apto a: 

Distinguir diferentes níveis de avaliação dos resultados de formação;



Construir e aplicar instrumentos de avaliação em função de objetivos previamente definidos e que permitam verificar e controlar os resultados da aprendizagem, a eficiência e a eficácia da formação;



Identificar causas da subjetividade na avaliação;

CONTEÚDOS PROGRAMÁTICOS 

Avaliação: conceito, finalidades, objetos e níveis;



Tipos de avaliação da formação quanto ao momento: inicial, contínua e final;



Indicadores e critérios de avaliação da aprendizagem;



Técnicas e Instrumentos de Avaliação: o

Características;

Classificação das técnicas: observação, formulação de perguntas e medição;

Instrumentos de avaliação;



Critérios de seleção das técnicas e dos instrumentos de avaliação da aprendizagem;



Regras de conceção dos instrumentos de avaliação;



Subjetividade na avaliação;



Escalas de classificação;

PÚBLICOS-ALVO

Este manual destina-se a candidatos a formadores, formadores, gestores de formação, e outros profissionais que por inerência das suas funções tenham necessidade de adquirir ou desenvolver competências nesta área da formação.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

BENEFÍCIOS DE UTILIZAÇÃO O cumprimento dos objetivos que cada um de nós estabelece a nível pessoal ou profissional tem que ser avaliado, pessoalmente ou por outros, de forma a verificar se a sua execução fica aquém do esperado ou, pelo contrário, ultrapassa as expectativas. A avaliação, tal como a definição de objetivos, fazem parte do nosso dia a dia e o conhecimento dos seus critérios, erros e princípios tem utilidade, não apenas para os profissionais da avaliação, mas também para indivíduos que pretendem avaliar o nível das suas competências, do seu desempenho e dos seus conhecimentos. No contexto da formação, a avaliação ganha ainda mais relevância. A validação da aptidão dos formandos face aos objetivos implica a proficiência avaliativa com vista à conceção de estratégias integradas que possibilitem a verificação do grau de cumprimento de: objetivos, transferências das aprendizagens para o mercado de trabalho, eficiência e eficácia da formação. Neste sentido, foi concebido este manual, com o intuito de o sensibilizar para a importância da definição de uma estratégia de avaliação que integre criteriosamente objetos, finalidades, técnicas e instrumentos de recolha de informação, princípios, indicadores, análise de resultados e muito mais.

CONDIÇÕES DE UTILIZAÇÃO Este manual designa-se por “Avaliação Quantitativa e Qualitativa”. Destina-se quer a formação presencial quer a formação desenvolvida num modelo de formação mista que concilia módulos presenciais com módulos em bLearning. Na segunda modalidade este recurso encontra-se disponível em plataforma de eLearning possibilitando que o participante tenha um fácil acesso aos conteúdos, e que faça uma gestão da sua aprendizagem de acordo com as suas disponibilidades e necessidade. Poderá ser consultado em tempo real ou guardado em formato digital para utilização posterior.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Introdução Ao longo deste capítulo iremos abordar vários aspetos da avaliação: o conceito, o objeto, as finalidades e os níveis de acordo com o modelo de Kirkpatrick. O foco da nossa análise será o modo em que a avaliação das aprendizagens dos formandos se processa: que tipo de avaliações se aplicam e em que momento da formação e quais os critérios e indicadores de aprendizagens.

No entanto, a recolha de informação é um processo complexo que pressupõe identificar a técnica e o instrumento que melhor se adapta ao momento, aos objetos e às finalidades da avaliação. Assim, para obter resultados concretos e adequados aos objetivos pretendidos indicamos-lhe as técnicas e o leque de instrumentos utilizados na avaliação das aprendizagens, bem como os critérios para a sua seleção e as regras para a sua conceção e aplicação. Apresentamos-lhe igualmente as principais características dos instrumentos de avaliação: validade, fidelidade e objetividade, os principais erros que surgem na avaliação e as formas de os ultrapassar.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

1. Avaliação: conceito, finalidades e objetos

Conceito No contexto da formação profissional a avaliação assume várias definições em função das suas finalidades.

avaliação,

segundo

vários

autores, é o processo de determinação da extensão com que os objetivos educacionais se realizam. Pode igualmente ser definida como a apreciação da qualidade ou do grau de eficácia de um processo de formação, que resulta da reflexão sobre todos os momentos e fatores que intervêm na formação, a fim de determinar quais podem ser, estão a ser, ou foram, os resultados da mesma.

As possibilidades de definição do que é avaliação são inúmeras e, segundo a Direção dos Serviços de Qualidade e Acreditação da DGERT, refletem várias perspetivas: - o grau de sucesso da formação com base na comparação dos resultados obtidos, face aos objetivos de formação – eficácia da formação; - o grau de sucesso da formação com base na comparação dos resultados obtidos, face aos recursos utilizados – eficiência da formação; - a verificação qualitativa e quantitativa das mudanças de comportamento durante a ação de formação do formando face aos objetivos previamente definidos – aprendizagem; - a aferição das competências e aprendizagens dos formandos nos vários momentos da formação: inicial, contínua e final; - a verificação do desenvolvimento da ação pelo formando - reação; - a apreciação das competências técnicas de uma pessoas no exercício das funções e dos progressos verificados – desempenho; - a apreciação da transferência pelo indivíduo dos resultados da formação para o contexto real – impacto da formação.

Finalidades/Funções A palavra função deriva do latim functio, que significa cumprimento, execução, trabalho, exercício (dicionário Priberam). Atualmente a palavra função é entendida como uso útil para algo. Assim, entendemos que a avaliação tem de ter uma função de utilidade a nível da educação/formação. www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Em qualquer processo de avaliação de uma intervenção educativa ou formativa deve ser tomado em consideração o desenvolvimento do processo de aprendizagem, o seu contexto, bem como a socialização e instrução obtida, sem esquecer a função de estímulo da avaliação. A avaliação é um elemento integrante e regulador da prática educativa, permitindo uma recolha sistemática de informações que, uma vez analisadas, apoiam a tomada de decisões adequadas à promoção da qualidade das aprendizagens1.

A avaliação deve informar, valorizar e intervir de modo a realizar reajustamentos contínuos.

Avaliar implica as vertentes de controlo e de verificação, isto é “(…) como verificação ou medida de distâncias, discrepâncias, desvios, conformidade ou coerência, quer seja entre planificação e realização, regulamentação e aplicação, objetivos e resultados, quer como resultados e necessidades” 2. De acordo com Fernandes3, a avaliação deve ajudar a motivar os alunos para aprenderem e para lhes indicar os progressos e os sucessos, assim como os insucessos e as dificuldades.

Se associarmos os momentos de avaliação às suas principais finalidades verifica-se que: - A avaliação diagnóstica, realizada no início do curso, tem como função diagnosticar o nível de conhecimento dos formandos sobre um determinado domínio do saber e orientar o formador em relação às estratégias metodológicas a aplicar. - A avaliação formativa, realizada durante o curso, tem como funções: - controlar se os objetivos estabelecidos estão a ser atingidos, evitando o progresso na transmissão de outros conhecimentos se se constatar que os anteriores não estão a ser devidamente assimilados. - orientar e motivar, pois é através dos seus resultados que os formandos conhecem as suas carências e procuram os estímulos necessários para as ultrapassar. - fornecer feedback aos intervenientes na formação sobre o nível de aprendizagem dos formandos e consequentemente sobre o impacte das estratégias pedagógicas aplicadas, permitindo o controle de qualidade de cada ciclo do processo formativo. De acordo com Perrenoud, esta é a “avaliação que ajuda o aluno a aprender e o professor a ensinar”. - A avaliação sumativa tem a função de classificar os formandos de acordo com níveis de aprendizagem pré-estabelecidos expressos em objetivos iniciais. Tem assim um papel essencial na certificação, comparação e medição do sucesso e insucesso dos formandos.

Revista Alentejo de Educação, nº 3, 2011 Rodrigues, P. (1999). A avaliação curricular. In A. Estrela e A. Nóvoa (orgs). Avaliações em educação: Novas perspetivas Porto: Porto Editora, Lda. 3 Fernandes, D. (2004). Avaliação das aprendizagens: Uma agenda, muitos desafios. Disponível em http://www.projetos.te.pt/projetos_te/area_exclusiva/pdf/doc_aval.pdf 2

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Objeto Os objetos de avaliação na formação podem ser: - as instituições, - as políticas formativas, - os formadores, -

programas:

conteúdos,

metodologias

formativas, objetivos; - os recursos didáticos - o processo formativo - os formandos e as aprendizagens - a própria avaliação (meta-avaliação).

1. Os Formandos Em termos de perfil de entrada, perfil de saída e competências adquiridas durante a ação, no sentido de: 

Testar os seus conhecimentos;



Detetar alterações no seu comportamento;



Situá-lo e orientá-lo na aprendizagem;



Verificar em que medida atingiu os objetivos.

2. Os Formadores Em termos de domínio do assunto, das técnicas e dos recursos colocados à sua disposição. Pretende-se assim: 

Verificar os conhecimentos que detêm sobre os conteúdos ministrados;



Aferir a sua competência pedagógica;



Avaliar a utilização dos métodos e técnicas pedagógicas a que recorrem.

3. O Programa Em termos do seu conteúdo, analisando os seguintes aspetos, de acordo com o público-alvo a que se destina a formação:  Os objetivos da formação;  Os conteúdos programáticos;  A pertinência dos conteúdos programáticos.

4. A Entidade Formadora Em termos de resolução dos problemas surgidos. Pode avaliar-se:  Capacidade de resposta às dificuldades surgidas;  Qualidade do serviço prestado. www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

5. Os Resultados Em termos amplos dos resultados obtidos:  Os resultados esperados;  Os resultados inesperados. 6. O Sistema de Avaliação Em termos de adequação do tipo de avaliação ao contexto em questão. Analisa-se a adequação de:  O tipo de avaliação;  As técnicas de avaliação;  Os instrumentos de avaliação.

Para que se possa proceder a uma avaliação dos objetos antes descritos, há que seguir determinados processos. Ou seja, existem determinadas técnicas de avaliação, para as quais é necessário construir instrumentos adequados considerando os que se apresentam mais vantajosos.

Modelo de Kirkpatrick – Níveis de avaliação

Um dos grandes contributos para a avaliação da formação partiu de Donald Kirkpatrick. A abordagem proposta por Kirkpatrick, (abordagem multinível), visa medir a qualidade de uma intervenção formativa a partir da análise de quatro níveis de avaliação:  Nível 1 - Avaliação da reação dos participantes à formação (mede o grau de satisfação dos formandos face à formação) Os formandos gostaram do curso/formação? Qual foi a apreciação que os formandos fizeram ao programa?  Nível 2 - Avaliação das aprendizagens efetuadas pelos participantes Os formandos adquiriram os conhecimentos e atingiram os objetivos previstos para o curso?  Nível 3 - Avaliação dos comportamentos dos participantes no contexto real de trabalho (transferência de conhecimentos adquiridos) Houve transferência dos comportamentos e competências adquiridas na formação para o seu posto de trabalho? O indivíduo aplica o que aprendeu na formação? 

Nível 4 - Avaliação dos resultados da formação na Organização (impacto dos conhecimentos adquiridos no desempenho da organização). Qual foi ou está a ser o impacto da formação na organização? www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

A abordagem multinível de Kirkpatrick permitir-nos-á desenvolver o tema da avaliação dos resultados na formação, diferenciando-os em dois tipos de avaliação: 

Avaliação NA formação



Avaliação DA formação

2. Tipos de avaliação na formação: inicial, contínua e final

A avaliação das aprendizagens dos formandos é uma das grandes componentes do processo avaliativo, e diz respeito à avaliação que mais comummente se utiliza para recolha sistémica de informação que permita medir o progresso dos formandos. É um processo de produção de informações sobre a aprendizagem dos formandos, em termos quantitativos e qualitativos e de verificação das mudanças de comportamento do formando nos domínios cognitivo, psicomotor e afetivo, durante a ação de formação, face aos objetivos pedagógicos previamente definidos. Pode ser aplicada em diferentes momentos da aprendizagem, possibilitando-nos obter informações de tipo diverso.

Iremos pois falar dos diferentes momentos em que poderá ocorrer e de que forma ou processos poderá ser colocada em prática.

Existem três momentos fundamentais em que se deve proceder à avaliação: 

fase inicial (Avaliação Diagnóstica);



ao longo da formação (Avaliação Formativa e Sumativa);



fase final (Avaliação Sumativa).



A Avaliação Inicial – Diagnóstica

avaliação

diagnóstica

tem

uma

importância

fundamental, na medida em que através dela é possível caracterizar os formandos quer ao nível das suas capacidade e conhecimentos, quer ao nível dos seus interesses, expectativas e motivações. Esta permite identificar os conhecimentos e aptidões que os participantes possuem antes de iniciarem novas aprendizagens. Este tipo de avaliação é mesmo indispensável se se quiser individualizar a ação e adaptá-la às características de cada um, mas é também importante para ajustar as ações à realidade do conjunto dos que irão passar pela formação. www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

A avaliação diagnóstica possibilita que o formador perceba se os participantes já dominam alguns conteúdos do programa e, nesse caso, retirá-los a fim de evitar a desmotivação e a perda de tempo. Permite ainda, a identificação do domínio dos pré-requisitos o que é, à partida, uma informação de grande relevo para o sucesso da ação.

Assim, o teste de diagnóstico deverá estar rigorosamente elaborado e de acordo com o que se pretende com este tipo de avaliação. Dito de outro modo, ele deve permitir verificar, com rigor, se determinadas aprendizagens necessárias para acompanhar a matéria estão ou não adquiridas.

É muito importante que o teste de diagnóstico incida sobre um restrito número de objetivos, à volta dos quais se devem organizar grupos de perguntas. Ele deve ter uma estrutura de malha apertada que permita fazer uma análise em profundidade. O formador não pode ter apenas uma ideia geral dos conhecimentos do participante numa determinada área. Deverá verificar, um a um, se os pré-requisitos necessários estão ou não satisfeitos, isto é, se estão adquiridos.

Assim, este tipo de avaliação permite dar resposta à seguinte questão: Como se situam os formandos, a nível cognitivo e afetivo, perante o tema (conteúdos) a desenvolver?



Avaliação Contínua – Formativa e Sumativa

Avaliação Formativa Uma

vez

iniciada

formação

acompanhamento é feito através de outro tipo de avaliação, a formativa. Esta avaliação realiza-se durante o desenvolvimento da ação de formação, e implica um feedback constante entre o formador e o formando, assim como a participação constante destes últimos.

uma

modalidade

aprendizagens,

corretivo,

que

caráter

avaliação

das

essencialmente

processa

através

realização de testes, provas e trabalhos, entre outros, pela qual é medido o desempenho do formando face aos objetivos pedagógicos previamente definidos, visando a reorientação quer do processo de aprendizagem do formando, quer do processo formativo. Esta modalidade pode ser efetuada pelo próprio formando, em regime de auto avaliação, ou pelo formador. 4

Definição retirada do site http://certifica.dgert.mtss.gov.pt/

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Avalia em que medida os formandos estão a adquirir os conhecimentos e a atingir os resultados propostos no decorrer da formação. Através deste tipo de avaliação poderemos procurar dar resposta à seguinte pergunta: Os formandos estão efetivamente a aprender?

Avaliação Sumativa A avaliação sumativa é uma modalidade de avaliação das aprendizagens, de caráter classificativo e certificativo, que se processa através da realização de testes, provas e trabalhos, entre outros, e pela qual é medido o desempenho do formando face aos objetivos pedagógicos previamente definidos, visando aferir o respetivo grau de aprendizagem.5

A avaliação contínua sumativa, ocorre no final de cada atividade formativa. Esta controla as competências adquiridas e verifica até que ponto os objetivos gerais da atividade foram atingidos. 

Avaliação Final –Sumativa

A avaliação final sumativa ocorre, tal como o nome indica, no final de todo o percurso formativo. Controla as competências adquiridas e verifica até que ponto os objetivos gerais da formação foram atingidos com vista à atribuição de uma classificação e obtenção de certificação.

Definição retirada do site http://certifica.dgert.mtss.gov.pt/

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

RELAÇÃO ENTRE AS AVALIAÇÕES: DIAGNÓSTICA, FORMATIVA E SUMATIVA

Avaliação Diagnóstica

Avaliação Formativa

Avaliação Sumativa

O que avalia:

 Realizações prévias relevantes (experiências, capacidades);  Conhecimentos e habilidades (pré-requisitos, conhecimentos pré-adquiridos);  Aptidões relevantes para escolha de alternativas de aprendizagem.

 A estrutura de cada unidade de  Em que grau de satisfação aprendizagem (programa); ocorreu a aprendizagem;  O formando no seu grau de  Se o processo de domínio dos objetivos; aprendizagem foi efetivo  O formador na sua função  Controlo das competências adquiridas. Técnico-Pedagógica;  O processo de ensino-aprendizagem;  As causas dos insucessos na aprendizagem.

O que permite (no início):

O que permite (a cada momento):

O que permite (à posteriori):

 Selecionar para a aprendizagem;  Decidir o ponto de entrada na aprendizagem (colocação);  Orientar o formando para uma aprendizagem (orientação)

 Melhorar a organização do programa;  Alterar a sequência de aprendizagem;  Prescrever alternativas de aprendizagem;  Prescrever materiais necessários ao domínio dos objetivos.

 Concluir se os objetivos gerais foram alcançados;  Verificar em que extensão o formando poderá aplicar as aprendizagens e competências adquiridas;  Concluir das mudanças necessárias;  Classificar e certificar os formandos.

Intervenientes:

 Formador;  Formandos.

 Formandos;  Formandos;  Formador;  Formador.  Gestor e/ou coordenador técnicopedagógico.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

3. Indicadores e critérios de avaliação da aprendizagem

Os indicadores e os critérios de avaliação da aprendizagem estão relacionados com a definição de objetivos operacionais. Assim, é importante refletir sobre o quadro de referência/de partida que permitirá,

numa

fase

posterior,

proceder

às

avaliações pretendidas.

Sem a construção de um quadro de referência de base (que possibilite comparar pontos de partida e de

chegada)

dificilmente

conseguem

percecionar as mais valias da formação, nos mais diversos níveis de avaliação6.

Os quadros de referência constituem-se, regra geral, por um conjunto de referentes ou seja, a cada questão de avaliação deve-se associar alguma informação que nos permita compreender se os resultados obtidos ficaram aquém, de acordo com ou além do que se estabeleceu como metas a alcançar.

Durante a construção de um referencial para avaliar as aprendizagens efetuadas importa ter presente a finalidade da avaliação a desenvolver, que pode ser hierarquizar, classificar, distinguir os formandos, contribuir para uma maior eficácia do processo de aprendizagem, procurando observar e analisar os processos individuais de aprendizagem.

É fundamental responder-se à seguinte questão:

Para efetuar determinados juízos de valor como determinar se o resultado obtido ficou aquém ou além do esperado?

Assim, o avaliador terá que definir “marcos” que vão permitir dizer se o resultado (intermédio ou final) obtido é ou não aceitável. É esta a preocupação de fundo quando se sugere que um objetivo a alcançar com a formação seja descrito de uma forma operacional.

Guia metodológico para a Avaliação da Formação, 2006, IQF www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Os indicadores são elementos observáveis e mensuráveis que sinalizam o grau de cumprimento do critério de avaliação.

Os critérios são fundamentais dentro do processo de avaliação de competências ou dimensões de avaliação e são, possivelmente, os mais complexos de todos porque garantem a consistência da avaliação.

Exemplos de critérios e indicadores nas dimensões de avaliação do nível 1 de Kirkpatrick 7:

Dimensões de avaliação

Critérios de avaliação

1. Clareza na apresentação.

Exemplos de indicadores de desempenho a associar a cada um dos critérios de avaliação Estabelece-se que para o CURSO X será desejável os formadores alcançarem o nível 4 (MUITO BOM) nos critérios 2 e 5.

2. Domínio técnico das matérias. 3. Adequação dos métodos pedagógicos utilizados. O desempenho dos formadores

4.Eficácia na motivação dos formandos para a participação nas atividades pedagógicas sugeridas.

Relativamente aos restantes critérios será desejável o cumprimento do nível 3 (BOM).

5. Eficácia na resolução de problemas colocados por parte dos formandos. 6.Diversidade na aplicação/exploração dos materiais pedagógicos. 1. Adequação dos materiais às características dos formandos. A documentação de apoio à aprendizagem

2. Equilíbrio entre teoria e prática.

A produção da documentação de apoio dirigida ao formando deverá contemplar as regras prédefinidas no manual de qualidade da formação.

3. A adequação dos exemplos utilizados.

Guia metodológico para a Avaliação da Formação, IQF, 2006

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

4. Técnicas e Instrumentos de Avaliação

4.1 Características 4.1.1.Fiabilidade A fidelidade ou confiabilidade de um instrumento de avaliação traduz em que medida um instrumento, quando utilizado com os mesmos indivíduos em condições idênticas, fornece resultados idênticos.

É um critério necessário mas não suficiente na escolha de medidas a utilizar nos instrumentos de avaliação, ou seja, um instrumento de avaliação pode ser totalmente fiável mas não válido. O contrário já não é verdade. Na realidade, de nada adianta ter um instrumento fiável, se o mesmo não mede o que é suposto medir (validade).

O conceito de fidelidade ou confiabilidade é um indicador da estabilidade e consistência dos resultados de um determinado instrumento. O teste de fidelidade de um instrumento de avaliação pode resultar nas seguintes situações8: 

Os resultados da aplicação de um instrumento de avaliação não são consistentes se for aplicado o mesmo instrumento em momentos diferentes ao mesmo grupo de formandos e se os resultados obtidos são diferentes.



Os resultados da aplicação de um instrumento de avaliação são estáveis se o mesmo instrumento for aplicado aos participantes de uma formação algum tempo após a sua realização e o nível de competência se mantiver equivalente ao nível de saída da formação.

A fidelidade é importante, por exemplo, em contextos em que se pretende a renovação de determinada certificação profissional, que pressupõe renovar a certificação anteriormente obtida. Causas para existência de erros referentes à verificação da fidelidade: 

mudanças nas respostas dos respondentes;



variações nas condições em que os instrumentos de avaliação são aplicados;



diferenças nas interpretações efetuadas sobre os resultados de um mesmo instrumento de avaliação;

De acordo com o Guia Metodológico para a Avaliação da Formação, IQF, 2006

www.nova-etapa.pt

Formação Pedagógica de Formadores



Manual: Avaliação Quantitativa e Qualitativa

a dimensão dos instrumentos de avaliação. A recolha de mais dados permite, em regra, verificar uma maior consistência e estabilidade do instrumento de avaliação (ex: permite o recurso a perguntas de controlo).

4.1.2 Validade

A validade de um instrumento pode ser definida como a respetiva capacidade para medir o objeto. A reflexão sobre a validade de um instrumento envolve, de acordo com o Guia Metodológico para a Avaliação da Formação do IQF, duas vertentes de análise: - de natureza conceptual - refere-se ao julgamento, por parte do investigador, sobre se o instrumento mede o que deveria medir. Se se quiser medir a satisfação dos formandos terá que se garantir que o instrumento de recolha de dados avalia este conceito e não outro, através da identificação na literatura de especialidade da definição correta do termo e das suas formas de medição. A validade de um teste depende da teoria que o fundamenta e do contexto sócio-histórico de referência. - de natureza operacional- envolve uma avaliação sistemática do instrumento, comparando-o com um critério externo já existente, considerado como padrão de referência, geralmente utilizando-se métodos estatísticos. Surge relacionada com a noção de utilidade dos resultados que decorrem da aplicação de um instrumento de avaliação.

A RETER A verificação da validade não se refere ao instrumento em si mesmo mas centra-se antes na análise do conteúdo do próprio instrumento e na produção dos seus resultados quando aplicado.

Três aspetos de validade podem ser avaliados operacionalmente9: 

A validade de conteúdo

Trata-se de analisar o instrumento de modo a verificar como cobre os diferentes aspetos do que se pretende avaliar. Esta análise prévia permite evitar que: • se avaliem aspetos não relacionados com a dimensão/componente em análise; • os itens de avaliação nada tenham que ver com os objetivos de aprendizagem preconizados; • se valorizem, na avaliação, aspetos não valorizados aquando da execução da formação;

Guia Metodológico para a Avaliação da Formação, IQF, 2006

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

No contexto da avaliação da formação, uma preocupação frequente em relação à validade de conteúdo consiste em garantir, por exemplo, que um inquérito de nível 3 (no modelo de Kirkpatrick) consegue medir de facto as alterações nos comportamentos causadas, ou fortemente influenciadas, pela formação.

 A validade de constructo (ou de construção) Refere-se à demonstração de que o instrumento realmente mede aquilo que ele se propõe medir, análise que se poderá realizar através de: (1) recurso a especialistas nos assuntos a avaliar; (2) análise de correlações entre variáveis – consiste na comparação dos resultados obtidos pela aplicação deste e de um outro instrumento de avaliação. Correlações positivas podem indiciar validade de constructo; (3) recurso a deduções lógicas – mais subjetivo e pressupõe a aplicação de deduções lógicas para concluir que o instrumento é o mais indicado; (4) recurso a grupos com características diferenciadas – aplicação do instrumento a um grupo de indivíduos que, ou dominam bastante bem os saberes em questão, ou apresentam uma ausência significativa de conhecimentos sobre estes. Se os resultados da avaliação coincidem com o pressuposto inicial sobre o grau de domínio dos saberes testados, então pode inferir-se da validade de constructo do instrumento de avaliação.

 A validade de critério Permite verificar em que medida existe correlação entre os resultados de um instrumento de avaliação e os resultados de outros instrumentos aplicados na mesma altura com vista a avaliar o mesmo conteúdo e ainda em que medida existe correlação entre resultados de um instrumento de avaliação e o grau de domínio do mesmo tipo de saber quando aplicado na prática.

A RETER A validade e fidelidade dos dados de um processo de avaliação podem ser melhoradas se se: 

Usar mais do que um instrumento de avaliação.



Repetir, sempre que possível, a avaliação efetuada (aplicação de teste-reteste) tornando mais consistentes os resultados da avaliação e permitindo aferir a durabilidade dos efeitos da formação ao longo do tempo.



Efetuar análises qualitativas sempre que possível uma vez que a informação de natureza qualitativa pode ajudar a confirmar ou infirmar dados recolhidos através de abordagens de cariz mais quantitativo.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

4.1.3 Objetividade A objetividade de um instrumento é dependente do grau de estandardização do mesmo. A estandardização é uma qualidade estatística que expressa a uniformidade de conteúdo, de aplicação e interpretação de um instrumento de avaliação. A estandardização depende uma série de fatores, como por exemplo: - a uniformidade dos estímulos utilizados (a mesma tarefa para todos os participantes); - a uniformidade de informações, linguagem e prazos de execução dados aos formandos em relação às tarefas a executar; - a uniformidade de cotação das respostas; - a uniformidade de interpretação dos resultados em função de critérios bem definidos;

4.2 Técnicas e instrumentos de avaliação – classificação e regras de conceção Vamos então ver de que forma podemos fazer a avaliação das aprendizagens dos formandos. A avaliação das aprendizagens efetuadas pelos participantes ao longo da formação corresponde ao nível 2 do modelo de Kirkpatrick.

As técnicas de avaliação devem usar-se de acordo com o momento e o que pretendemos avaliar. Na ótica da formação profissional, a avaliação é realizada através de três técnicas:  Observação;  Formulação de perguntas;  Medição.

4.2.1

Observação

Esta é certamente a técnica mais utilizada na formação profissional, embora nem sempre a mais fácil de realizar. Consiste numa constante observação aos formandos, ao nível dos seus comportamentos, reações, aptidões, interesses, eficácia na realização das tarefas, dificuldades encontradas, erros cometidos etc.

Através da observação podemos recolher dados em todos os domínios do saber, como sejam:

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

DOMÍNIOS DO SABER

DADOS                       

Cognitivo (saber-saber)

Psicomotor (saber-fazer)

Afetivo (saber-ser/estar)

Conhecimento Compreensão Aplicação dos conhecimentos Capacidade de memorização Capacidade de análise Capacidade de síntese Capacidade criativa Outros Capacidade motora Habilidade manual Destreza física Rapidez de execução Resistência à fadiga Outros Motivação Interesse Iniciativa Participação Empenhamento Relacionamento social Organização Liderança Outros

Regras para a observação De forma a tirar o máximo proveito da observação, esta deve ser utilizada como técnica e não de improviso. Vejamos então algumas das principais regras a seguir para uma observação eficaz: 

Inventariar previamente todos os itens que pretendemos observar, de acordo com os objetivos que pretendemos atingir, inscritos em instrumentos de avaliação;



Observar discretamente, sem que o formando se aperceba que está a ser observado e avaliado;



Criar um clima de descontração no grupo, permitindo que cada elemento aja livre de constrangimento e inibições;



Procurar ter em conta a natureza individual de cada formando, não valorizando os mais participativos, ou prejudicando os mais reservados;

Vantagens e Desvantagens da Observação Vantagens

Desvantagens

 Permite colher dados no

 Constitui uma tarefa exigente para o formador que tem

momento em que estão a

frequentemente que desdobrar-se em

acontecer, sendo portanto

pedagógicas, didáticas, psicopedagógicas e até por vezes de

reais e fidedignos

gestão.

www.nova-etapa.pt

múltiplas

funções:

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Instrumentos Instrumentos que pode utilizar para proceder à observação 10: 

Grelhas de Observação;



Listas de Ocorrências;



Escalas de Classificação.

4.2.1.1 Grelha de observação Nela registam-se os factos com interesse para a avaliação. Utilizam-se para visitas de estudo, sessões teóricas, práticas, etc. Cada avaliador concebe a sua própria grelha. Exemplo:

FICHA DE OBSERVAÇÃO Atividade:______________________________________________________________ ___ Data: _____/_____/_____ Aspetos Observados

Comentários

4.2.1.2 Lista de ocorrências Elaboradas previamente, estas indicam os comportamentos que se esperam que venham a ocorrer, com uma sequência prevista, tornando a observação mais fácil de registar e mais objetiva. Exemplo: COMPORTAMENTO FORMANDO A

ATENTO

PARTICIPA

COMPREENDE

APLICA

EXECUTA

RELACIONA-SE

CONHECIMENTOS

TAREFA

COM O GRUPO

B C Pode assinalar com um sinal sempre que os comportamentos se evidenciem, ou pode optar por uma escala de valores: 4 - Excelente; 3 - Bom; 2 - Suficiente; 1- Insuficiente

Adaptado de ªTIRA-PICOS e J. SAMPAIO (1994), A Avaliação na Formação Profissional – Técnicas e Instrumentos, Lisboa, Edições

IEFP, coleção Formar Pedagogicamente,

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

4.2.1.3 Escala de classificação Permitem registar e atribuir um determinado grau, numa escala progressiva. Exemplo: Preparação de uma apresentação O formando demonstrou:

Nenhuma

4.2.2

Pouca

Regular

Boa

Muito Boa Preparação

Formulação de Perguntas

As perguntas ou questões podem ser colocadas aos formandos por duas formas: -

Oralmente, designada por AVALIAÇÃO ORAL;

Por escrito, ou AVALIAÇÃO ESCRITA.

Em qualquer dos casos, destinam-se a avaliar dados sobretudo cognitivos, e por vezes afetivos.

4.2.2.1 Avaliação Oral É uma forma muito eficaz de avaliação sobretudo quando se trata de avaliar apenas um formando de cada vez. Permite, em tempo real, conhecer com clareza os conhecimentos que o formando possui, e em caso de dúvidas há a possibilidade de as esclarecer prontamente.

Regras para proceder à avaliação oral  Elaborar previamente a lista de perguntas a fazer aos formandos;  Fazer perguntas claras e o mais curtas possível, utilizando uma linguagem adaptada aos formandos;  Reformular as perguntas sempre que necessário;  No caso da avaliação formativa, dirigir as perguntas para o grupo e não diretamente a um formando. Só depois de um período de reflexão do grupo, se deverá dirigir expressamente a um formando;  Procurar obter respostas de um maior número possível de formandos e não apenas dos mais participativos.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Vantagens e Desvantagens da Avaliação Oral Vantagens

Desvantagens

 Permite o diálogo direto formador-formando  Muito tempo despendido para avaliar todos os elementos e o treino da expressão oral. Para além

disso, possibilita ainda a avaliação da

separadamente;

grupo,

dado

que

feita

individual

comunicação não-verbal.

 Dificuldade em aplicar perguntas iguais a todos os formandos, o que origina um tratamento desigual e uma avaliação pouco rigorosa Sujeita a fatores como a sorte e a subjetividade;

 Coloca

vantagem

formandos

com

maior

capacidade de expressão oral e os mais desinibidos.

4.2.2.2 Avaliação Escrita Consiste em apresentar ao formando documentos escritos, aos quais ele terá de responder também por escrito. Permite colher informação sobretudo dos domínios afetivo e cognitivo, revestindo para o primeiro domínio a forma de inquérito (cuja conceção requer o conhecimento de técnicas específicas) e para o segundo domínio a forma de testes.

Vantagens e Desvantagens da Avaliação Escrita

Vantagens

Desvantagens

 Economia de tempo

 Exige uma conceção cuidada e por

 Possibilidade de aplicação simultânea a grandes grupos;  Tratamento igual de todos os formandos (perguntas iguais);  Um vez em posse da resposta, o formador pode estudá-la, compará-la e refletir sobre ela, quer individualmente, quer em colaboração com o(s) formando(s).

www.nova-etapa.pt

conseguinte morosa e dá vantagem aos formandos

que

têm

facilidade

interpretação e expressão escrita

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Ao nível da formação profissional, encontramos dois níveis de avaliação escrita: 

Inquéritos



Testes

Os inquéritos são instrumentos que permitem colocar questões escritas, de forma sistemática, com o objetivo de colher dados sobretudo do domínio afetivo. Os testes, numa perspetiva pedagógica, destinam-se a colher dados sobretudo no domínio cognitivo. São geralmente estandardizados e previamente experimentados. Dependendo do modo como são redigidas as perguntas os testes englobam-se em 2 grandes categorias: -

Testes de produção ou resposta aberta – que se subdividem em testes de produção curta e testes de produção longa;

Testes de seleção ou resposta fechada – neste tipo de testes são fornecidos ao formando as perguntas e as respostas, devendo ele selecionar a correta entre as várias hipóteses apresentadas. Neles se englobam os testes designados verdadeiro/falso ou dupla seleção, de completar ou de preenchimento, de emparelhamento ou correspondência e, finalmente os testes de escolha múltipla, também conhecidos por testes americanos.

Instrumentos para Avaliação escrita Os instrumentos utilizados para a avaliação escrita são os seguintes:

RESPOSTA FECHADA OU DE SELEÇÃO: 

Questões Verdadeiro/Falso



Questões de completar



Emparelhamento



Questões de escolha múltipla

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Vejamos com mais pormenor alguns exemplos e as regras para conceção de cada um deles:



Testes de resposta/produção curta

Consiste em apresentar as questões ao formando pedindo-lhe que forneça as respostas de forma sucinta, por exemplo, numa palavra, numa frase, em 3 linhas, etc.

Exemplo: Instruções: Responda às seguintes solicitações de forma sucinta, no máximo de 2 linhas.

1. Enumere as técnicas de avaliação utilizadas na formação profissional. 2. Mencione uma vantagem da avaliação pela observação. 3. Refira dois instrumentos de avaliação utilizados na técnica da observação.

Eis algumas regras para conceber testes de produção curta: 

O texto deve ser claro e o mais curto possível;



Deve indicar a quantidade de respostas que se pretendem, ou a extensão das mesmas;



Testes de resposta/produção longa

Neste tipo de teste apresentam-se as questões ao formando, permitindo que ele responda de forma a dar largas à sua imaginação e criatividade. É esta característica que lhes confere vantagem sobre outros tipos de testes escritos, sendo os instrumentos ideais para avaliar matérias complexas e processos mentais superiores, como o espírito crítico, a capacidade de julgar, a criatividade, etc. Exemplo:

Instruções: Responda às seguintes questões, não excedendo duas páginas por resposta.

1- Inventarie as principais causas da subjetividade na avaliação e aponte soluções para a ultrapassar. 2- Relativamente às diferentes técnicas de avaliação, refira os seguintes aspetos: 2.1- Áreas do saber onde podem ser utilizadas. 2.2- Principais vantagens. 2.3- Maiores inconvenientes.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Eis algumas das regras para conceber testes de produção longa: 

O texto deve ser o mais claro e curto possível;



Limitar o âmbito da questão (forma, quantidade, etc.)



Indicar claramente o que se pretende



Sempre que possível, subdividir a pergunta em frações coerentes tornando as perguntas menos longas. (por exemplo, em vez de: “Descreva o processo de produção de frio num frigorífico”, deve subdividir-se em três questões de âmbito mais restrito: “Descreva os fenómenos físicos que se passam no evaporador do frigorífico”, “ Mencione o papel do tubo capitar na refrigeração”, “Refira-se à função do compressor” e, finalmente, “Explique para que serve o condensador”



Questões Verdadeiro/Falso

Consiste em formular afirmações que o formando deverá indicar como verdadeiras ou falsas. Exemplo:

Instruções: Assinale com um X no quadrado correspondente, conforme considere as afirmações verdadeiras (V) ou falsas (F). V 1. O ano bissexto ocorre de três em três anos. 2. O ano comum tem 366 dias. 3. No hemisfério sul, a estação do ano mais quente é o inverno. 4. Portugal está situado no hemisfério norte.

Vejamos, então, algumas das regras para conceção deste tipo de testes de seleção:



O texto deve ser:

 Claro e o mais curto possível;  Ser afirmativo;  Conter apenas uma ideia, totalmente falsa ou totalmente verdadeira.

www.nova-etapa.pt

Formação Pedagógica de Formadores



Manual: Avaliação Quantitativa e Qualitativa

As instruções devem indicar claramente a forma de proceder para que o formando indique a sua opção.

DESAFIO: Através do exemplo que fornecemos, refira qual a regra que não foi cumprida em cada uma das questões: 1. Portugal não é o país mais ocidental do continente Regra não cumprida __________________________ 2. Lisboa tem cerca de 1 milhão de habitantes e o Porto cerca de 3 milhões. Regra não cumprida_________________________________ 3. É fácil e agradável ensinar crianças pois têm gosto pela aprendizagem, e também é fácil devido à sua fraca capacidade de concentração. Regra não cumprida_________________________________



Questões de Completar

Consistem em apresentar ao formando frases incompletas, solicitando-lhe que as complete para que tenham sentido.

Exemplo 1 Instruções: Complete as afirmações seguintes escrevendo a palavra adequada nos espaços em branco:

Um jogo de futebol joga-se com _________ jogadores por equipa.

Cada jogo tem a duração de ________ minutos, dividido em ________ partes.

Sempre que necessário o jogo prolonga-se por mais _________ minutos, período esse que se designa por __________.

O campeonato português da 1ª. Divisão de futebol chama-se ________ Liga.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Exemplo 2: Instruções: Complete as afirmações seguintes, escrevendo a palavra adequada contida na pilha de palavras, nos espaços em branco

1. Este módulo destina-se a dar um contributo para a formação _____________ de formadores, permitindo-lhes no futuro diminuírem _____________ da avaliação dos seus formandos. 2. Portugal é o país mais ocidental do continente _____________ e tem_____________ milhões de habitantes. 3. Os testes de completar também são conhecidos por testes _____________ ou de _____________

Vejamos algumas das regras indispensáveis à elaboração adequada de questões de completar:



O texto deve ser claro e o mais curto possível;



A frase deve ter sentido lógico, apesar dos elementos omitidos (não deve ser um conjunto de palavras sem nexo);



Os elementos omitidos devem ser homogéneos em extensão, tanto quanto possível;



Só se devem omitir elementos importantes (pontos-chave);



Não se devem fornecer pistas gramaticais, como os artigos, a, o, as, os, etc.



Os elementos omitidos devem colocar-se no meio ou parte final da frase (nunca omitir a primeira palavra da frase);



Só deve ser possível uma única resposta, para evitar a ambiguidade.

DESAFIO: Identifique os erros de conceção cometidos no exemplo do teste de completar que a seguir se apresenta:

1. Este _______ destina-se a dar um _____________ para a formação pedagógica de formadores que procurarão _____________ dos seus formandos. 2. _________________ é o país mais ____________ do ______________ e tem 10 milhões de habitantes.

www.nova-etapa.pt

Formação Pedagógica de Formadores



Manual: Avaliação Quantitativa e Qualitativa

Emparelhamento

Trata-se de fornecer ao formando dois grupos (série, colunas) de elementos afins, pedindo-lhe para os emparelhar, fazer compreender, associar ou ligar entre si, atendendo à sua afinidade. Por esta razão são conhecidos por testes de correspondência, associação, etc. Embora menos frequentes, também podem conceber-se três grupos ou mais de séries afins. Os grupos podem ser constituídos só por frases, por frases e símbolos, ou apenas por símbolos. Este tipo de teste é sobretudo utilizado para recolher dados no domínio cognitivo.

Regras para conceção dos testes de emparelhamento: 

As instruções devem ser claras e precisas, indicando expressamente a forma de proceder ao emparelhamento, nomeadamente se a um elemento corresponde um único elemento ou vários elementos.



Para evitar o acerto ao acaso, uma das listas deve conter mais um ou dois elementos do que a outra, (em regra mais 50% dos elementos), os quais não deverão ser corretos.



Os elementos a fazer corresponder devem ser afins e homogéneos e conter apenas uma ideia, totalmente a optar ou a rejeitar.

Exemplo 1

Instruções: Associe os setores de atividade económica (coluna A), com as profissões que lhe correspondem (coluna B), ligando-os através de uma linha, tendo em consideração que a cada elemento da coluna A pode corresponder um ou mais elementos da coluna B. Coluna A

Coluna B

- setor primário

- Médico - Agricultor - Jornalista -Torneiro mecânico - Pastor - Soldador

- setor secundário

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Exemplo 2 (dois grupos a emparelhar, um com símbolos, outro com frases)

Instruções: Na coluna A, monumentos simbólicos de determinados nacionalidades. Na coluna B, nomes de países. Através de uma linha faça corresponder o monumento (A) ao país a que pertence (B).

COLUNA A

COLUNA B

1. Itália 1. 2. China 3. Brasil 4. Estados Unidos da América 5. México 6. Egito

7. França 8. Japão

www.nova-etapa.pt

Formação Pedagógica de Formadores



Manual: Avaliação Quantitativa e Qualitativa

Teste de questões de escolha múltipla

Consiste em apresentar uma questão ao formando, fornecendo-lhe ao mesmo tempo várias respostas, entre as quais terá de selecionar a(s) correta(s).

Vejamos a estrutura básica de um teste de escolha múltipla.

TRONCO

LISTA DE ESCOLHAS

Contém a questão ou enunciado

Lista que contém a(s) resposta(s)

do problema e as instruções de

certa(s) e os distratores que são o

preenchimento do teste, onde se

conjunto das respostas erradas.

esclarece sobre o que deve ser feito e como. As instruções devem situar-se

antes

depois

questão.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Existem diversos tipos de Testes de Escolha Múltipla, nomeadamente de complemento simples e complementos agrupados. Vejamos um exemplo de cada:

Complemento simples

No fundo, trata-se de uma questão para completar em que são fornecidas ao formando as respostas possíveis de entre as quais terá de selecionar a(s) correta(s).

Exemplo 1 (apenas uma resposta certa):

Exemplo 2 (apenas uma resposta certa, enunciado na forma negativa):

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Complementos agrupados Consiste em agrupar as respostas quando existe mais do que uma resposta correta ou falsa.

Neste tipo de testes, tal como em todos os testes de seleção ou resposta fechada, existe a possibilidade de acerto ao acaso, pelo que é admissível que se considerem descontos na pontuação obtida, proporcionais às respostas erradas.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Vejamos algumas das regras indispensáveis à elaboração adequada de testes de escolha múltipla: 

Redigir as questões com clareza e sem palavras desnecessárias.



Introduzir no tronco todos os elementos, para que não haja necessidade de os repetir na lista de escolhas.



As instruções devem ser claras e objetivas, indicando se há apenas uma resposta certa (ou errada), várias certas (ou erradas), forma de assinalar, etc.



Os distratores e a resposta certa deverão ser homogéneos em extensão, lógicos e coerentes.



A resposta certa deve aparecer na lista de escolhas numa ordem aleatória, em todas as posições, evitando a tendência de a colocar sempre no meio.



Conceber sempre que possível, cinco alternativas para reduzir a probabilidade de acerto ao acaso.



No caso de estar prevista a possibilidade de desconto em caso de resposta errada, esta deve estar indicada nas instruções.

4.2.3 Medição

Esta técnica consiste em medir determinadas performances de execução do formando. É indispensável para a avaliação de tarefas de execução prática.

Assim, destina-se a colher dados no domínio psicomotor, como sejam: tempo de execução; quantidade de trabalho produzido e respeito pelas médias pré-determinadas, tolerâncias máximas, etc.. Na formação profissional classificam-se habitualmente os trabalhos práticos através de notas quantitativas, geralmente numa escala de 1 a 20. Contudo, a medição pode ser quantitativa por classificação analítica, ou qualitativa por classificação (ver exemplos seguintes).

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

4.2.3.1 Exemplo de um instrumento de medição quantitativo: FICHA DE AVALIAÇÃO Base de Classificação 200/10 Curso: Iniciação ao Word Nome: Fernanda Mendes ............................................................................................................ Tarefa/Exercício Nº _ Execução

Tempo Bases

Notas

Parciais

Classif.

Obtidas

Minutos

Posição em relação ao monitor e teclado

Ligação do computador

Abertura da Janela do Word

Abertura de um novo documento

Utilização correta dos comandos

Formatação de espaçamentos e avanços de

Formatação do tipo de letra

Erros ortográficos

Impressão de documentos

Organização de pastas

Organização no posto de trabalho

Segurança e Higiene

Relacionamento

Gesto profissional

200

128

Diversos

Depois da Execução

Durante a Execução

Pormenores a classificar

Data

Nº

parágrafo

Apresentação / Acabamento Notação Total

Temp o

Nota Bruta sobre 20

Tempo Gasto (t)

9 m

Tempo Concedido(T)

10 m

Se t > T – Penalização

t–T=B

Se t < T – Bonificação

T–t=P Nota Final

Observações:

Data

www.nova-etapa.pt

Visto do Formador

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

4.2.3.2 Exemplo de um instrumento de medição qualitativo.

Legenda da ficha B: B – BOM – Esquematiza e executa bem, com destreza e fazendo aplicação dos conhecimentos tecnológicos e das normas de segurança, obedecendo aos padrões de acabamento pré-estabelecidos M – MÉDIO – Esquematiza e executa bem, aplicando os conhecimentos e as normas, embora cometendo alguns erros que não põem em causa a qualidade do trabalho. I – INSUFICIENTE – Demonstra dificuldade em determinar o método de execução. Comete alguns erros em fases importantes do trabalho e carece de um acompanhamento permanente do formador

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

A RETER

RESUMO – ESQUEMA DE TÉCNICAS DE AVALIAÇÃO

Avaliação quando ao momento:

Avaliação quando ao Processo:

 Diagnóstica;

 Observação;

 Formativa  Somativa

Pode ser realizada através de:

 Grelhas de observação  Listas de ocorrências  Escalas de Classificação

Avaliação Oral

Perguntas Orais

 Formulação de Perguntas  Medição

Avaliação Escrita Quantitativa Qualitativa

Testes de Produção ou Resposta Aberta

Teste de produção curta Teste de produção longa

Resposta sucinta Resposta de desenvolvimento

Testes de Produção ou Resposta Fechada  Questões de V/F  Questões de completar  Questões de Emparelhamento  Questões de escolha múltipla

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

4.3 Critérios de seleção dos instrumentos de avaliação A avaliação da formação é um processo amplo e complexo que pressupõe a necessidade de recolher informação em diferentes momentos e a diferentes níveis tendo em vista a melhoria do processo de formação e dos seus resultados. Para implementar com sucesso um processo de avaliação é fundamental estabelecer os critérios de escolha dos instrumentos de avaliação e as condições necessárias à sua utilização. Alguns critérios de escolha dos instrumentos de avaliação 1. Correspondência com os objetivos estabelecidos Em que medida correspondem aos objetivos enunciados? 2. Custos (elaboração; aplicação; tratamento da informação) Qual o tempo e quais os recursos a investir na recolha e no tratamento das respostas? 3. Adesão dos intervenientes Quais as facilidades, dificuldades e utilidades, que o instrumento apresenta para o interveniente a quem deve ser aplicado? 4. Integração no processo de formação Como é que é apresentado, quando e quanto tempo lhe é dedicado? Qual a utilização prevista para os resultados? 5. Utilidade das informações recolhidas Em que medida são exploradas as informações pelos intervenientes no processo de avaliação (formador, coordenador, chefias)? 6. Adesão de quem tem que aplicar o instrumento (formador, responsáveis operacionais). Quais as precauções tomadas para que o utilizador do instrumento de avaliação esteja ao corrente dos seus objetivos, da forma a aplicá-lo corretamente?

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

5. Subjetividade na avaliação Das funções a desempenhar pelo formador a avaliação é, sem dúvida, uma das mais complexas, pela subjetividade que está implícita no ato de avaliar os outros. No entanto, é preciso não ignorar que a eficácia de toda a ação está subordinada ao controlo do modo como se desenvolve e à avaliação dos seus resultados. Iremos abordar algumas das principais causas da subjetividade presentes no momento da avaliação:



A informação prévia;



O efeito de “halo”



O efeito da estereotipia;



Ausência de critérios comuns;



A classificação das provas umas em relação às outras;



O efeito da ordem de correção;



A infidelidade do mesmo avaliador.

Informação Prévia Geralmente o conhecimento da informação prévia tende a influenciar o avaliador, podendo influenciar o juízo, ideia e opinião, e deste modo criar um preconceito tendo repercussões sobre a classificação do formando. Ex. O formador recebe informações sobre um formando antes de iniciar a sessão. Essa informação prévia condicionará a relação estabelecida entre formador e formando, bem como a forma como este será avaliado. “Efeito de Halo”

Diz respeito à impressão produzida por uma pessoa ao ser avaliada ao nível da sua aparência física externa (agradável/desagradável) que pode condicionar a avaliação no sentido da impressão produzida. Ex. Um Formando de aparência física atraente tende a ser percebido como simpático, inteligente, empreendedor; enquanto um formando de aparência física sem atrativos tende a ser percebido como antipático, de raciocínio lento e preguiçoso.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Gráfico – Atração física e efeito de halo A figura mostra avaliações de ensaios, escritos por mulheres cujas fotografias vinham anexas e que podiam ser atraentes ou relativamente pouco atraentes. (Dados de Landy e Sigall, 1974, in Gleitman, 1991).

Efeito de Estereotipia Tem a ver com a imutabilidade de quem avalia. Refere-se aos enviesamentos que podem ser introduzidos na avaliação, produzidos por ideias e/ou juízos de valor sobre os indivíduos sujeitos à avaliação.

A formação de estereótipos é um processo normal e inconsciente. Todos nós tendemos a imaginar uma bibliotecária como uma senhora de alguma idade, cabelo apanhado e óculos na ponta do nariz, enquanto um segurança de discoteca imaginamos como sendo jovem, musculado e pouco dado à inteligência. Estas estereotipias podem afetar as nossas expectativas e o modo como comunicamos com as pessoas.

Ex. Um formador que avalia um formando que tem um brinco no nariz de modo menos abonatório, com base no seu estereotipo. Ausência de Critérios Comuns A maior parte dos enviesamentos e da subjetividade presente na avaliação têm como causa a ausência de critérios comuns aos diferentes avaliadores. Com objetivos definidos operacionalmente e partilhados pelos diferentes avaliadores evita-se a utilização de um critério pessoal, necessariamente diferente dos outros avaliadores.

Classificação das Provas umas em Relação às Outras www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Refere-se à classificação de cada prova de um modo geral, mas tendo sempre por referência o valor médio das outras provas que servem de padrão para a comparação e para a atribuição de notas. Resulta em distorções (acréscimos ou decréscimos) na avaliação conforme as alterações que se verificam nos grupos de provas que servem de comparação. Ex. Um formador após corrigir 5 provas excelentes depara-se com uma prova que apenas está boa, levando-o a avaliar a sexta abaixo do resultado que ela realmente tem. Efeito da Ordem de Correção Compreende dois tipos de efeitos: - Efeito de contraste: suceder na ordem de correção de uma prova “brilhante” revela-se em princípio desfavorável, uma vez que o avaliador está de certa forma influenciado pelas características da prova anterior. Pelo contrário, suceder a uma prova mais “fraca”, pode ser vantajoso pela atribuição de valor mais alto. - Efeito de âncora: um conjunto de provas podem ser sobrestimadas ou subestimadas pela proximidade de uma (ou várias) prova(s) considerada(s) boa(s), ou pelo contrário, fraca(s). A estas provas atribui-se a designação de “âncora(s)” uma vez que servem de ponto de referência para avaliações subsequentes. Infidelidade do mesmo Avaliador Resulta da discordância ou infidelidade do mesmo avaliador na atribuição de notas às mesmas provas, mas em momentos diferentes. A razão principal é a ausência de critérios rigorosos na correção da prova, ou ainda, alterações de comportamento do avaliador, estado físico, mental, etc. Ex. Corrigir uma prova após uma discussão com o patrão ou após um jogo de futebol em que a nossa equipa venceu, são dois momentos que podem gerar que uma mesma prova tenha duas notas distintas. Quanto maior for o intervalo de tempo entre a correção, maior é o grau de discordância introduzida na classificação atribuída.

O avaliador transporta para a construção do dispositivo de avaliação as respetivas perceções sobre o que, para determinado contexto, se deve considerar “aceitável” ou “inaceitável”. Destacam-se de seguida algumas das estratégias usadas para reduzir a subjetividade nos sistemas de avaliação11: 

recurso a sistemas de validação de dispositivos de avaliação, focalizados na análise de dimensões, critérios e indicadores a usar sobre determinada realidade social;



recurso a mais do que um indicador de “medida” para avaliar a concretização de determinado critério de avaliação;



verificação da validade e fidelidade de instrumentos de avaliação a aplicar;



recurso à triangulação (de dados, de olhares avaliativos – objeto de avaliação avaliado por pessoas diferentes, de paradigmas teóricos diferentes, por métodos e técnicas diferentes, etc.)



validação de resultados produzidos por processos de avaliação (ver processo 10);



repetição das observações e clara explicitação dos termos utilizados.

6. Escalas de classificação 11

Guia metodológico para a Avaliação da Formação, IQF, 2006

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

As escalas de classificação integram um conjunto de características ou qualidades, distribuídas por níveis, que se pretendem avaliar. As escalas não devem ter muitos níveis com vista a facilitar o seu preenchimento em situação de formação. Estes instrumentos são particularmente indicados para registar a qualidade ou a extensão de um comportamento.

1. Escala de classificação numérica - exemplo Exposição de um trabalho 1 2 1- excecional; 2- acima da média; 3- média; 4- abaixo da média; 5- insuficiente

2. Escala de classificação gráfica - exemplo

Nunca

raras vezes

frequentemente

sempre

3. Escala de classificação gráfica descritiva – exemplo Nome: .................................................................................. Data:................. Acção:....................................................... Instruções:……………………………………. Coloque uma cruz ao longo da linha horizontal por baixo de cada item. No espaço para os comentários inclua elementos que clarifiquem as suas opções.

1. Colaboração com os colegas

Nunca colabora com os colegas

Por vezes colabora e ajuda os colegas

Colabora com os colegas ajudandoos a resolver as dificuldades

Comentário: ..............................................................

Dos vários tipos de escalas, numéricas, gráficas e gráficas descritivas estas últimas são as mais indicadas na formação porque os vários níveis aparecem explicitados por frases claras e concisas permitindo o esclarecimento de certas opções do observador no espaço reservado aos comentários. Poderá utilizar-se o www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

registo de incidentes críticos na descrição dos comportamentos ultrapassando-se, deste modo, muitas das dificuldades que essa tarefa encerra.

Devido à dificuldade em definir um critério absoluto ao nível das atitudes ou das interações, o que é possível e até frequente no domínio dos conhecimentos, as escalas destinam-se normalmente a comparar alunos em relação à mesma característica (referência normativa). Por exemplo, muitas vezes é difícil saber se um aluno se relaciona bem com os colegas sem compararmos os seus comportamentos com os dos seus pares.

Sugestões para a construção de escalas de classificação descritiva:

1. Definir os objetivos essenciais. 2. Selecionar os comportamentos a avaliar de acordo com os objetivos previamente definidos. 3. Definir, de forma operacional e clara, o enunciado e as descrições da escala. 4. Referir nas descrições apenas uma dimensão (optar por avaliar ou a frequência de um comportamento ou a qualidade do mesmo). 5. Construir a escala com um mínimo de 3 pontos e um máximo de 7. 6. Admitir a possibilidade de omitir a avaliação quando não forem recolhidos elementos suficientes. 7. Realizar, sempre que possível, a construção em equipa, uma vez que esta forma de trabalhar reduz a subjetividade e ambiguidade dos itens.

Vantagens das escalas de classificação descritivas: - avaliação menos subjetiva sobretudo quando se utilizam as escalas descritivas, - intervenção de mais avaliadores, - observação do progresso dos formandos uma vez que se podem registar as avaliações de forma contínua, - recolha de informações acerca das interações, das atitudes, do processo ou da qualidade dos acontecimentos.

Desvantagens das escalas de classificação descritivas: - tendência para usar apenas a parte superior da escala - erro de generosidade ; - tendência para usar apenas a parte inferior da escala - erro de severidade; - tendência para usar apenas a parte central da escala- erro central; - Efeito de Halo: quando a impressão global influencia a avaliação de características particulares. - Erro lógico - avaliar duas características partindo do pressuposto que existe uma certa relação entre elas

A escala de classificação utilizada na Formação Pedagógica de Formadores deverá ser de 1 a 5, obedecendo à escala recomendada pelo IEFP para os cursos desta área. A escala obedece a 5 níveis (um negativo e quatro positivos) permitindo segundo o IEFP, diferenciar melhor o desempenho e estabelecer padrões de exigência mais elevados.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Fonte IEFP

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Conclusão Ao longo deste submódulo, abordámos a avaliação pedagógica através do nível 2 do modelo de Kirkpatrick, a avaliação dos conhecimentos dos participantes, e dos seus diferentes momentos de operacionalização.

Vimos que a avaliação na formação pode ser feita em diferentes momentos e mediante diversos processos. A Avaliação Pedagógica quanto ao momento divide-se em:



Avaliação diagnóstica;



Avaliação contínua formativa e sumativa;



Avaliação final sumativa.

Quanto ao processo a Avaliação Pedagógica divide-se em:



Observação;



Formulação de questões;



Medição.

Dentro de cada processo existem alguns instrumentos. Por exemplo: Processo de Avaliação FORMULAÇÃO DE QUESTÕES OBSERVAÇÃO 

Grelhas



Listas de

de questões

Ocorrências 

Escalas

de Instrumentos

Oral

classificação

Escrita

Formulação  Testes de resposta ou

orais

produção curta  Testes de resposta ou produção longa  Questões de escolha múltipla  Questões de Verdadeiro ou Falso  Questões de completar  Questões de emparelhar

www.nova-etapa.pt

MEDIÇÃO Quantitativa

Qualitativa

Classificação Classificação analítica

sintética

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

Por fim, não esqueça que qualquer processo de avaliação não é pacífico, podendo sofrer diversos efeitos de subjetividade, tais como: 

A informação prévia;



O “efeito de halo”;



O efeito da estereotipia;



A classificação das provas umas em relação às outras



A ordem de correção;



A infidelidade do mesmo avaliador;



Ausência de critérios comuns.

A avaliação procura analisar até que ponto a formação atingiu os objetivos pretendidos. Mas se não se sabe o que é que se pretende com a formação, não é possível medir se se atingiu o que quer que seja. Para avaliar é preciso ter definido o ponto a que se quer chegar.

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

ANEXO

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

O DE RESULTADOS POR MÓDULO (Avaliação das aprendizagens dos formandos) Curso: ____________________________________________________________________________________________________________ Módulo: ____________________________________________________________________

MOTIVAÇÃO

Período: de ___ / ___ / ___ a ___ / ___ / ___

EMPENHAMENTO

CAPACIDADE DE

ORGANIZAÇÃO

RESULTADOS

GRUPO

Escala de classificação: 1- Insuficiente; 2- Suficiente; 3- Bom; 4- Muito Bom DATA: ___ / ___ / ___

RELACIONAMENTO NO

APRENDIZAGEM

PARTICIPANTES

GLOBAIS

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

BIBLIOGRAFIA ABRECHT, R. (1994). A Avaliação Formativa, Rio Tinto, Edições ASA FIGARI, Gérard (1996). Avaliar: Que referencial, Porto, Porto Editora Fernandes, D. (2004). Avaliação das aprendizagens: Uma agenda, muitos desafios. Disponível em http://www.projetos.te.pt/projetos_te/area_exclusiva/pdf/doc_aval.pdf GATES, BILL (1995). Rumo ao Futuro, Alfragide, McGraw Hill LANDSHEERE, G. (1979). Avaliação Contínua e Exames, Coimbra, Liv. Almedina NOIZET, G. (1985). Psicologia da Avaliação Escolar, s/l, Coimbra Editora TIRA-PICOS, A., SAMPAIO, J. (1994). A Avaliação Pedagógica da Formação Profissional – Generalidades, Lisboa, Ed. IEFP TIRA-PICOS, A., SAMPAIO, J. (1994). A Avaliação Pedagógica da Formação Profissional – Técnicas e Instrumentos, Lisboa, Ed. IEFP RIBEIRO, A., CARRILHO, RIBEIRO, L. (1989). Planificação e Avaliação do Ensino-Aprendizagem, Lisboa, d. Universidade Aberta TOURNEUR, Y. (1982). A Avaliação ao serviço da Formação, Turim, OIT Guia Metodológico para a Avaliação da Formação, 2004, IQF, coordenação Zelinda Cardoso; Neves, A., “Que Instrumentos utilizar na observação”, 1994, em “Pensar avaliação, melhorar a

aprendizagem”, 1994; “Avaliação da Formação na empresa, PRONACI - Programa Nacional de Qualificação de Chefias Intermédias, AEP - Associação Empresarial de Portugal, 2002; Revista Alentejo de Educação, nº 3, 2011; http://home.fmh.utl.pt/~arosado/ESTAGIO/conceitos.htm http://certifica.dgert.mtss.gov.pt/

www.nova-etapa.pt

Formação Pedagógica de Formadores

Manual: Avaliação Quantitativa e Qualitativa

ANEXOS

Filme “Subjetividade na Avaliação”