eBook Avaliação da Formação e das Aprendizagens Sub-módulo 8.2“Avaliação: da Formação ao Contexto de Trabalho”
FICHA TÉCNICA Título “Avaliação: da Formação ao Contexto de Trabalho” Autor António Mão de Ferro Coordenação Técnica Nova Etapa – Consultores em Gestão e Recursos Humanos Coordenação Pedagógica António Mão de Ferro Direção Editorial Nova Etapa – Consultores em Gestão e Recursos Humanos
Adaptação e Atualização Susana Martins Veronica Ghica Filmes Reedição e Grafismos - Bruno Lajoso
Nova Etapa Rua da Tóbis Portuguesa n.º 8 – 1º Andar, Escritórios 4 e 5 – 1750-292 Lisboa Telefone: 21 754 11 80 – Fax: 21 754 11 89 e-mail: info@nova-etapa.pt www.novaetapaworld.com
2
ÍNDICE Competências a adquirir
4
Introdução
5
1. Princípios orientadores da Avaliação
6
2. A importância de avaliar
7
3. Avaliação da Qualidade da Formação
9
4. Impacto da Formação
11
4.1 Níveis de Análise da Avaliação
11
4.2 Indicadores a Medir
14
4.3 Técnicas e Instrumentos de Recolha de Informação
18
4.4 Análise de dados e relatório de Recomendações
23
4.5 Instrumentos a utilizar e Procedimentos a Adotar
24
5. O Contributo da Chefia na Avaliação do Impacto da Formação 28
3
COMPETÊNCIAS A ADQUIRIR Pretende-se que, no final deste capítulo, esteja apto a: Distinguir diferentes níveis de avaliação dos resultados de formação; Construir e aplicar instrumentos de avaliação em função dos objetivos previamente definidos, que permitam verificar e controlar a eficiência e a eficácia da formação; Aplicar um método sistémico e evolutivo de análise de resultados de formação; Propor medidas de regulação, com vista à melhoria do processo de formação.
4
Introdução Representando a Formação um investimento do próprio ou da organização, urge, desde início, prever quais os seus resultados e quais os benefícios que trará.
Assim, a Avaliação da Formação para além de ser já parte integrante dos planos de Formação, constitui, também, à medida que vão sendo colocados em prática esses planos, uma ótima ferramenta para a gestão dos colaboradores e das suas funções. Deve ser colocada ao dispor quer do próprio colaborador como mecanismo de aperfeiçoamento do seu desempenho, quer das equipas de trabalho, e da própria evolução da organização.
5
1. Princípios orientadores da avaliação construtivista da formação A avaliação, como negociação ou construção, é encarada como um processo interativo, negociado, que se fundamenta num paradigma construtivista. As metodologias avaliativas focalizam-se na participação e envolvimento dos vários atores, exercendo o avaliador, neste caso, um papel de facilitador no processo de identificação das estratégias avaliativas a aplicar. Trata-se de uma avaliação construtivista, expressão que, no fundo, designa a metodologia que efetivamente é posta em prática na avaliação. Princípios da avaliação construtivista: 1.A avaliação depende de quem a faz e de quem nela participa; 2.Os formadores devem partilhar o poder de avaliar com os formandos e outros intervenientes e devem utilizar uma variedade de estratégias, técnicas e instrumentos de avaliação; 3. A avaliação deve estar integrada no processo de aprendizagem; 4. A função formativa é a principal função da avaliação e tem funções de melhoria, desenvolvimento, aprendizagem ou motivação; 5.O feedback, é um elemento indispensável na avaliação pois é através dele que ela entra no ciclo de aprendizagem; 6. A avaliação deve servir principalmente para ajudar as pessoas a desenvolverem as suas aprendizagens; 7. A avaliação é um processo em que são tidos em conta os contextos, a negociação, o envolvimento dos participantes, a construção social do conhecimento e os processos sociais e culturais na sala de formação. 8. A avaliação deve utilizar métodos predominantemente qualitativos.
6
2. A importância de avaliar A avaliação é imprescindível porque permite: Verificar se as ações de formação previstas estão de acordo com as necessidades de negócio e de desenvolvimento dos colaboradores; Identificar, de acordo com as necessidades de mudança, quais os comportamentos que devem ser alterados e como medir essa implementação; Avaliar a relação entre os custos envolvidos com a formação e o impacto ocorrido a nível de negócio. Saber se o programa de formação desenvolvido foi ou não adequado e se teve ou não um impacto positivo.
A avaliação procede-se em função de 4 fases distintas: Na fase da “Conceção”: - Se o plano de formação traçado estava adequado
e
em
plena
coerência
e
articulação com os cursos de formação desenvolvidos; - Se houve conformidade entre os objetivos definidos e os conteúdos ministrados.
7
Na fase da “Operacionalização”: - Se os instrumentos utilizados para a operacionalização da formação foram
adequados
(se
as
metodologias
de
aprendizagem
e
de
acompanhamento aos formandos foram ajustadas; se os recursos materiais utilizados foram adequados; se o número de agentes formativos envolvidos foi suficiente, etc.).
Na fase da “Realização”:
-
O
grau
de
satisfação
dos
formandos e dos formadores quanto à formação; - As perceções dos formandos e da equipa de formadores sobre as aprendizagens efetuadas durante os cursos de formação.
Na fase do “Impacto” (Verificação) da Formação: - Se a formação trouxe valor acrescentado para os formandos no que respeita à transferência de aprendizagens para o contexto de trabalho; - Se a formação contribuiu para uma maior eficácia dos resultados nos desempenhos das equipas de trabalho e no desempenho organizacional; - Se se evidenciam novas necessidades de formação que carecem de ser colmatadas com novos cursos de formação.
8
3. Avaliação da qualidade da Formação A avaliação da qualidade da formação associada ao nível 1 de avaliação de Kirkpatrick implica que se reflita sobre as grandes dimensões ou componentes da formação acerca das quais se deseja aferir o grau de satisfação dos formandos
Neste tipo de avaliação importa considerar diferentes tipos de reação: As reações afetivas, de satisfação As
reações
instrumentais,
de
utilidade As
reações
dificuldade,
de da
aprendizagem
Poderá ser realizada em diferentes momentos: No início da formação – fazendo um primeiro diagnóstico quer dos capacidades dos formandos, quer dos seus interesses, necessidades e expectativas, que poderá ser depois comparado com uma avaliação que se possa fazer no final; No decurso da formação – podendo ser feita uma avaliação de satisfação aos formandos e formador por exemplo no final de cada módulo/tema do curso; No final da formação – Para aferir o grau de satisfação dos formandos e formadores quanto ao modo como foi realizado o curso, nos seus diferentes domínios.
9
Para obter este tipo de dados, utilizam-se as mais diversas técnicas: Inquéritos por questionário sobre o grau de satisfação; Realização de focus groups; Inquérito por entrevista; Registo de comentários em fóruns de discussão Realização de observações de comportamentos dos participantes.
Quanto às dimensões de análise destes questionários de satisfação, podemos avaliar: Expectativas iniciais; Objetivos de aprendizagem; Desempenho do formador; Conteúdos programáticos; Estratégias pedagógicas; Suportes de apoio utilizados na formação; Documentação
de
apoio
à
formação; Apoio logístico Espaços/instalações.
10
4. Impacto da Formação 4.1. Níveis de análise Ao falarmos de avaliação da formação e do seu impacto, situamo-nos nos níveis 3 e 4 da abordagem de Kirkpatrick, ou seja: Nível 3 – Avaliação dos comportamentos dos formandos no contexto real de trabalho.
Tem como vantagem permitir diagnosticar como é que as mudanças comportamentais e a aplicação de novos conhecimentos está a decorrer, e se se evidencia uma melhoria da qualidade vs. quantidade do desempenho individual. Neste âmbito, é essencial que se definam previamente quais os objetivos pretendidos quanto aos conhecimentos e comportamentos a atingir/adquirir. O método de avaliação do nível 3 deve ser escolhido e adaptado de acordo com as características e necessidades da entidade, podendo recorrer-se à avaliação de desempenho, à observação direta ao colaborador, inquéritos/questionários e entrevistas ao próprio e à sua chefia, etc. Nível 4 - Avaliação dos resultados da formação na Organização No geral, inicia-se o processo de avaliação estratégica
com
a
identificação
de
uma
necessidade a nível de negócio, e finaliza-se o mesmo quantificando o impacto da solução
11
(formação) aplicada. No entanto, a aplicação do processo de avaliação de nível 4 não é fácil, uma vez que nem sempre se conseguem estabelecer relações causais diretas entre uma determinada formação e os resultados alcançados, pois pode-se estar a anular vários outros fatores externos à formação que possam ter contribuído para o alcance desses resultados. Pode-se ainda falar de um Nível 5 – Retorno do Investimento – (ROI – Return on Investment) defendido por Jack Philips. Este
nível
avalia
o
custo
da
formação vs o retorno. O retorno do investimento é a comparação, em valores monetários, dos resultados líquidos obtidos face ao custo da formação percentagens).
(expresso Este
em tipo
de
avaliação é apreciado por muitos dirigentes, que não estão dispostos a investir num projeto de formação onde não lhes seja garantida uma recuperação do investimento. ROI = Benefícios líquidos da formação Custo da formação
O nível 5 deverá ser implementado apenas quando há evidências de que, em consequência da formação, houve aprendizagem (nível 2), houve mudança de comportamentos no contexto de trabalho (nível 3), e houve um impacto positivo a nível de negócio (nível 4).
12
Com a avaliação dos efeitos produzidos pretende-se responder a questões fundamentais como: Quais os resultados obtidos com a formação? Foram atingidos os efeitos esperados pelo indivíduo/organização quando decidiu participar na formação? Houve retorno do investimento na formação? O esquema seguinte permite posicionar a avaliação do impacto no âmbito da formação:
Análise das Necessidades
Plano de Formação
AVALIAÇÃO Avaliação do Impacto e da Eficácia
Avaliação da Reacção
Avaliação da Aprendizagem m
Existem, assim, três principais eixos de análise que configuram este tipo de avaliação:
1. Efeitos Pedagógicos “Os formandos aprenderam novos conhecimentos na ação de formação? Têm consciência disso?”
13
2. As mudanças no Desempenho “Os formandos aplicaram os conhecimentos adquiridos no seu contexto real de trabalho?”
3. As Mudanças na Organização. “Os
comportamentos
dos
formandos
mudaram
mesmo?
E
a
empresa/organização também mudou?”
A avaliação do impacto, no que se refere ao desenvolvimento individual, nunca deverá ser realizada antes de três a seis meses após a conclusão da formação, permitindo assim aos exformandos aplicar e testar as novas técnicas e competências adquiridas em sala no contexto de trabalho.
Quanto à avaliação do impacto na organização, será conveniente que esta se realize num período superior a um ano (após a conclusão da formação). 4.2. Indicadores a Medir Propomos alguns indicadores de eficácia relativos a dois principais eixos de análise:
Comportamento e desempenho dos formandos no seu local e posto de trabalho; 14
Efeitos sobre o contexto sócio organizacional a que os formandos pertencem.
Comportamento e desempenho dos formandos no seu local de trabalho A) OBJETIVOS DA MEDIÇÃO
Avaliar:
Quanto do que foi transmitido foi transformado em mudanças de comportamentos e atitudes no trabalho;
Até que ponto já foram resolvidos os problemas e as necessidades que conduziram à frequência do programa;
Se existem indícios de melhoria: o
Da produtividade;
o
Da eficiência/adaptação face a novos métodos, técnicas ou tecnologias;
o
Da comunicação;
o
Da integração sócio-profissional;
o
Da satisfação no trabalho.
B) INDICADORES A MEDIR
Elementos obtidos através da avaliação de desempenho e respeitantes a:
Ritmos de trabalho;
Hipóteses de promoção profissional;
Organização no trabalho;
Capacidades de adaptação;
Interesse pelo trabalho;
Iniciativa;
15
Conhecimentos do trabalho;
Autoridade e sentido de responsabilidade;
Relações de trabalho;
Função de supervisão/chefia (se o formando exerce essas funções).
16
Melhoria do desempenho e integração profissional, em termos de:
Melhoria da produtividade: o
Tempos improdutivos;
o
Movimentos inúteis;
o
Produção real/estimada;
o
Níveis de rendimento;
Melhoria do nível de qualidade;
Diminuição da rotação e do absentismo: o
Proporção de ausência/presença.
Efeitos sobre o Contexto Sócio Organizacional a que os Formandos Pertencem A) OBJETIVOS DA MEDIÇÃO
Obter indícios de que a formação contribuiu com uma parcela significativa no êxito organizacional. Isto é, avaliar se foram alcançadas as expectativas do indivíduo/organização quando participou na formação, ao nível de:
Melhoria da produtividade e qualidade;
Melhoria nas comunicações;
Melhoria no nível de motivação/satisfação dos indivíduos;
Melhoria do nível de qualificação e aumento do stock de conhecimentos necessários à evolução empresarial.
B) INDICADORES A MEDIR
Índice de produtividade;
Índice de qualidade;
Índice de satisfação;
Índice de promoção.
17
Agora que já vimos alguns dos critérios e dos indicadores que poderão ser utilizados para proceder a uma avaliação dos efeitos da formação, restanos debruçar sobre as técnicas de recolha de informação a que se pode recorrer para aceder à panóplia de dados a analisar.
4.3
Técnicas e Instrumentos de Recolha de Informação
4.3.1 Observação Direta e Medição do Desempenho no Trabalho São duas as técnicas operacionais que funcionam como técnicas de recolha de informação, podendo ser utilizadas na deteção dos efeitos da formação nos formandos, no local de trabalho:
Observação Direta
Consiste em examinar “in loco” o desempenho profissional dos formandos, detetando-se modificações nesse desempenho (pode mesmo utilizar-se a mesma grelha de observação que foi usada para o diagnóstico de necessidades de formação);
18
Medição do Desempenho
Refere-se exatamente à medição do nível de qualidade/quantidade do desempenho de um trabalhador (nomeadamente através de estudo de tempos de trabalho, análise de incidentes críticos ou de falhas, etc.).
Estas técnicas exigem bastante em termos de disponibilidade de tempo, e necessitam para uma aplicação correta, de profissionais experientes nessas áreas (nomeadamente no estudo de tempos e métodos, ou na análise dos incidentes que têm lugar no desempenho do trabalho).
4.3.2 Autoavaliação dos participantes e Avaliação pela chefia São as técnicas de recolha de informação de mais fácil aplicação, consistindo na aplicação de um questionário de autoavaliação aos formandos e de um outro de avaliação de desempenho dos mesmos às suas chefias diretas. Tentar-se-á detetar, através da utilização dos questionários:
Alterações no nível de motivação/satisfação;
Melhoria do desempenho profissional;
Melhoria dos canais de comunicação;
Adequação da formação às funções;
Interesse na continuidade do programa;
Valor global do programa.
4.3.3 Inquérito por Entrevista Esta é uma técnica possível de ser aplicada na recolha de informação para medição do impacto no contexto sócio-organizacional:
19
Através de uma entrevista com as chefias de vários níveis, incluindo gestores de topo, tentar-se-á avaliar o impacto mais global da formação ao nível, nomeadamente, de aumentos de produtividade, níveis de vendas, qualidade e níveis de satisfação no trabalho.
4.3.4 Análise Documental Consiste em reunir e analisar diferentes fontes de informação, tais como, os resultados de relatórios, inquéritos, entrevistas ou outros documentos, já existentes. • Fontes Não Escritas (iconografia, fontes orais, a imagem e o som registado) • Fontes Escritas (documentos oficiais (arquivos) e as fontes não oficiais).
4.3.5 Estudo de caso Consiste em recolher informações (recorrendo a entrevista, observação e análise documental) sobre casos concretos (indivíduos, grupos de formandos,
projetos
formativos,
organizações
significativos para o processo de avaliação.
20
etc.)
considerados
4.3.6 Elaboração de portefólios O portefólio é um dos instrumentos que se tem vindo a revelar muito eficaz como ferramenta de avaliação da aprendizagem e de desenvolvimento de competências profissionais.
Possibilita ao próprio assumir um papel ativo na sua aprendizagem, permitindo
que
desenvolva
novas
estratégias
de
construção
de
conhecimento, equacione novas hipóteses, e novas formas de resolução de situações. O portefólio é assim pensado enquanto ferramenta de avaliação, e enquanto promotor de desenvolvimento de competências pessoais e profissionais. O recurso ao portefólio poderá ser um forte contributo para desmistificar e desdramatizar
a
avaliação,
tornando
o
processo
avaliativo
mais
transparente e claro. OBJECTIVOS DO PORTEFOLIO Promover
aprendizagens
efetivas
capazes de desenvolver competências pessoais e profissionais; Atender aos contextos, circunstâncias e perfil de cada indivíduo; Promover e incentivar a aprendizagem autónoma e responsável; Integrar quer a reflexão quer a avaliação no processo de aprendizagem.
21
4.3.7 Elaboração de projetos finais A construção de um projeto ao longo ou no final de determinada intervenção formativa permite, igualmente, aferir da capacidade do formando em mobilizar saberes “construídos” ao longo da execução da formação.
4.3.8 Análise de incidentes críticos Consiste num conjunto de procedimentos que visam a recolha de informações sobre desempenhos efetuados, considerados referências positivas ou negativas, sendo solicitado ao indivíduo responsável pelo desempenho em análise, a descrição do “incidente crítico” de modo a poderem ser aferidos aspetos a manter e reforçar ou aspetos a corrigir, melhorar.
4.3.9 Focus-groups Consiste em reunir/animar um grupo para discutir um ou mais temas previamente definidos, de uma
forma
estruturada
semiestruturada,
e
intervenção
de
com
ou a um
facilitador/moderador. Presencial (grupo de 6 a 12 pessoas) partilha um mesmo espaço físico. Não Presencial (grupo de 6 a 12 pessoas) não partilha um mesmo espaço físico. 22
4.3.10 Análise custo-benefício Consiste em comparar os custos com os benefícios associados ao desenvolvimento da formação. As variantes para este tipo de técnica estão associadas à seleção das variáveis para caracterizar os custos (pessoal, material, logísticos, etc.) e os benefícios (produtividade, lucros, gestão de recursos humanos, etc.)
4.4 Análise de dados e relatório de recomendações Após a obtenção de toda a informação e do tratamento
de
dados,
é
importante
a
elaboração de um relatório onde estejam patentes não só as conclusões, mas também
possíveis
recomendações
e
ações a implementar.
No relatório deve constar: a caracterização da população envolvida, os escalões profissionais e as ações de formação realizadas, a análise das informações em função dos quatro domínios que orientaram o projeto avaliação, ou seja, Conceção, Operacionalização, Realização e Impacto (Verificação).
A análise de nível 3 e 4 deve observar: quais os cursos considerados mais relevantes e de maior aplicação no contexto profissional;
23
se na perspetiva dos colaboradores, os cursos de formação lhes proporcionaram o desenvolvimento de novas competências e se houve transferência/aplicação dessas no posto de trabalho; se a perspetiva das chefias confirma a perspetiva dos colaboradores, ou se há desacertos em alguns pontos; se a formação realizada contribuiu para a melhoria do desempenho e aumento de produtividade (qualidade/quantidade). 4.5 Instrumentos a utilizar e procedimentos a adotar
Ao
selecionar
instrumentos
para
determinados proceder
à
avaliação, deve ter-se em conta em que condições e com que procedimentos é que os mesmos vão ser aplicados.
Deve considerar-se, assim, se: estão claros quanto à finalidade da avaliação; indicam com clareza os procedimentos a adotar com a informação recolhida (como vão ser utilizados os resultados e as questões da confidencialidade); há compreensão por parte de todos os intervenientes de como deverão ser utilizados os instrumentos a aplicar; haverá um retorno fácil e rápido da informação pretendida;
24
há compreensão por parte de todos os intervenientes das mudanças produzidas pela avaliação; é de fácil utilização (quanto às instruções, ao conteúdos e à linguagem utilizada).
No processo de avaliação devem procurar conciliar-se vários instrumentos de avaliação. A aplicação de um conjunto de instrumentos traz benefícios na medida em que: a aplicação isolada de um instrumento pode convergir na emissão de um juízo, e se houver a aplicação de vários, estes vão avaliar a tendência, as variações, os vários intervenientes, etc.; cada momento da formação se presta a diferentes tipos de avaliação; cada objetivo de avaliação requer um instrumento de avaliação apropriado.
Instrumentos de avaliação - vantagens e desvantagens da sua aplicação: Observação Deve ser feita no mínimo durante meio dia
Vantagens: - Contacto direto com o contexto/terreno.
25
Desvantagens: - Custo inerente em tempo despendido (necessário ter uma pessoa a observar, e tempo despendido na construção de grelhas de observação e na análise de resultados). Entrevista Individual (semiestruturada) Aproximadamente
1
hora
por
indivíduo
Vantagens: - Contacto direto e personalizado.
Desvantagens: - Custo
inerente
ao
tempo
despendido (preparação do guião da entrevista, a própria entrevista em si, o tratamento das informações); - A informação fornecida acentua uma opinião individual, em detrimento das institucionais. Grelha de Registo e Análise de Incidentes Críticos Aproximadamente 1 hora (depende do incidente a registar e a analisar)
Vantagens: - Possibilita a identificação de incidentes/problemas e a reflexão sobre uma metodologia de resolução para esses problemas.
Desvantagens: - Tempo despendido pelo responsável da ação e pela chefia para registo do ocorrido, análise da informação e identificação de resoluções a adotar.
26
Questionários Cerca de 15 a 30 minutos (dependendo do tipo de questionários)
Vantagens: - Rapidez na obtenção de informação, economia de tempo; - Hipótese de utilizar diferentes questionários consoante o que se pretende (curto/extenso, etc.), com diferentes tipos de perguntas (abertas/fechadas, perguntas de escolha múltipla, etc.).
Desvantagens: - Custo inerente ao tempo despendido na conceção dos questionários; - Necessidade de conceber vários questionários consoante a informação a obter. Análise Documental Utilização de vários tipos de informação provenientes das atividades da organização
Vantagens: - Implicar a hierarquia; - Associar a formação aos objetivos e estratégia de gestão.
Desvantagens: - Custo do tempo despendido; - Muita da informação recolhida não tem ligação direta com a formação, pelo que tem, por vezes, que ser adaptada.
27
5. O Contributo da chefia na avaliação do Impacto da formação A auscultação das chefias é de extrema importância na medição do impacto de resultados, pois só
essas
podem
avaliar
diretamente o desempenho dos seus colaboradores e da sua equipa de trabalho. Assim, a ação das chefias poderá ser útil: na identificação de necessidades de formação e dos colaboradores a formar; na ajuda à definição dos objetivos a atingir com a formação; no incentivo dos colaboradores à adesão à formação; no incentivo dos colaboradores já formados à aplicação dos conhecimentos e competências adquiridas ao seu posto de trabalho; no auxílio da avaliação do impacto real da formação na organização; no contributo para a melhoria da eficácia e eficiência da formação.
Neste contexto, a chefia intermédia deve constituir uma peça essencial no processo de avaliação da formação, devendo ser ouvida e envolvida no processo.
28
Deixamos-lhe de seguida uma síntese com as principais ideias subjacentes a este sub-módulo. Esta síntese é apenas um compêndio, uma vez que poderá aprofundar e explorar mais este tema no manual que também lhe é disponibilizado na plataforma.
29