Monitoramento e avaliacao by Aga Solutions Ltda.

Monitoramento e Avaliação VISÃO GERAL Breve resumo Esse pacote de ferramentas lida com os elementos básicos para se inserir e utilizar um sistema de avaliação e monitoramento para um projeto ou uma organização. Ele esclarece o que monitoramento e avaliação são, como planejar a sua execução, como desenhar um sistema de monitoramento e como criar um processo de avaliação que associe tudo isso de uma maneira útil. Ele analisa como coletar informações, evitando que você se afogue numa análise de dados relativamente descabida ou excessiva em informações desnecessárias. Por fim, este pacote suscita e tenta aplicar diretamente sua fórmula a alguns dos tópicos a serem revigorados com base no que foi ensinado. Por que um pacote detalhado de ferramentas para monitoramento e avaliação? Se você não se importa com a maneira como conduz seu trabalho ou qual o impacto têm suas atitudes, por que se importar com qualquer outra coisa? Avaliação e monitoramento possibilitam analisar a qualidade e o impacto de seu trabalho em relação ao seu plano de ação e seu plano estratégico. Para que a avaliação e o monitoramento sejam realmente válidos, você precisa ter planejado corretamente. Um planejamento correto é tratado com detalhes em outros pacotes de ferramentas nesta mesma página da internet. Quem deve se utilizar deste pacote de ferramentas? Este pacote será útil ao leitor e leitora interessados na eficiência, na eficácia e no impacto de seus trabalhos em um projeto ou em uma organização. Quando este pacote será útil? Este pacote será útil quando: Você estiver estruturando sistemas para a coleta de dados durante as fases de planejamento de um projeto ou uma organização; Você quiser analisar os dados coletados através de um processo de monitoramento; Você estiver interessado em descobrir como está a eficiência e a eficácia de seu trabalho; Você atingir um estágio de seu projeto ou um período na vida da sua organização, no qual imagine ser útil avaliar o tamanho do impacto do trabalho que está obtendo; Doadores solicitam uma avaliação externa de sua organização e/ou trabalho.

Ainda que haja uma tendência de enxergar em organizações de sociedade civil uma avaliação como algo que acontece quando um doador insiste em ter uma, de fato, uma avaliação e um monitoramento são ferramentas imprescindíveis de trabalho. Sem uma noção de como se está caminhando em relação a indicadores e metas, os recursos terminam sendo desperdiçados e não modificam a situação inicialmente identificada. O monitoramento e a avaliação habilitam para que se faça essa análise corretamente.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação

VISÃO GERAL

PRINCÍPIOS BÁSICOS

MELHORES PRÁTICAS

Pg. 1

Pgs. 2-40

Pgs. 41-46

RECURSOS

GLOSSÁRIO

Pg. 49

Pgs. 50-52

Exemplos

Exemplos de indicadores pgs. 42-43

O que é Monitoramento e Avaliação? Pgs. 3-4 Por que fazer Monitoramento e avaliação? Pgs. 4-5 Mais informações a respeito de monitoramento e avaliação – o que está envolvido e suas diferentes ligações pgs. 6-10

Planejamento para Monitoramento e Avaliação pg. 11

Estudo de Caso: Desenhando um sistema de Monitoramento pgs. 44-46

Estruturando um processo de monitoramento e/ou avaliação pg. 19

O que queremos saber? pg. 12-15

Indicadores

Tipos diferentes de informação – quantitativa e qualitativa pg. 16

Monitoramento

Avaliação

pg. 20-22

pg. 23

Como obteremos a informação? pg. 17 Quem deve estar envolvido? Pg. 18

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Formato do Relatório de Campo pgs. 47-48

Coletando Informações p. 27

Analisando Informações

Tomando atitudes pgs. 36

pg. 35

Diretrizes e controles de dano

Relatório pg. 37

pg. 28-29

Aprendendo pg. 39

Métodos pgs. 30-33

Tomada de decisões eficazes pg. 40

Propósito pg. 24 Questões centrais para a avaliação pg. 25

Lidando com contrariedades pg. 41

Metodologia pg. 26

Monitoramento e Avaliação PRINCÍPIOS BÁSICOS O que é monitoramento e avaliação? Por mais que a expressão “monitoramento e avaliação” tenda a ser escrita como se as duas coisas parecessem uma única coisa, monitoramento e avaliação são de fato, duas formas distintas de atividades organizacionais, relacionadas, porém jamais idênticas. O Monitoramento é uma coleta sistemática e uma análise da informação de como um projeto progride. É criado para melhorar a eficiência e a eficácia de um projeto ou organização. É baseado em metas e atividades dirigidas durante as fases de planejamento do trabalho. Auxilia a manter o trabalho em sua linha geral e possibilita ao gerenciamento identificar quando as coisas não estão andando corretamente. Se utilizado corretamente, torna-se uma ferramenta inestimável para um bom gerenciamento e fornece uma base de avaliação muito útil. Habilita saber se os recursos estão sendo bem utilizados e se serão suficientes para o que está sendo feito; se sua capacidade de trabalho é suficiente e apropriada; e se você está realizando aquilo que planejou fazer (verifique também o pacote de ferramentas para o planejamento de ações). A Avaliação é a comparação do real impacto do projeto em relação ao planejamento estratégico estudado anteriormente. Averigua o que foi formulado para ser realizado com o que foi feito e como isso foi alcançado. Pode ser formativa (sendo elaborada ao mesmo tempo em que ocorre o projeto ou existe a organização, com a intenção de melhorar a estratégia ou a forma do funcionamento de um projeto ou organização). E pode também ser resumida (aferindo aspectos de ensinamentos para um projeto finalizado ou uma organização que deixou de existir). Uma vez, uma pessoa descreveu a diferença entre os dois como sendo a diferença entre uma avaliação médica geral e uma autópsia! O que a avaliação e o monitoramento têm em comum é que ambos são estruturados durante o aprendizado do que se está fazendo e como se está fazendo, focalizando:

Eficiência Eficácia Impacto

A Eficiência diz que o insumo empreendido em seu trabalho é apropriado em termos de resultados. Isso pode ser insumo em termos de dinheiro, tempo, equipe, equipamento e assim por diante. Quando você trilha um projeto e está preocupado com sua replicabilidade, ou com a maneira como ele se desenvolverá numa projeção de escala (veja o Glossário), então, é muito importante que se tenha o elemento de eficiência corretamente. Eficácia é a medida de extensão do qual um programa de desenvolvimento ou projeto alcança com os objetivos específicos que traçou para si. Se, por exemplo, foi traçado melhorar as qualificações de todos os professores de segundo grau de uma determinada área, nós conseguimos? Impacto diz se o que você realizou fez ou não alguma diferença em relação ao problema da situação que você tentou solucionar. Em outras palavras, sua estratégia foi útil? Houve uma melhora, ao final de contas, na taxa de aprovação dos alunos no final do ano quando se assegurou uma maior qualificação dos professores? Antes de se decidir por crescer ou

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação duplicar o projeto você precisa estar certo de que o que está sendo realizado está fazendo sentido nos termos do impacto que se quer atingir. A partir disso, deveria estar claro que o monitoramento e avaliação são mais bem realizados quando foi estruturado previamente um planejamento que vislumbre seus alcances e progressos. Existem três pacotes de ferramentas que lidam diretamente com relação a isso – a visão geral de planejamento, um planejamento estratégico e um planejamento de ação. Nesta seção, analisamos com mais profundidade ‘por que fazer uma avaliação e um monitoramento?’ e ‘mais a respeito de monitoramento e avaliação’, e o que isso envolve. Isso inclui uma discussão das diferentes abordagens de monitoramento e avaliação e o que pensar a respeito de quando se utiliza um avaliador externo.

POR QUE FAZER MONITORAMENTO E AVALIAÇÃO? O monitoramento e a avaliação habilitam que se averigúe o “ponto fundamental” (consulte o Glossário) de um desenvolvimento de trabalho: Não, “estamos tendo lucro?”, mas “estamos fazendo a diferença?”. Através de monitoramento e avaliação, pode-se:

Revisar o progresso; Identificar os problemas em planejamento e/ou implementação; Promover ajustes para que se possa mais fortemente “fazer a diferença”.

Em muitas organizações, “monitoramento e avaliação” é alguma coisa vista mais como uma requisição de doadores do que uma ferramenta de gerenciamento. Doadores certamente têm todo o direito de saber se seu dinheiro está sendo gasto de maneira apropriada e se está sendo bem gasto. Porém, primariamente (e muito mais importante) o uso da avaliação e monitoramento deve ser feito para a própria organização ou projeto saber como está andando em relação aos seus objetivos, se está tendo um impacto, se está se trabalhando com eficiência e para aprender a ser melhor. Planos são essenciais, mas não são feitos de concreto (fixados de forma totalmente inflexível). Se não estão funcionando, ou se as circunstâncias mudaram então os planos também devem sofrer mudanças. O monitoramento e avaliação são ferramentas que ajudarão um projeto ou organização a perceber quando seus planos não estão funcionando ou quando as circunstâncias sofreram mudanças. Eles fornecem ao gerenciamento a informação necessária para tomadas de decisões a respeito do projeto e da organização das mudanças que se mostrem necessárias em relação aos planos ou a própria estratégia. Através disso, as constantes permanecem como pilares da rede estratégica: a análise de problemas, a visão e os valores da organização ou do projeto. Tudo o mais pode ser renegociável (veja também o pacote de planejamento estratégico). Fazer algo errado não é um crime. Falhar e não mostrar que aprendeu com erros do passado por não ter feito um monitoramento e avaliação, é. O efeito do monitoramento e avaliação pode ser visto no ciclo a seguir. Observe que você monitorará e ajustará diversas vezes antes que esteja preparado para fazer uma avaliação e possa planejar novamente.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Avaliar/aprender / decidir Implementar Planejar

Refletir/aprender /decidir/ajustar

Implementar

Monitorar

Implementar

Refletir/ aprender/ decidir/ajustar

É importante reconhecer que o monitoramento e a avaliação não são varinhas de condão que podem ser simplesmente usadas como um passe de mágica, solucionando problemas, ou remediando dificuldades, ou fazendo mudanças miraculosas, sem uma boa dose de trabalho duro sendo feito para a realização do projeto ou organização. Em si mesmos, eles não são soluções, mas são ferramentas valiosas. O monitoramento e a avaliação podem:

Ajudar a identificar problemas e suas causas; Sugerir soluções possíveis para problemas; Levantar questões quanto à estratégia e às previsões realizadas; Levar você a refletir para onde está indo e de como você está chegando lá; Providenciar informações e aspectos internos; Encorajá-lo a agir a respeito dessas informações e aspectos; Aumentar suas possibilidades de acerto que farão uma diferença de desenvolvimento positiva.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação MAIS INFORMAÇÕES A RESPEITO DE MONITORAMENTO E AVALIAÇÃO Monitoramento envolve:

Estabelecer indicadores (consulte o Glossário) de eficiência, de eficácia e de impacto; Estabelecer sistemas para coleta de informações, relacionando estes indicadores; Coletar e gravar a informação; Analisar a informação; Utilizar a informação para informar ao gerenciamento diariamente.

O monitoramento é uma função interna em qualquer projeto ou organização. Avaliação envolve:

Avaliar o que o projeto ou a organização pretendem atingir – qual diferença quer fazer? Qual impacto quer ter? Reconhecer seu progresso com relação ao que almejava, suas metas de impacto. Examinar a estratégia de um projeto ou organização. Houve uma estratégia? Houve eficácia em se seguir a estratégia proposta? A estratégia funcionou? Se não, por que não? Examinar como as coisas funcionaram. Houve um uso eficiente dos recursos? Quais foram os custos de oportunidade (veja o Glossário) com a maneira que se optou por trabalhar? Quão sustentável é a forma pela qual o projeto e a organização trabalham? Quais são as implicações para os diversos agentes envolvidos pelo modo com que a organização trabalha?

Numa avaliação, avaliamos eficiência, eficácia e impacto (consulte Glossário). Existem muitos tipos diferentes de se fazer uma avaliação. Alguns dos termos mais comuns com que você poderá se deparar são:

Auto-avaliação: Isso requer uma organização ou projeto que segure um espelho diante de si mesmo e analise o que faz, como uma forma de prática para melhoramento e aprendizagem. Exige que se tenha uma organização muito honesta e auto-reflexiva para fazer isso de forma eficaz, contudo isso pode ser uma experiência de aprendizagem muito importante. Avaliação participatória: Esta é uma forma de avaliação interna. A intenção é reunir o maior número de pessoas possível que tenham participação direta no trabalho que está sendo realizado. Isso pode significar beneficiários e equipe do projeto trabalhando em conjunto nesta avaliação. Se alguém de fora for chamado será para agir como facilitador do processo, não avaliador. Estimativa Participatória Rápida: Originalmente utilizada em áreas rurais, a mesma metodologia pode, na verdade, ser aplicada na maioria das comunidades. Este é uma forma qualitativa (consulte o Glossário) de se fazer avaliações. É conduzida e semi-estruturada por um time interdisciplinar e levada por um curto período de tempo. É utilizada como base de início para se entender uma situação local e é uma maneira rápida, útil e barata de se armazenar informações. Envolve o uso de revisões de dados secundárias (consulte o Glossário), observação direta, entrevistas semi-estruturadas, informantes chave, entrevistas de grupos, jogos, diagramas, mapas e

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação

calendários. Em um contexto de avaliação, ele permite que se obtenham dados valorosos daqueles que supostamente estão se beneficiando do trabalho de desenvolvimento. É flexível e interativo. Avaliação externa: É uma avaliação feita por um time de fora ou alguém externo cuidadosamente escolhido. Avaliação interativa: Isso requer uma interação muita ativa entre o avaliador ou time externo e a organização ou projeto sendo avaliado. Às vezes, alguém de dentro pode ser incluído no time de avaliação.

Para mais informações de vantagens e desvantagens das avaliações internas e externas, veja a próxima página. Para maiores informações a respeito de um avaliador externo, vá para a página 9. Para maiores informações de diferentes tipos de abordagens para avaliação, vá para a página14.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Ξ

VANTAGENS E DESVANTAGENS DE AVALIAÇÕES INTERNAS E EXTERNAS

Avaliação interna

Vantagens Os avaliadores têm muita familiaridade com o trabalho, com a cultura organizacional e com seus objetivos e metas. Algumas vezes as pessoas sentem-se mais à vontade em falar com pessoas de dentro da organização do que com pessoas de fora. Uma avaliação interna é muito claramente uma ferramenta gerencial e de auto-correção bem menos ameaçadora que uma avaliação externa. Essa forma torna muito mais simples para todos os envolvidos aceitar certas críticas e sugestões e opiniões a respeito do trabalho sendo realizado.

Avaliação Externa (feita por um time ou pessoa sem interesses especiais pelo projeto em questão)

Uma avaliação interna custará muito menos que uma avaliação externa. A avaliação tende a ser muito mais objetiva, já que os avaliadores mantêm-se distantes do trabalho sendo realizado. Os avaliadores possuem geralmente uma grande variedade de habilidades e experiências de avaliação. Algumas vezes, as pessoas preferem relatar coisas a pessoas de fora ao invés de pessoas internas a organização. Gera-se muito mais credibilidade a opiniões e sugestões utilizando-se um avaliador externo, especialmente no caso de sugestões positivas.

Desvantagens O time de avaliação possuirá um interesse especial em alcançar conclusões positivas com relação ao projeto ou organização. Por esta razão inclusive, se desenvolve o motivo para que doadores prefiram uma avaliação externa. O time pode não ser especializado ou treinado especificamente para realizar uma avaliação. A avaliação tomará uma considerável quantia de tempoenquanto poderá custar menos deixar que uma avaliação externa ocorra, em termos de custo de oportunidade (consulte o Glossário). Dessa forma, pode ser mais elevado que simplesmente contratar uma avaliação externa. Alguém de fora da organização ou projeto pode não entender a cultura ou até mesmo o trabalho que se pretende alcançar. Aqueles que estão diretamente envolvidos podem se sentir ameaçados pelos avaliadores externos e podem ter menos propensão a falar abertamente e cooperar com o processo. Uma avaliação externa pode ser muito custosa. Um avaliador externo pode interpretar mal o que você deseja e pode não fornecer o que você precisaria.

Se você decidir ter uma avaliação externa, você encontrará algumas sugestões de critérios a serem utilizados na escolha de um avaliador externo na próxima página.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Ξ

SELECIONANDO UM AVALIADOR EXTERNO OU UM TIME DE AVALIAÇÃO

Qualidades para serem levadas em conta quanto à escolha de um avaliador ou time de avaliação externa:

Uma boa compreensão de assuntos de desenvolvimento. Uma boa compreensão de assuntos organizacionais. Experiência na avaliação de desenvolvimento de projetos, programas ou organizações. Um bom histórico que possa ser averiguado com relação a clientes anteriores. Grandes habilidades de pesquisa. Um compromisso com qualidade. Um compromisso com datas de trabalhos a serem cumpridos. Objetividade, honestidade e justiça. Lógica e facilidade em operar sistematicamente. Forte habilidade em se comunicar tanto escrevendo como verbalmente. Um estilo e abordagem que se encaixe com a personalidade de sua organização. Valores que sejam compatíveis com aqueles que sua organização tenha. Preços razoáveis (custo), comparáveis com os de outras empresas no mercado.

Como você descobre tudo isso? Formulando uma grande quantidade de perguntas! Quando você decide utilizar um avaliador externo:

Confira as referências de quem seja. Reúna-se com os avaliadores antes de tomar a decisão final. Comunique o que você deseja claramente – bons Termos de Referência (veja o Glossário) são fundamentais para uma boa relação contratual. Negocie um contrato que forneça uma previsão do que acontecerá se o calendário e os resultados esperados, em termos de compromissos, não forem alcançados. Peça por um plano de trabalho com resultados e datas afixadas. Mantenha contato – peça por relatórios intermediários nesse ínterim como parte do trabalho a ser realizado – seja verbalmente ou por escrito. Estruture esse acompanhamento formalmente e combine quando isso deverá ser entregue a você.

Não espere que todo avaliador seja completamente objetivo. Essa pessoa terá opiniões e visões – você não está procurando alguém que seja um robô! Entretanto, suas opiniões devem estar claramente estabelecidas como tais, e não devem desviar ou serem colocadas como “fatos”. É bastante importante também ter uma noção de quais serão as abordagens que esse avaliador utilizará para fazer a avaliação. A próxima página traz mais informações quanto a diferentes tipos de abordagens para avaliação.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Ξ

DIFERENTES ABORDAGENS PARA AVALIAÇÃO Abordagem

Propósito principal

Possíveis questionamentos em foco As metas foram alcançadas? Eficientemente? Foram essas as metas corretas?

Baseadas em metas

Compreender o alcance de metas e objetivos.

Tomadas de decisões

Fornecer informação.

O projeto foi eficaz? Deve continuar? Como deve ser modificado?

Com objetivos livres

Compreender a variedade dos efeitos do projeto pretendidos ou imprevistos.

Quais foram todos os resultados relacionados? Que valor eles possuem?

Julgamento de especialistas

Utilização de um especialista.

Como um profissional externo a este projeto pode avaliá-lo?

Metodologia análoga

Comparar a linha de base (veja o Glossário) e as informações de progresso (veja o Glossário); encontrando maneiras de definir indicadores. Compreender a variedade de opções relacionadas com o contexto do projeto, resultados, processos, e o produto. Estabelecer algum tipo de consenso quanto à tomada de decisões. Determinação independente de necessidades e padrões para julgar a validade do projeto. Técnicas qualitativas e quantitativas que descubram quaisquer resultados possíveis. Revisão crítica baseada na experiência, pesquisa informal e reflexões internas.

Em nossa opinião, os melhores avaliadores se valem de uma combinação de todas essas abordagens. Uma organização pode pedir para que uma delas seja enfatizada, mas é importante não excluir qualquer descoberta ou conclusão, e não fazer uso de uma abordagem diferente. (Agradecimentos à PACT’s Evaluation Sourcebook, 1984, por muito do que foi escrito aqui.)

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Planejamento para Monitoramento e Avaliação O monitoramento e a avaliação devem ser parte de seu processo de planejamento. É muito mais complicado retornar e estabelecer os sistemas de monitoramento e avaliação uma vez que as coisas já tenham começado a acontecer. A necessidade de se começar a coletar informações de desempenho em relação a suas metas é importante desde o primeiro instante de atividades. A primeira informação coletada deve ser feita, na verdade, quando se estruturam as primeiras necessidades de documentação (consulte, no pacote de ferramentas de visão geral de planejamento, a seção a respeito do trabalho de base). Ele fornecerá a informação necessária quanto ao alcance em relação a melhoramentos com o decorrer do tempo. Quando você realiza seu processo de planejamento, você define indicadores (veja o Glossário). Estes indicadores fornecem a rede que possibilita seu sistema de monitoramento e avaliação. Eles informam o que você deseja saber e os tipos de informação cuja coleta será útil. Nesta seção examinaremos:

O que queremos saber? Isso inclui examinar indicadores de ambos os assuntos, externos e internos (Confira também os exemplos de indicadores mais adiante neste pacote de ferramentas.) Tipos diferentes de informação. Como obteremos a informação? Quem deve estar envolvido?

Não há um único modo de planejamento para monitoramento e avaliação. As sugestões incluídas nos pacotes de ferramentas de planejamento, planejamento estratégico e planejamento de ações lhe auxiliarão no desenvolvimento de uma rede dinâmica para seu sistema de monitoramento e avaliação. Se você possui uma familiaridade com uma rede de análise lógica e já a utiliza em seu planejamento, esta abordagem traz em si mesma uma forma de planejar um sistema de avaliação e monitoramento. (Consulte também no pacote de ferramentas a respeito da visão geral de planejamento, a seção de ferramentas de planejamento – visão geral.)

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação O QUE QUEREMOS SABER? O que queremos saber está relacionado com o que pensamos ser importante. No trabalho de desenvolvimento, o que pensamos ser importante está relacionado com nossos valores. A maioria do trabalho está envolvida por uma rede de valores. É esta rede que determina os padrões de aceitação no trabalho que fazemos. Os valores centrais, nos quais a maioria do trabalho de desenvolvimento é feito, são:

Servir a pessoas carentes; Favorecer os desprotegidos; Mudar a sociedade, não simplesmente com a ajuda individual; Sustentabilidade; Uso eficiente de recursos.

Então, a primeira coisa que precisamos saber é: O que estamos fazendo e como estamos agindo está auxiliando para o favorecimento destes valores? Para responder a esta questão, nosso sistema de monitoramento e avaliação deve nos fornecer informações a respeito de:

Quem está se beneficiando do que fazemos? O quanto estão se beneficiando? Os beneficiados recebem de uma forma unilateral e passivamente ou o processo auxilia para que eles possam assumir algum controle de suas vidas? Existem quaisquer ensinamentos que possam trazer um maior impacto além deste que está acontecendo com nosso projeto? Isso que estamos fazendo tem alguma possibilidade de se sustentar a longo-termo, ou cessará assim que partirmos? Estamos alcançando o máximo dos melhores resultados possíveis para os problemas apresentados?

Queremos nos concentrar no produto ou no processo que está sendo desenvolvido? O trabalho de desenvolvimento deve ser avaliado em termos de processo (a forma com que o trabalho está sendo desenvolvido) ou o produto (o que o trabalho produz)? Geralmente, essa discussão é feita mais para se desculpar desempenhos inadequados que discutir realmente algo que deve ser levado a sério. O produto e o processo não estão separados em um trabalho de desenvolvimento. Aquilo que alcançamos e a maneira como alcançamos são geralmente a mesma coisa. Se o objetivo é desenvolvimento, baseando-se em valores desenvolvimentistas, então cavar um poço sem transferir a habilidade para manter e manusear o poço não é suficiente. Dizer: “Iria demorar muito dessa forma, não podíamos esperar que eles agissem por si mesmos. Dissemos que iríamos cavar um poço e o fizemos” não é suficiente. Mas também não é suficiente dizer: “Não tem importância que o poço não tenha acontecido ainda. O importante é que a população foi instruída”. Ambos os processos e produtos devem ser parte de um sistema de avaliação e monitoramento. Mas como podemos tornar o processo, o produto e tais valores mensuráveis? A resposta se encontra no estabelecimento de indicadores, e este assunto é abordado na subseção a seguir.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação O QUE QUEREMOS SABER? Indicadores Indicadores são também abordados na visão geral de planejamento, na seção a respeito de monitoramento e avaliação. Indicadores são sinais tangíveis ou mensuráveis de que algo foi feito ou alcançado. Em alguns estudos, por exemplo, o aumento de antenas de televisão numa comunidade foi utilizado como indicador de que o padrão de vida da comunidade aumentou. Um indicativo de maior organização comunitária pode ser um aumento da freqüência de membros da comunidade nos encontros periódicos. Se alguém está interessado no impacto da participação em relação ao gênero, pode-se utilizar “envolver especial atenção e maior tempo em projetos de desenvolvimento a uma maior participação feminina” como um indicador. Indicadores comuns que apontam para o estado de saúde geral de uma comunidade são taxas de mortalidade de bebês/crianças/ mães, taxas de natalidade, status nutricional e peso de bebês ao nascerem. Podem-se analisar indicadores menos diretos, como extensão de imunização, extensão de água potável disponível, e assim por diante. (veja maiores exemplos de indicadores mais adiante). Os indicadores são uma parte essencial de um sistema de monitoramento e avaliação, pois eles são o que você vai poder medir e/ou monitorar. Através de indicadores você pode perguntar e responder questões como:

Quem? Quantos? Com qual freqüência? Quanto custa?

Entretanto, você precisa decidir anteriormente quais indicadores vai utilizar para que comece a coletar informações imediatamente. Você não pode querer se utilizar de um indicativo como o número de antenas de televisão como sinal de melhora de padrão da comunidade se você não sabe quantas havia no começo do processo. Algumas pessoas argumentam que o problema com indicadores mensuráveis é que outras variáveis (fatores) podem ter um impacto sobre eles também. Mais membros da comunidade podem estar participando nos encontros comunitários simplesmente por haver um maior número de pessoas com um passado ativo, e mudado simplesmente para aquela área. As mulheres podem ter mais tempo para projetos de desenvolvimento porque os homens da vila participaram de um seminário para questões de gênero e decidiram dividir e ajudar mulheres em algumas tarefas tradicionalmente realizadas por mulheres possibilitando assim que se ocupem de outras atividades. E assim por diante. Ainda que isso seja verdade, é possível identificar outras variáveis e levá-las em conta. É também muito importante notar que, se nada está se modificando, se não se pode averiguar nem um melhoramento na mensuração dos indicadores-chave escolhidos, é sinal de que sua estratégia não está funcionando e precisa ser repensada. Para estudar um método de desenvolvimento de indicadores, veja a próxima página. Para consultar exemplos de indicadores, vá para exemplos.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Ξ

DESENVOLVENDO INDICADORES

1º Passo: Identifique o problema que você está tentando resolver. Ele pode ser:

Situação econômica (desemprego, baixos salários, etc.). Situação social (moradia, saúde, educação, etc.). Situação cultural ou religiosa (perda do uso de línguas tradicionais, pouca freqüência em serviços religiosos, etc.). Situação política ou organizacional (governo local ineficiente, lutas de facções, etc.).

Pode haver outras situações também. (consulte a seção de análise de problemas em seu pacote a respeito da visão geral de planejamento, na seção que trata do trabalho de base). 2º Passo: Desenvolva uma visão de como você gostaria que estas áreas fossem ou parecessem (consulte, no pacote de planejamento estratégico, a seção a respeito de visão). Isso lhe fornecerá indicadores de impacto. O que lhe mostraria que sua visão foi alcançada? Que sinais você identificaria e que possam ser medidos que “provariam” que sua visão foi alcançada? Por exemplo, se sua visão foi a de que as pessoas em sua comunidade seriam mais saudáveis, então você pode usar indicadores de saúde para averiguar como está avançando. A mortalidade infantil sofreu uma queda? Menos mulheres estão falecendo durante o parto? A taxa de contaminação pelo vírus da AIDS tem sido reduzida? Se você pode dizer “sim” a estas questões, então algum progresso foi alcançado. 3º Passo: Desenvolva uma visão progressiva de como você quer que as coisas sejam atingidas. Isso lhe fornecerá indicadores de processo. Se, por exemplo, você quer atingir seus resultados através da participação da comunidade e de seus próprios esforços, então sua visão de processo pode incluir coisas como trabalhadores de saúde da comunidade treinados e que ofereçam um serviço de qualidade para todos; eventos organizados regularmente pela comunidade para limpeza geral, e assim por diante. 4º passo: Desenvolver indicadores para eficácia. Por exemplo, se você acredita que pode aumentar a taxa de alunos aprovados no ensino secundário, melhorando o nível de seus professores, então precisará de indicadores que mostrem que você obteve sucesso quanto à melhora destes professores, p.ex. evidências de uma pesquisa em escolas, comparando com a pesquisa de base inicial. 5º passo: Desenvolver indicadores para metas de eficiência. Aqui você pode estabelecer indicadores, tais como: seminários planejados devem ocorrem junto com o tempo pré-estabelecido, custos para os seminários são mantidos em 2.50 dólares por pessoa, no máximo, não se deve utilizar mais de 160 horas com a organização de uma conferência; sem reclamações quanto à organização da conferência, etc. Com a estrutura colocada em seu devido lugar, você estará apto a monitorar e avaliar eficiência, eficácia, e o impacto disso tudo (Veja o Glossário).

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação TIPOS DIFERENTES DE INFORMAÇÃO – QUANTITATIVA E QUALITATIVA A informação utilizada para monitorar e avaliar pode classificada como:

Quantitativa; ou Qualitativa.

A medida quantitativa lhe diz “quanto ou quantos?”. Quantas pessoas assistiram ao seminário, quantas pessoas foram aprovadas em seus testes finais, quanto custa uma publicação, quantas pessoas foram infectadas pelo vírus da AIDS, quantas pessoas precisam se deslocar para conseguir água ou madeira para o fogo, e assim por diante. A medida quantitativa pode ser expressa em números absolutos (3241 mulheres da amostra estão infectadas) ou com percentual (50% das residências nesta área possuem antenas de televisão). Pode também ser expressa por razões (uma a cada 30000 pessoas). De uma maneira ou de outra, você terá uma informação quantitativa (número) por contar ou medir. A medida qualitativa indica como as pessoas se sentem a respeito de alguma situação ou como as coisas são feitas, ou como as pessoas se comportam. Então, por exemplo, ainda que você descubra que 50% dos professores da escola estão insatisfeitos com o critério selecionado, isso ainda é considerado uma informação qualitativa, não uma informação quantitativa. Consegue-se a informação qualitativa perguntando, observando e interpretando. Algumas pessoas consideram a informação quantitativa confortante – ela parece confiável, sólida e “objetiva”. Elas consideram a informação qualitativa “subjetiva” e pouco convincente. É um erro, porém dizer que “a informação quantitativa fala por si mesma”. A informação quantitativa está sujeita a interpretações tanto quanto a informação qualitativa. Pode ser um “fato” que o ingresso de meninas em escolas de alguns países em desenvolvimento está caindo – a contabilidade disso pode nos mostrar tal fato, mas não nos dirá coisa alguma a respeito das causas ou motivos desses dados. Para se alcançar esse entendimento, será necessário sair e perguntar a respeito de tais razões – ou seja, ponderar informações qualitativas. A escolha de indicadores é também algo subjetivo, seja a partir de métodos quantitativos ou qualitativos para a mensuração real. Os pesquisadores escolhem medir o ingresso de meninas para a escola porque eles acreditam que isso diga algo a respeito de como as mulheres são tratadas ou vistas na sociedade. Para que uma boa compreensão seja alcançada, o processo de monitoramento e avaliação necessita de uma combinação de informações qualitativas e quantitativas. Por exemplo, precisamos saber quais são os dados de quantas meninas vão para a escola, assim como precisamos saber qual o motivo para que seus pais permitam ou não que freqüentem a escola. Talvez as taxas de matrícula para meninas sejam mais altas porque nesta comunidade considera-se que ir para a escola seja um luxo e prefira-se treinar meninos em tarefas mais práticas e tradicionais, como tomar conta de animais, por exemplo. Neste caso, um ingresso maior de meninas na escola não necessariamente indica uma maior valorização de meninas.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação COMO OBTEREMOS A INFORMAÇÃO? Isso é tratado com detalhes no pacote do planejamento de ações, na seção de monitoramento, coletando informações à medida que se progride no planejamento. Seus métodos de coleta de informação precisam ser construídos dentro de seu planejamento de ações. Você deve estar apto a manter um canal de informações firmes correndo em seu projeto ou organização a respeito do trabalho e de como está sendo realizado, sem sobrecarregar ninguém. A informação que é coletada deve significar alguma coisa: não colecione informações para manter-se ocupado, somente o faça para encontrar o que precisa saber, e depois arquive a informação de uma forma que possa ser simples consultála. Geralmente, você pode utilizar relatórios, minutas, registros de presença e declarações financeiras que são parte de seu trabalho como fontes de monitoramento e informação de avaliação. Entretanto, às vezes você precisa utilizar-se de ferramentas especiais que são simples, mas úteis para adicionar à informação básica coletada em seu curso natural de trabalho. Algumas das ferramentas mais conhecidas são:

Estudos de caso Avaliação gravada Diários Análise e gravação de incidentes importantes (chamado “análise de incidente crítico”) Questionários estruturados Entrevistas face a face Grupos focais Pesquisas de amostras Revisão sistemática de estatísticas relevantes oficiais.

Consulte a seção métodos para mais informações a respeito de maneiras de coletar informação.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação QUEM DEVE ESTAR ENVOLVIDO? Quase todos da organização ou projeto estarão envolvidos de alguma forma na coleta de informações que possa ser usada para monitorar e avaliar. Isso inclui:

O administrador, que guarda minutas de uma reunião, ou prepara e distribui o registro de presença; Os trabalhadores de campo, que escrevem relatórios de suas visitas de campo; O arquivador, que registra rendas e gastos.

Para que sejam maximizados seus esforços, a organização ou projeto precisa:

Preparar relatórios que incluam a mensuração quantitativa ou qualitativa de indicadores importantes. Por exemplo, se você quer saber a respeito da participação da comunidade em atividades, ou da participação feminina especificamente, construa um relatório que possibilite que os trabalhadores de campo possam tecer comentários a respeito disso, sustentando observações com os fatos. (Veja um tipo de relatório de trabalho de campo, mais adiante neste pacote). Prepare tipos de relatórios que incluam a mensuração quantitativa ou qualitativa de indicadores importantes. Por exemplo, se você deseja saber quantos homens e quantas mulheres participaram da reunião, inclua uma coluna que especifique o gênero de sua lista de presença. Armazene a informação de uma forma que seja possível manejar o que se precisa saber. Por exemplo, se você precisa saber se um projeto é sustentável financeiramente, e quais elementos são mais dispendiosos, então certifique-se de que seus arquivos de gravação averigúem essa informação relevante.

É um princípio muito útil olhar para cada atividade e dizer: O que necessitamos saber desta atividade, ambos os processos (como está sendo feito) e produtos (o que se pretende atingir), e qual é a maneira mais fácil de encontrar e gravar isso à medida que caminhamos?

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Estruturando um processo de monitoramento e/ou avaliação Como existem diferenças entre como desenhar um sistema de monitoramento e um processo de avaliação, lidaremos aqui com os dois separadamente. Sob monitoramento, avaliaremos o processo que uma organização pode atravessar para construir um sistema de monitoramento. Sob avaliação, avaliaremos:

Motivo Questões de avaliação chave Metodologia.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação MONITORAMENTO Quando você estrutura um sistema de monitoramento, você está estabelecendo um ponto de visão formativo e criando um sistema que lhe providenciará informação útil de uma base corrente para melhorar o que fazer e como fazer. Na próxima página, você encontrará um processo sugerido para criar um sistema de monitoramento. Para um estudo de caso que mostra como uma organização se saiu elaborando um sistema de monitoramento, vá à seção com exemplos e veja o exemplo: criando um sistema de monitoramento.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Ψ

CRIANDO UM SISTEMA DE MONITORAMENTO

Logo abaixo, mostramos passo a passo o processo de criação de um sistema de monitoramento para sua organização ou projeto. Para o caso de estudo de como uma organização conseguiu implantar seu sistema de monitoramento, veja a parte de exemplos. 1º passo:

Um seminário com equipe e/ou voluntários, liderado por você ou por um consultor:

2º passo:

Introduza os conceitos de eficiência, eficácia, e impacto (veja o glossário). Explique que um sistema de monitoramento precisa cobrir todos os três. Faça uma lista de indicadores para cada um dos três aspectos. Esclareça quais variáveis (consulte o glossário) precisam ser conectadas. Então, por exemplo, você quer criar uma relação entre a idade dos professores com suas qualificações para poder responder a pergunta: Existe a tendência de professores mais velhos terem mais qualificações? Esclareça quais informações o projeto ou organização já está coletando.

Inclua os dados e comentários do seminário em um breve resumo de questões, colocando seu sistema de monitoramento. Dependendo do quão complexo forem seus requisitos, e de qual é sua capacidade, você talvez decida ter uma base de dados computadorizada ou manual. Se você quer poder relacionar muitas variáveis através de muitos casos (e.g. participantes, escolas, envolvimento dos pais, recursos, urbano e rural, etc.) você talvez precise de uma linha computadorizada. Se você possui poucas variáveis, você pode provavelmente fazer isso manualmente. A coisa mais importante é começar descobrindo as variáveis e manter os dados nestas variáveis. Conexão e análise podem ser feitos posteriormente. (Estes conceitos são complicados. Ajudará ler o estudo de caso nos exemplos da seção do pacote de ferramentas). Deste seminário, você saberá o que quer monitorar. Você terá os indicadores de eficiência, eficácia e impacto que precisarão ser priorizados. Você então escolherá as variáveis que auxiliarão a responder as questões que pense serem importantes. Então, por exemplo, você pode ter um indicador de impacto que seja “opções de sexo mais seguras foram escolhidas” como um indicador de que “pessoas mais jovens agora estão fazendo escolhas de vida mais maduras”. As variáveis que podem influenciar o indicador são:

Idade Gênero Religião Região Urbana/rural Categoria Econômica Ambiente familiar Extensão de exposição para suas iniciativas de projeto. Número de seminários assistidos.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação A informação correta lhe capacitará a responder as seguintes questões:

Existe alguma diferença em relação à idade no modo como nossa mensagem é recebida? A categoria econômica, isto é, jovens de áreas mais ricas respondem melhor ou pior à mensagem, ou isso simplesmente não faz diferença? Houve um impacto maior para as pessoas que assistiram a mais seminários?

Respostas a estes tipos de questões ajudam uma organização ou um projeto a tomar decisões a respeito do que eles fazem e de como realizam isso, para poder executar as mudanças nos programas e medir seus impactos e sua eficácia. Respostas a questões como as seguintes ajudam o projeto ou a organização e mensurar e melhorar sua eficiência:

Houve um maior número de pessoas com sessões bastante programadas com antecipação? Mais escolas participam quando não se cobra? Mais jovens participam quando as sessões são durante o final de semana ou quando são no período noturno? Custa menos organizar um seminário na comunidade, ou trazer as pessoas para nosso centro de treinamento para realizar o seminário?

3º passo:

Decida como você coletará a informação de que precisa (veja coletando a informação) e onde deve ser mantida (no computador, em arquivos manuais).

4º passo:

Decida com qual freqüência você analisará a informação – isso pode significar organizar tudo junto e tentar responder às questões que você considera importantes.

5º passo:

Faça a coleta, analise, faça um relatório.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação AVALIAÇÃO Criar um processo de avaliação pode significar estar apto a desenvolver os Termos de Referência para tal processo (se você é a organização ou o projeto) ou ser capaz de desenhar uma proposta sensata que supra as necessidades do projeto ou da organização (se você é um consultor). Os principais setores dos Termos de Referência para um processo de avaliação geralmente incluem:

Conhecimento adquirido: Esse é o fundo de conhecimento do projeto ou organização, alguma informação quanto ao problema identificado, o que você faz, quanto tempo você existe como organização ou projeto, ou as razões por você decidir fazer uma avaliação.

Motivo: Neste setor, você mostrará o que a organização ou o projeto quer alcançar com a avaliação.

Questões de avaliação-chave: Quais são as perguntas centrais que a avaliação precisa ocupar-se em resolver.

Objetivos específicos: Quais áreas específicas, externas e/ou internas, que você deseja que a avaliação focalize. Por exemplo, talvez você queira que a avaliação inclua uma revisão de finanças, ou inclua certo tipo específico de áreas de programas.

Metodologia: Neste setor, você poderá dar amplos parâmetros ao tipo de abordagem que favorece em sua avaliação (veja a seção, mais a respeito de avaliação e monitoramento). Você também poderá sugerir os tipos de técnicas para o time de avaliação.

Pontos logísticos: Eles incluem tempo de duração, custo, requisitos para a composição do time de avaliação, e assim por diante.

Para informações a respeito de alguns dos componentes mais difíceis dos Termos de Referência, continue a leitura das próximas páginas.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Propósito O propósito de uma avaliação é o motivo do que se faz. Vai além dos motivos do que você quer realizar para alcançar o intento que o move a realizar tal coisa. É geralmente do tamanho de uma frase ou, no máximo, de um parágrafo. Ele possui duas partes:

O que você deseja avaliar; Com qual fim você quer que isso se realize.

Os exemplos de um propósito de avaliação poderiam ser: Providenciar à organização informações necessárias para tomadas de decisões a respeito do futuro de um projeto. Descobrir se o projeto ou a organização está tendo o impacto planejado de maneira que possa replicar seu modelo, ou não, em outros lugares. Para melhorar seu funcionamento em termos de sua eficácia, impacto sobre um grupo alvo, eficiência e sustentabilidade. O propósito fornece um foco para o amplo processo de avaliação.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Questões centrais para a avaliação As questões de avaliação-chave são as questões centrais que você deseja que seu processo de avaliação responda. Elas não são simples questões. Você dificilmente poderá responder simplesmente “sim” ou “não” a elas. Uma questão de avaliação útil:

Incita fortes pensamentos. Desafia previsões. Focaliza reflexões e questionamentos. Levanta muitas questões adicionais.

Abaixo, alguns exemplos de questões de avaliação-chave relacionadas com o propósito do projeto: O propósito da avaliação é entender quão eficiente é o projeto em distribuir benefícios para a comunidade em questão, de forma que informe, às decisões de Diretoria, a respeito da continuidade e da replicabilidade do projeto. Questões de avaliação-chave:

Quem está atualmente se beneficiando do projeto e de que forma? Os insumos (em dinheiro e tempo) justificam os resultados e, se sim ou não, em qual base essa reivindicação se justifica? O que melhoraria a eficiência, a eficácia e o impacto do projeto atual? Que lições podem ser aprendidas deste projeto em termos de replicabilidade?

Note que nenhuma dessas questões lida com um elemento específico ou área de funcionamento interno ou externo de funcionamento do projeto ou organização. A maioria das questões exigirá que o time de avaliação lide com uma série de elementos do projeto ou da organização para que consiga respondê-las. Outros exemplos de questões de avaliação podem ser:

Quais são as maneiras mais eficazes na qual um projeto deste tipo pode resolver o problema identificado? Em qual extensão o funcionamento interno e a estrutura de organização conseguem causar positivamente o impacto de seu programa de trabalho? Quais ensinamentos deste projeto têm aplicabilidade através de um espectro de desenvolvimento completo?

Certamente podem ser citados diversos outros exemplos. Nossa experiência tem nos mostrado que quando um processo de avaliação é desenhado com tais questões em mente, ele produz muito mais reflexões interessantes do que simplesmente as questões mais óbvias como “A diretoria tem um papel importante na organização?”, ou, “Que impacto estamos atingindo?”.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Metodologia “Metodologia”, em contraposição aos “métodos”, trata mais do tipo de abordagem que se utiliza em seu processo de avaliação. (Veja nas páginas anteriores mais a respeito de monitoramento e avaliação neste pacote de ferramentas). Você pode, por exemplo, comissionar ou fazer um processo de avaliação que quase pareça inteiramente de fontes escritas, primárias ou secundárias: relatórios, páginas de dados, minutas, e assim por diante. Ou você pode pedir um processo de avaliação que envolva obter resultados de todos os grupos de apoio importantes relacionados no processo. A maioria dos termos de referência pode perguntar pela combinação dessas metodologias, mas eles podem especificar também como querem que o time de avaliação receba os insumos dos grupos de apoio, por exemplo:

Através de uma pesquisa; Através de informantes-chave; Através de grupos focais.

(Para mais informações de métodos atuais, veja posteriormente a seção coletando informações). Aqui também se espera encontrar alguma indicação de relatórios escritos: Todos os relatórios estarão escritos? O time de avaliação se reportará somente à diretoria ou a toda a equipe, ou para a equipe, a diretoria e seus beneficiários? Existirão relatórios intermediários ou somente um relatório final? Que tipo de evidência a organização ou projeto requer para validar as opiniões de seu avaliador? Quem estará envolvido nesta análise? A seção de metodologia dos Termos de Referência deve providenciar uma ampla rede de como um projeto ou organização deseja que o trabalho de avaliação seja realizado.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Coletando Informações (Isso também é tratado no pacote de ferramentas de planejamento de ações, dentro da seção a respeito de monitoramento, coletando informações ao passo que você caminha com a estrutura de seu planejamento). Abaixo, analisaremos com detalhes:

As linhas de base e o controle de danos; Métodos.

Entendemos controle de danos como sendo o que você precisa fazer se falhar em coletar as informações de linhas de base no início do trabalho.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação DIRETRIZES E CONTROLES DE DANO De forma ideal, se você fez seu planejamento de maneira correta e coletou a informação a respeito da situação no começo de sua intervenção, então você obterá seus dados de base. Os dados de base são as informações que você tem a respeito da situação antes de se fazer qualquer coisa. É o conteúdo no qual sua análise do problema foi baseada. Será muito difícil mensurar o impacto de suas iniciativas se você não souber como a situação estava quando você começou o trabalho. (Consulte também o pacote da visão geral para o planejamento, na seção que trata de como realizar o trabalho de base). Você precisará de dados de base relevantes para os indicadores que você decidiu, e que auxiliarão em medir o impacto de seu trabalho. Existem diferentes níveis de dados de base: Informações gerais quanto à situação, geralmente disponíveis em estatísticas oficiais, e.g. taxas de mortalidade infantil, ingresso por gênero dos alunos nas escolas, taxas de desemprego, taxas de alfabetização da população, e assim por diante. Se você estiver trabalhando numa região geográfica específica, precisará de dados a respeito dela. Se estes dados não estiverem disponíveis em estatísticas oficiais, vocês possivelmente terão que reunir, por si mesmos, as informações. Isso talvez envolva pesquisas de casa em casa, sejam elas por amostragens ou por todas as casas (veja a seção posterior a respeito de métodos), ou visitando escolas, hospitais, etc. Focalizando em seus indicadores do impacto quando estiverem coletando esta informação. Se você tiver decidido medir o impacto através de uma amostra de pessoas ou famílias com quem está trabalhando, necessitará de informações específicas dessas pessoas ou famílias. Então, por exemplo, para famílias (ou empresas de negócios ou escolas ou qualquer que seja o tipo de unidades com que esteja trabalhando) você pode querer informações específicas de renda, histórico, número de pessoas empregadas, número de crianças por sala e assim por diante. Você provavelmente obterá essa informação com uma combinação de entrevistas e questionários básicos a serem preenchidos. Mais uma vez, lembre-se de manter o foco nos indicadores que você decidiu serem importantes para seu trabalho. Se você está trabalhando com indivíduos, então necessitará “ingerir” informações – informações documentadas a respeito da situação das pessoas com quem você vai começar a trabalhar. Por exemplo, você pode querer saber além da idade, gênero, nome e etc., a renda atual, o status de trabalho, os níveis atuais de educação, o tempo gasto em atividades esportivas, ambições e assim por diante, para cada indivíduo participante de sua pesquisa. Novamente, você provavelmente obterá as informações da combinação de entrevistas e preenchimentos de questionários básicos, e você deve concentrar sua atenção nos indicadores que considera importantes.

É muito difícil reiniciar e coletar esse tipo de informação-base depois que você começou seu trabalho e a situação modificou-se. Mas e se você não tiver coletado esse tipo de

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação informação no começo do processo? Existem maneiras de se fazer o controle de danos. Você pode se utilizar de evidências não-formais, ”anedotas” (consulte o glossário) daqueles que estiveram envolvidos desde o princípio e você pode perguntar a eles como a situação estava quando o projeto começou. Você pode não ter sequer decidido quais eram os indicadores importantes no momento quando começou o projeto. Você terá que trabalhar retroativamente e buscar informações da situação relacionada àqueles indicadores desde quando iniciou seu trabalho. Você pode conversar com pessoas, analisar dados e consultar outras fontes como minutas, relatórios e assim por diante. Uma maneira útil de se fazer comparações significativas onde você não tem informações de linhas de base é através da utilização de grupos de controle. Grupos de controle são grupos de pessoas, negócios, famílias, ou qualquer outra unidade a qual você esteja focalizando e que não tenha sido influenciada pelas melhoras que sua organização ou projeto trouxeram e que, porém, são unidades de muitas maneiras, bastantes similares com aquela que você está trabalhando. Por exemplo: Você vem trabalhando, ao redor do país, com grupos de crianças na escola para melhorar sua auto-estima e conhecimento como forma de combater a disseminação da AIDS/HIV e prevenir a gravidez de adolescentes. Após alguns anos, você quer descobrir qual o impacto que obteve sobre estas crianças. Você vai consultar uma série de grupos de foco (veja métodos) com as crianças em escolas onde realizou seu trabalho. Mas você não realizou nenhum estudo de base com eles. Como saberá qual a diferença que você obteve? Você pode organizar grupos de controle dentro de escolas nas mesmas áreas, com o mesmo perfil, onde não tenha trabalhado. Perguntando a ambas as crianças, àquelas com que você trabalhou e àquelas com que não trabalhou o mesmo tipo de questões envolvendo auto-estima, comportamento sexual e assim por diante. Assim, você deverá ser capaz de dizer se, em seu trabalho, houve uma diferenciação ou não. Quando você organiza grupos de controle, você deve tentar assegurar-se de que:

Os perfis dos grupos de controle são parecidos com aqueles com os quais você trabalhou. Por exemplo, podem ser escolas que têm o mesmo padrão econômico, numa igual área geográfica e com as mesmas taxas de gênero, grupos de idade, etnia e miscigenação. Não existe nenhuma outra variável que possa afetar as comparações e afirmações. Por exemplo, se outro projeto, fazendo um trabalho parecido, estiver envolvido com a escola, essa escola não será um bom local de estabelecer um grupo de controle. Você precisa de uma situação que seja a mais próxima possível da situação que seus beneficiados viviam quando o projeto foi iniciado.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação MÉTODOS Nesta seção daremos a você uma “lista de compras” de diferentes tipos de métodos que podem ser utilizados para a coleta de informações com propósitos de se avaliar e monitorar. Você precisa selecionar os métodos que servirão para seus propósitos e seus recursos. Não planeje realizar uma pesquisa extensa de 100.000 moradias se você tiver duas semanas e muito pouco dinheiro. Utilize uma amostragem neste caso. A Amostragem (consulte o glossário) é outro conceito importante quando se utiliza de várias ferramentas para o processo de avaliação e monitoramento. A amostragem não é uma ferramenta em si, mas se utilizada com outras ferramentas, ela se torna muito útil. A amostragem responde à questão: Quem pesquisaremos, entrevistaremos ou incluiremos num grupo de foco, etc.? É uma maneira de se reduzir o número possível de entrevistados para tornar a pesquisa gerenciável e com um custo realizável. Algumas vezes, é necessário incluir todos os indivíduos. Isso significa ter de acessar todas as possíveis moradias, ou escolas, ou professores, ou clínicas, etc. Numa avaliação, você pode bem se utilizar de toda a informação coletada em cada caso durante o processo de monitoramento em uma análise geral. Geralmente, porém, ao menos que os números sejam muito pequenos, para uma exploração mais a fundo, você utilizará uma amostragem. As técnicas de amostragem são:

Amostragem randômica (Em teoria, realizar uma amostragem randômica é fazer uma espécie de sorteio lotérico onde, por exemplo, todos os nomes sejam misturados numa caixinha, chacoalhados e retirados um a um. Este tipo de amostragem randômica é muito difícil de ser utilizado pelo tipo de trabalho que estamos lidando. Para propósitos práticos, será mais simples selecionar a sétima moradia, ou uma a cada três pessoas em uma lista. A essência da questão é que não haja distinções na seleção); Amostragem estratificada (e.g. toda sétima moradia, na esquina do lado direito, e toda terceira moradia, na esquina do lado esquerdo); Amostragem por clusters=grupos homogêneos (p.ex. somente aquelas pessoas que estão no projeto por no mínimo dois anos).

É também sempre melhor fazer uma triangulação (veja o glossário). Essa é uma palavra conhecida que significa que um conjunto de dados ou informações são confirmados pelos outros. Você geralmente procura confirmações de um número de fontes dizendo a mesma coisa. Ferramenta Entrevistas

Descrição

Utilidade

Desvantagens

Podem ser estruturadas, semi-estruturadas, ou sem estrutura (consulte o glossário). Elas envolvem formular perguntas específicas que tenham como objetivo obter a informação que possibilite que os indicadores sejam mensurados. As questões podem ser abertas ou fechadas (respostas sim/não). Podem ser uma fonte de informações qualitativas e quantitativas.

Podem ser utilizadas com quase todos que tiveram algum envolvimento com o projeto. Podem ser realizadas pessoalmente ou pelo telefone ou mesmo por e-mail. Muito flexível.

Requer alguma habilidade do entrevistador. Para maiores informações a respeito de habilidades de entrevistas, leia mais a seguir neste pacote.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Entrevistas de informantes-chave

Estas são entrevistas que são conduzidas por especialistas em um tópico ou alguém que pode estar apto a compartilhar uma indicação ou luz especial acerca do processo.

Questionários

Estas são questões escritas usadas para obter respostas escritas as quais, quando analisadas, possam possibilitar que os indicadores sejam medidos.

Grupos focais

Num grupo focal, uma média de média de seis a doze pessoas são entrevistadas em conjunto por um entrevistador experiente com uma agenda de entrevista cuidadosamente estruturada. As questões são geralmente focalizadas ao redor de um tópico ou tema específico.

Como estes informantes geralmente têm pouco a ver com a organização ou projeto, eles podem ser bastante objetivos e oferecer perspectivas bastante úteis. Eles podem providenciar uma visão mais ampla, enquanto que pessoas mais envolvidas podem ter seu foco na visão de nível mais micro (pequeno). Essa ferramenta pode economizar bastante tempo se for para preencher individualmente, possibilitando atingir muitas pessoas. Feita dessa maneira, ela possibilita às pessoas um sentimento de anonimato e elas talvez dirão coisas que não diriam a um entrevistador.

Essa pode ser uma maneira útil de conseguir opiniões de uma amostra bastante grande de pessoas.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Necessita de um hábil entrevistador com um bom entendimento do assunto. Tenha cuidado para não transformar algo numa verdade absoluta (que não possa ser questionada) por ter sido dita por um informantechave.

Pessoas que não conseguem ler ou escrever precisarão de um acompanhamento com os questionários, o que significa que nenhum tempo será ganho e os números passíveis de alcance serão limitados. Com questionários, não se tem a possibilidade de explorar o que as pessoas estão dizendo além do que está escrito. Questionários também são utilizados em demasia e as pessoas ficam cansadas de responder a eles. Questionários devem ser conduzidos tendo claro que as perguntas podem ser entendidas e não vão ser mal interpretadas. Se o questionário for complexo e precisar ser analisado no computador, você necessitará de ajuda de um especialista que saiba lidar com esta análise. É bastante difícil realizar uma amostragem randômica para grupos focais e isso significa que posicionamentos e pensamentos não podem ser generalizados. Algumas vezes, as pessoas influenciam umas às outras dizendo alguma coisa ou se calando a respeito de outra. Se possível, entrevistas de grupos de foco devem ser gravadas e então transcritas. Isso requer equipamento especial e pode ser

Monitoramento e Avaliação Encontros da comunidade

Isso envolve um encontro de uma significativa porção da comunidade de beneficiários a quem questões, problemas, e situações são colocadas como dados que auxiliem a medir os indicadores.

Relatórios de campo (veja também formatos de relatórios de campo sob exemplos)

Relatórios de formato estruturado que garante que questões relacionadas a indicadores sejam feitas, respondidas e gravadas e observações sejam gravadas a cada visita. Isso envolve fazer com que as pessoas digam o que pensam ser o mais importante, menos útil, etc.

Ranking

Encontros da comunidade são bastante úteis para conseguir uma ampla resposta de muitas pessoas em assuntos específicos. É também uma forma de envolver os beneficiários diretamente no processo de avaliação, dando a eles a sensação de autoria no processo. Eles são úteis em pontos críticos de projetos comunitários. Flexível, uma extensão de um trabalho normal, portanto, barata e rápida.

Pode ser utilizado por indivíduos e grupos, como parte de uma agenda de entrevistas ou um questionário, ou como uma sessão separada. Onde pessoas não podem ler nem escrever, imagens podem ser utilizadas.

Estímulos áudiovisuais

Isso inclui imagens, filmes, fitas, estórias, atividades dinâmicas, fotografias, utilizadas para ilustrar problemas ou temas, ou eventos passados ou futuros.

Muito útil para ser usado conjuntamente com outras ferramentas, particularmente com pessoas que não conseguem ler ou escrever.

Configurando Escalas

Essa técnica faz uso de um contínuo, ao longo do qual se espera que as pessoas coloquem seus próprios sentimentos, observações, etc. As pessoas são geralmente levadas a se posicionar se concordam fortemente, concordam, não sabem, discordam, ou discordam fortemente com uma dessas perspectivas. Você pode usar imagens e símbolos nessa técnica se as pessoas não souberem ler e escrever.

É útil para mensurar atitudes, opiniões e percepções.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

bastante demorado. Difíceis de serem analisados – requisitando um facilitador/entrevistador experiente. Possa talvez requisitar desdobrar em pequenos grupos seguidos por sessões de plenário quando todos são colocados juntos novamente.

Depende dos trabalhadores de campo serem disciplinados e conscientes.

Ranking é um conceito difícil de ser entendido, e necessita de uma explicação muito cuidadosa, bem como de testes que assegurem que as pessoas entenderam o que está sendo pedido. Se as pessoas malinterpretarem seus dados, eles podem ser completamente distorcidos. Você deve utilizar o estímulo correto, e o entrevistador precisa ser hábil em se utilizar desse estímulo.

Você precisa testar os posicionamentos com bastante cuidado, para estar certo de que não houve algum malentendido. Um problema comum é quando dois conceitos são incluídos no posicionamento e você não consegue ter certeza se a opinião foi dada em um ou outro, ou em ambos.

Monitoramento e Avaliação Evento crítico/ análise de ocorrências

Este método é uma maneira de focalizar entrevistas com indivíduos ou grupos a respeito de eventos particulares ou incidentes. O propósito é obter uma visão ampla do que realmente aconteceu.

Muito útil quando algo problemático tiver ocorrido e as pessoas sentirem-se emocionadas pelo que houve. Se todos os envolvidos na situação estiverem incluídos, isso ajudará a equipe de avaliação a obter uma imagem que seja razoavelmente próxima do que aconteceu de verdade, e diagnosticar o que ocorreu de errado.

A equipe de avaliação pode terminar soterrada sob uma montanha de detalhes contraditórios e muitos “ele disse/ela disse”. Pode se tornar difícil não ser parcial e permanecer objetivo.

Observação participante

Isso envolve observação direta de eventos processos, relacionamentos, e comportamentos. “Participante”, aqui, refere-se mais ao observador estar envolvido nas atividades do que manter alguma distância.

Pode ser uma maneira muito útil de confirmar, ou não, a informação providenciada de outras formas.

É difícil observar e participar. O processo torna-se muito demorado.

Desenhos

Isso envolve os participantes em desenhar gravuras, geralmente a respeito do que sentem ou pensam de algo.

Pode ser bastante útil particularmente com crianças mais jovens.

Pode ser difícil de explicar ou interpretar.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Ψ

HABILIDADES DE ENTREVISTA

O que fazer e o que não se deve fazer em entrevistas:

□ Faça um teste com o formulário de entrevistas com antecedência para maior clareza,

e para ter certeza de que as questões não serão interpretadas de forma incorreta. □ Estabeleça da forma mais clara possível o propósito de sua entrevista. □ Assegure ao entrevistado que o que for dito será tratado em sigilo. □ Pergunte ao entrevistado se ele se importa que você tome notas e use um gravador durante a entrevista. □ Registre com a maior exatidão possível as palavras dos entrevistados. □ Continue falando enquanto escreve. □ Mantenha a entrevista dentro do tema desta. □ Preencha todas as questões do formulário. □ Fique atento para questões que sejam vagas e possam exigir mais informações. □ Seja flexível, e anote tudo que foi dito e que seja interessante, mesmo que não esteja no formulário. □ NÃO ofenda o entrevistado de maneira alguma. □ NÃO diga coisas que tenham um teor de julgamento. □ NÃO o interrompa no meio do que ele está falando. □ NÃO coloque palavras na boca do entrevistado. □ NÃO mostre o que estiver pensando através de um tom de voz diferente.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Analisando Informações Analisando tanto o monitoramento quanto a avaliação, haverá um momento que você vai se deparar com uma grande quantidade de informações e terá que decidir como fazer com que aquilo tudo faça sentido, ou seja processado e analisado. Se você estiver utilizando uma equipe de avaliação externa, será ela que fará essa análise, mas em algum momento da avaliação, e certamente quando estiver monitorando, você, o projeto ou a organização terão que se prontificar a realizar essa análise. Análise é o processo de transformar a informação detalhada em padrões de entendimento, comparações, e interpretações. O ponto inicial para a análise em um contexto de projeto ou organizacional é muitas vezes muito pouco científico. É seu entendimento intuitivo de temas chave que resultarão em um processo de associação de informações. Uma vez que você saiba os temas-chave, torna-se possível trabalhar a informação, estruturando-a e a organizando corretamente. O próximo passo é escrever a respeito de suas descobertas e reflexões como base para alcançar conclusões e fazer recomendações. Assim, seu processo parecerá algo do tipo: Determine os indicadores chave para o processo de avaliação e monitoramento

Recolha a informação a respeito dos indicadores

Desenvolva uma estrutura para sua análise, baseada no entendimento intuitivo de temas emergentes e preocupações, e onde você suspeite haver alguma variação do que você esperava e/ou previa.

Organize seus dados, colocando-os relacionados em temas e preocupações. Identifique padrões, comparações e possíveis interpretações. Escreva suas conclusões e descobertas. Estude formas e alternativas possíveis (recomendações).

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação

Tomando atitudes O monitoramento e a avaliação têm pouco valor se a organização ou o projeto não realizam o procedimento de analisar os dados coletados a respeito das informações obtidas. Uma vez que você estabeleça as descobertas, conclusões e recomendações de seu processo de monitoramento e avaliação, você precisará:

Enviar relatórios aos seus patrocinadores; Aprender do processo geral; Tomar as decisões eficazes, para mover em frente; e, se necessário, Lidar com a resistência para fazer mudanças necessárias dentro do projeto ou organização, ou mesmo com relação aos que dão suporte ao projeto.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação RELATÓRIO Se você estiver monitorando ou avaliando, em algum ponto, ou pontos, existirá um processo de fazer um relatório. O processo de um relatório segue os mesmos passos da análise de informações. Você se reportará aos diferentes patrocinadores de diferentes maneiras, às vezes de forma escrita, outras verbalmente, e, cada vez mais, utilizando-se de ferramentas como apresentações de PowerPoint, slides e vídeos. A tabela abaixo traz algumas sugestões de mecanismos de relatórios para momentos distintos nos ciclos de projetos. Para dicas de escrita, consulte o pacote de ferramentas que ajuda a escrever com mais eficácia. Grupo alvo

Estágio do ciclo de projeto De tempos em tempos, baseado na análise de monitoramento. Avaliação

Diretoria

Time gerencial

De tempos em tempos, baseado no monitoramento. Avaliação

Equipe

De tempos em tempos, baseado no monitoramento. Avaliação

Beneficiados

De tempos em tempos, mas somente com os pontos significativos, e avaliação.

Doadores

De tempos em tempos, baseado no monitoramento. Avaliação

Comunidade desenvolvimento em geral

Avaliação

Formato apropriado Relatório escrito Relatório escrito com um sumário executivo, e uma apresentação verbal do time de avaliação. Relatório escrito, discutido em uma reunião do time gerencial. Relatório escrito, apresentado verbalmente pelo time de avaliação. Apresentação escrita e verbal aos níveis de time e departamento. Relatório escrito, apresentado verbalmente pelo time de avaliação e seguido em profundidade de uma discussão com recomendações relevantes para cada time e departamento. Apresentação verbal, com base em um documento resumido, utilizando tabelas apropriadas, gráficos visuais e áudios-visuais. Isso é especialmente importante se a organização ou projeto tem intenções de formular uma grande mudança que trará um grande impacto aos beneficiados. Resumido em um relatório por escrito. Relatório completo por escrito, com um sumário executivo ou uma versão especial, focalizada nas preocupações e interesses dos doadores. Artigos de jornal, seminários, conferências e páginas da internet.

Para um esboço do que normalmente é colocado em um relatório escrito, veja a página a seguir.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Ψ

ESBOÇO DE UM RELATÓRIO DE AVALIAÇÃO

SUMÁRIO EXECUTIVO

(Geralmente não contendo mais do que cinco páginas – quanto mais curto, melhor – pretende providenciar informação suficiente para pessoas ocupadas, mas também para aguçar o apetite das pessoas, para que assim queiram ler o relatório completo).

PREFÁCIO

(Não é essencial, mas é um bom lugar para agradecimentos e comentários mais amplos a respeito do processo, descobertas, etc.).

CONTEÚDO DE PÁGINAS (Com páginas enumeradas, para auxiliar as pessoas a encontrarem o que desejam ler no relatório). 1ª SESSÃO: INTRODUÇÃO:

2ª SESSÃO: DESCOBERTAS:

3ª SESSÃO: CONCLUSÕES:

4ª SESSÃO: RECOMENDAÇÕES: APÊNDICE:

(Geralmente trata do conhecimento-base da organização/projeto, do conhecimento-base da avaliação, um breve resumo do time de avaliação, da metodologia, do processo utilizado e eventuais problemas ocorridos). (Aqui serão organizadas seções com áreas importantes de descobertas, p.ex. eficiência, eficácia e impacto, ou quaisquer outros temas que tenham emergido).

(Aqui você apresentará conclusões de suas descobertas – a interpretação, ou seja, o que elas significam. É bastante útil fazer uma análise SWOT – explicada resumidamente no glossário deste pacote de ferramentas).

(Elas fornecerão sugestões específicas para progredir, em termos de lidar com fraquezas e construir bases mais sólidas). (Aqui serão incluídos os Termos de Referência, as listas das pessoas entrevistadas, os questionários usados e talvez um mapa da área, etc.).

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação APRENDENDO Aprender é, ou devia ser, a principal razão do motivo de um projeto ou organização monitorar seu trabalho ou fazer sua avaliação. Ao aprender o que funciona e o que não funciona, o que você está fazendo corretamente e o que você está fazendo errado, você, como projeto ou organização gerencial, tem mais condições de agir de uma maneira construtiva e informada. Isso é parte do ciclo de ação reflexiva. (veja o diagrama na seção do por que monitorar e avaliar?) O propósito da aprendizagem é realizar mudanças, onde necessárias, e identificar e solidificar forças onde elas existam. O aprendizado também lhe ajuda a entender, tornando conscientes as concepções que se tenha. Então, por exemplo, talvez você tenha presumido que as crianças de escolas mais ricas fossem beneficiar-se menos que as de escolas mais pobres. Seus dados de monitoramento podem indicar que essa previsão está errada. Uma vez que você se dê conta disso, você provavelmente enxergará suas interações com essas escolas de modo diferente. Permanecendo em um constante modo de ação-reflexão-ação, você será menos complacente. Algumas vezes quando projetos ou organizações sentem que agora “entenderam” o que tem de ser feito, eles acabam retrocedendo e fazendo as coisas da mesma forma que faziam anteriormente, sem se questionar se continuam ainda trabalhando da maneira correta. Esquecem que situações se modificam, que as necessidades de seus beneficiados podem mudar e que as estratégias precisam ser reconsideradas e revisadas. Por exemplo, uma organização providenciava treinamento e programas para as comunidades de estação de rádio. Por possuir um excelente equipamento e um estúdio de produção excelente, convidava outras estações para enviar apresentadores para seu centro para o treinamento de como apresentar os programas que ela (a organização) estava produzindo. Ela desenvolveu uma reputação excelente de seu treinamento e produção de alta qualidade. Ao longo do tempo, entretanto, as estações de rádio da comunidade começaram a produzir seus próprios programas, e o que eles realmente gostariam seria que a organização enviasse alguém para suas estações, para auxiliar com seminários e avaliar o resultado do trabalho que estavam realizando. Isso foi levantado por um processo de avaliação e a organização percebeu que tinha se acomodado em uma zona de conforto no que já sabia fazer com excelência, mas que isso, se a organização realmente tinha a intenção de auxiliar as estações de rádio, precisava ser transformado em sua estratégia. Organizações e projetos que não aprendem, sofrem uma estagnação. O processo rigoroso (veja o Glossário) de monitoramento e avaliação força as organizações e projetos a continuar aprendendo – e crescendo.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação TOMADA DE DECISÕES EFICAZES Como gerência de um projeto ou organização, você precisa das conclusões e recomendações que se obtêm através do monitoramento e da avaliação para auxiliá-lo na tomada de decisões a respeito de seu trabalho e da forma como você o conduz. O sucesso do processo depende da capacidade daqueles com responsabilidades gerenciais de tomar decisões e colocá-las em prática. Os passos envolvidos no processo como um todo são: 1

Planeje corretamente – saiba o que está tentando alcançar e como você pretende alcançar isso. Implemente Monitore e avalie. Analise a informação que você recebe do monitoramento e da avaliação e trabalhe para saber o que ela está lhe dizendo. Analise as potenciais conseqüências em relação aos planos do que você aprendeu com os dados de monitoramento e avaliação. Desenhe uma lista de opções para tomar as devidas atitudes. Obtenha consenso no que deve fazer e um mandado para tomar as atitudes. Compartilhe os ajustes e planos com o resto da organização e, se necessário, seus doadores e beneficiados. Implemente. Monitore e avalie.

2 3 4 5 6 7 8 9 10

Os passos-chave para tomadas de decisão eficazes são:

Como um time de gerência, entenda as implicações do que tiver aprendido. Esclareça o que necessita ser feito e tenha claro em mente o porquê disso precisar ser feito. Formule opções de como fazê-lo. Encare as opções de forma crítica em termos de avaliar qual será a mais eficaz. Encontre um acordo como um time gerencial. Consiga estabelecer um consenso organizacional / de projeto no que precisa ser realizado e como precisa ser realizado. Obtenha um mandado (geralmente da Diretoria, mas possivelmente também dos doadores e beneficiados) para fazer isso. Faça-o.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação LIDANDO COM CONTRARIEDADES Nem todos estarão satisfeitos com uma mudança de planos que você decida ser necessária. As pessoas sempre resistem às mudanças. Algumas das razões para isso incluem:

As pessoas estão confortáveis com as coisas do modo como estão – elas não querem ser puxadas para fora de sua área de conforto. As pessoas se preocupam e pensam que uma mudança diminuirá os seus níveis de produtividade – elas se sentem julgadas pelo que fazem e pelo quanto fazem, e não querem utilizar o tempo mais do que o necessário para empreender por mudanças de planos ou modos novos de fazer as coisas. As pessoas não gostam de apressar mudanças – como podemos saber que algo diferente será melhor? Eles gastam tanto tempo pensando e discutindo que atrasam mudanças úteis que teriam de ser feitas, e, que, às vezes, são feitas tarde demais. As pessoas não enxergam a “perspectiva macro”. Elas sabem o que estão fazendo e podem ver que está funcionando; assim, não conseguem ver nenhuma razão para se mudar afinal de contas. As pessoas não têm um compromisso de longo termo com o projeto ou organização – eles vêem isso como uma pedra no sapato em sua carreira. Elas não querem mudar porque isso atrasará os itens que querem poder marcar como já terminados em seus currículos. As pessoas sentem que não podem lidar com mudanças – elas têm que continuar fazendo o que estão fazendo, mas também trabalhar para conseguir as mudanças. Pensam estar além daquilo que podem realizar.

Como você pode ajudar para que as pessoas aceitem as mudanças?

Deixe muito claro os motivos pelos quais as mudanças são necessárias – conduza a todos através do processo de descobertas e conclusões dos processos de monitoramento e avaliação, envolva-os no processo de tomada de decisões. Ajude as pessoas a enxergarem a imagem como um todo – além de seus minúsculos afazeres para a visão geral do impacto do problema analisado. Focalize os temas-chave – temos que fazer algo a respeito disso! Reconheça raiva, medo, resistência. Ouça as pessoas, dê-lhes a oportunidade de expressar frustração e outras emoções. Encontre um meio comum – coisas que elas também gostariam de ver modificadas. Encoraje o sentimento de que as mudanças são desejáveis e libertam as pessoas de coisas que não estão funcionando, para que assim possam tentar novas coisas que possam funcionar, e isso tudo libera a energia produtiva. Enfatize a importância de todos se comprometerem com o esforço para que isso funcione. Crie condições para interações regulares – qualquer coisa, desde um seminário a um lápis no quadro de avisos – para discutir o que está acontecendo e como está se progredindo. Dê um ritmo para as mudanças, para que assim as pessoas possam lidar melhor com elas.

(Agradeço à Olive Publications, Ideas for a Change Part 4, Junho 1999, por dicas utilizadas nesta subseção).

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação MELHORES PRÁTICAS EXEMPLOS DE INDICADORES Por favor, lembre-se que estes são somente exemplos – eles podem se adequar ou não às suas necessidades, mas devem fornecer o tipo de indicador que você pode utilizar, especialmente para mensurar impacto. Indicadores de Desenvolvimento Econômico

Média anual da renda de cada moradia Média de pagamentos por mês/semana Taxa de emprego, por grupos de idade Taxa de desemprego, agrupados por idade, por gênero Taxa de emprego, por ocupação, por gênero Emprego público Níveis de ganhos de renda Média de duração do período de desemprego Taxas de juros sobre empréstimos Taxa de aluguel de proprietários para locatários Renda per capita Média de renda anual familiar Percentual de pessoas abaixo da linha de pobreza Taxas de empregos sazonais para empregos permanentes Taxa de crescimento de pequenos negócios Valor de construções residenciais e/ou renovações

Indicadores de Desenvolvimento Social

Taxa de mortalidade Expectativa de vida de recém-nascidos Taxas de mortalidade infantil Causas de morte Números de médicos per capita Número de camas de hospital per capita Número de enfermeiras per capita Taxas de alfabetização, por idade e gênero Número de estudantes por professor Taxa de repetição pelo nível escolar Taxas de conclusão escolar Gasto público por aluno Número de suicídios Causas de acidentes Lares com água corrente Lares com eletricidade Número de desabrigados Número de crimes violentos Taxa de natalidade Taxa de fertilidade Diferenças de renda Gini (consulte o Glossário)

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação

Taxa de mortalidade infantil Taxas de hospitalização Taxas de infecção pelo vírus da AIDS Taxas de mortes por AIDS Número de teatros, cinemas e piscinas para cada 1000 habitantes Número de rádios e televisores per capita Disponibilidade de livros em línguas tradicionais Línguas tradicionais ensinadas nas escolas Tempo gasto ouvindo o rádio ou assistindo televisão por gênero. Número de programas na televisão e rádio em suas línguas tradicionais e/ou lidando com costumes tradicionais Participação da Igreja, por idade e gênero

Desenvolvimento de indicadores políticos/organizacionais

Número de organizações comunitárias Tipos de esporte organizados Número de jogos e torneios Níveis de participação em um esporte organizado Número de grupos de jovens Participação de grupos de jovens Participação de grupos de mulheres Participação de grupos para idosos Número de grupos para idosos Estrutura de liderança política, por idade e gênero Taxas de participação em eleições, por idade e gênero Número de encontros públicos feitos Participação em encontros públicos, por idade e gênero

Exemplos adaptados de Utilizando Indicadores de Desenvolvimento para o Desenvolvimento Aborígine, Comitê Organizador do Projeto de Indicador de Desenvolvimento, Setembro de 1991

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação ESTUDO DE CASO: DESENHANDO UM SISTEMA DE MONITORAMENTO Segue aqui a descrição do processo que uma organização da África do Sul, chamada Bonecos contra a AIDS, enfrentou com o propósito de desenvolver um sistema de monitoramento para alimentar outros processos de monitoramento e avaliação. O trabalho principal da organização era apresentar peças em seminários e/ou shows de bonecos ligados às habilidades para a vida, especialmente àquelas ligadas com sexualidade, nas escolas e em torno do país. A organização trabalhava com diversos grupos de faixa etária diferentes, e com diferentes “produtos” (roteiros), adaptados de acordo com estes diferentes níveis. A Bonecos contra a AIDS queria desenvolver um sistema de monitoramento e avaliação que providenciasse informações úteis quanto à eficiência, eficácia e impacto de suas operações. Para isso, a organização quis desenvolver dados de linha de base que:

Providenciassem toda a informação básica que a organização precisava a respeito de clientes e serviços prestados; Produzissem relatórios que capacitassem a organização para manter tanto a si mesma quanto outros agentes de apoio, incluindo doadores, parceiros e mesmo escolas informadas a respeito do impacto de seu trabalho.

A organização tomou a decisão de optar por um sistema computadorizado de monitoramento. Muito do que era necessário das informações do dia-a-dia já se encontravam nos dados-base (e.g. escolas, regiões, serviços oferecidos, e assim por diante), mas o sistema de monitoramento precisaria de uma atualização substancial e o desenvolvimento de um software para os dados de base específicos que suprissem as necessidades da organização. A organização também tomou a decisão de desenvolver um sistema inicialmente para um projeto-piloto, mas com a intenção de estender o sistema para todo o trabalho realizado com o passar do tempo. Este projeto-piloto funcionaria com aproximadamente 60 escolas, utilizando-se roteiros diferentes a cada ano, por um período de três anos. Para conseguir levantar o dinheiro necessário para este processo, a Bonecos contra a AIDS necessitava de algum tipo de resumo do que seria requerido, para que assim fosse custeado. Num seminário inicial com a equipe, organizada por consultores, a equipe desenvolveu uma lista de indicadores para eficiência, eficácia e impacto em relação ao seu próprio trabalho. Era isso que a equipe queria saber do sistema em relação àquilo que fez, como fez e qual foi a diferença alcançada. Os termos foram definidos da seguinte maneira: Eficiência

Aqui o que era necessário ser compreendido era com qual rapidez, quão correto, a que custo/efetividade e com qual uso dos recursos os serviços da organização seriam oferecidos. Muito dessa informação já tinha sido coletada e estava armazenada em relatórios que refletiam o planejamento em relação aos seus alcances. Precisava agora ser feita a transcrição para o computador.

Eficácia

O que precisava aqui ser resolvido era obter resultados em termos de estratégia de impacto de curto prazo. Por exemplo, os shows de bonecos eram eficazes meios de comunicação de mensagens a respeito de sexualidade? Mais uma vez, essa informação já estava

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação sendo coletada e somente necessitava de uma adaptação para encaixar-se no sistema computadorizado. Impacto

Aqui o que precisava ser analisado era se a estratégia funcionava a ponto de ter um impacto no comportamento dos indivíduos (no caso, estudantes) e se uma mudança em seu comportamento causava um impacto positivo sobre a sociedade. A organização tinha uma forte impressão de que estava funcionando, mas queria poder medir isso de modo mais científico e ser capaz de analisar que variáveis causavam mais ou menos impacto, ou afetavam o nível do impacto.

A equipe gerou uma lista de variáveis importantes para compreender e perceber diferenças de impacto. O sistema de monitoramento teria que realizar as conexões de informação quanto ao impacto dessas variáveis. A intenção era providenciar ambas as informações qualitativas e quantitativas. Os consultores e a equipe sênior de membros então desenvolveram indicadores mensuráveis de desenvolvimento de impacto e uma tabela de variáveis importantes, as quais incluíam:

Sexo e idade de perfis Perfil econômico da escola Perfil religioso da escola Perfil dos professores da escola Abordagem da disciplina na escola Quais roteiros foram utilizados Qual time de atores apresentou os roteiros E assim por diante.

Questionários e formulários foram desenvolvidos para medir o impacto de indicadores antes da primeira intervenção (para o fornecimento da informação de base) e também em diversos pontos do processo, assim como categorizar conceitos como “perfil de professor”. Com o questionário dos estudantes, foi possível agregar notas que poderiam ser comparadas em diferentes estágios do processo. O questionário era composto por uma série de posicionamentos: os estudantes eram questionados se concordavam / discordavam / concordavam fortemente / discordavam fortemente, etc. Dessa forma, posicionamentos que tinham a ver com a auto-estima incluíam “Quando eu olho no espelho, eu gosto do que vejo”, e “A maioria das pessoas que conheço gostam do meu verdadeiro eu”. A organização indicou que gostaria que o sistema gerasse relatórios que tornariam possível saber:

Que diferença houve entre as taxas dos indicadores do começo para o final do processo? Que diferença aconteceu entre as atitudes dos professores no começo e no final do processo? Que variações ocorreram na escola e no ambiente escolar, mostrando o impacto no nível de diferenciação entre os indicadores do começo e do final do processo? Que variáveis relacionadas com a forma em que os shows são apresentados apresentaram maior impacto na diferença entre o começo e o final do processo?

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação Tudo isso foi sistematizado e enviado a especialistas em software. Criou-se em seguida um sistema específico, para atender às exigências requisitadas. O processo foi demorado e exigiu muito trabalho, mas ele foi desenvolvido finalmente e está atualmente sendo testado.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação FORMATO DO RELATÓRIO DO TRABALHADOR DE CAMPO Este formato foi utilizado por um centro de aprendizagem de desenvolvimento para préescola para mensurar os seguintes indicadores em escolas informais:

O aumento na capacidade de professores educadores. O aumento de equipamentos feito por eles mesmos. Fichas atualizadas. Pagamentos em dia. Comparecimento em encontros do comitê.

________________________________________________________________________ CARE-ED RELATÓRIO DE VISITA DE CAMPO Data: Nome da escola: Informação obtida de: Relatório preenchido por: Número de visitas de campo:__ --------------------------------------------------------------------------------------------1. Lista de habilidades utilizadas pelos professores no tempo de sua visita na escola:

2. Lista de equipamentos criados manualmente e visíveis dentro da escola:

3. Lista de atividades de arrecadação de fundos que o comitê da escola está atualmente envolvido:

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação

4. Manutenção e modo de arquivar a documentação: Tipos arquivo

Arquivos livros

Atualizados e precisos

Atualizados mas não muito precisos

Não atualizados

Inexistentes

Gastos corriqueiros Fichamentos Correspondênci a Controle de estoque Registros

5. Número de crianças registradas: Média de freqüência dos últimos dois meses: 6. Número de pagamentos inadimplentes por mais de dois meses: 7. Média de freqüência em encontros do comitê dos últimos dois meses: 8. Comentários dessa visita:

9. Comparações com a visita de campo anterior:

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação RECURSOS A CIVICUS gostaria de agradecer às valiosas fontes na preparação deste pacote de ferramentas: Olive Publications

Planejando para Monitorar e Avaliar, Olive 2002

Shapiro, Janet 1996

Avaliação: Dia do Julgamento ou Ferramenta Gerencial? Olive

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação GLOSSÁRIO Dados Não-Formais (anedotas)

A informação de dados não-formais é a informação que se consegue através de estórias que as pessoas recordam e que são relevantes para os indicadores que você está interessado em analisar. Eles não têm validade científica, mas podem providenciar uma informação qualitativa bastante utilizável.

Informação de Linha de Base

A informação de linha de base (ou simplesmente informação de base) advém de um estudo feito antes de qualquer intervenção. Ele fornece dados e informações a respeito da situação antes da intervenção. Essas informações são muito importantes quando você for fazer monitoramento e avaliação, pois lhe capacitará em saber qual foi a diferença que sua intervenção causou.

Ponto Fundamental

Em administração, o ponto mais embaixo (o ‘fundo do poço’), refere-se ao mínimo de lucro e o relatório de perda – diz a você se está ou não tendo lucro. É desta forma que funciona o entendimento do sucesso administrativo. No trabalho de desenvolvimento, “o ponto mais baixo” seria: “Estamos causando alguma diferença quanto ao problema ou não?”.

Eficiência, Eficácia, Impacto

A eficiência diz se os esforços de seu trabalho são satisfatórios em relação aos resultados alcançados. Eles podem ser esforços (ou insumos) em termos de dinheiro, tempo, pessoal, equipamento, e assim por diante. Eficácia é a medida da extensão do programa de desenvolvimento ou do projeto para atingir seus objetivos estabelecidos. O impacto mostra se você fez ou não uma diferença no problema on na situação que estava tentando resolver. Em outras palavras, sua estratégia foi útil?

Distribuição de Renda Gini

A diferença econômica entre a camada social mais alta e a camada social mais baixa da escala da sociedade.

Trabalhar com Escala

Pegar um projeto lidando com um pequeno número de beneficiados para lidar depois com um grande número de beneficiados.

Indicadores

Indicadores são sinais mensuráveis ou tangíveis de que alguma coisa foi realizada. Por exemplo, um aumento do número de alunos aprovados é um indicador do melhoramento na cultura do aprendizado e do ensino. O meio de verificação é a prova, e o meio

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação de divulgação é a publicação oficial da lista de aprovados.

Custo de Oportunidade

Custo de oportunidade são as oportunidades de que você desiste para fazer alguma coisa em prol de outra. Por exemplo, se você gastar seu dinheiro no treinamento com professores, desiste da oportunidade de usar o dinheiro para comprar mais livros didáticos. Você tem que decidir qual melhor uso dará ao dinheiro disponível.

Resultados

Resultados geralmente incluem um relatório escrito, uma apresentação verbal, um relatório final escrito em capa dura e formato eletrônico (especificando a compatibilidade do programa). Eles podem também incluir relatórios intermediários e entrevistas agendadas, que devem ser assinadas pelos clientes, e assim por diante.

Informações de Progresso

São dados e informações coletadas durante o gradual progresso do projeto.

Qualitativo

Dados qualitativos tratam mais de como as pessoas se sentem a respeito de alguma coisa, opiniões, experiências, do que de números (dados quantitativos).

Rigoroso

Disciplinado, feito com honestidade e integridade.

Amostragem

A amostragem é uma forma de selecionar com quem falar, quem entrevistar e como pesquisar em uma avaliação, já que não se podem cobrir todos os casos existentes.

Dados Secundários

Dados secundários são as informações que já existem, coletadas e disponibilizadas por outras pessoas ou organizações. Já os dados que vêm de sua própria organização, são dados primários. Dados primários são informações coletadas por você – por outros agentes que auxiliam o projeto, a população em geral, suas próprias observações e assim por diante.

Entrevistas Estruturadas, Semi-Estruturadas ou Não Estruturadas.

Entrevistas estruturadas seguem uma estrutura de questões fixas. Entrevistas não estruturadas, dessa forma, não seguem uma estrutura fixa. E entrevistas

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliação semi-estruturadas, fazem uma combinação entre estruturas fixas e não fixas, com o entrevistador seguindo uma ordem de perguntas, mas também adicionando outras, conforme a maneira como a entrevista se apresenta. Análise SWOT

Análise em sigla inglesa de Forças (Strengths), Fraquezas (Weaknesses), oportunidades (Opportunities) e ameaças (Threats). Tratada com detalhes no pacote de ferramentas: Visão Geral de Planejamento.

Termos de Referência

Os Termos de Referência formam a base para você formular propostas e categorizar os conhecimentos ligados ao seu trabalho. Eles devem incluir: algum conhecimento-base do projeto e/ou organização, o propósito da avaliação (os motivos pelos quais você quer que seja feito), as questões de avaliação a serem respondidas, os aspectos específicos a serem incluídos (isso deve ser colocado em aberto para negociação), os tipos de metodologia que você tem em mente (novamente, abertas para negociação), os resultados esperados, o tempo disponível para as propostas e para a avaliação.

Triangulação

Triangulação é a maneira de se confirmar os dados utilizando-se de diversas fontes que reflitam e possam medir as mesmas coisas. Por exemplo, se os professores, estudantes e pais de uma escola todos pedirem que o diretor seja mais flexível, essa informação certamente terá uma influência maior do que uma avaliação na qual somente os professores estão a pedir.

Variáveis

Uma variável é um elemento de mudança da situação que pode ou não afetar a eficiência, a eficácia ou o impacto do trabalho realizado, e que você certamente deseja que possa adicionar a outras variáveis em seus indicadores. O nível de renda dos pais de alunos de uma escola é uma variável, assim como o é localidade, em termos de ser rural ou urbana.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)