Projeto Fortalecer Tecendo Resultados (e avaliando impactos) na Rede

1

2

PROJETO Tecendo resultados (e avaliando impactos) na Rede

FORTALECER

3

Conselheiro Honorário: Fernando Henrique Cardoso Conselho de Administração Presidente: Synésio Batista da Costa Vice-Presidente: Carlos Antonio Tilkian Secretária: Regina Helena Scripilliti Velloso Membros: Albert Alcouloumbre Júnior, Antônio Carlos Ronca, Antonio Delfim Netto, Beatriz Sverner, Bento José Gonçalves Alcoforado, Boris Tabacof, Daniel Trevisan, David John Currer Morley, Eduardo José Bernini, Fernando Machado Terni, João Nagano Júnior, José Carlos Grubisich, José Eduardo Planas Pañella, José Roberto Nicolau, Lourival Kiçula, Maria Ignês R. de Souza Bierrenbach, Nelson Fazenda, Oscar Pilnik, Paulo Saab, Roberto Oliveira de Lima, Therezinha Fram e Vitor Gonçalo Seravalli Conselho Fiscal Membros: Audir Queixa Giovanni, Charles Kapaz, Geraldo Zinato, João Carlos Ebert, Márcio Ponzini e Mauro Antonio Ré Conselho Consultivo Presidente: Jorge Broide Vice-presidente: Miriam Debieux Rosa Membros: Antônio Carlos Gomes da Costa, Araceli Martins Elman, Dalmo de Abreu Dallari, Edda Bomtempo, Geraldo Di Giovanni, Isa Guará, João Benedicto de Azevedo Marques, Lélio Bentes Corrêa, Leoberto Narciso Brancher, Lídia Izecson de Carvalho, Magnólia Gripp Bastos, Mara Cardeal, Maria Cecília C. Aranha Lima, Maria Cecília Ziliotto, Maria de Lourdes Trassi Teixeira, Maria Machado Malta Campos, Marlova Jovchelovitch Noleto, Melanie Farkas, Munir Cury, Norma Jorge Kyriakos, Oris de Oliveira, Percival Caropreso, Rachel Gevertz, Rosa Lúcia Moyses, Rubens Naves, Silvia Gomara Daffre, Tatiana Belinky e Vital Didonet Secretaria Executiva Gerente de Desenvolvimento de Programas: Denise Maria Cesario Gerente de Desenvolvimento Institucional: Victor Alcântara da Graça Equipe: Andreza Adami, Fernanda de Matos Casqueira, Hellen Ferreira Barbosa, Lívia Ache Nolla, Michelly Lima Antunes, Moacir Merlucci, Renata Alencar Viola, Renata Santiago Gonçalves Pessoa, Renato Alves, Tatiana de Jesus Pardo, Tatiana M. Viana da Silva Assessoria de Marketing Coordenadora: Sílvia Troncon Rosa Equipe: Ana Claudia Pereira, Besaliel Salvino de Souza, Camila Cristina Conti, Cristiane Rodrigues, Felipe Martins Dantas Pereira, Fernanda Pereira Bochembuzo, Gláucia Buscariolo, Hélio José Perazzolo, Ivone Aparecida da Silva, Jacqueline Rezende Queiroz, Kátia Gama do Nascimento, Marina Biagioli Manoel, Milene de Oliveira Sousa Silva, Renan dos Santos Gomes, Tatiana Cristina Molini, Tatiana Pereira Rodrigues Núcleo de Tecnologia da Informação Equipe: Bruno Gouveia Schoola, Daniela Maria Fonseca, Danieli Giovanini do Carmo Leite, Diego Azevedo do Nascimento, Fabiana de Lima Loures, Janaine Aparecida Ferreira de Sá, Vânia Ferreira Silva Santos Núcleo Administrativo-Financeiro Equipe: Alain Joseph Moujaes, Alice Sampietri Creoruska, André Luiz de Araújo, Fernanda de Fátima da Silva, Gisele Correa, Luis Enrique Tavares Júnior, Maria do Carmo Neves dos Reis, Maria Dolores de Oliveira, Paulo Rogério Pires, Shirlen Aparecida de Lima Áreas Direito à Educação Coordenadora: Roseni Aparecida dos Santos Reigota Equipe: Amélia Isabeth Bampi Paines, Arlete Felício Graciano Fernandes, Gregório dos Reis Filho, Hérica Aires do Prado, Nelma dos Santos Silva, Priscila Silva dos Santos, Renata Sanches Martinelli Direito à Proteção Especial Coordenadora: Daniela Resende Florio Equipe: Andréia Lavelli, Márcia Cristina Pereira da Silva Thomazinho, Marília Correia dos Santos, Marisa Cedro de Oliveira, Pablo Finotti Direito à Proteção Integral Coordenadora: Andrea Santoro Silveira Equipe: Bárbara Accioly Cotrin de Carvalho, Daniela Queiroz Lino, Domiciano de Souza, Elaine Cristina Rodrigues Barros, Gerson Lopes Alves, Letícia Souto Maior, Lilyan Regina Somazz Reis Amorim, Regilene Caiafá de Melo Nunes

4

PRODUÇÃO Este texto foi elaborado a partir das apresentações realizadas pelos palestrantes Carlos Cesar Gaiardo, José Cláudio Barros e Andréia Saul.

Foi baseado também no material didático distribuído, na memória das oficinas, na produção coletiva dos participantes, bem como na transcrição de todos os vídeos que registraram os encontros. Além da bibliografia citada, a sistematizadora, Mónica Galiano, contribuiu com textos de sua autoria que ampliam a abrangência dos conceitos e conferem unidade ao tema.

Coordenação do Projeto Fortalecer: Daniela Resende Florio Equipe do Projeto Fortalecer: Andréia Lavelli, Gregório dos Reis Filho, Márcia Cristina P. S. Thomazinho Texto e Sistematização: Mónica Beatriz Galiano Edição: pris_hlodan mídia impressa Revisão de texto: pris_hlodan mídia impressa Fotografia: Arquivo Projeto Fortalecer, Pedro Rubens e Jhone P. Silva Projeto Gráfico e Finalização: Priscila Hlodan Impressão: Ricargraf Gráfica e Editora Ltda

Carta do Presidente

Atualmente não podemos falar de organizações sociais sem pensar em sustentabilidade institucional. É cada vez mais necessário tratar os processos administrativos e a governança das instituições tal como de uma empresa privada, salvas as devidas diferenças, é claro. É preciso estabelecer metas, planejar, ter foco nos resultados e no fortalecimento institucional, ou seja, profissionalizar o terceiro setor brasileiro – que representa 5% do PIB do país.

Preocupada em fortalecer institucionalmente as organizações sociais, a Fundação Abrinq, em seus 19 anos de atuação, sempre previu atividades de formação em todos os seus programas e projetos. Em um deles, no Programa Nossas Crianças mobilizamos pessoas e empresas para a melhoria da qualidade de vida de crianças e adolescentes, através do sistema de adoção financeira e do fortalecimento de uma rede de organizações, a “Rede Nossas Crianças”.

A Rede foi criada em 1999 com a missão de mobilizar, articular e capacitar organizações sociais de atendimento direto a crianças e adolescentes para que influenciem as políticas nas áreas da infância, adolescência e juventude, e tenham uma ação transformadora da situação de vulnerabilidade social desta população.

Em 2008, a Fundação começou a desenvolver atividades de formação com algumas organizações da Rede, por meio do Projeto Fortalecer – Tecendo Resultados na Rede, que realizamos em parceria com a GE Foundation.

O objetivo do projeto é fortalecer essas organizações e ampliar o conhecimento dos profissionais que atuam nelas. Isso significa incentivar a atuação em parceria e aumentar o conhecimento que elas têm sobre monitoramento e avaliação, afinal juntas as organizações passam a ter mais poder para reivindicar a execução de políticas públicas por meio de ações de advocacy, além de fortalecer seu posicionamento frente ao setor privado.

Esperamos que as organizações envolvidas estejam mais conscientes da importância de se monitorar e avaliar suas ações e tenham adquirido conhecimento acerca de novas ferramentas e técnicas para o planejamento, execução e avaliação de suas atuações. É importante também que elas incorporem em suas práticas gerenciais as novas ferramentas e técnicas apreendidas, sejam capazes de promover alterações assertivas em seus planos de ação, sejam capazes de gerir e destinar estes recursos de modo mais eficiente e eficaz e de comunicar com maior clareza o impacto de suas ações à sociedade.

Após um ano de intenso trabalho temos em mãos esta sistematização que reúne os conhecimentos aplicados nas oficinas de capacitação para que outras organizações possam ter acesso às experiências e aprendizagens.

Queremos que esta publicação motive um grande número de organizações a reverem os seus processos, para se profissionalizarem e, dessa forma, ajudarem o maior número possível de crianças, adolescentes e famílias que precisam.

Synésio Batista da Costa

5

6

8

Participantes

9

Introdução

10

O Projeto Fortalecer

15

As oficinas

29

Avaliação: Conceitos

30

Impactos, resultados e processos

37 38

Indicadores

43

Quais foram as aprendizagens?

49

Bibliografia citada e/ou recomendada

51

Anexos

7

Participantes

Organizações Participantes: Ação Comunitária Cantinho Feliz Ação Comunitária Paroquial Jardim Colonial Assoc. Beneditina de Educação e Assist. Social - Lar Madre Benedita Associação Comunitária Jd. Nazaré II Associação Cultural Pró-Morato Associação das Mulheres pela Educação Associação de Pais e Amigos dos Excepcionais - APAE Diadema Associação Educacional e Assistencial Casa do Zezinho Associação Evangélica Beneficente - AEB Imigrantes Associação Filantrópica Criança Feliz Associação Grupo Gusmão dos Santos Associação Moradores de Zona Norte - Creche Raio de Sol Associação Poiesis Associação Projeto Quero-Quero Associação Sócio Educacional Integrando Vida e Ação - SEIVA Casa das Crianças Caminho Feliz Casa Jose Coltro Centro de Apoio Ação e Transformação “OIAEU” Centro de Assistência e Promoção Social Nosso Lar - CENLEP Centro de Orientação ao Adolescente de Campinas - COMEC Centro Social de Parelheiros - Creche São Norberto Círculo de Trabalhadores Cristãos de Vila Prudente Colméia Instituição a Serviço da Juventude Comunidade Educacional de Base Sítio Pinheirinho Creche Baroneza de Limeira Firmacasa - Creche Irma Ruth Gotas de Flor com Amor Inmed Brasil Instituto Fernand Braudel Junior Achievment Lar Espírita Bezerra de Menezes Lar Irmã Celeste Ministério Evangélico Sheknah Movimento Renovador Paulo VI Núcleo Batuíra Serv. Prom. Da Família Projeto Gente Nova - PROGEN Projeto Sol Pró-Viver Obras Sociais e Educacionais Serviço Promocional N.Sra. Aparecida - Creche As Pastorinhas Serviço Social Bom Jesus

Padrinhos GE Volunteers: André Rodrigues André Teixeira Carina Polazzo Carlos Souza Carolina Ferreira Christian Cetera Clarissa Marcondes Daniel Toledo Érika Soares Fabiana Perez Fernanda Fernandes Fernanda Jorge Fernanda Varejão José Barioni Josie Jardim Karina Borges Karla Cheli Luis Ohara Marcos Leal Mariana Costa Marina Franceschinelli Meire Nakano Rafael Gonsales Raphael Pinto Reinaldo Silva Rita Prado Tania Mijas Tatiana Campos Thiago Toledo Thomas Kiss Valéria Lazzari Comitê Executivo: Andréia Lavelli Charles Arrais Rodrigues Filho Idália da Cruz Pereira Márcia Cristina P. S. Thomazinho Marina Franceschinelli Reinaldo Silva Patrocinador Máster: GE Foundation

8

Introdução Quando agimos organizadamente na comunidade, por meio dos mais variados projetos de desenvolvimento e transformação, a certa altura nos vemos assaltados por inúmeras perguntas: Para quê fazemos isto?

Estamos fazendo as coisas da melhor maneira? Poderíamos fazer melhor se mudássemos alguma estratégia? E que importância tem tudo isto para quem está compartilhando, conosco, os resultados?

Se você precisar de respostas para estas perguntas, ou quiser dividir as reflexões com os colegas da sua instituição, conheça então a experiência da Fundação Abrinq pelos Direitos da Criança e do Adolescente com o Projeto Fortalecer, apoiado pela GE Foundation.

Foram quatro oficinas durante um ano, sobre Monitoramento e Avaliação de Processos, Resultados e Impactos, cuja realização e aprendizagens estão sendo disseminadas através desta publicação.

A sistematização de experiências serve para produzir um novo conhecimento, objetivar o que foi vivido, colocar em ordem os conhecimentos desordenados e as percepções dispersas, criar espaços para compartilhar e confrontar as interpretações dos sujeitos que vivenciam as ações, contribuir para enriquecer as teorias e melhorar as experiências, e, principalmente, para identificar tensões, mudanças, tomar decisões.

Sobretudo, serve-nos de base para avaliar. É que avaliar é intrínseco ao desenvolvimento, seja de um projeto, uma ação, uma atividade, uma estratégia, um plano de ação, um orçamento, um plano de governo, um projeto de país. Porque, simplificando...como sabemos se o que fazemos está dando resultado? Esperamos que esta publicação motive você a pensar em avaliação de uma forma renovada e sem preconceitos.

Você poderá aprender com os conteúdos explorados nas oficinas, se aprofundar em alguns conceitos e descobrir outros, perceber a importância da avaliação como processo contínuo de aperfeiçoamento e transformação.

Também poderá entender a dinâmica dos encontros, o que deu bom resultado, e o que poderá ser melhorado caso você queira repetir o processo e repassar estas vivências para um grupo de colegas, núcleos ou filiais de sua instituição.

Esta publicação é o resultado da sistematização de todo esse esforço.

Mas, o que significa sistematizar a experiência?1 Sistematização não é uma ferramenta, um método ou uma receita, mas, sim, uma proposta de conhecimento. “Sistematizar é mais que ordenar, classificar, colocar os dados em ordem. Sistematizar é viver um conjunto de experiências e tirar aprendizagens delas” define Oscar Jara, da Costa Rica, coordenador da Rede Latino-Americana de Sistematização.

Para conseguir sistematizar aprendizagens, do ponto de vista metodológico, é necessário reconstruir o processo vivido. “Esta reconstrução consiste em analisar e interpretar criticamente as ações vividas para poder extrair suas aprendizagens e comunicá-Ias. Por conta disso, é preciso que haja registros dessas ações. Se contarmos apenas com nossa memória, muita coisa se perde”.

1. Comentários extraídos das palestras proferidas no 2° Encontro de Avaliação, Sistematização e Disseminação organizado pela Fundação Abrinq pelos Direitos da Criança e do Adolescente em São Paulo, em setembro de 2003.

9

10

O Projeto Fortalecer

Nesta seção você encontrará detalhes sobre o Projeto Fortalecer: seu propósito, estratégias, seu desenvolvimento por meio das oficinas e as aprendizagens obtidas.

11

A profissionalização das organizações da sociedade civil é considerada necessária por quase todas as lideranças que atuam no terceiro setor e, por esse motivo, têm surgido várias iniciativas visando ao fortalecimento institucional por meio de programas de capacitação. Hoje existem cursos em diferentes universidades e outras instituições, que também realizam capacitação em gestão para as Organizações da Sociedade Civil - OSCs. A Fundação Abrinq também se preocupa com isso há bastante tempo.

A maioria dos seus programas prevê atividades de capacitação e um deles é o Programa Nossas Crianças - PNC. Implantado em 1993, o programa mobiliza pessoas e empresas para a melhoria da qualidade de vida de crianças e adolescentes, por meio do sistema de adoção financeira e do fortalecimento de uma rede de organizações, a “Rede Nossas Crianças”. O PNC possibilita parcerias entre a sociedade civil mobilizada e organizações sociais que executam programas de proteção e socioeducativos.

Em 1996 e 1997, o Programa Nossas Crianças, preocupado com a sustentabilidade dos projetos conveniados ao final do apoio financeiro, investiu na melhoria da qualidade dos serviços prestados pelas organizações conveniadas. Foram oferecidos, a essas instituições, cursos de capacitação, tanto no que concerne às propostas pedagógicas, como no plano gerencial.

No total, passaram pelos cursos, em várias etapas, cerca de 300 educadores e 220 gestores, de pelo menos 50 organizações diferentes. Além do fortalecimento individual, outro resultado foi alcançado com o processo desenvolvido: a compreensão de que a proximidade das organizações as fortalece e cria possibilidades para a continuidade do processo de crescimento iniciado. Assim, em 1999, após o término dos convênios com as organizações, surge a Rede Nossas Crianças2.

Entre 2001 e 2003, o Programa Nossas Crianças realizou um amplo processo de desenvolvimento da Rede Nossas Crianças, que foi denominado Projeto Tear. Este projeto objetivou a capacitação de lideranças para focalizarem suas ações em rede, promovendo o fortalecimento das organizações sociais nos diversos aspectos da gestão, bem como das ações das lideranças locais, objetivando o desenvolvimento de políticas públicas na área da criança e do adolescente. Em torno de 200 pessoas foram capacitadas pelo Tear.

Os eixos de ação foram traçados e, desde então, a Rede tem os seguintes objetivos: Promover ação política junto aos conselhos, fóruns da infância e adolescência e órgãos públicos, auxiliando na formação de opinião e formulação/implementação de políticas públicas; Articular parcerias entre as instituições e empresas, financiadores, prestadores de serviços e voluntários; Contribuir para o fortalecimento institucional das organizações parceiras.

2. A Rede Nossas Crianças é formada por organizações sociais que são ou foram conveniadas ao Programa Nossas Crianças da Fundação Abrinq.

12

Hoje, a Rede está em 18 municípios da Região Metropolitana de São Paulo, além de Campinas, Santos, São Vicente e Guarujá, e também em municípios dos Estados da Bahia, Ceará, Minas Gerais, Paraíba e Distrito Federal, tendo membros presentes em alguns Conselhos Municipais de Defesa dos Direitos da Criança e do Adolescente - CMDCAs. Mas, para que todo o potencial de transformação representado pelas 153 organizações se tornasse real, ainda era preciso que as instituições soubessem desenhar e aplicar um plano de monitoramento e avaliação dos processos, resultados e impactos dos planos anuais e dos projetos desenvolvidos.

Por isso, contando com o apoio da GE Foundation, entidade filantrópica dedicada ao desenvolvimento e suporte de programas sócio-educacionais em todo mundo, com o objetivo de educar os cidadãos e a força de trabalho do futuro apoiando projetos em comunidades, escolas e universidades, a Fundação Abrinq colocou em prática o Projeto Fortalecer – Tecendo Resultados na Rede, cujo objetivo geral é: Fortalecer organizações sociais para que, em rede, possam promover a defesa dos direitos e o exercício da cidadania da criança e do adolescente de modo mais efetivo.

“O projeto tem duas estratégias, uma é aplicar técnicas e ferramentas novas para o processo de monitoramento e avaliação dos resultados dos projetos desenvolvidos pelas organizações sociais, que estão tentando cada vez mais aprimorar o desenvolvimento das atividades, como também, subsidiar as organizações sociais com novas técnicas e ferramentas pra que elas possam então medir os seus resultados de forma bastante qualificada, garantindo então um processo de eficiência e eficácia.

A outra estratégia é que os profissionais da GE também serão apoio destas organizações que participam do projeto. Temos 40 organizações participando do projeto e os voluntários da GE realizarão uma mentoria junto a estas organizações verificando a aplicabilidade destas ferramentas e técnicas que apreenderão no desenvolvimento das oficinas do projeto e também participarão de um mapeamento das necessidades que as organizações sociais tem e a partir daí tentarão desenvolver em conjunto com as organizações atividades contemplando as necessidades das mesmas. É um projeto que traz de fato o envolvimento dos profissionais da GE junto ao desenvolvimento do projeto. É uma relação de parceria e este é um processo que todo mundo ganha e há uma troca onde cada um aporta o seu conhecimento e capacidade em prol da qualificação do atendimento das organizações sociais.”

Denise Maria Cesario Gerente de Desenvolvimento de Programas

Aproveitando os conhecimentos ministrados pelos palestrantes, a equipe do projeto também revisou sua proposta, readequando os objetivos específicos e reagrupando os resultados esperados para poder monitorar e avaliar suas conquistas, como segue: Objetivo específico 1: Ampliar o conhecimento dos profissionais das organizações da Rede Nossas Crianças e de organizações indicadas pela GE em técnicas de monitoramento e avaliação; Resultados Esperados “...que as organizações...”

Estejam mais conscientes da importância do monitoramento e avaliação de suas ações.

Adquiram conhecimento acerca de novas ferramentas e técnicas para o planejamento, execução e avaliação de sua atuação; Incorporem em suas práticas gerenciais as novas ferramentas e técnicas apreendidas.

Sejam capazes de promover alterações assertivas em seus planos de ação para corrigir rumos, atingir seus objetivos e verificar os impactos alcançados; Sejam capazes de gerir e destinar estes recursos de modo mais eficiente e eficaz; Sejam capazes de comunicar, com maior clareza, o impacto de suas ações à sociedade.

Objetivo específico 2: Fortalecer a atuação estratégica da Rede Nossas Crianças nos seus quatro eixos: desenvolvimento institucional, ação política, articulação de parcerias e comunicação.

Resultado esperado: Que sejam capazes de aumentar, diversificar e fortalecer as parcerias com atores dos diferentes setores.

Objetivo específico 3: Possibilitar a uma ampla gama de outras organizações interessadas no acesso ao conhecimento construído sobre monitoramento e avaliação.

Para atingir os objetivos, foram usadas as seguintes estratégias ao longo do ano: Estratégia de Capacitação: Três oficinas de Aprofundamento em Monitoramento e Avaliação e uma oficina final de Revisão de Conteúdos.

Apoio técnico às organizações participantes do projeto.

Estratégia de Articulação: Encontros mensais da Rede Nossas Crianças, com convite para participação das organizações indicadas pela GE. Estratégia de Disseminação: Sistematização dos encontros e elaboração da presente publicação, em versões digital e impressa.

Evento de exposição de resultados do projeto, com lançamento da publicação.

Desenvolvimento do projeto Para a realização do Fortalecer, foram constituídos um Comitê Executivo - com responsabilidades bem definidas -, e o grupo de organizações que participariam do projeto. Um grupo de funcionários voluntários da GE Foundation se prontificou a atuar como ‘padrinhos’ das organizações participantes, auxiliando-as no diagnóstico de suas necessidades e no acompanhamento dos planos de avaliação que elas realizariam como resultado da aprendizagem.

Após a definição dos temas a abordar, foram inicialmente planejadas três oficinas, sobre Avaliação de Processos, Avaliação de Resultados e Avaliação de Impactos. Os três palestrantes/facilitadores, especialistas nos respectivos temas, desenvolveram os encontros com dois dias de duração e realizados com intervalos de dois ou três meses entre si, começando em março de 2008 e terminando em setembro de 2008. Após avaliação interna, ficou decidido que, para reforçar os conteúdos, seria necessária uma última oficina de Revisão, que aconteceu em março de 2009.

Ao longo do ano, a Fundação Abrinq monitorou as etapas do projeto, interagindo com as instituições para dirimir dúvidas e acompanhar os trabalhos de implantação das novas metodologias. No capítulo Oficinas, os conteúdos apresentados e a produção dos participantes serão detalhados e ilustrados por alguns dos slides utilizados pelos palestrantes.

Um dos “padrinhos” da GE descreve sua relação com a organização que acompanha e acompanhou durante o projeto: “Meu relacionamento com a CJC, já vem desde Fevereiro de 2004. O que percebo através dos anos é uma evolução, porém ainda tímida em termos de planejamento e desenvolvimento de projetos para sustentabilidade a médio e longo prazos. Esta percepção, é reforçada pelo meu envolvimento com outras organizações, que vivenciam o mesmo drama, constantemente. Isto é, pensar nas “necessidades do dia seguinte” em função dos compromissos assumidos e recursos escassos. Porém, este projeto trouxe uma grande contribuição para repensar este conceito. Consegui observar avanços nestes pontos ressaltados anteriormente. Os tópicos abordados durante as oficinas foram significativos e complementares. Pelo menos dois projetos que acompanhei de perto foram formatados com fundamentos e ensinamentos oriundos dos workshops compartilhados. Finalizando, estou muito satisfeito com os resultados deste projeto em relação aos conhecimentos absorvidos e já aplicados.Os resultados não são imediatos, principalmente influenciados pela conjuntura atual de retrações de muitos incentivos e diminuição de recursos de muitos apoiadores. Mas até neste contexto, o Projeto Fortalecer fez jus ao nome, pois trouxe à tona a necessidade de aplicar de maneira sistemática e urgente os conceitos apresentados. Outra grande oportunidade foi o conhecimento e troca de práticas através da “rede de relacionamento”, que sem dúvida é um diferencial.”

13

A GE Foundation apoiou o projeto da Fundação Abrinq, que envolveu 30 instituições da Rede Nossas Crianças e mais 10 indicadas pela GE. Participaram das oficinas representantes destas 40 instituições.

Reinaldo Silva, Gerente de Qualidade América Latina da GE Healthcare e Presidente do Conselho da GE Volunteers São Paulo, descreve o Projeto Fortalecer: “Ousadia é a palavra para registrar este projeto. O desafio de integrar voluntários com as 40 organizações participantes foi significativo. Alguns voluntários se envolveram mais e outros, em função de suas atividades profissionais, nem tanto. Mas, sementes foram plantadas e brevemente os frutos começarão a aparecer. Em termos de parceria, foi também uma grande oportunidade para a GE conhecer novos mecanismos e pensar em modelos de projetos e parcerias complementares, junto a Fundação Abrinq. Pode parecer um paradoxo, mas o encerramento deste projeto é o marco de um novo ciclo.”

José Cláudio Barros

Os palestrantes/facilitadores convidados são especialistas em sua área de atuação: Carlos Gaiardo, José Cláudio Barros e Andréia Saul. Da última oficina também participou Mónica Beatriz Galiano, a sistematizadora desta publicação, contribuindo com conteúdos sobre o contexto geral da avaliação e as novas metodologias.

A metodologia utilizada pelos facilitadores constituiu-se de explanações - apoiadas por slides e anotações em flip-chart -, apresentações de vídeos, registro das intervenções junto com respostas do público, trabalhos em grupos com discussões e apresentações em plenário, leitura de contos, e representações teatrais e dinâmicas de integração e relaxamento. Seguem os tópicos tratados, a produção dos grupos nas suas reflexões, e os depoimentos espontâneos dos participantes.

Carlos Gaiardo

Entenda, nas próprias palavras dos participantes, a importância deste projeto para as instituições: 1. “Estas oficinas me levaram a refletir sobre a necessidade de iniciar e fortalecer uma cultura avaliativa em toda a instituição. Sabemos que isto se dará em longo prazo e será passível de atualização permanente (atualização como transformação e não somente como acréscimo).”

2. “As oficinas foram um conjunto de diferentes aprendizagens, somadas a um grande desafio: tornar a cultura de avaliação uma prática no cotidiano das organizações. O maior impacto foi o de repassar uma ideia nova como esta para uma diretoria de conceitos ´antigos´.”

Andrea Saul

3. “Todos nós já sabíamos da importância da avaliação, o que já fazíamos, mas as oficinas trouxeram outras reflexões sobre os registros, e informações sobre como aproveitá-los depois. Às vezes a avaliação era até feita, mas não aproveitada da maneira mais adequada.”

4. “Com as oficinas do Fortalecer, pude aprimorar meu olhar sobre a prática e a importância de se avaliar. A partir destas oficinas tenho desenvolvido um olhar mais crítico sobre o que espero de um projeto.”

14

Mónica Beatriz Galiano

As oficinas

Nesta seção você conhecerá os conteúdos discutidos, as opiniões e expectativas dos participantes, parte da produção intelectual realizada durante os encontros, os aprendizados do grupo e as nossas sugestões para melhorar os processos para outras oficinas no futuro.

15

“Em geral, a gente só olha para os produtos dos projetos, e não para os efeitos. Eu quero avançar para além dos produtos”.

Antes de começar as oficinas, os participantes foram convidados a relatar suas dificuldades com relação ao conceito e prática da avaliação. Veja algumas declarações: “Falta internalizar a importância da avaliação. Como é difícil avaliar! “ “Falta de compromisso no processo de avaliação. Até que ponto ela está presente no cotidiano?”

“Cumprir as etapas que a gente planeja. Qual é o momento certo de fazer as avaliações?”

“Resistência dos profissionais. ´Só faço minha função, não vou além´.

Resistência à mudança, quanto maior é a mudança, mais desconforto ela gera.”

“A gente perde oportunidades por falta de cultura de avaliação.”

Todos os presentes tinham clareza dos desafios que enfrentariam na sua instituição com relação à avaliação. E também traziam dúvidas. Entre elas: Como construir, legitimar um sistema de avaliação da instituição?

Como mensurar os indicadores?

O que desperta o espírito do jovem empreendedor? Como se cria um indicador para isso?

Como avaliar o desempenho do voluntário na organização?

Expectativas Os participantes chegaram com muito entusiasmo e várias expectativas.

“Queremos...

Discutir o sentido da avaliação: por que fazemos?

Ter embasamento para a construção de instrumental, em especial, qualitativo.

Saber utilizar os resultados obtidos: o que vamos fazer com esse resultado?

Encontrar formas de melhorar os processos e resultados nas organizações sociais.

Entender avaliação como possibilidade de crescimento e de ajuste.

Exercitar o processo de construção de indicadores.

Ter parâmetros para constituir avaliações nas organizações sociais.

Construir indicadores pensando os projetos e a instituição (“quando a gente faz avaliação de projetos, está também cutucando a gestão, e às vezes isso é difícil de aceitar...”)

Adquirir conhecimentos para superar os desafios.

Colocar na prática a teoria adquirida: o empregado “multitarefa” costuma não ter tempo nem apoio para realizar a avaliação”.

16

O que deu certo?

O fortalecimento das capacidades dos participantes e a internalização dos conceitos aprendidos nas suas instituições podem ser comprovados pelos resultados atingidos e verificados pelos seguintes indicadores: Em que medida as organizações incorporaram as discussões e práticas de avaliação no seu dia-a-dia? E no seu planejamento?

Veja o que disseram os participantes: “Estamos implantando muitas melhorias, elaborando o Manual de Procedimentos da organização, sistematizando as práticas.”

“Passamos a sensibilizar as pessoas. Ainda avaliamos só um projeto, mas estamos ampliando o olhar para contemplar toda a instituição.”

“Voltamos a revisar a missão e a visão, verificando mais de perto se os coordenadores estão atentos a essas dimensões em todos seus projetos.”

“Assumimos a necessidade de formação e formamos um grupo de discussão.”

“Estamos fazendo planos de estratégia e planos de ação.”

Além dos resultados em termos práticos, o impacto das oficinas em mudanças de atitude, pensamento, comportamento e hábitos dos participantes pode se verificar pelos comentários espontâneos ouvidos: “Saio diferente de volta para a instituição. Já sou um mosaico, cheio de coisas. A troca nos grupos foi muito forte.”

“O impacto das oficinas na minha vida foi significativo, na medida em que repensei meu dia-a-dia, como poderia atingir meus objetivos, o que pretendo na minha função, na minha carreira. Abriu para muitas reflexões e mudanças.”

“Abriu minha visão pessoal, acredito que melhorou meu desempenho profissional.”

“Vejo os projetos de forma mais crítica e questiono a realidade.”

“Este trabalho despertou em mim a consciência da necessidade de avaliar, não para apontar erros e falhas, mas, principalmente, para tomar decisões e corrigir rumos.”

O que poderia ser melhorado?

As discussões sobre produto, projeto, objetivo, resultado, impacto sempre resultam algo confuso. As pessoas usam as palavras como sinônimos umas das outras e o entendimento fica prejudicado.

Sugestão: fazer um glossário técnico no começo da oficina e se comprometer a usar os termos exatamente como foram definidos. Isso ajuda na fixação dos conceitos.

Com relação ainda aos impactos das oficinas, foram relatados dois casos por pessoas da GE Foundation e da Fundação Abrinq: Uma instituição da Rede Nossas Crianças apresentou um projeto na área da cultura a um grande financiador e foi aprovado. “Sessenta por cento do êxito se deve à participação nas oficinas do Projeto Fortalecer: conseguimos elaborar um projeto muito bem feito”, disse um membro da instituição.

Um voluntário da GE Foundation recebeu um projeto de uma instituição que ele apoia há tempos, e disse que a proposta - escrita depois da participação nas oficinas - estava muito bem elaborada, objetiva e consistente, melhor que os projetos que faziam até então.

17

Oficina sobre PROCESSOS Os conceitos e práticas sobre este tema são muito mais utilizados nas empresas lucrativas, especialmente as de produção, e não tanto nas organizações sociais, portanto as apresentações trouxeram certas dificuldades de compreensão para os participantes.

Conceitos abordados O paradigma da sociedade atual se baseia na amplitude das informações, na velocidade das mudanças, no domínio do conhecimento e na acelerada evolução tecnológica.

Neste contexto, o que é um processo? É uma série ou conjunto de atividades sequenciais. Os seus componentes são as entradas (atividades) e as saídas (resultados) com determinadas especificações.

Proprietário Parâmetros de qualidade Indicadores de desempenho Objetivo(s)

Viabilizar

Entradas (especificações)

Atividades

Controlar

Componentes de um processo

Saídas (especificações)

Recursos Regras

Quando o processo está registrado, ele serve para controle ou gerenciamento do projeto. Mas, para isso, precisa haver disciplina: tem que acontecer todo dia da mesma forma, não pode ter variações. A menos que apareçam outras variáveis no contexto: neste caso, esses conhecimentos novos poderão ser incorporados para mudar o processo a partir desse momento.

Os processos são agrupados nas principais cadeias de valor, facilitando sua compreensão pelas pessoas e ressaltando a importância de integração entre as áreas.

Processos Estratégicos Processos ligados à definição de estratégias e à estruturação da organização para atuar em seus processos primários, de forma que ela esteja preparada e focada para atingir os seus objetivos.

18

Processos Primários Processos do dia-a-dia da organização, de integração com a sociedade, e que definem a finalidade da organização, devendo ser prioritários quanto à sua gestão.

Processos de Apoio Processos que visam apoiar os demais processos da organização, planejando e provendo recursos para que eles possam ser realizados de maneira adequada e geridos de forma a atingir os resultados.

Avaliação de processo - também denominada de monitoramento, é realizada durante a execução do projeto. Tem como função questionar em que medida as atividades realizadas correspondem ao planejado, identificando pontos fortes e vulneráveis do projeto, suas oportunidades e necessidades de ajustes.

Como vimos, precisamos ter no início do projeto: Um diagnóstico inicial consistente; Objetivos específicos e atividades correspondentes bem definidas; Resultados e impactos esperados claros; Indicadores coerentes; Estratégias e instrumental de avaliação de processo bem desenhados; Ferramentas de registro e espaço para reflexão do projeto previamente definidos.

Em projetos sociais, temos sempre uma primeira decisão a tomar: Qual dos processos vamos monitorar? E que critérios vamos usar?

E depois: Onde estão inseridos, distribuídos e agrupados estes processos, para poder medi-los?

Alguns lembretes: As organizações têm que ser flexíveis, só assim vão ter sucesso. Portanto é imprescindível desenvolver processos que garantam mobilidade e adaptabilidade.

Processos de apoio nunca devem onerar os processos primários, que são essenciais, porque estes são os que sustentam o valor do que entregamos ao público.

Encontrar a proporção de valor de cada processo.

No decorrer do processo, os registros são fundamentais para refletir sobre a prática, gerar aprendizados e acompanhar, não apenas os indicadores, mas toda a caminhada do projeto.

Conscientizar a organização para a importância da realização de atividades como a visão do cliente, independente das áreas envolvidas Visão por áreas

Visão por processos Resultados: Visão processual e não funcional, eliminando os silos organizacionais; Mitigação de duplicidades e retrabalho nos processos; Estrutura adequada para atender as metas da organização; Responsabilidades e relacionamentos claros entre as áreas; Integração e sinergia na criação de valor.

Produção das instituições após as oficinas, avaliadas pelo consultor O consultor orienta as organizações no sentido de que, ao elaborarem seus planos de ação, aumentem o detalhamento das informações, pois percebe-se um excesso de síntese - o que é natural no início de processos de aprendizagem com esse tema.

“Mudança em geral “mexe”; preciso rever minhas ações como pessoa e cidadã e repassar as ideias com segurança, para que a equipe com quem trabalho possa visualizar e colocar em prática o entendimento que tive.”

Veja a seguir alguns bons exemplos de plano de avaliação de processos:

19

20

Aguardando início no prazo Aguardando início em atraso

Perpétua da Cruz Scheleger

Gestora

AgP AgA

CP CA

Concluído no Prazo Concluído em Atraso

Em execução no prazo Em execução atrasado

Patrocinador

EP EA

Financeiro

Associação Beneditina de Educação e Assistência Social

Associação Beneditina de Educação e Assistência Social Responsável Plano de Ação Ir. Perpétua da Cruz Scheleger / Fabiana de Souza Resultados esperados Implantação do Projeto Fortalecer na entidade - Verificação da validação da missão - Construção da visão Objetivo Definir quais são os próximos passos a partir da primeira oficina Plano(s) de ação que influencia(m) o objetivo acima Reuniões/ Reflexões em equipe Critério(s) de conclusão Meta(s) Elaboração de relatório

Levantarmos o processo antes da próxima oficina Situação Como será feito?

Onde?

Prazo Orçamento Responsável Apoio requerido

Início Fim Valor Quem?

O que Início Fim Cp 60,00 Reunião com a equipe gestora para apresentar o Projeto Fortalecer LMB 09/05/08 09.05.08 Fabiana

Cp 20,00 Reunião com a Mantenedora ABEAS Sede 26/05/08 30.05.08 Irmã Perpétua

Cp 50,00 Reunião com a equipe gestora leitura e assinatura do LMB 12/05/08 12.05.08 Irmã Perpétua termo de compromisso Ea 80,00 Organização do plano de ação para implantação do Projeto LMB 18.05.08 26.05.08 Fabiana/Irmã Perpétua Agp 85,00 Pesquisa com os colaboradores LMB 26.05.08 30.05.08 Fabiana Sondagem sobre o que entendem sobre a nossa missão Agp 35,00 Reflexão com a equipe gestora - Qual a nossa visão?

LMB 29.05.08 29.05.08 Fabiana Agp Reflexão com a equipe gestora LMB 11.06.08 11.06.08 100,00 Assessor externo Padrinho Assessoria para reflertirmos sobre os 11/06/09 11/06/09 O que entendemos sobre Processos/Projetos/Programas? termos Processo, Projetos e Programa Agp Reunião com a equipe gestora para fazermos levantamento dos LMB 12.06.08 12.06.08 100,00 Fabiana processos que realizamos Agp Reunião com os colaboradores para socializar o Projeto Fortalecer LMB 08.07.08 08.07.08 230,00 Equipe Gestora e fortalecer nossa missão e visão Agp Reflexão com os colaboradores LMB 08.08.08 08.08.08 430,00 Equipe Gestora O que entendemos sobre Processos/Projetos/ Programas?

Agp Reunião com a equipe de colaboradores para LMB 08.08.08 08.08.08 430,00 Equipe Gestora fazermos levantamento dos processos que realizamos Agp 50,00 Reunião com a equipe gestora para definirmos quais LMB 13.08.08 13.08.08 Fabiana processos monitoraremos TOTAL >> 1670,00

21

Aguardando início no prazo Aguardando início em atraso

Gestor

AgP AgA

CP CA

Concluído no Prazo Concluído em Atraso

Em execução no prazo Em execução atrasado

Patrocinador

EP EA

TOTAL >>

Financeiro

Associação Educacional e Assistencial Casa do Zezinho Responsável Plano de Ação Gislene Pires Resultados esperados Monitoramento dos processos instalados Objetivo Identificar os próximos passos a partir da primeira oficina Plano(s) de ação que influencia(m) o objetivo acima Reuniões / Relatórios / Encontros Critério(s) de conclusão Meta(s) Elaboração de relatório

Levantarmos o processo antes da próxima oficina Situação Como será feito?

Onde?

Prazo Orçamento Responsável Apoio requerido

Início Fim Valor Quem?

O que Início CP Formulação do relatório para reunião com a direção Casa do Zezinho 05/05/08 09/05/08 Gislene Material do curso 05/05/08

CP Reunião com a direção para verificação das informações Casa do Zezinho 12/05/08 12/05/08 Gislene Relatório e material do curso 12/05/08

CP Estudo dos documentos enviados pela Casa do Zezinho 09/05/08 15/05/08 Corina Fundação Abrinq CP Reunião com a equipe administrativa para escolha de Casa do Zezinho 13/05/08 13/05/08 Corina Equipe administrativa Relatório e material do curso 13/05/08 um processo a ser monitorado CP Levantamento de processos Casa do Zezinho 14/05/08 16/05/08 Corina / Gislene Equipe administrativa Relatório 14/05/08 EP Monitoramento da rotina de trabalho Casa do Zezinho 19/05/08 30/05/08 Corina Equipe administrativa / pedagógica Relatório diário 19/05/08 AgP Reunião geral (apresentação do mapeamento, Casa do Zezinho 02/06/08 06/06/08 Corina Equipe administrativa / pedagógica 02/06/08 melhorias e alinhamentos) AgP Período de implantação e acompanhamento Casa do Zezinho 09/06/08 27/06/08 Corina Equipe administrativa / pedagógica 09/06/08 (período piloto/experimental) AgP Levantamento dos resultados dos processos implantados Casa do Zezinho 30/06/08 12/07/08 Corina Equipe administrativa 30/06/08

12/07/08

27/06/08

15/05/08 30/05/08 06/06/08

13/05/08

Fim 09/05/08 12/05/08

Oficina sobre RESULTADOS Conceito de domínio comum, não é necessária muita explicação sobre o que é um resultado. Ele é quem nos dá a concretude para o objetivo traçado e nos projeta o que vai acontecer no futuro.

Naturalmente há resultados para todos os gostos: temos os resultados de ações e atividades, os resultados de estratégias, os resultados de processos.

Esta oficina orientou sobre o que devemos levar em consideração para a avaliação de nosso projeto.

“Consequência, efeito, seguimento”, diz o Dicionário Aurélio Básico da Língua Portuguesa. Já o Dicionário Houaiss o define como: “O que resulta, o que é a consequência, o efeito de uma ação, de um princípio; qualquer espécie de resolução sobre algum assunto”. É crucial determinar, no começo do planejamento e depois de formulados os objetivos, qual é o resultado esperado para cada um deles. Esta é a chave de um projeto com altas chances de sucesso. Porque, se não soubermos o que queremos alcançar, como saberemos que caminho tomar e que ações realizar?

Grandes ideias naufragam quando não se tem clareza sobre os resultados que se espera atingir. No plano da avaliação, eles são FUNDAMENTAIS para poder desenvolver os indicadores correspondentes. Portanto, o primeiro passo é: definir que resultados que esperamos do nosso projeto.

Tipos de resultados Produto

Efeito

Impacto

Demonstra que uma atividade foi realizada.

Demonstra que a atividade surtiu efeito esperado.

Demonstra que o efeito impactou em mudanças duradouras e significativas.

Ex.: De 35 inscritos, 25 concluíram o curso, sendo 10 homens e 15 mulheres.

Ex.: Dos 25 concluintes, 55% dominam plenamente softwares ensinados e possuem capacidade de produzir um site.

Ex.: Dos 25 concluintes do ano passado, 10 aumentaram sua renda mensal em mais de 20% com serviços de design gráfico.

Lembrando: Resultados de Produto: demonstram que uma atividade foi realizada.

Comprova que a ação prevista foi realizada. O registro destes resultados é a base fundamental para o monitoramento. Exemplo de pergunta que indica um resultado de produto: Os cursos foram ministrados?

Resultados de Efeito: demonstra que a atividade surtiu o efeito esperado.

Exemplos de perguntas que indicam resultados de efeito: Todos os participantes inscritos terminaram o curso? Os participantes concluíram o curso sabendo mais alguma coisa? Planejar com cuidado os elementos de verificação destes resultados de efeitos, pois eles sustentam o monitoramento e dão subsídios para a avaliação de impacto.

Resultados de Impacto: demonstram que o efeito impactou em mudanças duradouras e significativas no participante, na comunidade, no grupo, na sociedade, enfim, no público pretendido. É um tipo de resultado para a qual o projeto contribuiu. Exemplo de pergunta que indica um resultado de impacto: Melhorou o nível de vida dos alunos, ao alcançar melhores empregos?

Na avaliação de projetos sociais não estamos muito acostumados a dividir os resultados nestas categorias. Ou, então, embora o façamos de vez em quando, não os consideramos de forma sistêmica, tentando compreender a relação entre eles e construindo, assim, um arcabouço lógico.

Acreditamos que facilitamos muito o entendimento se usarmos a seguinte regra: MONITORAMOS os resultados de produto e efeito, e AVALIAMOS os resultados de impacto. Desse modo podemos ter um plano de avaliação consistente e orgânico, porém simples de entender, de formular e de registrar.

E, logicamente, mais fácil de implementar, de refletir sobre os resultados, de aproveitar as conclusões e de corrigir os rumos.

Plano de avaliação Registros

a) Monitoramento Atividades /produtos

O que fiz e como fiz?

Eficácia e eficiênciada implementação

Processo

Efeito

O que aconteceu?

Dados numéricos e qualitativos

Resultados

Indicadores

b) Avaliação Mudanças nos diversos atores

22

O que mudou?

Melhoria desde a ótica dos beneficiários

Impacto

Produção dos grupos Exercício sobre resultados de produtos, de efeitos e de impacto Sobre um projeto de capacitação profissional e primeiro emprego, em que um grupo apresentou os resultados de efeito e de impacto abaixo, avançando na formulação de indicadores: Resultado de efeito: 90% dos jovens são absorvidos no projeto Aprendiz.

Indicadores: Número de jovens que concluíram a primeira fase e foram inseridos nas empresas como aprendizes; Número de jovens que permanecem no projeto Aprendiz até o final; Valorização do empregador em relação ao desempenho do aprendiz.

(Cumprir o que foi combinado, respeitar o horário/teto do aprendiz, faz rodízio entre vários setores...).

Resultado de impacto: 70% dos jovens são efetivados nas empresas em que estão como aprendizes.

Indicadores: Número de jovens efetivados; Número de jovens que permanecem no mercado de trabalho formal (Número de jovens em formação continuada: quem continua estudando, curso de especialização, faculdade, etc.

Sobre um projeto de erradicação do trabalho infantil: Resultado de efeito: Parcerias com as escolas Indicadores: Presença da escola nos eventos da instituição; Contato da escola para saber sobre situações com o aluno; Melhoria de notas e frequência da criança na escola.

Resultado de impacto: Redução do trabalho infantil Indicadores: Melhor rendimento escolar; Permanência da criança na escola e na ONG; Participação nas atividades extracurriculares.

Sobre um projeto de meio ambiente envolvendo 45 famílias do entorno da escola, realizado por conta da presença de roedores por causa de lixo mal acondicionado.

Produtos: Total de atividades feitas; Profissionais envolvidos capacitados; Responsáveis que participaram das ações; Educação de crianças e pais; Envolvimento de todos.

Efeitos: Sensibilização dos envolvidos; Percepção de si mesmo como agente ativo; Mudança comportamental; Comunidade sensibilizada e fazendo alguma coisa concreta.

Indicadores Número de pais que participam das reuniões; Número de famílias que acondicionam o lixo de forma correta; Total de atividades realizadas pelas famílias para combater os roedores.

Impacto: A região ficou mais limpa, sumiram os roedores; Diminuiu o número de pessoas infectadas por doenças provocadas por roedores; Os espaços públicos para brincadeiras foram recuperados, e não há mais medo de contaminação.

Indicadores: Mobilização da comunidade para exigir do poder público que haja desratizações e número de desratizações realizadas; Número de recipientes de coleta instalados ou espalhados; Diminuição de focos (terrenos baldios).

“As oficinas inicialmente me deram muito medo: o de não conseguir passar para a instituição tudo da maneira correta para que eles entendam”.

23

“O impacto é a essência.

Aquela mudança que fica após.”

Oficina sobre IMPACTOS Impacto é a mudança que queremos que aconteça como resultado de nosso projeto.

Na terceira oficina do Projeto Fortalecer, os participantes puderam refletir sobre as mudanças e benefícios durante ou depois do seu envolvimento com os projetos desenvolvidos em suas organizações.

Segundo o Dicionário Houaiss da Língua Portuguesa, impacto é “impressão ou efeito muito fortes deixados por certa ação ou acontecimento”.

Uma definição de Roche, 2000 , apresenta o impacto como “a relação dos resultados alcançados e efeitos produzidos com mudanças duradouras ou significativas – positivas ou negativas, planejadas ou não – nas vidas das pessoas e ocasionadas por determinada ação ou série de ações”.

As mudanças podem ser verificadas por meio de: Novos conhecimentos adquiridos; Habilidades melhoradas; Valores ou atitudes mudados para melhor; Conduta modificada; Condições de vida melhoradas; Status alterado; Tomadas de decisão e políticas renovadas.

Devemos ter em mente que a avaliação de impacto tem como base, além da análise sistemática, um julgamento sobre qual é a mudança considerada significativa para cada ator envolvido no processo. “Onde queremos chegar?

Que tipo de mudanças são essas para as quais queremos contribuir?”. Sem respostas para estas perguntas, não temos como medir o impacto.

Tomando como exemplos: um programa de orientação de saúde desperta na população mobilizações para a reivindicação e negociação, junto à prefeitura, de obras de saneamento básico na comunidade; o trabalho junto a um grupo portador de deficiência anima-os a se organizarem e provoca mudanças no comportamento da comunidade em relação a eles; os resultados positivos de um programa de capacitação de empreendedores fazem com que o seu modelo seja adotado e reproduzido em outros locais.

Quando iniciarmos o desenho do impacto que pretendemos, em geral devemos ajustar os nossos objetivos para que sejam: Precisos: Quem se beneficiará com o projeto?

Qual benefício terão?

Qual é o impacto que se deseja alcançar?

Realistas: Há recursos disponíveis para lograr os objetivos? É possível alcançar os objetivos dentro do horizonte do projeto?

Mensuráveis: Existem instrumentos que permitam medir o alcance dos objetivos estabelecidos?

Complementares: Trabalhar os objetivos em conjunto permite diminuir custos ou aumentar seu impacto?

Desta forma, o conjunto todo de variáveis do nosso projeto formará um sistema orgânico, sem contradições: bons objetivos, resultados esperados bem definidos, formas de registro para monitorar as atividades, indicadores bem construídos, coleta de informação e análise cuidadosas.

Porém, não devemos atribuir outras características ao impacto, nem usá-lo para outras finalidades. Ele deve servir apenas para explicar que tudo o que fizemos resultou numa determinada mudança.

Medir o impacto: NÃO...nos mostrará se este era o impacto certo que precisávamos medir; NÃO...provará estatisticamente que esse projeto causou esse impacto; NÃO...explicará por que estes resultados foram alcançados; NÃO...nos dirá que mudanças devemos fazer no projeto.

Isto será conseguido somente com a análise dos dados e a reflexão sobre os rumos a tomar.

Avaliar todas as mudanças (positivas ou negativas), inclusive as não planejadas e esperadas, contribui para ter uma visão mais ampliada do impacto - já que este pode afetar também outras pessoas, que não apenas os sujeitos de ação do projeto.

Lembrar sempre que essas mudanças em geral não são lineares e que o contexto local e as políticas econômicas e sociais podem interferir nelas.

24

Produção dos grupos

Exercício sobre indicadores

Exercício sobre resultados de produtos, de efeitos e de impacto

A construção dos indicadores foi declarada pelos participantes como uma atividade difícil, então a palestrante Andréia Saul apresentou uma forma para construí-los por meio de pistas. A pista é tudo aquilo que conseguimos perceber no dia-a-dia, no concreto, que nos leva ao alcance dos objetivos.

Um exemplo: para “estimular a coordenação motora das crianças”, algumas pistas seriam: Crianças pintando desenhos em espaços demarcados, e caindo menos nos jogos e brincadeiras.

Exercício sobre o vídeo do Instituto Sou da Paz Um dos objetivos específicos deste projeto era “Mobilizar os jovens para o processo de revitalização da praça”. Os participantes, divididos em seis grupos, discutiram a diferença entre os resultados imediatos e as mudanças geradas nos diferentes públicos depois do projeto. Eles foram solicitados a identificar, pelo menos, TRÊS RESULTADOS e, pelo menos, TRÊS MUDANÇAS/IMPACTOS. Veja a seguir a síntese da apresentação dos grupos: Produtos Práticas culturais e esportivas Valorização das habilidades da comunidade Envolvimento e participação da comunidade

Construção e reforma da praça Mobilização da comunidade

Capacitação dos jovens Utilização dos espaços públicos Melhoria da autoestima da comunidade Adesão, envolvimento e participação dos jovens em todas as etapas

Mudanças (impactos) Aumento da autoestima, melhoria na qualidade de vida, mudanças de comportamentos.

Redução do índice de violência e mudança/construção de valores.

Apropriação dos espaços públicos, estímulo aos cuidados com o meio ambiente e redução do impacto ambiental, pertencimento e apropriação dos espaços.

Reconhecimento dos papéis/ empoderamento.

Conscientização da comunidade no exercício de sua cidadania e na melhoria de sua qualidade de vida.

Espaços de cultura, esporte e lazer.

Jovens multiplicadores dos valores do projeto e criação de lideranças multiplicadoras.

Fortalecimento dos vínculos pessoais e comunitários.

Para a revisão sobre os indicadores, foi sugerido partir do objetivo específico: “mobilizar os jovens para o processo de revitalização da praça”.

Levantadas as seguintes pistas: Jovem que traz outro jovem; Participação com prazer e entusiasmo; Jovem discute o projeto; Jovem está sempre sorrindo; Jovem chega no horário; Jovens diminuíram as brigas; Jovem discute o projeto; Jovens falando do projeto para outros jovens e outros atores (garoto propaganda).

“Pistas: tiram o duplo sentido que pode haver em qualquer palavra. Elas são o pé no chão, muito concretas, não suscitam dúvidas.”

25

Síntese do trabalho em grupos: Construção de Indicadores

26

OBJETIVOS ESPECÍFICOS

PISTAS

INDICADORES DE RESULTADOS

INDICADORES DE IMPACTOS

Mobilizar os jovens para o processo de revitalização da praça

• Jovens apresentando o projeto para parceiros; • Jovens tendo conhecimento do projeto como um todo; • Participação e envolvimento da família no projeto; • Jovens trazendo a família para o projeto; • Jovens trazendo outros jovens; • Jovens mais comunicativos; • Jovens sendo voluntários; • Jovens convidando e sensibilizando pessoas da comunidade para participar da revitalização da praça; • Jovens propondo novas atividades e projetos; • Jovens participando em atividades extras; • Jovens praticando esporte na praça; • Jovens limpando a praça; • Jovens mapeando outros espaços públicos existentes na comunidade; • Jovens divulgando o projeto para a comunidade; • Jovens planejando atividades junto com a comunidade; • Jovens divulgando a idéia nas escolas; • Jovens se prontificando a fazer tarefas além do combinado; • Jovens pontuais com os compromissos do projeto; • Jovens executando tarefas após o horário; • Jovens requerendo outras melhorias para a comunidade; • Jovens participando de outros grupos.

• Grau de envolvimento dos jovens; • Grau de envolvimento da comunidade nos eventos da praça; • Jovens capacitados para novas atividades; • Grau de comprometimento dos jovens com o projeto; • Número de jovens que participaram da revitalização da praça; • Grau de articulação dos jovens; • Jovens comprometidos com a manutenção e limpeza da praça; • Jovens promovendo eventos na praça; • Novas ações realizadas na praça.

• Grau de melhoria de outros espaços públicos da comunidade; • Novos espaços revitalizados pelos jovens; • Inserção de comércio no entorno da praça; • Grau de liderança dos jovens em outras ações da comunidade; • Nível de atuação da comunidade em novas ações.

Na discussão sobre formar uma equipe de avaliação, surgiram as seguintes respostas:

“Depois, com essas pistas, é mais fácil formular o indicador. E transformar qualitativos em quantitativos, fazendo a porcentagem de ocorrências de determinada mudança”.

“Ficamos em dúvida se tínhamos que convidar os jovens atendidos e a diretoria; definir o perfil dos membros (no coletivo); identificar quem vai compor a equipe; definir as atribuições de cada membro; seria uma equipe coordenadora, dividida por segmentos: os colaboradores, os atendidos e se possível, os parceiros; divisão de tarefas, aproveitando habilidades; devolutiva da avaliação para todos; comissões com representantes diversos, com grupo gestor, capacitação; comissão determinada pela diretoria ou de acordo com a disponibilidade das pessoas ou por representação”.

Resumindo, para realizar uma avaliação bem-sucedida, é necessário: 1) Elaborar o plano de avaliação; 2) Realizar os alinhamentos iniciais; 3) Formar equipe responsável pela avaliação; 4) Revisar o contexto, os objetivos do projeto e os indicadores; 5) Pesquisar e coletar os dados; 6) Analisar e interpretar as informações recolhidas; 7) Disseminar os resultados da avaliação. É muito importante realizar uma oficina, encontro ou reunião prévia com todos os envolvidos para alinhar as expectativas e os conceitos (o que é avaliação, o que são objetivos, mudanças, impactos, etc.) e definir o foco (áreas e tipos de impacto a avaliar). Esse alinhamento inicial é fundamental para o sucesso da avaliação.

Por outro lado, o retorno da informação analisada é fundamental para que avaliação seja valorizada e tenha sentido para os participantes. E não esqueça de celebrar resultados sempre!!!

Os participantes da oficina, em grupos, pensaram em estratégias para fazer esse alinhamento:

“Faremos reunião com diretores, gestores, coordenadores e representantes dos projetos; comunicação mais ampla entre e dentro dos projetos; apresentar conteúdo das oficinas; com os gestores e coordenadores, discutir e alinhar os conceitos de avaliação; sensibilizar a diretoria sobre a importância de se avaliar, reuniões com escuta; orientação sobre o processo de avaliação; alinhar a missão com as ações; considerar as expectativas do público atendido e da ONG; mobilização, cronograma, definição de papéis de todos, dinâmica para discussão da missão, capacitação compartilhando os conteúdos do que aprendemos, convocar a diretoria para fazer parte, supervisão técnica; reuniões com educadores, educandos e comunidade; reunião com o meu suplente para organizar as ideias, repassar os conteúdos e depois alinhar a sensibilização com a diretoria.”

27

28

Avaliação

Nesta seção você encontrará os conceitos que foram apresentados, analisados e discutidos nas oficinas. Eles estão agrupados segundo uma lógica adequada à leitura e foram ampliados com outras referências teóricas de vários autores brasileiros e internacionais.

29

“A avaliação é um ônibus cheio de passageiros, onde o condutor deve arrumar os defeitos do motor sem deter o carro, e com todos os passageiros dentro”, diz Paulo Motta, professor da Escola Brasileira de Administração Pública. Trata-se de um processo organizativo para melhorar as atividades ainda em marcha e auxiliar no planejamento, na programação e nas futuras tomadas de decisões.

Avaliar é uma atividade programada de reflexão sobre a ação baseada em procedimentos sistemáticos de coleta, análise e interpretação de informações, com a finalidade de: 1) emitir juízos de valor sobre as atividades, resultados e impactos das ações, projetos e programas, e 2) formular recomendações para ajustar a ação no presente e melhorar as ações futuras.

Para o Novo Dicionário Aurélio de Língua Portuguesa, avaliar é “determinar a valia ou valor de determinado objeto” e, segundo a Organização das Nações Unidas, “avaliação é um processo orientado a determinar sistemática e objetivamente a pertinência, eficiência, eficácia e impacto de todas as atividades, à luz de seus objetivos”.

Tecnologia que transforma a reflexão em um novo conhecimento, ela nos permite um contínuo fluxo de inovações nos modos de fazer e de aprender sobre a ação social.

O planejamento e a avaliação O processo de avaliação é como uma imagem no espelho do processo de planejamento: enquanto o planejamento olha para frente, estabelecendo previsões nos cenários possíveis, a avaliação enfatiza o olhar para trás, buscando aprender com o que foi feito.

Há um momento em que o planejamento e a avaliação têm um ponto de encontro: as recomendações para uma ação futura.

As resistências Nem sempre os esforços de reflexão sobre a ação são bem aceitos por todos por igual. A resistência à avaliação, assim como as dificuldades para incorporar as recomendações avaliativas na gestão, são questões que têm a ver com o fenômeno mais geral da resistência à mudança.

Existe uma tensão entre a propensão à mudança e os impulsos para manter a estabilidade das coisas: o primeiro satisfaz as necessidades humanas de criatividade e de enfrentamento de desafios, testando as próprias forças; o segundo favorece a ideia de pertencer, de segurança e de continuidade.

O próprio processo avaliativo implica transformação, já que se espera que os resultados que ele gera ofereçam elementos para modificar a estratégia ou a metodologia de intervenção utilizada.

O processo do pensamento avaliativo3 Não basta apenas reconhecer e usar bem os resultados que uma avaliação revela: precisamos aproveitar o processo de pensamento que a avaliação requer, ou seja, a aprendizagem que ela proporciona, sobretudo quanto ao estilo de pensamento.

Na última década, tem se dado cada vez mais ênfase ao processo avaliativo em si, o que se diferencia da simples avaliação dos resultados. Mudaremos pensamentos e condutas, procedimentos e práticas do projeto ou da instituição por meio da aprendizagem ocorrida durante o processo de avaliação.

O desenvolvimento de pensamento avaliativo pode nos levar a um efeito mais duradouro do que os simples resultados específicos. Aprender a pensar avaliativamente pode ter um impacto contínuo nas organizações, contribuindo, inclusive, para a qualidade do diálogo nas comunidades e também para deliberações com relação a políticas públicas.

Quem se engaja numa avaliação, desenvolve a capacidade de interpretar evidências, extrair conclusões e fazer juízos de valor. Não é suficiente termos apenas informações confiáveis e precisas. Precisamos saber como usar a informação, isto é, comparar as evidências, enxergar as contradições e inconsistências, articular valores e examinar pressupostos.

3. Ideias extraídas de artigo de Michael Quinn Patton, da Universidade de Minneapoilis, Minessota, EUA.

30

A filósofa alemã Hannah Arendt dirigiu especial atenção ao pensamento crítico como fundamento da democracia. Tendo escapado do totalitarismo de Hitler, ela dedicou a maior parte de sua vida para estudar como o totalitarismo se constroi e se sustenta pela mentira e o controle do pensamento. Para resistir aos esforços dos poderosos no sentido de controlar as mentes, ela acreditava que as pessoas precisavam praticar o pensamento.

Neste sentido, ela desenvolveu oito exercícios em pensamento político.

Seus exercícios não contém indicações sobre o que pensar, mas, sobretudo, sobre o processo crítico do pensamento. Ela achava importante ajudar as pessoas a pensar conceitualmente, para “descobrir as reais origens dos conceitos, destilando deles seu espírito”. Para ela, palavras como liberdade e justiça, autoridade e razão, responsabilidade e virtude, poder e glória haviam tristemente se evaporado e perdido sentido no linguajar dos políticos, “deixando para trás conchas vazias”.

Desde este ponto de vista poderíamos também considerar que toda avaliação é uma oportunidade para que todos os envolvidos pratiquem o pensar criticamente, oferecendo assim uma oportunidade para fortalecer a democracia local e nacionalmente.

Porém, relembremos sua importância: Produz um nível de exposição que requer maturidade. Exposição porque outros tomam ciência se estamos ou não tendo resultados. É sinal de maturidade institucional, porque se entende essa exposição como algo relevante.

Identifica o nexo entre resultados, estratégias e objetivos. Quando avaliamos, o fazemos em relação a onde queremos chegar, ao alcance dos objetivos. Devemos nos perguntar: Esta atividade está contribuindo para esses resultados? Com frequência avaliamos as atividades pelas atividades em si, esquecendo de avaliar onde queremos chegar? É um instrumento de gestão. A avaliação só tem sentido para tomada de decisão. Diferente das empresas, os contextos sociais são muito dinâmicos, tudo muda muito rapidamente. Jovens em situação de risco à violência ou envolvimento com drogas, por exemplo, precisam de respostas muito rápidas, e temos que mudar constantemente as estratégias, o tipo de ação e a metodologia de trabalho.

Produz conhecimento. Permite conhecer melhor: Onde atuamos? Que contexto é este? O que estamos fazendo? Como funciona a lógica da nossa equipe? Permite compreender melhor a nossa prática, testar metodologias, com quem estamos trabalhando.

Para quê serve a avaliação?

O papel da avaliação nos projetos sociais é gerar reflexões e análises.

As tomadas de decisão se originam desse processo de ação - reflexão reação, criando-se, desta forma, um ambiente de aprendizagem contínua.

Portanto, a avaliação pode ser sempre utilizada como uma ferramenta para melhorar a prática social.

Avaliar para quê?

Para... estabelecer o grau de pertinência, idoneidade, efetividade/ eficácia e eficiência/rendimento de um programa, projeto ou serviço; Para... determinar as razões dos êxitos e fracassos; Para... facilitar o processo de tomada de decisões para melhorar e/ou modificar o programa ou projeto; Para... analisar outros objetivos que poderiam ser alcançados.

“O impacto das oficinas na minha vida foi significativo, na medida em que repensei meu dia-a-dia, como poderia atingir meus objetivos, o que pretendo na minha função, na minha carreira. Abriu para muitas reflexões e mudanças.”

Não temos um bom conceito histórico da avaliação, vendo-a como um processo burocrático de fiscalização e controle. É comum se ouvir: “...são muitos formulários, temos que preencher mil coisas, ninguém lê, e o projeto terminou, já começou outro e ninguém levou em consideração o que foi aprendido antes”.

31

Conceitos

Os dez mitos sobre avaliação Mas, se a avaliação está no dia-a-dia das pessoas e das organizações, por que esta palavra ainda gera desconforto? Com certeza, velhos paradigmas ainda persistem: Existe um temor de que resultados pouco satisfatórios tragam consequências negativas aos envolvidos, tais como a perda do trabalho e/ou do financiamento; É imposta como uma ‘tarefa’ tediosa que toma muito tempo, e não como uma ferramenta; Seus resultados poucas vezes são incorporados no planejamento e na tomada de decisão da organização; É complexa e onerosa financeiramente; Os resultados do programa/projeto em questão não são quantificáveis, portanto a avaliação não se aplica: “...se não é estatisticamente mensurável, então não é passível de avaliação”.

Revisemos alguns destes mitos: Mito # 1 A avaliação é algo científico, e deve ser feita somente por especialistas.

Falso: a avaliação é sistemática e pode ser feita por qualquer pessoa.

Mito # 2 Planos de avaliação precisam que você avalie todas as ações.

Falso: numa situação ideal, você teria todo o tempo e o dinheiro necessários para avaliar tudo. No mundo real, precisamos escolher. Então, considere as seguintes questões: • Qual é o resultado mais importante para o seu grupo? E para a comunidade?

• Quantas pessoas cada projeto está impactando?

• Quanto tempo, talento e recursos podem ser desperdiçados se não avaliarmos esta ação?

• A avaliação, em si, trará aprendizagens valiosas que poderemos usar em projetos futuros?

Mito # 3 Dados quantitativos são melhores do que dados qualitativos.

Falso: enquanto os dados quantitativos são uma parte importante da avaliação, alguns tipos de informação são melhor divulgados por meio de dados qualitativos. É melhor usar os dois tipos, eles são complementares. Números são objetivos, e dados de entrevistas, grupos focais e observações críticas ajudam a captar a “história”, que é a melhor descrição dos benefícios conseguidos.

32

Mito # 4 Uma vez que os modelos de avaliação são quantitativos, a avaliação é objetiva.

Falso: os modelos são quantitativos, mas os dados de entrada deixam margem suficiente para julgamentos subjetivos.

Mito # 5 Uma boa avaliação oferece uma estimativa precisa de valor.

Falso: por mais minuciosa e detalhada que for a avaliação, haverá incertezas, pois os números estão distorcidos pelas pressuposições que fazemos do futuro.

Mito # 6 Um plano de avaliação deve ser perfeito para ser efetivo.

Falso: não se preocupem com a perfeição. É muito mais importante fazer as coisas sistematicamente e com consistência do que esperar até que o último detalhe esteja pronto.

Façam um desenho de avaliação flexível, que permita mudanças se os objetivos da ação mudarem com o tempo, ou se a avaliação assinalar uma nova direção para as perguntas.

Mito # 7 Uma avaliação bem feita é eterna.

Falso: o valor obtido em qualquer técnica de previsão depende das informações coletadas no momento. A descoberta de novas informações pode alterar significativamente a previsão. Esse fato é um dos motivos pelo qual a organização deve constantemente monitorar seu ambiente, para saber se houve alguma ruptura nas informações ou hipóteses do modelo adotado.

Mito # 8 Devemos analisar somente as conquistas, para assegurar avaliações positivas.

Falso: uma avaliação efetiva deve avaliar os aspectos positivos e os negativos. Aprende-se muito entendendo as falhas e as oportunidades perdidas, e esse entendimento iluminará e melhorará novas ações. Isto não significa que devemos focalizar somente os aspectos negativos.

Mito # 9 Os dados obtidos na coleta não servem mais, após o término da avaliação.

Falso: os dados são o fundamento de toda avaliação. Guarde-os! Podem voltar a ser de utilidade outra vez conforme o projeto avança. Podem nos dar informações preciosas mais tarde, poupando tempo e recursos quando o tema surgir novamente.

Mito # 10 O produto da avaliação (ou seja, o valor) é o que importa; o processo de avaliação não importa.

Falso: o processo de avaliação ajuda o administrador a conhecer o ambiente, entender as variáveis e os riscos de confiar cegamente na projeção.

Proporciona flexibilidade para explorar novas ideias.

Desvantagens: As conclusões normalmente dizem respeito a comunidades ou localidades específicas, sendo assim difícil generalizar as conclusões; Menos válido, fiável e credível dos que os levantamentos formais.

Para conhecer alguns métodos de avaliação4

Métodos participativos

Métodos de avaliação rápidos

Os métodos participativos oferecem uma participação ativa na tomada de decisões a todos os que tenham um interesse num projeto, programa ou estratégia. Eles provocam um sentimento de controle sobre os resultados.

Os métodos de avaliação rápidos são uma via de baixo custo para recolher opiniões e feedback dos beneficiários e outros interessados. Eles permitem responder às necessidades de informações dos responsáveis pela tomada de decisões. Alguns exemplos: entrevista com informadores-chave; discussão em grupo com um interesse comum; entrevista com um grupo comunitário; observação direta; mini-levantamento Para quais finalidades podem ser usados?

Prestar informação rápida para a tomada de decisões da gestão, especialmente em nível de projeto ou de programa; Fornecer um entendimento qualitativo das alterações socioeconômicas complexas, situações sociais altamente interdependentes, ou valores, motivações e reações das pessoas; Fornecer o contexto e interpretação para os dados quantitativos recolhidos por métodos mais formais.

Vantagens: Baixo custo; Pode ser efetuado rapidamente;

“Primeiro, veio um desânimo diante do desafio. Segundo, um desejo de me aprofundar, de construir instrumental para depois desencadear mudanças valiosas que terão impacto na sociedade”.

Para quais finalidades podem ser usados?

Conhecer as condições locais, bem como as perspectivas e as prioridades de suas populações, buscando conceber intervenções mais satisfatórias e sustentáveis; Identificar e resolver problemas durante a execução do projeto; Avaliar um projeto, programa ou política; Fornecer conhecimento e qualificações para atribuir poder à população pobre.

Vantagens: Examina questões relevantes mediante a participação dos atores principais no processo de concepção; Estabelece parcerias e controle local dos projetos; Aumenta o conhecimento local, a capacidade de gestão e as qualificações de seus atores; Fornece informação pontual e fiável para a tomada de decisões da gestão.

Desvantagens: Às vezes são considerados menos objetivos; Morosos se os principais intervenientes não estiverem envolvidos de uma forma significativa; Potencialidade para o domínio e uso indevido por parte de alguns intervenientes, com o objetivo de maximizarem os seus próprios interesses.

Exemplos: 1. Análise das partes interessadas. É o ponto de partida da maioria dos exercícios participativos e avaliações sociais. Ela é usada para desenvolver um entendimento das relações de poder, influência e interesses das várias pessoas envolvidas numa atividade e para determinar quem deve participar, e quando.

2. Avaliação rural de caráter participativo. É uma abordagem de planejamento que se centra na partilha de conhecimentos entre as populações locais, urbanas e rurais, além daqueles que são “estranhos” à comunidade. Permite aos gestores do desenvolvimento e à população local avaliarem e planejarem intervenções apropriadas de uma forma colaborativa, recorrendo frequentemente a técnicas visuais para que as pessoas analfabetas possam participar.

3. Avaliação dos beneficiários. Implica uma consulta sistemática com os

4. Conforme definidos em: MONITORIZAÇÃO & AVALIAÇÃO: Algumas Ferramentas, Métodos e Abordagens. The International Bank for Reconstruction and Development/THE WORLD BANK, Washington, 2004. www.worldbank.org/oed/ecd

33

beneficiários do projeto e outros interessados, com vista a identificar e conceber iniciativas de desenvolvimento, apontar entraves à participação, e fornecer feedback para melhorar os serviços e atividades.

4. Monitoramento e avaliação de caráter participativo. Envolve os atores em diferentes níveis, trabalhando em conjunto para identificar problemas, recolher e analisar informações, e produzir recomendações.

O modelo lógico e a hipótese de mudança

Avaliação baseada na teoria

Todo programa social está baseado na hipótese da mudança, o fundamento teórico sobre “como” e “porque” o programa vai funcionar e dar resultado.

A teoria pode ser explícita, ou estar implícita. Ela conecta o que está acontecendo no projeto (as atividades) com o objetivo geral do mesmo.

A avaliação baseada na teoria tem muitas semelhanças com a abordagem do marco lógico, mas permite uma compreensão muito mais profunda do mecanismo de um programa ou atividade: a “teoria do programa” ou “lógica do programa”. Em particular, este tipo de avaliação não precisa assumir uma simples relação linear de causa a efeito.

Um “modelo lógico” ou “marco lógico” (logframe, de logical framework) é uma fotografia da estrutura do projeto - uma representação gráfica simplificada da hipótese de mudança. Ele mostra as relações entre o que se coloca no projeto (inputs ou insumos ou recursos), o que o projeto faz (atividades e produtos), e que resultados, em termos de impacto, ele produz.

São hipóteses de causa-efeito: “Se esta atividade acontecer, e se produzir os produtos ou resultados esperados, teremos atingido este objetivo”, etc.

Para quais finalidades pode ser usado?

Melhorar a qualidade dos modelos de projetos e programas, ao exigir a especificação de objetivos claros, o uso de indicadores de desempenho e uma avaliação dos riscos; Resumir a concepção de atividades complexas; Apoiar a preparação de planos operacionais pormenorizados; Fornecer uma base objetiva para análise, monitoramento e avaliação da atividade.

Vantagens: Assegurar que os responsáveis pela tomada de decisões façam perguntas fundamentais e analisem os pressupostos e os riscos; Envolver as partes interessadas no processo de planejamento e de monitoramento; Quando utilizada com dinamismo, é um instrumento de gestão eficaz para orientar a execução, monitoramento e avaliação.

Desvantagens: Se for utilizada com muita rigidez, impede a criatividade e a inovação;

34

Se não for atualizada durante a execução, pode se tornar num instrumento estático, que não reflete as condições em fase de mutação; Formação profissional e acompanhamento subsequente são, muitas vezes, necessários.

Por exemplo, o sucesso de um programa governamental para melhorar os níveis de alfabetização por meio do aumento do número de professores pode depender de muitos fatores. Entre outros, a existência ou não de salas de aulas e livros escolares; as prováveis reações dos pais, diretores das escolas e alunos; as qualificações e o entusiasmo dos professores; os distritos em que se localizam os professores adicionais; o financiamento governamental, etc.

Ao traçar os fatores determinantes ou causais considerados importantes para o sucesso, e o modo como podem atuar entre si, é possível decidir quais passos precisam ser monitorados à medida que o programa se desenvolve, para avaliar como se comportam na realidade. Assim, permite-se que os fatores críticos para o êxito sejam identificados. E, quando os dados demonstrarem que estes fatores não foram alcançados, é razoável concluir que o programa tem uma menor probabilidade de atingir seus objetivos.

Para quais finalidades pode ser usado?

Projetar a concepção de atividades complexas; Melhorar o planejamento e gestão.

Vantagens: Oferece uma informação precoce sobre o que está ou não funcionando, e por qual motivo; Permite uma correção imediata dos problemas, assim que eles surgem; Contribui para a identificação dos efeitos colaterais do programa, que não estavam claros; Ajuda a atribuir o grau de prioridade às questões que devem ser investigadas com mais profundidade, utilizando, por exemplo, o recolhimento mais focalizado de dados ou técnicas de monitoramento e avaliação mais sofisticadas;

Proporciona uma base para avaliar os impactos prováveis dos programas.

Desvantagens: Pode se tornar excessivamente complexa se lidar com uma grande escala de atividades ou, então, com uma lista exaustiva de fatores e pressupostos.

Algumas abordagens são muito caras e morosas, embora também se usem metodologias mais rápidas e econômicas; Pouca utilidade quando os decisores precisam de informações rápidas; Dificuldades em identificar medidas compensatórias adequadas.

Avaliação do impacto

Outcome mapping ou mapeamento de impactos

A avaliação do impacto é a identificação sistemática dos efeitos – positivos ou negativos, intencionais ou não - causados por uma determinada atividade de um programa ou projeto, nos lares, instituições e ambientes. No campo social, a avaliação do impacto ajuda a compreender melhor em que medida as atividades atingem o público alvo e a amplitude dos seus efeitos no bem-estar das pessoas.

A estratégia “mapeamento de impactos” focaliza um único tipo específico de resultados: mudanças no comportamento. Definimos o impacto como mudanças no comportamento, nos relacionamentos, nas atividades ou ações das pessoas, dos grupos e das organizações com as quais um projeto trabalha diretamente .

As avaliações de impacto podem ir desde levantamentos de amostragens de larga escala, em que se comparam populações e grupos de controle “antes e depois” (e, eventualmente, em várias ocasiões durante a intervenção do programa), até avaliações rápidas de pequena escala ou apreciações participativas. Nestas últimas, as estimativas do impacto são obtidas pela combinação das informações obtidas por meio das entrevistas com os grupos e informadores essenciais, dos estudos de casos e dos dados secundários existentes.

Para quais finalidades pode ser usada?

Medir os resultados e impactos de uma atividade e saber distingui-los da influência de outros fatores externos; Ajudar a esclarecer se os custos de uma atividade se justificam; Informar decisões quanto à expansão, modificação ou eliminação de projetos, programas ou políticas; Colher ensinamentos para melhorar a concepção e gestão de atividades futuras; Comparar a eficácia de intervenções alternativas; Aumentar o grau de responsabilização pelos resultados.

Vantagens: Fornece estimativas da magnitude dos resultados e impactos para os diferentes grupos demográficos, regiões ou ao longo do tempo; Oferece respostas a algumas das questões mais centrais do desenvolvimento: Em que medida estamos fazendo a diferença? Quais são os resultados na comunidade ? Como podemos fazer melhor?

A análise sistemática e o rigor podem dar aos gestores e aos responsáveis pela adoção de políticas uma maior confiança na tomada de decisões.

Desvantagens:

Focalizando as mudanças no comportamento, esta abordagem explicita algo já bem aceito desde há muito tempo: os projetos mais bem-sucedidos são aqueles que transferem paulatinamente o poder e a responsabilidade aos próprios participantes.

Usando este método, um programa passa a não focalizar seus impactos no desenvolvimento local, mas, sim, sua contribuição para conseguir os resultados previstos. A complexidade do processo de desenvolvimento torna muito difícil medir os impactos num prazo curto, e estes raramente são alcançados por um único ator. E priorizar somente a medição de indicadores de longo prazo pode não trazer o feedback e demais informações necessárias para corrigir e melhorar os rumos do projeto.

Usando o mapeamento de impactos, um projeto não está reivindicando a obtenção de impactos de desenvolvimento de longo prazo, e a relação não é necessariamente de causa e efeito. Os impactos podem ser vinculados logicamente às atividades do projeto, mesmo que eles não tenham sido necessariamente causados por elas.

Esta mudança de foco altera significativamente a maneira de o projeto entender seus objetivos e mensurar seu desempenho e resultados.

Estabelece-se a visão da melhoria humana, social e ambiental para a qual o processo deseja contribuir, e, então, focaliza-se o monitoramento e avaliação em fatores e atores dentro da esfera de influência direta desse programa.

As contribuições do programa ao desenvolvimento são planejadas e medidas com base na sua influência sobre os parceiros com quem está trabalhando para produzir mudanças. Em sua essência, o desenvolvimento é conseguido “por e para” pessoas. Este é o conceito central do mapeamento de impactos.

35

O mapeamento de impactos não diminui a importância das mudanças na situação (como “água mais limpa” ou “economia mais forte”), mas argumenta que, para cada mudança de situação, existem mudanças correlativas no comportamento das pessoas.

Por exemplo, o objetivo de um projeto pode ser facilitar o acesso das comunidades à água potável, com a instalação de filtros de purificação nas casas. Tradicionalmente, o método de avaliação dos resultados deste projeto seria contar o número de filtros instalados e medir as mudanças no nível de elementos contaminantes na água antes e depois das instalações. O foco na mudança de comportamento começa, porém, da premissa que a água não permanece limpa sem que as pessoas sejam capazes de manter sua qualidade no tempo.

Portanto, o impacto do projeto é avaliado em termos de: se aqueles responsáveis pela pureza da água nas comunidades não somente têm, mas usam as ferramentas apropriadas; se foram adquiridos conhecimentos e habilidades para monitorar os níveis de contaminantes; se foi preciso mudar os filtros ou chamar especialistas quando preciso.

Esta metodologia permite que os projetos comunitários planejem e meçam as habilidades que eles estão fortalecendo nas pessoas, nos grupos e nas organizações que - em última instância - serão as responsáveis pela

“No primeiro momento ficamos meio perdidos. Hoje conseguimos perceber os passos dados e quanto ainda precisamos caminhar”.

36

melhoria do bem-estar de sua comunidade. Não pretende substituir as formas mais tradicionais da avaliação, mas complementá-las focalizando especificamente as mudanças de comportamento relacionadas com os resultados.

Avaliação construtivista Egon G. Guba e Yvonna S. Lincoln, Os autores do livro Avaliação da Quarta Geração, argumentam em http://www.wmich.edu/evalctr/checklists/ constructivisteval.htm#2 que a primeira geração de avaliação focalizava as medições; a segunda, a descrição; e a terceira, o julgamento.} Os estudiosos apresentam agora uma quarta, baseada na negociação (hermenêutica/dialética).

Esta quarta geração é chamada de avaliação construtivista. Os autores acreditam que esta abordagem minimiza os maiores problemas das outras três: uma tendência para o gerenciamento, ou seja, uma abordagem que favorecia o ponto de vista do cliente ou do financiador, e que protegia o coordenador (mas que, às vezes, era injusta, pois mantinha as relações de poder e não se preocupava em ouvir todas as partes interessadas); a falha de não considerar conjuntos múltiplos de valores; e um compromisso demasiadamente forte com o paradigma científico (positivista) da pesquisa.

A avaliação construtivista está baseada nos pressupostos do paradigma construtivista, que se apoia no relativismo e que leva ao subjetivismo - o que, por sua vez, acredita que a “realidade” e a “verdade” dependem somente do conjunto de informações e do grau de sofisticação acessível aos indivíduos e grupos interessados. O método básico é a hermenêutica, quando todos os envolvidos declaram suas convicções, elas são analisadas e dissecadas para que se encontre o sentido de cada uma, e depois são confrontadas, comparadas e contrastadas em encontros de discussão (dialética). Este método se aplica tanto para dados quantitativos como qualitativos.

A avaliação construtivista não é um sistema fácil. Muitas vezes, promove confrontos e cria adversários. Precisa de um facilitador/avaliador muito treinado. Mas, desde o ponto de vista do valor da avaliação, parece ser o melhor caminho para conseguir soluções viáveis para reclamações e preocupações do - grupo resultando em construções fortemente apropriadas por todos que parecem servir, funcionar, ser relevantes e altamente flexíveis.

Impactos, resultados e processos5

Medindo o impacto A questão essencial é “Que diferença fez o nosso trabalho?”.

Podemos perguntar a quem realiza o trabalho: “O que mudou nas vidas das pessoas como resultado da sua ação na comunidade?”.

Podemos perguntar àqueles indivíduos específicos com os quais o projeto ou a instituição trabalhou: “O que há de diferente nas suas vidas ou nas vidas das pessoas que foram atendidas pelo projeto/pela instituição?”.

Ou podemos perguntar a uma organização, um bairro, uma comunidade inteira: “O que mudou como resultado das atividades do projeto ou da instituição?”.

Medindo os resultados A forma mais direta de medir resultados é achar alguma coisa para contar e chegar a um número. Na clássica pergunta: “Estamos batendo as asas ou estamos voando?”, medir os resultados pode significar responder cada uma dessas perguntas, ou as duas, dependendo do que tenhamos escolhido contar. Se decidirmos medir resultados do trabalho que fizemos, geralmente estamos medindo “o bater das asas”, ou seja, o esforço que realizamos. Um assessor de imprensa, por exemplo, pode contar quantos kits com materiais e releases enviou ou quantas entrevistas agendou. Se estamos recrutando voluntários, podemos contar quantos contatos fizemos com prováveis candidatos, quantos folhetos distribuímos, etc.

As medidas “do voo” são a forma em que completamos a frase: “Como resultado de nosso trabalho....”. Para o assessor de imprensa, os resultados podem ser os centímetros de coluna que foram publicados ou o número de menções nos jornais televisivos, etc. Para quem recruta voluntários, pode ser o número de pessoas que realmente se inscreveram e realizaram ações, ou o número total de horas voluntárias em determinado período.

Comparando o desempenho, olhando para o processo Aqui a questão é: “Estamos fazendo as coisas certas?” ou “Estamos fazendo as coisas da maneira certa?” ou “Estamos usando os recursos da melhor maneira possível?”.

Quando olhamos para o desempenho, nos concentramos especialmente no processo de nosso trabalho e na qualidade deste processo. Embora não pareça, qualidade pode ser definida por medidas quantitativas muito objetivas - mas também pode ser definida pelas percepções das pessoas engajadas no projeto e/ou afetadas pelo processo do trabalho. Fazer as perguntas certas, ouvir as respostas, extrair lições para aprender com as respostas e usar estas lições para melhorar nosso desempenho são a essência da avaliação de desempenho.

5. Baseado em artigo de Mónica Galiano e Kenn Allen, autores da ferramenta “Indicadores de desempenho para programas de voluntariado de alto nível”

37

Indicadores O resultado previsto, quando ocorre, se parece com o quê?

Que “cara” ele tem? Como vamos saber que ocorreu? O que podemos ver?

Indicadores são atos, representações, eventos ou outros fenômenos que demonstram o desempenho esperado ou a ser atingido por um projeto. Eles indicam o que medir e observar para comprovar que os resultados foram atingidos, seja no nível das atividades, do objetivo específico ou do objetivo geral.

Seguem abaixo algumas definições de indicadores feitas por diferentes agências sociais, agências financiadoras, consultores e autores da área: “Um conjunto de variáveis que aferem características quantitativas e qualitativas, consideradas significativas no desenvolvimento de um plano, definidoras de seu contexto de atuação e de seus resultados.” (CER/CMI , 1995).

É fácil perceber que o conjunto de afirmações ressalta que os indicadores se referem ao modo como uma pessoa cria instrumentos ou formas de selecionar aspectos de processos de uma determinada realidade ou situação, com a finalidade de entendê-la e explicá-la. Os indicadores também proporcionam subsídios para intervir ou dialogar com outros sujeitos sobre tal realidade ou situação estudada.

Longe de buscar uma definição-síntese, o que interessa é perceber que, subjacente às definições de indicadores, existe a referência a um conjunto de relações que lhe conferem características e finalidades.

“Uma variável cujo objetivo é medir a transformação num fenômeno ou processo.” (USAID - United States Agency for International Development).

“Sinais ou evidências que nos permitem verificar em que medida o fenômeno observado está sofrendo variações a partir da intervenção realizada.” (WWF World Wildlife Foundation , 2000).

“Instrumento de medição usado para indicar mudanças na realidade social que nos interessa. Ele é uma ‘régua’ ou um padrão que nos ajuda a medir, avaliar ou demonstrar variações em alguma dimensão da realidade relevante para os objetivos de um determinado projeto. [...] São parâmetros objetivos e mensuráveis utilizados para operacionalizar conceitos.” (Armani, 2000).

“Uma marca. O indicador pode ser comparado a uma placa que indica se estamos na estrada certa, quanto caminho já percorremos e quanto ainda temos a percorrer para chegarmos ao nosso destino ou objetivo.” (Feursteins, 1990).

“Parâmetros qualificados e/ou quantificados que servem para detalhar em que medida os objetivos de projeto foram alcançados, dentro de um prazo delimitado de tempo e numa localidade específica. Como o próprio nome sugere, são uma espécie de “marca” ou sinalizador, que busca expressar algum aspecto da realidade sob uma forma que possamos observá-lo ou mensurá-lo.”

(Valarelli, 1999).

“Uma evidência concreta e observável do que se obteve, das modificações efetuadas e das metas e objetivos atingidos. Em outros termos, os indicadores constituem medidas utilizadas para dar respostas às perguntas da avaliação.

(Dursch, 1989, citado em Jordão, 1994).

38

“Este trabalho despertou em mim a consciência da necessidade de avaliar, não para apontar erros e falhas, mas principalmente para tomar decisões e corrigir rumos”.

Indicadores respondem à pergunta: “Como saberemos se...?”

Citamos, a seguir, as ideias de Domingos Armani, expressas em seu livro Como Elaborar Projetos Sociais.

Poderíamos pensar que indicadores são, ao mesmo tempo: Instrumentos de medição, na medida em que são utilizados para captar aspectos dos fenômenos e processos da realidade social, cuja totalidade é impossível apreender; Resultantes de múltiplas mediações, na medida em que este ato de observação e análise por parte de um sujeito - a escolha dos processos de observar, dos instrumentos que tornam isto possível, a interpretação e o uso das informações - estão determinados pelas formas com que este sujeito percebe a realidade; pelos seus códigos de valores; pelas intenções que tem (e que precedem a utilização de indicadores); e pela interação político-comunicativa com outros sujeitos (a qual antecede ou resulta destes processos de observação, interpretação, diálogo e intervenção sobre o real).

As mudanças pretendidas se expressam em conceitos, como participação, cidadania, organização, promoção de direitos, autoestima, empregabilidade, etc. Mas conceitos não podem ser medidos diretamente. Precisamos um entendimento claro sobre os conceitos, definindo-os bem concretamente.

Podemos dizer também que indicadores são parâmetros objetivos e mensuráveis utilizados para operacionalizar conceitos. Diferentes conceitos vão levar a diferentes formas de medição. No processo de transformar conceitos em indicadores, é necessário identificar as dimensões fundamentais (variáveis ou pistas) e criar a forma mais apropriada de medir suas variações.

Lembremos: Indicadores são evidências das mudanças ocorridas, mas não são as mudanças, nem são suas causas.

Eles são sintomas, como a febre (variável), medida pela temperatura do corpo (indicador), por meio do termômetro (meio de verificação). Indicam, portanto, a doença, mas não são sua causa, e muito menos a doença em si.

Precisamos de um número mínimo de indicadores para medir o êxito do projeto - sua existência demonstrará que atingimos os objetivos. São úteis para a etapa de planejamento do projeto porque evitam erros conceituais e clarificam os objetivos, além de acrescentar profundidade e dimensão à formulação do propósito ou objetivo geral. São indispensáveis para a avaliação, porque sem eles não se pode comparar o que foi programado com o que foi obtido.

Os indicadores devem também ser relevantes, medindo o que queremos atingir, o que é importante, e o que pode ser atribuído exclusivamente ao projeto. E o mais importante: devem ser objetivamente verificáveis.

Tipos de indicadores EFICIÊNCIA

EFICÁCIA

Efetividade

Produto/Efeito

Efeito

Impacto

Resultados compensam esforço.

Análise custo x benefício

Resultados esperados foram atingidos

Ação possui impacto na comunidade

Um artigo de Leandro Lamas Valarelli publicado em www.rits.org.br, em julho de 1999, explicita muito bem todos estes conceitos: “Na medicina, por exemplo, a temperatura corporal é uma das muitas variáveis para avaliar se uma pessoa está doente ou não. Uma temperatura acima do normal – a febre – não é a própria doença, mas mostra que o organismo está combatendo uma infecção. A partir da variável temperatura, construiu-se o indicador: uma escala que mede sua variação, na qual a temperatura de 36,5 graus Celsius é considerada a normal, quando medida por um período de três minutos. Acima disso, considera-se que a pessoa está com febre em graus progressivos. Assim, a doença é o estado ou situação que pretendemos avaliar; a temperatura é a variável utilizada; a escala em graus Celsius, que define o que é normal e o que é febre, é o indicador; e o termômetro é o instrumento ou meio de verificação”.

Em se tratando de projetos sociais, lidamos com realidades complexas nas quais muitos fatores e sujeitos intervém e moldam as relações e processos. Um objeto baseia-se na intenção de atuar nesta complexidade, perseguindo objetivos de mudança numa situação considerada como problema ou necessidade. Com suas atividades, relacionando-se com a ação dos demais sujeitos na sociedade, pretende produzir resultados que, no conjunto, contribuam para modificar aquela situação. Por isso, os resultados de um projeto social nunca são certezas, mas investimentos, apostas na possibilidade de alcançá-los. Não havendo certezas, é preciso construir meios de verificação que auxiliem na percepção do rumo das mudanças possíveis.

39

O que são e para que servem Em projetos sociais, indicadores são parâmetros qualificados e/ou quantificados que servem para detalhar em que medida os objetivos de um projeto foram alcançados, dentro de um prazo delimitado de tempo e numa localidade específica. Como o próprio nome sugere, são uma espécie de “marca” ou sinalizador que busca expressar algum aspecto da realidade de forma que possamos observá-lo ou mensurá-lo. A primeira decorrência desta afirmação é, justamente, que eles indicam, mas não são a própria realidade. Baseiam-se na identificação de uma variável, ou seja, de algum aspecto que varia.

Alem disso, os indicadores podem ser quantitativos ou qualitativos.

Quantitativos quando procuram focar processos satisfatoriamente traduzíveis em termos numéricos, tais como valores absolutos, médias, porcentagens, proporções etc. Qualitativos quando relacionados a processos nos quais é preferível utilizar referências de grandeza, intensidade ou estado, tais como forte/fraco, amplo/restrito, frágil/estruturado, ágil/lento, satisfatório/insatisfatório, e assim por diante.

Eficiência, eficácia e efetividade A escolha dos indicadores em um projeto também ocorre em função dos ângulos que se quer avaliar: sua eficiência, eficácia e sua efetividade.

Tipos e características de indicadores Os indicadores podem ser utilizados para medir ou revelar aspectos relacionados a diversos planos da vida social: individual e familiar, coletivo e associativo, das relações sociais, políticas, econômicas e culturais da sociedade. Podem, por exemplo, medir a disponibilidade de bens, serviços e conhecimentos, e o acesso que determinados grupos têm a eles; a relevância que possuem na vida das pessoas e instituições; a qualidade e o grau de utilização de algo. Além disso, podem também captar processos, em termos de intensidade e sentido de mudanças.

Dizemos, então, que os indicadores referem-se a aspectos tangíveis e intangíveis da realidade. Os tangíveis são aqueles facilmente observáveis e aferíveis quantitativa ou qualitativamente, como renda, escolaridade, saúde, organização, gestão, conhecimentos, habilidades, formas de participação, legislação, direitos legais, divulgação, oferta, etc. Já os intangíveis são aqueles sobre os quais só podemos captar parcial e indiretamente algumas manifestações: consciência social, autoestima, valores, atitudes, estilos de comportamento, capacidade empreendedora, liderança, poder, cidadania, entre outros. Como são dimensões complexas da realidade, processos não-lineares ou progressivos, demandam um conjunto de indicadores que apreendam algumas de suas manifestações indiretas, “cercando” a complexidade do que pretendemos observar.

Na construção de indicadores, devemos considerar a diferença e a coerência que guardam entre si, a variável a observar, o indicador utilizado e o meio ou fonte de verificação. É comum, neste processo, que tomemos uns pelos outros.

Se pretendemos avaliar as mudanças na qualidade de vida de um grupo, gerada pelo nosso projeto, podemos escolher uma ou muitas variáveis dentre diversas possibilidades: renda familiar, posse de bens materiais, condições de moradia, saúde, escolaridade, etc. Após escolher a variável renda familiar, inicia-se o trabalho de construção do indicador.

40

Eficiência. Diz respeito à boa utilização dos recursos (financeiros, materiais e humanos) em relação às atividades e resultados atingidos. Por exemplo, atividades planejadas x realizadas, custo total x pessoas atingidas, quantidade de cursos x pessoas capacitadas.

Eficácia. Observa se as ações do projeto permitiram alcançar os resultados previstos. Um programa de capacitação permitiu aos seus participantes adquirir novas habilidades e conhecimentos? A criação de uma cooperativa realmente implicou em melhorias na produção e comercialização de produtos?

Efetividade. Examina em que medida os resultados do projeto, em termos de benefícios ou mudanças gerados, estão incorporados de modo permanente à realidade da população atingida. Por exemplo, se um grupo mantém novos comportamentos e atitudes, ou se a assessoria a um grupo permitiu que ele se mantenha por iniciativa e motivação próprias.

Características de um bom sistema de indicadores

Um bom indicador...

Um bom sistema de indicadores para monitoramento e avaliação de resultados apresenta as seguintes características:

Deve medir o que é importante (e não aspectos secundários); Deve ser evidente. Deve estar tão estreitamente relacionado ao que estamos tentando medir, ao ponto de nos dar a certeza de que nosso projeto foi um fator importante nos resultados observados; Deve ser especificado quanto à quantidade, qualidade e tempo (QQT).

Se um destes três fatores não estiver presente, não teremos objetividade para medir o êxito; Deve ser independente. Os indicadores de um nível determinado não podem ser usados para demonstrar conquistas de um nível superior; Deve incluir alvos precisos:

Quantificados: “Quanto?”

Qualificados: “O que/ quem em particular?”

Programados: “Quando? Até que data?”

É coerente com o que as organizações deve considerar sobre os objetivos e as dimensões de seu projeto; Resulta da negociação transparente e não impositiva dos diferentes interesses e expectativas; Considera as particularidades do contexto e foi desenvolvido a partir de um bom conhecimento da realidade na qual o projeto vai intervir; Capta os efeitos atribuíveis às ações, serviços e produtos gerados pelo próprio projeto; São bem definidos, precisos e representativos dos aspectos importantes da estratégia do projeto, sem ter a pretensão de dar conta da totalidade; Está orientado para o aprendizado, estimulando novas reflexões; Prevê e especifica os meios de verificação que serão utilizados, bem como os responsáveis pela coleta de informação, pela análise e tomada de decisões; É simples, sem ser simplista, capaz de ser compreendido por todos, e não apenas por especialistas; É viável do ponto de vista operacional e financeiro; Fornece informações relevantes e em quantidade que permite a análise e a tomada de decisão; Aproveita as fontes confiáveis de informação existentes, poupando recursos, tempo e energia do projeto.

Não esquecer que os indicadores provam o alcance dos objetivos, sempre que estejam baseados em dados confiáveis. As fontes de evidência e a informação disponível devem ser acessíveis e fáceis de coletar (bons questionários ou planilhas claras e fáceis de preencher), e os responsáveis pela coleta devem ser definidos e treinados (professores, agentes comunitários, auxiliares administrativos, etc.).

“Abriu minha visão pessoal, e acredito que melhorou meu desempenho profissional.”

41

42

Quais foram as aprendizagens?

Nesta seção você encontrará um resumo dos conceitos trabalhados em forma de dicas, cuidados necessários ao começar o trabalho, recomendações, e algumas ferramentas que você poderá aplicar na sua organização ou com a sua equipe de projeto. Também poderá usar estas informações junto a audiências mais amplas, caso queira ministrar estas oficinas para outras pessoas, departamentos, filiais ou núcleos de sua rede profissional ampliada.

43

O plano de avaliação É o plano que permite conseguir a informação necessária e, assim, entender a diferença que o projeto está fazendo, ou seja, a extensão do alcance dos objetivos.

DICA: Ao elaborar o plano de avaliação, considerar: A forma em que os “achados” serão usados; As perguntas que serão feitas; As fontes de informação necessárias; Os métodos de coleta de dados; Os responsáveis pela avaliação; O período que será avaliado; O esforço necessário.

O grande desafio é fazer com que os “achados” da avaliação sejam efetivamente utilizados. Então, as primeiras perguntas-chave são: “Quem vai usar o que descobrimos? Para quê? Como? E quando?”.

Depois, devemos responder o seguinte checklist:

Checklist: Os 10 princípios de uma boa avaliação Antes de começar, pergunte-se: 1. Para quê queremos avaliar?

2. Quem vai querer saber da avaliação?

3. E o que queremos avaliar?

4. Que tipo de informação relevante vamos coletar?

5. Como vamos verificá-la? E registrá-la?

6. Quanto esforço isso vai nos custar?

7. Esse esforço (tempos, custos, etc.) compensa?

8. Como analisaremos a informação para transformá-la em novo conhecimento?

9. A quem vamos apresentá-la?

10. Ela será usada para tomar decisões e planejar mudanças?

É importante que a avaliação não seja realizada apenas quando algo deu “errado”, mas que seja um processo contínuo, realizado sempre de forma positiva, transparente e em clima de segurança. Ela deve fazer parte da cultura organizacional, por auxiliar nas tomadas de decisões que beneficiam a organização e outros atores envolvidos nas suas ações e projetos.

44

Lembre-se que a avaliação: Deve ocorrer em um ambiente onde as pessoas podem examinar algo que não deu certo, sem medo de consequências negativas; É uma valiosa ferramenta para ajudar a organização a caminhar em direção a sua missão e visão; É um processo, ou seja, uma ação contínua e integrada às atividades do dia-a-dia da organização; Favorece a aprendizagem organizacional – um caminho que determina o desenvolvimento e as mudanças de direção, facilitando a busca da eficiência e eficácia; É trabalho de todos da organização, que devem levantar informações e se perguntar: “O que e como podemos fazer melhor?”.

Quem faz a avaliação? É essencial que a avaliação entre na cultura organizacional, portanto, a participação e envolvimento de todos nos processos avaliativos é fundamental.

Geralmente as avaliações de processo são feitas pela própria equipe, já as de resultados e impactos contam com avaliadores/as externos/as - essa combinação ou avaliação ‘mista’ parece ser efetiva na maioria dos casos; Contar com um avaliador externo em algum momento pode servir para ter um “olhar de fora” e levantar questões que podem passar despercebidas no cotidiano do projeto. Porém, é fundamental que esse avaliador tenha conhecimento na área do projeto e se proponha a entendê-lo bem, além disso, que utilize métodos participativos (ouvir toda a equipe e demais envolvidos no projeto, participar de oficinas, etc.).

“Vejo os projetos de forma mais crítica e questiono a realidade.

Na instituição ainda persiste uma confusão em relação ao que se faz e como se faz”.

Os métodos de coleta de informações Meios de Verificação Análise de documentos; Ficha de observação (roteiro com pontos a serem observados); Formulários (o próprio entrevistado preenche); Questionário (preenchido pelo pesquisador); Grupo focal; Avaliação oral (registro).

a) Análise de documentos Um passo importante na coleta de informações é buscar os registros que já existem sobre o objeto a ser avaliado, tais como relatórios anuais, fichas de inscrição, cartas e memorando, atas, listas de presença, fichas de saúde, dados populacionais, material de divulgação, etc. A análise de documentos é importante para estabelecer o diagnóstico inicial e construir o histórico do projeto.

Trate todos os documentos como confidenciais, principalmente os relacionados aos recursos humanos da organização. b) Observação Permite conhecer e entender melhor como o projeto está afetando seu sujeito de ação e como este público reage a isto. A observação pressupõe olhar de fora do processo em desenvolvimento. O observador deve conhecer bem a situação a ser observada, deve estar sempre atento, ser imparcial, saber olhar e escutar e registrar tudo com disciplina.

c) Formulários, questionários e entrevistas São ferramentas importantes na coleta de informações, e podem ser usados para avaliar atitudes, comportamentos, além de dados sobre condições de vida, como moradia, renda familiar, escolaridade, etc., entre outros.

Os questionários podem ser abertos ou fechados, respondidos individualmente ou por um grupo de pessoas, na presença ou ausência da equipe de avaliação e/ou avaliador externo.

As entrevistas também podem ser individuais ou em grupo, mas sempre realizadas pela equipe de avaliação e/ou o avaliador externo.

DICA: Os questionários e entrevistas devem utilizar sempre uma linguagem apropriada para cada público, evitar o uso de palavras que possam ter duplo sentido, e ser o mais imparcial possível para não induzir as respostas.

Formulários e questionários Importância dos dados de perfil (sexo, idade, cor auto declarada, escolaridade, ocupação, etc.); Importância da clareza e objetividade das questões; Linguagem adequada ao público; Cuidado com questões indutivas ; Importância de pré-teste.

Ficha de observação É um instrumental qualitativo; Conceitos devem ser profundamente refletidos e alinhados com observadores; Deve ter poucas questões e estar focado; Deve ser aplicada de forma natural e que não interfira no decorrer da atividade onde comportamento/desempenho é observado.

45

d) Grupo focal Entrevistas estruturadas em grupo, mediadas pelo avaliador, na qual se provoca a discussão aprofundada de alguns aspectos do programa/ projeto. Teremos assim dados qualitativos que nos mostrarão as razões de determinadas condutas ou situações. Por exemplo, saberemos por que a pessoa não se sente bem fazendo alguma coisa e, compreendendo esse problema, pensaremos na melhor a solução. “O que levaria a pessoa a sentirse de determinada maneira? O que faria mudar sua postura?”.

f) Registro fotográfico Serve para registrar o “antes e o depois”, especialmente em situações concretas, visíveis, materiais. É importante instrumento para verificação do andamento de alguns trabalhos.

Grupo focal Técnica de avaliação qualitativa com questões em torno de foco preciso; Permite compreender e aprofundar a opinião de um determinado grupo; Deve ter entre 6 e 8 pessoas sentadas em círculo; Participantes, preferencialmente, devem ter características comuns, conforme foco da pesquisa; Ambiente deve ser confortável e silencioso; Facilitador deve deixar grupo à vontade e estar muito bem familiarizado com o roteiro de questões e foco da discussão; Pode utilizar fotos, vídeos, dinâmicas, etc. para aquecer grupo com cuidado para não induzir as respostas; Gravar depoimentos; Ter ficha de registro para anotar ordem dos depoimentos e questões para destaque; Todos com crachás visíveis para serem sempre chamados pelos nomes.

Com os dados quantitativos, é possível fazer uma análise estatística. Já com os dados qualitativos, é possível conhecer com mais detalhes a realidade, analisando palavras, frases, atitudes, entre outros.

e) Avaliação oral São ideais para o trabalho com grupos que tenham dificuldade de escrita, ou, ainda, para aquecer o grupo antes do preenchimento das fichas de avaliação.

Avaliação oral Com grupos com dificuldade de escrita; Para aquecer grupo antes de preenchimento de fichas de avaliação; Pode utilizar fotos, vídeos, dinâmicas, etc.; Pode utilizar esquema de cores; Importante registrar questões comuns em tarjetas ou flip-chart; Estimular reflexões tanto sobre o que mais chamou a atenção quanto sobre o que poderia ter sido melhor.

Organizar as informações e analisar os dados contribui para verificar onde o projeto está indo bem e onde pode melhorar, ou seja, onde causou mudanças e onde precisa investir mais.

Os resultados obtidos jogam luz ao objeto avaliado e respaldam as decisões tomadas acerca dele. Por exemplo: “Estas mudanças geraram melhorias nas suas vidas? De que forma? Se não, por que? “.

A importância da qualidade dos registros A sistematização serve para produzir um novo conhecimento. Relembrando palavras de Oscar Jara, “...a reconstrução das experiências consiste em analisar e interpretar criticamente as ações vividas, para poder extrair suas aprendizagens e comunicá-Ias. Por conta disso, é preciso que haja registros dessas ações. Se contarmos apenas com nossa memória, muita coisa se perde”.

Sobre os registros de experiências: Registros de experiências, sejam eles escritos, gravados ou filmados (textos, áudios ou vídeos), são parte do processo de monitoramento; Eles devem servir a um propósito: reviver o acontecido e aprender; ou permitir, a quem não esteve presente, uma experiência o mais próxima possível da realidade do acontecido; Não devem ser tratados como um apêndice, como se ninguém mais do que o autor fosse vê-los depois; Devem poder ser lidos, ouvidos ou vistos com espírito crítico. Para isso, precisam ser inteligíveis;

Para ser útil, o registro deve ter sido planejado com antecedência. Não basta colocar uma câmera ou um gravador ligado e captar tudo, sem o propósito de produzir uma obra que tenha significado em si mesma.

46

Cada filme é um produto que deve se sustentar sozinho: deve ser agradável de ver e deve mostrar o que aconteceu de maneira fidedigna; Ao registrar um seminário ou oficina, a preocupação maior é tornar os conteúdos apresentados inteligíveis para o espectador que não participou do evento. Portanto:

O volume da voz registrada deve ser alto e sempre constante;

As intervenções do público devem ser SEMPRE registradas

com microfone. (para a sistematização de um processo de

capacitação, é importantíssimo poder analisar as reações do público);

Quando o palestrante se refere a um slide, deve-se filmá-lo em boa

resolução e deixá-lo um tempo suficiente na tela em primeiro plano,

para que o espectador possa ler, entender e tomar notas;

Na edição, cortar todos os trechos com defeitos técnicos; De preferência, cortar todos os comentários irrelevantes, como

quando o palestrante combina com a audiência o horário de

coffee-break, almoço, etc.

Os cortes não podem ser feitos de forma brusca: cada novo

trecho, tema ou assunto deve ter um letreiro que indique qual é o

tema a ser apresentado e a data em que foi gravado.

Para finalizar, evite os seguintes erros: Avaliar muitos indicadores, sem estabelecer a prioridade e a hierarquia; Avaliar para controlar (controle das metas em vez de enfoque na melhoria); Avaliar para cortar custos, em vez de melhorar o desempenho e a qualidade; Avaliar o previsto com o realizado (controle de prazo/cronograma de produção); Avaliar para descobrir erros (com objetivo de punir); Avaliar sem enfoque nas satisfações das pessoas (com foco principal no produto ou no processo); Avaliar sem considerar o progresso ou melhoria, de forma sistemática e integrada; Avaliar dados incorretos e/ou ignorar os dados fundamentais.

Esperamos que este material seja útil para seus contínuos esforços em prol de um mundo melhor para nossas crianças e adolescentes.

Quem encomenda a filmagem, neste caso, o coordenador do projeto, precisa orientar as pessoas que vão filmar sobre o resultado pretendido. E estes, por sua vez, precisam informar, a quem vai editar as imagens, quais foram os componentes mais importantes do registro. Uma solução possível para todos estes problemas é um planejamento antecipado e em conjunto entre o coordenador, o palestrante e os câmeras ou diretor dos vídeos.

47

48

Bibliografia citada e recomendada

49

ALLEN, K. e GALIANO, M. Indicadores de Desempenho para Programas de Voluntariado Empresarial de Alto Nível. Ferramenta online, Versão 4.0.

São Paulo, 2008.

ARMANI, Domingos. Como elaborar projetos sociais? Tomo Editorial (Coleção Amencar). Porto Alegre, 2003.

CAMPÊLO, A. F. Avaliação de programas sociais em ONGs: Discutindo aspectos conceituais e levantando algumas orientações metodológicas sobre avaliação de impacto. Artigo publicado em www.rits.org.br. São Paulo, março de 2007.

CARVALHO, Maria do Carmo Brant. Avaliação participativa: uma escolha metodológica. In: RICO, Elizabeth M. et al. (Org.). Avaliação de políticas sociais: uma questão em debate (Editora Cortez, 3ª edição). São Paulo, 2001.

CORVINGTON, P. Transformando a Avaliação para Criar a Mudança Social.

Entrevista publicada na revista Philanthropy News Digest, em abril de 2005.

COSTA REIS, L.G. Avaliação de projetos como instrumento de gestão. Artigo publicado em www.rits.org.br. São Paulo, novembro de 1999.

MEIRELLES, M.C. Conhecimento e prática social: a contribuição de sistematização de experiências. Dissertação de mestrado. Pontifícia Universidade Católica. São Paulo, 2007.

PATTON, M.Q. Da construção do pensamento avaliativo. Artigo publicado no The Canadian Journal of Program Evaluation - Canadian Evaluation Society.

Canadá, 1999.

ROCHE, C. Avaliação de impacto dos trabalhos de ONGs: aprendendo a valorizar as mudanças. Editora Cortez, ABONG e Oxfam. São Paulo, 2000.

THE INTERNATIONAL BANK FOR RECONSTRUCTION AND DEVELOPMENT - THE WORLD BANK. Monitorização & Avaliação: Algumas Ferramentas, Métodos e Abordagens. Em www.worldbank.org/oed/ecd. Washington, 2004.

TORO, B. Reedição, diálogo e disseminação de saberes. In: Seminário internacional sobre avaliação, sistematização e disseminação de projetos sociais – Fundação Abrinq. São Paulo, 2002.

WORTHEN, B.R.; SANDERS, J.R. & FITZPATRICK, J.L. Avaliação de Programas Sociais. Instituto Fonte e Editora Gente. São Paulo, 2004.

VALARELLI, L.L. Indicadores de projetos sociais. Publicado em www.rits.org.br. São Paulo, julho de 1999.

50

Anexos

51

52

Monitoramento dos processos instalados Identificar os próximos passos a partir da 1ª Oficina

Responsável

AgP AgA

Aguardando início no prazo Aguardando início em atraso

Gestor

CP CA

Concluído no Prazo Concluído em Atraso

Em execução no prazo Em execução atrasado

Patrocinador

EP EA

TOTAL >>

Financeiro

Reuniões / Relatórios / Encontros Critério(s) de conclusão Meta(s) Elaboração de relatório

Levantarmos o processo antes da próxima oficina Situação Como será feito?

Onde?

Prazo Orçamento Responsável Apoio requerido

Início Fim Valor Quem?

O que Início

Resultados esperados Objetivo Plano(s) de ação que influencia(m) o objetivo acima

Plano de Ação

Fim

Objetivo

Indicador de desempenho Descrição

Unidade de Mês e valor Periodicidade de referência medida Realizado Meta Variação Realizado Meta Variação Realizado Meta Variação Realizado Meta Variação Realizado Meta Variação Realizado Meta Variação Realizado Meta Variação Realizado Meta Variação Realizado Meta Variação Realizado Meta Variação Realizado Meta Variação Realizado Meta Variação

Modelo Mapa Estratégico e Painés de Indicadores - Oficina de Monitoramento eAvaliação de Processos

53

dez/07 nov/07

out/07 set/07

ago/07 jul/07

jun/07 mai/07 abr/07 mar/07 fev/07 jan/07 Observações

Comunidade Educadora Escola, Juventude e Comunidade na construção do Desenvolvimento Local e Sustentável

Ficha de registro das atividades de incentivo à leitura Dia: ____/____/2008

Turno:

Manhã

Tarde

Noite

Nome completo dos Mediadores e instituição de cada um ________________________________________________________________________________________________ ________________________________________________________________________________________________ Local da atividade (instituição e comunidade):____________________________________________________________________ Tipo de público :______________________________________________________________________________________ Se a mediação for com turma de alunos, informe o número da turma:______________________________________________________ Contagem aproximada de participantes:________________________________________________________________________ Média de idade: crianças até 6 anos crianças entre 7 e 14 anos adolescentes entre 15 e 17 anos jovens entre 18 e 25 anos adultos acima dos 26 anos

Descrição das atividades realizadas: ________________________________________________________________________________________________ ________________________________________________________________________________________________ ________________________________________________________________________________________________ Relacione abaixo as obras lidas Título da Obra

Autor

Marque X para as Marque M quando lida por mediador obras lidas a pedido ou P por alguém do público

________________________________________________________________________________________________ ________________________________________________________________________________________________ _______________________________________________________________________________________________

Observações sobre a receptividade e participação do público nas atividades ________________________________________________________________________________________________ ________________________________________________________________________________________________ ________________________________________________________________________________________________

Observações e sugestões para outras atividades ________________________________________________________________________________________________ ________________________________________________________________________________________________ ________________________________________________________________________________________________

Instrumental concebido pela CARE Internacional Brasil

54

Comunidade Educadora - Formação de Mediadores de Leitura

Ficha de avaliação Data: ____/____/______ 1. Dados para construção de perfil Nome (apenas se quiser se identificar): ________________________________________________________________________ Idade: __________________ Sexo: Feminino Masculino Instituição: _____________________________________ 2. Participante na condição de: aluno (a) de escola técnico(a)/educador(a) de ONG

bolsista do projeto outro(a) qual:

educador(a) de creche/escola

3. Como avalia o espaço onde foi realizado o encontro (salas, banheiros, refeitório)? superou expectativas razoável satisfatório insatisfatório Comentário: ________________________________________________________________________________________ 4. Como avalia a alimentação (café da manhã, almoço e lanche)? superou expectativas razoável satisfatória insatisfatória Comentário: ________________________________________________________________________________________ 5. Como avalia a metodologia do encontro (atividades e dinâmicas realizadas)? superou expectativas razoável satisfatória insatisfatória Comentário: ________________________________________________________________________________________ 6. Dentro da programação houve alguma atividade que foi mais enriquecedora para você? sim não Se sim, qual e por quê?: _________________________________________________________________________________ ________________________________________________________________________________________________ 7. Dentro da programação houve alguma atividade pouco produtiva ou desnecessária? sim não Se sim, qual e por quê?: _________________________________________________________________________________ ________________________________________________________________________________________________ 8. Considera que o encontro atingiu o objetivo de capacitar os jovens para realizarem rodas de leitura nas suas escolas/organizações? Você se sente capacitado? sim em parte não Comentário: ________________________________________________________________________________________ 9. Como avalia cada conteúdo dado neste encontro de formação?

Superou expectativas A história da escrita (Ingrid e Kleber) Papel e postura do mediador (Kenner) Estratégias de Leitura (Kenner e Nilcinéia) Roda de Leitura (Indaiara , Dariel, Thaís, Laio e Kenner) Acervo (Ingrid)

Satisfatório Razoável

Insatisfatório

10. Quais sugestões possui para os encontros de formação continuada? ________________________________________________________________________________________________ ________________________________________________________________________________________________ ________________________________________________________________________________________________ ________________________________________________________________________________________________ 11. Que outros comentários gostaria de fazer sobre este encontro de formação inicial ou sobre o projeto como um todo? ________________________________________________________________________________________________ ________________________________________________________________________________________________ ________________________________________________________________________________________________ Instrumental concebido pela CARE Internacional Brasil

55

Oficina II: Avaliação de Resultados

Matriz Avaliativa Resultados Esperados

Indicadores

Meios de Verificação

Público / fonte

Quando (data)

Responsável

Preparação necessária

________________________________________________________________________________________________ ________________________________________________________________________________________________ ________________________________________________________________________________________________ ________________________________________________________________________________________________

56

57

58

59

Av Santo Amaro, 1386 Vila Nova Conceição 04506-001 - São Paulo/SP www.fundabrinq.org.br 55 11 3848 8799

60