Construir o foco de uma avaliação Uma oportunidade para ampliar a visão e fazer boas escolhas
Exercício Queremos explorar com você o processo de definir o foco de uma avaliação. Vamos começar olhando para uma experiência de avaliação de um projeto social. Por favor, leia o relato sobre o desenvolvimento do projeto e registre suas reflexões conforme indicado.
O caso da Associação Vida Nova A Associação Vida Nova foi criada em 1949, no interior de São Paulo e inicialmente ofereceu projetos profissionalizantes e assistência familiar para a população do município. Após alguns anos, passou a atender crianças com necessidades especiais e funcionar em um centro com uma equipe específica. Em 2000, recebeu uma solicitação da prefeitura para atender jovens cumprindo Medidas Socioeducativas (MSE) em meio aberto, conforme estipulado no ECA e SINASE.
A diretoria da Associação resolveu aceitar o convite. Em 2007, abriu-se um edital de uma fundação empresarial incluindo projetos de atendimento de MSE e a Associação Vida Nova recebeu apoio financeiro para um projeto. O projeto contemplava o atendimento de 150 jovens e tinha o objetivo geral de “promover a sua inclusão na sociedade, usufruindo dos direitos e cumprindo os deveres como cidadãs”.
Os objetivos do projeto eram: • Contribuir para que os jovens iniciem um novo projeto de vida, com autonomia; • Promover que os jovens usufruam dos seus direitos de educação; • Contribuir para sua inserção num contexto familiar saudável; • Promover a inserção no mercado de trabalho; • Promover o desenvolvimento dos seus potenciais produtivos e criativos.
As ações desenvolvidas foram: • Atendimento individual e da família pelo orientador, • Oficinas de artes e esportes, • Encaminhamento para a escola.
Com o tempo
apareceram desafios...
E o monitoramento do projeto indicou: • Um alto índice de reincidência de atos infracionais do público atendido; • Um alto índice de evasão escolar; • Dificuldade de conseguir vagas nas escolas para os jovens atendidos; • Pouco envolvimento das famílias no projeto; • Pouca participação dos jovens nas oficinas; • Poucos jovens ingressando no mercado de trabalho; • Equipe frustrada e desgastada.
Resolveu-se mudar algumas coisas... 1. Iniciou-se um processo de qualificação da equipe, estabelecendo também os princípios e formas de trabalhar. 2. Construiu-se um processo de reflexão e aprendizagem contínua na equipe. 3. Decidiu-se flexibilizar a oferta de oficinas, conforme os desejos dos jovens, com temas e duração abertas. 4. Contrataram cursos profissionalizantes específicos, considerando a possibilidade e necessidade do grupo atendido. 5. Criou-se grupos de apoio para as famílias nos seus bairros. 6. Iniciou-se um esforço de aproximação com as escolas para conscientizar e dialogar sobre este público.
O apoio da fundação durou cinco anos e ao final foi sugerido que o projeto seja avaliado. Quais são os principais aspectos e questões deste projeto que deveriam ser considerados nesta avaliação?
Quais são os principais aspectos e questões deste projeto que deveriam ser considerados nesta avaliação? Reflita e tome suas notas antes de seguir para o próximo slide
Revendo a hist贸ria deste projeto, quais s茫o os diferentes agentes e grupos que participaram e foram importantes no seu desenvolvimento?
Reflita e registre suas ideias antes de ir para o pr贸ximo slide.
Nós identificamos os seguintes: • • • • • • • •
Os jovens atendidos As famílias atendidas A equipe da Associação Vida Nova A coordenadora do projeto A diretoria da Associação Vida Nova A prefeitura A fundação empresarial As escolas
Quais você identificou? Por quê?
Qual a vis茫o de cada um deles sobre o projeto? O que eles podem considerar importante avaliar? Anote os aspectos para cada grupo antes de ir para o pr贸ximo slide.
O que cada grupo considerou: •
Os jovens atendidos achavam importante avaliar a qualidade e variedade das oficinas.
•
As famílias atendidas queriam saber se o projeto ajudava mesmo os jovens a voltarem para escola e achar um emprego.
•
A equipe da Associação Vida Nova tinha grande preocupação em avaliar a qualidade do seu trabalho com os jovens e as famílias; cada profissional queria avaliar a atividade, o atendimento, a oficina que administrava. Queriam saber que diferença de fato o seu trabalho estava tendo na vida dos jovens, qual o impacto do projeto.
•
A coordenadora do projeto achava importante avaliar a qualidade da implementação dos objetivos específicos, queria saber que resultados estavam sendo gerados e precisava saber quais estratégias tinham sido mais importantes para gerar resultados - em que medida o projeto gerava impacto?
O que cada grupo considerou: •
A diretoria da Associação queria saber como este projeto influenciava a imagem da organização e sua relação com a comunidade e também estava interessada em descobrir o quanto o projeto melhorava as chances para os jovens continuarem nos estudos e conseguirem um emprego.
•
A prefeitura precisava ter informações sobre os resultados em termos de reincidência de atos infracionais: que diferença o projeto estava tendo neste sentido? Também queriam ter alguma análise sobre os resultados do projeto considerando o recurso investido e custo-benefício.
•
A fundação empresarial queria saber o grau de implementação dos objetivos e os resultados gerados - sua principal preocupação era com os índices de reincidência e evasão escolar.
•
As escolas queriam entender qual tinha sido o papel do projeto em motivar e preparar o jovem para voltar para escola e no apoio aos seus estudos.
Em quê este conjunto de aspectos é diferente dos que você imaginou? E daqueles que você registrou inicialmente?
Escutar e considerar a visão de vários grupos pode ajudar a ampliar a visão sobre uma avaliação.
Construir o foco de uma avaliação • Envolve fazer escolhas sobre o que deveria ser avaliado e como será feita a avaliação. • Para fazer escolhas relevantes é importante: – Ter clareza sobre o projeto ou programa, seus objetivos, metas e estratégias; – Ter clareza sobre os motivos para fazer a avaliação; – Considerar as expectativas de uso dessa avaliação: que decisões espera-se tomar a partir dela? Para quê vai servir?
Um roteiro para construir o foco da avaliação 1. Sobre o projeto/programa: Quais os objetivos/intenções do programa/projeto? Quais as suas estratégias? Que metodologia é usada? Quem é o público? Quem são os agentes interessados no projeto? Quais são os parceiros? Quem é o financiador?
Roteiro para construir o foco 2. Sobre a avaliação:
Por que é importante avaliar o projeto/programa? O que será feito com as conclusões/achados da avaliação? Para que ela servirá? Quem será afetado pelos resultados dessa avaliação? Quais recursos estão disponíveis para a avaliação? Quem participará das decisões no processo de avaliação? Quem participariá de cada etapa da avaliação? De que forma? O que será importante avaliar? O que se quer descobrir? Quais são as perguntas que os diferentes atores interessados têm sobre o projeto/programa para essa avaliação?
Construir o foco considerando a diversidade de necessidades e interesses ajuda a fazer uma avaliação relevante e útil.
Um foco claro é fundamental para definir e planejar os próximos passos da avaliação.