AVALIAÇÃO PARTICIPATIVA Caderno de metodologia e processos para Avaliação Executiva do Compaz Coletivo Massapê 2022
Coletivo2022Massapê
Caderno de metodologia e processos para Avaliação Executiva do Compaz
AVALIAÇÃO PARTICIPATIVA
ficha técnica Bela MarinaNevesMergulhão redação Marina Mergulhão projeto fotografiagráfico Carolina Seixas Cleytôn Melo Bela AnaAnaPriscilaMileneMarinaLucasBrunoNevesGalvãoIzidorioMergulhãoEustaquioLimaCampeloNogueiraCecíliaGonazlézGalvão Ferreira Célio JulianaGuilhermeGiulianaBelmiroPiresBaymaSalesdeNovaes Ferreira Marcela Pereira Mayse Cavalcanti Paulo Roberto Xavier de Moraes Vitória Lima saiba quem tornou isso realidade equipe massapê comitê de avaliação
Compaz Dom Hélder Câmara Amaro Vitor da Silva Neto Brenda Haamony da Silva Oliveira Cassia Joselma de Santana Souza Daniel Santos Verissimo da Silva Eduardo Alexey da Silva Correia Geickson Yuri Lima de Sousa Ianca Maria Dos Santos Carvalho Mayara Carolaine Aguiar de Brito Raynara Florêncio da Silva Marques
Compaz Miguel Arraes Amanda Lima Muniz Ana Carolina da Silva Soares Carla de Souza Campos David Wanderson Fidelis Firmino de Lima Debora Cecília Moura de Araújo Deyvson Gabriel Santos Nascimento Evellyn Milena Batista dos Santos Renata Cristina de Oliveira
Compaz Escritor Ariano Suassuna Cassia Joselma de Santana Souza Fabiana Pereira da silva Gleibson Pereira da Silva João Vitor Pereira Amorim Julianna Maria benevides da Silva Katarina Ribeiro Barbosa da Costa Mônica Karoline Alexandre da Silva
Compaz Governador Eduardo Campos Cassia Joselma de Santana Souza Elisangela Marinho de Andrade Juliana Rosa dos Santos Luzia Fabiana Ramos Viana de Melo Stefanny Norasa Nobra da Silva Yasmim Ester da Silva Santos Rebeka Oliveira Reis pesquisadores
aplicação dos questionários dentro do Compaz
sumário
03 DIRETRIZES PARA AVALIAÇÃO
Pontos de destaque sobre as observações e apreensões de campo.
01 INTRODUÇÃO
02 METODOLOGIA E FERRAMENTAS
Apresentação da metodologia e dos instrumentos de coleta utilizados.
Uma breve introdução ao caderno, ao processo e aos objetivos de cada etapa.
04 REFLEXÕES FINAIS
ANEXOS 10094841812
Reflexões finais sobre o pro cesso, com os aprendizados e desdobramentos esperados.
registro dos grupos focais
CAPÍTULO 01 introdução
Que bom encontrar você por aqui!
Este documento apresenta a metodologia utilizada para coleta dos dados primários da Avaliação Executiva do Compaz e o processo participativo que foi desenvolvi do para tal. Esperamos que esse documento seja mais um instrumento capaz de aprimorar os processos de avaliação das políticas públicas da cidade, assegurando a tomada de decisão com base em evidências geradas de forma participativa e que efetivamente refletem as demandas, os anseios e os desejos da população.
aointroduçãocaderno
a partir das experiências inovadoras de Medellin e Bogotá, os Centros Comunitários da Paz do Recife foram pensados no contexto de uma es tratégia maior de redução da violência, através do eixo prevenção, no Pacto Pela Vida do Recife, um Plano Municipal de Segurança Urbana e Prevenção da Violência (2013). A primeira unidade do Compaz foi inaugurada em 2016, no Alto Santa Terezinha
14
O fenômeno da desigualdade, fruto de fatores sociais, culturais, ambientais e relacionais, é um desafio multidimensional que desafia governos em todo o mundo para formulação, implementação e avaliação de políticas públicas voltadas à garantia do acesso aos direitos e a um desenvolvimento no qual as potencialidades individuais e comunitárias concorrem para o exercício da cidadania plena. Nesse sentido, a fim de promover e consolidar a prevenção à violência em territórios vulneráveis, assim como potencializar a inclusão social e o fortalecimento comunitário, o equipamento público Centro Comunitário da Paz (Compaz) é idealiza do em 2013 no âmbito da Prefeitura da Cidade do FormuladosRecife.
Com a aprovação do Compaz como uma das políticas públicas selecionadas para receber a assessoria, dentre as mais de 50 políticas públicas inscritas, foi iniciado o processo de parceria entre os diferentes setores da sociedade para realização de uma Avaliação Executiva Participativa.
Quer conhecer mais sobre o COMPAZ? Acesse
(Recifeaqui!
15 Sob esse contexto e com a intenção da Prefeitura do Recife de ampliar a rede Compaz com a inaugu ração de mais 4 equipamentos até 2023, a política pública foi inscrita na Convocatória de Avaliação Executiva do Centro de Aprendizagem em Avalia ção e Resultados para a África Lusófona e o Brasil (FGV EESP Clear), com vistas para acessar uma assessoria técnica gratuita para a realização da sua avaliação executiva. Além disso, a Convocató ria também tinha como objetivo fortalecer compe tências avaliativas e a cultura de políticas públicas orientadas por evidências, bem como promover iniciativas de avaliação associadas à Agenda 2030 para o Desenvolvimento Sustentável.
Os COMPAZ atuam no processo baseado em transformações que colocam a paz como princípio governante de todas as relações humanas e sociais, diretamente relacionado à promoção do desenvolvimento e dos direitos humanos, à diversi dade e à cooperação de pessoas.
- PE) e, de lá pra cá, já foram inauguradas 4 unidades no total, localizadas nos bairros Madale na, Cordeiro, Coque e Alto Santa Terezinha. Desde então, os equipamentos ficaram conhecidos como “Fábricas de Cidadania”, por se destacarem tanto pela estrutura, quanto pela quantidade dos servi ços e atendimentos oferecidos.
fonte: elaborado com base em Secchi (2014) e Kraft & Furlong (2019) avaliação de necessidades teoria da avaliaçãomudançadedesenhoplanodemonitoramentoplanodeavaliaçãoplanodeprocessos/implementação avaliação de resultados avaliação de impacto avaliação de custo-benefício avaliaçãotomadadedecisão identificaçãodoproblema formulaçãodapolítica implementação ciclo políticada pública
À luz deste entendimento, os resultados das ques tões propostas nesta avaliação servirão de subsídio para redirecionar recursos, entender se os obje tivos propostos para o equipamento estão sendo atendidos dentro do grupo-alvo que se pretende atingir, auxiliando tanto as unidades já existentes, como o planejamento da operação dos futuros Compaz e continuidade da política pública, de for ma a garantir a oferta de um serviço de qualidade e de impacto para a população.
Este relatório não entrará nos resultados da Avalia ção, mas apenas no relato sobre a metodologia e os processos, atividades desenvolvidas pelo Coleti vo Massapê para realização da Avaliação Executiva.
As avaliações executivas podem (e costumam) ser utilizadas como metodo logias complementares às avaliações de desenho, impacto e outros tipos de avaliação de programas.
na análise de aspectos de de senho, operação e resultados dos programas e projetos, sem a pretensão de chegar a conclusões sobre os efeitos e os impactos destes, nem estabe lecer relações de causalidade entre o desempenho das ações e as mudanças nas condições dos seus Dizbeneficiários.respeitoà
sua metodologia, caracterizada primordialmente pela coleta de informações documentadas (pesquisas existentes, avaliações anteriores, bases de dados, outros documentos), pela conclusão em um prazo razoável (entre três e seis meses) e pela geração de propostas de ajustes nos aspectos avaliados dos programas e projetos
Segundo Mackay (2007) e Guzmán (2007), con sideram-se como principais pontos fortes das avaliações executivas a sua velocidade, o custo relativamente baixo e sua capacidade de orde nar e sistematizar informações relacionadas aos programas avaliados. Para eles, em essência, três aspectos distinguem uma avaliação executiva dos demais
Concentram-setipos:
Boa leitura!
17
Refere-segovernamentais.asuautilização.
metodologia e ferramentas
A metodologia e as ferramentas apresentadas a seguir se referem à coleta de dados primários realizada pela equipe do Massapê nas atividades de campo. Os dados colhidos serão tratados e analisados pela equipe do NAPCD para que sejam apresentados no Relatório da Avaliação.
CAPÍTULO 02
O diagrama ao lado indica o esquema das eta pas do processo e nas próximas páginas vamos aprofundar sobre as especificidades das etapas e da metodologia utilizada para a coleta dos dados primários.
emetodologiaferramentas
01 Caracterização da política
20
O desenho do processo da Avaliação Executiva se deu através de uma articulação entre a Prefeitura do Recife, através do Núcleo de Avaliação de Políticas Públicas e Ciência de Dados (NAPCD) e a Secretaria de Segurança Cidadão, o Centro de Aprendizagem em Avaliação e Resultados para a África Lusófona e o Brasil (FGV EESP Clear) e o Coletivo Massapê. No âmbito da Convocatória da Avaliação Executiva, foi desenvolvido um Comitê de Avaliação que se reuniu semanalmente às se gundas feiras entre 25/04/2022 a 01/08/2022 para realização das etapas:
02 Construção do Plano de Avaliação
03 Definições para Pesquisa de Campo
Definição da metodologia para avaliação e construção dos instrumentos de coleta a serem utilizados.
Mobilização dos pesquisadores, realização das jornadas formativas e aplicação das ferramentas de campo.
Para atualização sobre a identificação do problema e o objetivo da política e a constrção da Teoria da Mudança.
etapas processodo
AVALIAÇÃO
CARACTERIZAÇÃODAPOLÍTICA
PESQUISA DE CAMPO
No capítulo a seguir serão apresentadas, de forma detalhada, as duas ferramentas utilizadas.
A coleta de dados para Avaliação Participativa do Compaz teve como objetivo central possibilitar a análise de aspectos de desenho, operação e resultados da política pública Compaz. O processo integral da coleta de dados considerou o levanta mento de dados secundários, o qual foi realizado pela equipe do Núcleo de Avaliação de Políticas Públicas e Ciência de Dados da Prefeitura do Re cife e a coleta de dados primários, que será o eixo que vamos descrever melhor aqui.
22
A coleta de dados primários contou com uma abordagem combinada entre dados quantitativos e qualitativos. A coleta dos dados quantitativos se deu através de um questionário e a coleta dos da dos qualitativos também esteve presente no ques tionário, mas se deu, principalmente, através dos grupos focais. A combinação entre esses dois tipos visa alcançar informações quantitativas, mas com a sensibilidade da humanização dessas informações, de forma que a análise dos dados se aproxime da realidade colocada pela população.
O questionário contou com um método inovador
de aplicação, o qual contratou jovens e adultos, moradoras e moradores dos bairros que recebem o Compaz, como pesquisadoras e pesquisadores para a aplicação dos questionários. Assim, foi cons truído um ciclo metodológico de avaliação que contemplou jornadas formativas e estratégias de acompanhamento da coleta, como forma de garan tir a confiabilidade e consistência dos dados. Os grupos focais, por sua vez, foram realizados com os grupos identificados como prioritários pelo Comitê de Avaliação e mobilizados e mediados pela equipe do Massapê.
A23Avaliação
Executiva feita de forma participativa visa a produção da inovação social, como forma de fortalecimento do exercício e da consciência cidadã da população, empoderando a sociedade na identificação e na corresponsabilidade sobre os desafios existentes da política como forma de construir uma gestão compartilhada do equipa mento e, assim, reduzir o hiato existente entre o que se idealiza para o serviço e as reais demandas da vida cotidiana dos territórios. Segundo Leite, (2018), a metodologia participativa é:
À luz deste entendimento, o processo se deu em um período de 8 semanas de planejamento e 6 semanas de aplicação, tendo as semanas de distri buídas em: primeira semana destinada às jornadas formativas com os 30 pesquisadores, divididos em 4 grupos, as 4 semanas seguintes destinadas a cada Compaz e a última reservada para as deman das remanescentes dos grupos focais, como está descrito no diagrama apresentado nas próximas páginas.
“sensível à cultura envolvente; honesto e transparente em relação aos verdadeiros objetivos almejados; democráticos por basear-se no diálogo e no compromisso; inclusivo por dar voz aos que são tradi cionalmente marginalizados; sustentável pelo efeito multiplicativo capaz de gerar novas dinâmicas comunitárias e de efeito duradouro por envolver e sensibilizar a comunidade do local”
PLANEJAMENTODOPROCESSO MOBILIZAÇÃO
Mobilização de cada uma das pessoas mapeadas para confirmação do seu interesse na participação da pesquisa e convite às jornadas formativas.
SEMANA 07
SEMANA 08
SEMANA 01
Consolidação da Teoria da Mudança e início da construção das perguntas avaliativas.
Consolidação dos instrumentos de coleta.
Realização das jornadas tivas com os pesquisadoras.pesquisadores
SEMANA 04 E 05
Elas aconteceram tos, sendo cada um os grupos referentes Compaz
Essa atividade foi feita através de ligações e mensagens no Whatsapp.
SEMANA 06
SEMANA 09
As jornadas formativas como objetivo central mação dos pesquisadores a coordenadora de equipe responsável
Encontro destinado para conso lidação da identificação do pro blema e objetivo do programa.
FORMATIVASJORNADAS
SEMANA 07
SEMANAS 02 E 03
Consolidação da Matriz Avaliativa com as perguntas avaliativas.
Mapeamento feito através das articulações existentes entre o Compaz e as moradoras e mora dores de cada comunidade.
SEMANA 01 | 25/04 24
e a capacitação sobre ção dos questionários da ferramenta escolhida.
Encontro de alinhamento para introdução ao processo e aos próximos passos da Assessoria Técnica pela CLEAR FGV.
jornadas pesquisadoresformaeas
Todos podem ser encontrados para acesso e download nos Anexos.
formativas tiveram central a aconteceramresponsávelpesquisadoresaproxicomdecampoeadoCompazsobreaaplicaquestionárioseousoescolhida.em4momenumdelescomreferentesacada
SEMANA 10
PRODUÇÃOMATERIAIS
Aplicação dos questionários e realização dos grupos focais no Compaz Miguel SEMANAArraes. 12
SEMANA 9
SEMANA 14 | 05/08 25
SEMANA 14
Aplicação dos questionários e realização dos grupos focais no Compaz Escritor Ariano SEMANASuassuna.13
DAAPLICAÇÃOPESQUISA
Aplicação dos questionários e realização dos grupos focais no Compaz Dom Hélder SEMANACâmara.11
RELATÓRIO
Produção dos materiais de suporte para o campo, como os termos de autorização, atas, kit de suporte, etc.
Produção do relatório final da metodologia e do processo.
Aplicação dos questionários e realização dos grupos focais no Compaz Governador Eduardo SEMANACampos.14 Realização dos grupos focais remanescentes.
semana de planejamento presencial
jornada formativa
Os resultados de cada uma das avaliações serviram como aprendizados para o aprimoramento do processo na semana seguinte.
Cada semana iniciou com uma apresentação para os colaboradores e as colaboradoras do Compaz feito pela equipe do NAPCD, junto com a gestão do Compaz e a equipe do Massapê. A apresentação tinha como objetivo aproximar quem trabalha no Compaz do processo que viria a ser desenvolvido no equipamento durante aquela semana e também convidar todas e todos a partici parem das atividades: questionário e grupo focal.
Por fim, ao final de cada semana, aconteceu um momento de celebração e encerramento que contou com a presença da equipe do NAPCD, do Massapê e as pesquisadoras e os pesquisado res do Compaz para visualização dos resultados preliminares e para realização de uma avaliação da semana.
Além disso, a semana contou com a aplicação dos questionários, gerenciada pela coordenadora de campo e a realização dos grupos focais, realizada pelos demais integrantes da equipe do Massapê.
De forma a organizar as semanas de aplicação da pesquisa, foi construída uma programação de semana-tipo a qual foi replicada por todas as 4 semanas de aplicação em cada um dos Compaz.
apresentação para colaboradoras do Compaz
apresentação para colaboradoras do Compaz
recepção das pesquisadoras e entrega dos kits
atividade de encerramento da semana
O número de alcance geral foi calculado consideran do as pessoas que participaram das ferramentas de coleta de dados, mas também as diversas pessoas que estiveram envolvidas na parte burocrática, de gestão e de operação para que tudo ocorresse da melhorpossível.forma
Para além do número de pessoas alcançadas nas diferentes ferramentas e estratégias de aproximação, consideramos que a participação ativa de moradores e moradoras da comunidade no processo consolidou um resultado positivo no que tange o exercício cidadão e a construção de espaços de participação.
Consideramos que as escolhas metodológicas feitas renderam bons resultados para o processo e deixa mos um pouco desse sentimento nos números ao lado e no infográfico a seguir: Com a fala, as pesquisadoras e os pesquisadores sobre o processo.
3.700 pessoasdiretamenteenvolvidas 3.549 pessoas responderam o questionário 107 pessoas participaram dos grupos focais 30 pesquisadorespesquisadorase NÚMEROSGERAIS
Me senti pertencente a esse lugar. Consegui me ver no lugar de quem esta va sendo entrevista do e pude conhecer a realidade de outras pessoas.
Vou levar essa equipe pro resto da minha vida.
Foi um aprendizado conhecer mais os lugares próximos de onde eu moro e aprender a ver no mapa por onde pas samos e aplicamos a pesquisa!
Nós tivemos a oportunidade de nos conhecer e de criar vínculos com pessoas que são nossas vizinhas. Aqui criamosemtrabalhamosequipeeamizades.
Foi muito importante serempesquisadoresosdascomunidades porque já conhecem o local e as pessoas que moram ali.
Foi muito democrática a forma que se deu a nadoraPriscilapesquisa,[coordedecampo]sempre ouviu a gente em tudo.
“ ”
saber o que a comunidade quer, se é bom ou não...
Quando a gente chegava para en trevistar as pessoas, elas se sentiam bem por estarem sendo escutadas.
Essas são as pessoas que participaram dasAplicandopesquisadoras.comocadaumdos3.549questionários.Eessasforamalgumassuasfalasduranteoprocesso.
De alguma forma, terminou que a gente informaçõeslevavapara os moradores já que vários tinham dúvidas sobre o Compaz.
Ainda bem que existe essa pesqui sa para informaçõesconsultarcomapopulação:
Além de tudo ainda fizemos exercício, bastanteandandopelacomunidade”
ferramentas questionário
44
Como forma de obter as informações consideradas essenciais para o desenvolvimento da Avaliação Participativa, foi utilizada a ferramenta do questio nário, aplicado individualmente no entorno de 1km de cada equipamento Compaz. Como já apresen tado, o questionário foi aplicado por moradoras e moradores da comunidade, contratadas(os) como pesquisadoras e pesquisadores para desenvolver esta atividade. A escolha do território de aplica ção, por sua vez, foi feita com base em um estudo realizado pela Secretaria de Segurança Cidadã e o NAPCD. O estudo realizou o georreferenciamento da base de pessoas cadastradas no Compaz e re velou que, na média, cerca de 80% dessas pessoas estão em um raio de até 2 km do equipamento (distância euclidiana). Nesse sentido, esta distância foi usada como base para a decisão do entorno de 2km do Compaz, devido ao contexto e o objetivo da avaliação executiva.
Essa demarcação, teve como objetivo central alcançar as pessoas que estão no entorno do equipamento, morando ou trabalhando, de forma a compreender as dinâmicas existentes e a aproxi
Fluxo 02: Eu utilizo o serviços do Compaz eventulmente
mação desse público com o equipamento. Além disso, também foram realizadas aplicações dentro do equipamento com as pessoas que estavam utilizando algum serviço e com as pessoas que tra balham no mesmo. Cabe destacar que a aplicação dos questionários com as pessoas que trabalham no equipamento não foi feita pelas pesquisadoras e pelos pesquisadores, mas sim, pela disponibiliza ção de celulares na sala de apoio da coordenação de campo em que as funcionárias e funcionários iam até o espaço para responder a pesquisa de forma
Considerandoautônoma.as especificidades de cada um desses públicos, foram desenhados 5 fluxos para o questionário, em que diferentes perguntas foram feitas para cada um deles. A pergunta que dire cionou os caminhos de cada fluxo foi “Qual a sua relação com o Compaz?” e assim foram estrutura dos, seguindo as especificidades:
45
única vez. Esse fluxo buscou compreender os aspectos que levaram a pessoa a não voltar mais ao equipamento ou os motivos pelo qual ela nunca utilizou, assim como qual a sua dinâmica de dia a dia no bairro e na relação com outros serviços públicos.
Fluxo 03: Eu utilizo os serviços do Compaz Nesse momento, as pessoas que utilizam frequen temente o Compaz, tiveram a oportunidade de trazer suas percepções e expectativas sobre o equipamento em diversos aspectos, passando pela infraestrutura, pelas atividades, pelas questões de percepção de segurança e mudanças geradas pelo Compaz na sua vida, na sociedade e no território.
Esse fluxo buscou alcançar as pessoas que em al gum momento utilizam os serviços do Compaz, mas isso não é uma atividade cotidiana, com perguntas sobre qual serviço/atividade que ela costuma uti lizar no Compaz, o que impede a sua participação mais ativa e o que a faria frequentar mais.
Fluxo 01: Eu conheço, mas não frequento Aquelas pessoas que conhecem o equipamento, mas não utilizam ou já chegaram a utilizar uma
Fluxo 05: Não conheço o Compaz
Como já apresentado anteriormente, um dos públicos-alvo do questionário foram as pessoas que trabalham. O objetivo central foi compreender as percepções de dentro, das pessoas que vivem diariamente o equipamento, os desafios inerentes a ele e as suas potencialidades.
14,68%
3.549 42,58% 28,09% 7,64% 7,02%
46
Eu conheço, mas não frequento
Às pessoas que nunca ouviram falar do Compaz, foram estruturadas perguntas que visaram com preender a sua dinâmica de dia a dia no bairro e na relação com outros serviços públicos. Nesta oca sião, também foi aproveitada a oportunidade para apresentar o Compaz, com a distribuição de um panfleto sobre a rede Compaz para essas pessoas.
Fluxo 04: Eu trabalho no Compaz
Ao total foram 30 pesquisadores, 3.549 pesso as entrevistadas, sendo 1.511 pessoa conhecem, mas não frequentam; 1.517 pessoas que utilizam o serviço do Compaz (sendo 996 que utiliza eventu almente e 521 que utiliza frequentemente); 271 que trabalham no Compaz e 250 que não conhecem o Compaz.
Eu utilizo os serviços do Compaz eventualmente Eu utilizo os serviços do Compaz
Gráfico 01: Qual a sua relação com o Compaz?
Eu trabalho no Compaz Não conheço o Compaz
Da mesma forma, nessa experiência foi utilizada a ferramenta COLAB para aplicação dos questioná rios. Cada pesquisador(a) recebeu um kit de su porte ao trabalho em que incluía um celular com o aplicativo do COLAB instalado para aplicação, uma camisa e um crachá para identificação da pesquisa, um kit de máscaras cirúrgicas e os documentos ne cessários a serem assinados para sua participação.
47
As perguntas estruturadas pela equipe do Mas sapê para cada um dos fluxos tomou como base a matriz avaliativa cocriada ao longo dos encontros do Comitê de Avaliação e a experiência realizada em 2018 por meio da parceria entre a Prefeitura da Cidade do Recife e o COLAB – startup de inovação em governo - para elaboração de consulta sobre a atuação do Compaz, aplicada nas comunidades e bairros beneficiados pelos, até então, dois equipa mentos inaugurados (Compaz Governador Eduar do Campos e Compaz Escritor Ariano Suassuna).
A matriz avaliativa é uma ferramenta utilizada para
identificar as perguntas avaliativas centrais, junto ao indicador a ela relacionado, o método de coleta e o procedimento de análise.
Compaz Escritor Ariano Suassuna Compaz Miguel Arraes
31,28%
Gráfico 02: Em qual Compaz você se encontra?
18,37% 48
Cabe ressaltar que os resultados em números de aplicação em cada um dos Compaz estão relacio nados a aspectos como a ordem escolhida para aplicação entre os equipamentos, o período da aplicação, a localização e outros.
Compaz Dom Hélder Câmara
Não estou em nenhum Compaz
1,58%
Compaz Governador Eduardo Campos
Sobre os números gerais da aplicação do ques tionário, o gráfico ao lado ilustra a porcentagem por cada um dos Compaz. Todo o processo foi desenhado e as ferramentas estruturadas para que fossem aplicadas a partir da metodologia aqui apresentada e com foco nas pessoas que estão em um raio de 2km do equipamento, no entanto, pela plataforma do COLAB o questionário fica pu blicizado para que qualquer pessoa do Recife que esteja navegando pelo aplicativo possa também responder, o que explicita os 1,58% do gráfico.
Ao total, foram 1.110 questionários aplicados no Compaz Governardo Eduardo Campos, 935 no Escritor Ariano Suassuna, 796 no Miguel Arraes, 652 no Dom Hélder Câmara e 56 que não estava em nenhum equipamento.
3.549 26,35%22,43%
Através do COLAB, foi possível georreferenciar todas as respostas, as quais estão indicadas no mapa, onde pode-se visualizar o raio de abrangên cia da pesquisa.
aplicação dos questionários no entorno do Compaz
aplicação dos questionários no entorno do Compaz
aplicação dos questionários no entorno do Compaz
aplicação dos questionários no entorno do Compaz
aplicação dos questionários no entorno do Compaz
60
O grupo focal, por sua vez, consiste em entrevistas de grupo que possibilitam a interação entre os(as) participantes e os pesquisadores e pesquisadoras, incentivando as pessoas a atingirem um nível refle xivo, uma vez que exploram seus pontos de vistas e estabelecem discussões e trocas de experiências com todos e todas presentes através de suas próprias linguagens.
Como objetivo central, o grupo focal busca a humanização dos dados coletados através do questionário, a partir da discussão focada em tópicos específicos e diretivos, com vistas para a identificação de camadas sensíveis sobre os eixos da Avaliação Executiva. Para tal, foram definidos 6 perfis de grupos para participarem da pesquisa sendo escolhidos 4 grupos focais por cada Com paz, conforme o perfil das unidades.
Na tabela ao lado é possível visualizar os perfis dos grupos, as unidades em que foi realizado cada perfil, a pergunta norteadora de cada grupo focal e a quantidade de participantes em cada grupo por Compaz.
ferramentas grupo focal
Dom Hélder Câmara e Governador Edu ardo Campos
Mães, pais e cuidadores que a filha/o filho utiliza os serviços do Compaz
Dom Hélder Câmara: 4 Eduardo Campos: 8
Escritor Ariano Suassuna: 6 Miguel Arraes: 6
Ariano Suassuna: 5 Miguel Arraes: 5
Ariano Suassuna: 6 Miguel Arraes: 5
QUANTIDADE
Dom Hélder Câmara: 9 Eduardo Campos: 11
Ariano Suassuna: 12 Miguel Arraes: 8
Por que esse(a) jovem não utiliza ou deixou de utilizar o Compaz?
Jovens entre 18 e 29 anos que utilizam o equipamento do Compaz Escritor ArraesSuassunaArianoeMiguel
Qual a sua percepção sobre as mudanças que o Compaz trouxe na sua vida?
Adolescentes entre 12 e 17 anos que não utilizam os serviços do Compaz ou utilizaram uma vez mas não retornaram
Dom Hélder Câmara e Governador Edu ardo Campos
Qual a sua percepção sobre as mudanças que o Compaz trouxe na sua vida?
Jovens entre 18 e 29 anos que não utilizam os serviços do Compaz ou utilizaram uma vez mas não retornaram Escritor ArraesSuassunaArianoeMiguel
Dom Hélder Câmara e Governador Edu ardo Campos, Escri tor Ariano Suassuna e Miguel Arraes
Adolescentes entre 12 e 17 anos que utilizam o equipamento do Compaz
Como as pessoas que traba lham no Compaz avaliam a mudança que o equipamento gerou na sua vida e na vida da população em geral?
Dom Hélder Câmara: 5 Eduardo Campos: 5
GRUPO FOCAL COMPAZ PERGUNTA GUIA
Dom Hélder Câmara: 8 Eduardo Campos: 8
Por que esse(a) adolescente não utiliza ou deixou de utilizar o Compaz?
Qual o impacto que as ativi dades do Compaz geraram na vida dos(as) filho(as)?
Pessoas que trabalham no Compaz Dom Hélder Câmara e Governador Edu ardo Campos, Escri tor Ariano Suassuna e Miguel Arraes
Como estratégia de mobilização, foram indica dos pelos pesquisadores e pelas pesquisadoras contratadas para a aplicação dos questionários e pela gestão de cada Compaz as pessoas a serem contactadas via ligação telefônica e grupo de whatsapp para o grupo focal, sendo em média cer ca de 4-12 participantes por encontro. Para aqueles grupos que não utilizam o equipamento do Com paz ou os que houve dificuldade para a mobiliza ção, a equipe do Massapê entrou em contato com lideranças do entorno e organizações locais para convidar os(as) participantes.
Mediador(a): Responsável por introduzir a discus são e a manter acesa; enfatizar para o grupo que não há respostas certas ou erradas; observar os(as)
participantes, encorajando a palavra de cada um; construir relações com os informantes para apro fundar, individualmente, respostas e comentários considerados relevantes pelo grupo ou para o pes quisador; observar as comunicações não verbais e o ritmo próprio dos(as) participantes, dentro do tempo previsto para o debate; atentar às respostas, fazendo perguntas complementares que ajudem no entendimento da pergunta norteadora e das perguntas dos eixos sem induzir ao seu ponto de vista; atentar ao tempo da atividade e das etapas; manter o foco sobre os interesses da atividade, sem negar aos participantes a possibilidade de expressar-se espontaneamente. O(A) mediador(a) de grupo deve exercer um papel menos diretivo e mais centrado no processo de discussão;
Relator(a): Responsável por transcrever na ficha do(a) relator(a), as falas ditas durante a atividade, buscando ser fiel ao que foi dito pelos(as) parti cipantes. O(A) relator(a) poderá anotar também comentários pessoais que julgue necessários para entendimento da discussão ou de alguma fala. Quando julgar necessário poderá complementar
O roteiro foi estruturado pela equipe do Massapê com a participação do Comitê de Avaliação, e con tou com perguntas abertas e sessões temáticas específicas para cada grupo focal, com o intuito de guiar a discussão para a resposta da pergunta de investigação. A aplicação da ferramenta se desen volveu com a presença dos seguintes atores:
62
Adolescente entre 12 e 17 anos que utilizam o equi pamento do Compaz no Dom Hélder Câmara;
alguma pergunta ou intervenção feita pelo(a) mo derador(a) durante a atividade.
Jovens entre 18 e 29 anos que não utilizam o equi pamento do Compaz ou que utilizaram uma vez mas não retornaram no Compaz Ariano Suassuna.
63
Dessa forma, na semana seguinte ao final da apli cação dos questionários, foi realizado o grupo focal com os adolescentes que utilizam o equipamento do Dom Hélder Câmara e como estratégia de escuta dos demais perfis, que não foi possível de mobilizar para participarem do grupo focal dentro do equipamento do Compaz, foram realizadas en trevistas individuais no entorno dos Compaz, com as mesmas perguntas presentes no roteiro dos grupos focais.
Você pode visualizar todo o roteiro dos grupos focais nos Anexos, na página 98.
Adolescentes entre 12 e 17 anos que não utilizam o equipamento do Compaz ou que utilizaram uma vez mas não retornaram no Compaz Dom Hélder Câmara e Eduardo Campos;
grupos focais, sendo esses:
Integrantes: Responsável por responder as per guntas feitas pelo(a) mediador(a) a partir da sua re alidade. Deverá buscar a participação ativa durante a atividade, visto que é essencial para o objetivo da mesma. Poderá opinar a respeito de outras falas e construir suas respostas a partir da fala dos outros
Aoparticipantes.finaldas4
semanas de aplicação das ferramen tas de coleta de dados, houve alguns grupos com pouca ou nenhuma adesão para a realização dos
registros dos grupos focais
registros dos grupos focais
registros dos grupos focais
registros dos grupos focais
registros dos grupos focais
registros dos grupos focais
registros dos grupos focais
registros dos grupos focais
registros dos grupos focais
registros dos grupos focais
diretrizes para avaliação
CAPÍTULO 03
Neste capítulo foram destacados alguns pontos obser vados pela equipe de campo no dia-a-dia nos Compaz e também nas conversas nos grupos focais. Os pontos de atenção estão dividos nos eixos: infraestrutura, serviços e atividades, comunicação e relação com o entorno e suporte ao usuário.
Os funcionários e as funcionárias participantes do grupo focal abordaram a necessidade de criação de espaços voltados ao descanso e ao apoio.
paradiretrizesavaliação
86
um Compaz, tem que pensar também nos funcionários. Ter uma Copa, uma estrutura boa pra quem trabalha.”
“A gente não tem banheiro, a gente almoça na mesa onde a gente trabalha, não tem copa.”
SOBRE A INFRAESTRUTURA
“Precisa de sala para almoxarifado e de descanso para “Quandoprofessores.”forconstruir
“A questão é que aqui você tem líderes e não “Achefes.”gente pensa, será que a gente tá vivendo isso mesmo? Porque é tão diferenciado.”
“E onde eu trabalhava os gerentes não viam a gente igual. O secretário sempre tava ocupado, se quisermos falar com ele, a porta sempre tava fechada. Festa de final de ano, a gente não podia beber, sentar com os chefes…. aqui não, não tem frescura nenhuma.”
“Quando eu fui ao banheiro fiquei [pensei] meu deus o banheiro é mais limpo que o meu! E quando eu cheguei na sala e fiquei [pensei] tem computa dor, impressora… Fiquei com uma satisfação enor me. E além disso, ver os serviços integrados, perto… a gente precisa dessas interações.
“Precisam resolver o problema agora para construir depois. Se você resolver os problemas [dos Compaz que já existem], você resolve o problema dos outros”
“Eu acho que tem que continuar investido nos que já estão funcionando.”
a construção de novos Compaz, as pesso as que trabalham e participaram do grupo focal concordam que seria importante primeiro qualificar e diminuir os desafios nos Compaz existentes antes de construir novas unidades.
Sobre87
As pessoas que trabalham nos Compaz reconhe cem a qualidade do espaço de trabalho, a impor tância da integração entre os serviços e a gestão diferenciada presente nos equipamentos.
“Tem espaço para todas as crianças menos para as mães. Agora que tenho um tempinho para apren der e fazer alguma coisa, que surgisse esse espaço para as mães.”
88
Participantes dos grupos focais alegam que uma das maiores dificuldades referente ao funciona mento do Compaz advém da falta de profissionais para a capacidade do equipamento e, consequen temente, de vagas ofertadas.
“Os meus meninos se pudessem moravam aqui no Compaz. Ele é muito ansioso e agora ele tá me trazendo para fazer aula. Se disser que não tem atividade hoje no Compaz ele começa a chorar.”
“Mudou sim. Ele se sentiu mais alegre e útil! Ele se descobriu. Depois [de iniciar as atividades no com paz] ele ficou mais elétrico, mais saudável. Quando a gente vê uma pessoa feliz, conhece o semblante, [ele está] mais extrovertido.”
SOBRE OS SERVIÇOS E ATIVIDADES
As mães e cuidadores reconhecem com muita clareza as mudanças positivas do Compaz na vida dos seus filhos e filhas, principalmente com relação a: comunicação, concentração, disposição e rendi mento escolar, mas sentem falta de ter mais ativi dades para elas durante as atividades das crianças.
“A comunidade busca, mas desanima quando chega e não tem vaga, a gente precisa de mais profissionais, para atender essa demanda. Princi palmente profissional de psicologia, até já teve uma psicóloga, mas ela sozinha não deu conta.”
“As pessoas que vêm aqui desfrutar dos serviços muitas vezes têm filas enormes para eles serem incluídos aqui. A disponibilidade de vagas para as coisas é muito pequena, deveria ter mais funcioná rios.”
“Você tem aqui um instrumento maravilhoso mas tem carência quantitativa de profissionais. A qua dra fica ociosa e tem que ter professor se desdo brando. Você vê pessoas da administração que tá fazendo o dela e de outro. A carência de funcioná rios é muito grande.”
“Falta trabalhar dentro da comunidade, convencer que aqui no Compaz é melhor que estar na rua. Falta os jovens. Aqui tem muita criança e idoso, mas temos dificuldade de chamar os jovens. A gente precisa convencer de que é para eles também.”
pessoas que trabalham, frequentam ou utilizam o equipamento reconhecem sua grandeza e impor tância.
“Eu perguntei para paulinho [criança que frequen ta o Compaz] quem é que cuida de tu? e ele disse o Compaz. A gente que educa, repreende. Eu per guntei como ele almoça, ele disse que não almoça. Então aqui tem que ter refeitório, transporte.
“A gente vê aqui como uma segunda casa.”
“[gostaria que tivesse] Acho que algumas organiza ções de grupos de jovens para falar sobre ques tões políticas, de raça gênero… às vezes a gente tá tão inserido dentro da comunidade que a gente não pensa muito sobre ela.”
“O Compaz é transformador de maneira geral, para mim também é muito educativo.”
“Eu quero que venha pra biblioteca os jovens que vem pra bagunçar mesmo, prefiro que eles bagun çam aqui do que na rua. Por isso a necessidade de ter arte educadores aqui, pra poder criar essas atividades e prender essas pessoas aqui.”
Foi possível perceber na mobilização para os grupos focais, no relato dos(as) pesquisadores que muitas vezes não utilizavam o Compaz e na fala das pessoas que participaram dos grupos focais a dificuldade de alcance dos serviços e atividades para os jovens.
As89
“Para mim o Compaz é um projeto revolucionário.”
A predominância das pessoas que responderam o questionário são pessoas que sabem da existência do equipamento, mas não frequentam (embora a pesquisa tenha sido aplicada em um raio de apenas até 2km do equipamento) e em campo foi possível perceber que isso se dá principalmente a dois motivos: o desconhecimento sobre o que é o Compaz e seus serviços e a dificuldade de acesso às vagas para as atividades.
“Agora seria interessante ligação do Compaz com outras organizações, com campos de várzea, asso ciações de bairro… aqui eu acho que tem pessoas que tem vergonha de entrar por acharem que vão ser discriminadas ou que pensam que [os serviços] são pagos.”
SOBRE A COMUNICAÇÃO
90
“É tudo gratuito… agora eu não vejo chegando na comunidade uma divulgação pra eles saberem o que é o Compaz, as crianças não tão aqui porque a divulgação não chega a ela, a gente não vai na casa das pessoas…”
que acontecem para os jovens, só acontecem nos laboratórios, tipo pacote office, word, deveria ter mais cursos e mais vagas. Quando eles publicam no instagram já acabaram as vagas.”
“Isso de vir aqui pra se matricular não funciona muito bem. Eu saí de casa às 4 horas da manhã para conseguir uma vaga, quem saiu de casa um pouquinho mais tarde perdeu a vaga.”
“A divulgação é uma coisa que falta, muita gente sabe que isso aqui é um Cras, mas não sabe que é um “AquiCompaz.”agente tem a rádio [ecocultural] no campo, poderia usar para divulgar.”
“Se o compaz fosse mais divulgado e tivesse mais professores isso aqui tiraria muitos jovens das “Osdrogas.”cursos
“Pra mim, qualidade de vida. Imagina você traba lhar perto da sua casa e não precisar pegar ônibus lotado e ainda poder ajudar o pessoal da própria “Aquicomunidade.”eutiveoportunidade de trabalhar o que a gente aprende no curso de formação, uma guarda que não é só repressão, é comunitária.”
“Sinto falta das reuniões que aconteceram na segunda, para alinhar todas essas demandas entre a gente. Essas reuniões davam a oportunidade da gente saber o que tava acontecendo na biblioteca, nas atividades de esporte, na secretaria da mulher, no PROCON.”
“Estargerais.”dentro da comunidade faz com que a gente possa aprofundar a relação de parceria com outras instituições da comunidade.”
Os91
As pessoas que participaram do processo, tanto os pesquisadores e as pesquisadoras como os(as) participantes dos grupos focais se sentiram muito felizes em poder dar sua opinião e contribuir com a pesquisa, sendo possível perceber a carência de espaços de participação e escuta dentro dos equipamentos.
Na avaliação da pesquisa com os pesquisadores e as pesquisadoras, eles colocaram como sugestão: Que tal ter mais espaços na Prefeitura/Compaz para escutar a população?
participantes e as participantes dos grupos focais e os entrevistados e entrevistadas dos ques tionários ressaltaram a importância do Compaz estar mais próximo da comunidade em que está inserido, com atividades no território e também com pessoas do território trabalhando nos equipa mentos.
“Não tem ninguém da comunidade na gestão do Compaz. Se eles contratam alguém, é de serviços
“O Compaz não tem ouvidoria, não tem um espaço para escutar a gente.”
92
“A gente tem colônia de férias mas a gente não tem dinheiro pra dar lanche para as crianças.”
“Pra mim foi mudar a vida de muitas pessoas, tem um menino aqui que não tem para onde ir, a gente abraçou ele e ele ta em várias atividades e agora ele não ta fazendo coisas erradas na rua.”
“Uma das maiores demandas é a questão da alimentação, ter um lanche para esses alunos das artes marciais. Tem muitos alunos que chegam aqui sem ter comido nada o dia todo. Isso é urgente.”
“E assim, o horário dele é de seis da noite e ge ralmente as crianças largam de cinco horas da tarde, as crianças vêm direto [da escola] e não tem “Àslanche.”vezes dão lanche mas não dá pra todo mundo.”
“Eu não posso só querer impactar uma pessoa que é só sã. Eu acho que tá faltando uma visão ampliada. Um drogado precisa chegar aqui e ter a estrutura para ser recebido. Uma pessoa de rua, uma pessoa que tem filhos com deficiência precisa de um espaço apropriado.”
SOBRE O SUPORTE AO USUÁRIO
“Agora muitas vezes o acesso para o Compaz é muito ruim, o ônibus demora muito, só passa um ônibus aqui. Muitas pessoas da comunidade que rem fazer curso mas não dinheiro para vim.”
A condição de vulnerabilidade de algumas famílias chega a impossibilitar a sua participação nas ativi dades do Compaz.
Os funcionários e as funcionárias e as mães e cuidadores acreditam que o Compaz deveria disponibilizar alimentação para as crianças que frequentam, pois a fome interfere no seu rendi mento, atenção e qualidade de participação nas atividades.
“A gente precisa ter um Compaz que chegue nas pessoas que acham que não podem chegar aqui.”
Cabe ressaltar que não contém um rigor estatístico e são apenas diretrizes de campo que podem con tribuir para a construção do relatório de avaliação e que devem ser mescladas com os demais resulta dos colhidos no questionário e na coleta de dados
93secundários.
Os pontos de destaque aqui indicados, se referem às questões que mais chamaram atenção da equi pe de campo ao longo do processo de aplicação da pesquisa, assim como as falas que se repetiram ou tiveram destaque nos grupos focais e nas con versas com as pesquisadoras e os pesquisadores.
CAPÍTULO 04
reflexõesfinais
Por fim, este caderno concentra-se nas reflexões finais do processo, incluindo os aprendizados colhidos ao longo das 14 semanas, bem como os desdobramentos esperados com todas as informações que foram apreen didas ao longo desse período.
O objetivo desse relatório parte do desejo de narrar o processo de coleta de dados da Avaliação Executiva do Compaz, trazendo à tona aquilo que foi idealizado, seu desenvolvimento na prática e os desafios encarados. Gostaríamos de olhar para o processo que passou, entender os seus apren dizados e encerrar esse caderno sonhando com os desdobramentos futuros, no intuito de levar adiante a potência de iniciativas que possuem como base a cidadania ativa e contribuem para a cultura da formulação, implementação e avaliação de políticas públicas com base em evidências.
finaisreflexões
AoAprendizadosparticiparde um processo colaborativo, envol vendo várias pessoas e construído a tantas mãos, a interação e as trocas de experiência são contínuas, tornando o processo aberto para ser aperfeiçoado e os desafios mais fáceis de serem superados. Foi realizado, ao final de cada semana de trabalho com os pesquisadores e as pesquisadoras e ao final de todo o processo com a equipe NAPCD e as gesto ras de cada Compaz, um momento de apresenta ção dos resultados e uma conversa para avaliação96
de aprimorar processos futuros e destacar as alternativas e saídas aos desafios que surgiram ao longo do projeto, abordamos aqui alguns pontos que surgiram durante esses en contros e algumas dificuldades e limitações que nos permitiram revisar e refletir constantemente o caminhar do Primeiramente,processo.oprocesso
Uma outra dificuldade encontrada durante o processo de pesquisa foi a linguagem do questio nário. Durante a aplicação, os pesquisadores e as pesquisadoras relataram a necessidade de adaptar o questionário para uma linguagem mais popular, de forma que todos e todas conseguissem enten der as questões que estavam sendo abordadas. Diante disso, algumas alterações foram realizadas e foi frisado aos pesquisadores e as pesquisadoras a importância de tirar as dúvidas surgidas durante
de aplicação das ferra mentas de avaliação foi pensado para acontecer em 6 semanas, o que significou um desafio imenso devido ao pouco tempo para realizar um processo que exigia muita mobilização e engajamento das pessoas. Sem dúvidas, a mobilização dos grupos focais foi a maior dificuldade. Apesar das listas de contatos cedidas pela administração de cada Compaz, os grupos de jovens e adolescentes, prin cipalmente aqueles que não utilizam dos serviços
do processo. Para isso, foi utilizado o método “que bom! que tal? que pena”, em que todos e todas tinham a oportunidade de colocar as suas opiniões sobre o que foi desenvolvido durante as semanas de Compesquisa.ointuito
dos equipamentos, nos exigiu trabalho redobrado para realizar o processo de escuta. Para isso, bus cou-se articulação com organizações locais, líderes comunitários e saídas em campo, o que funcionou apenas para algumas unidades. Como alternativa, a ferramenta de grupo focal foi adaptada para uma conversa individual e/ou em grupo, realizada em campo, em horário não comercial, e posteriormente transcrita. Isso reforça a importância de entender a dinâmica de cada grupo que se pretende escutar e também de cada território, atentando-se para os horários e os lugares que se propõe a atividade como também a ferramenta de pesquisa utilizada.
97
as entrevistas. No entanto, no que tange a aplica ção com os funcionários e funcionárias, a lingua gem teve um desafio ainda maior, tendo em vista que não havia ninguém para fazer a aplicação, mas sim, cada pessoa respondia de forma autônoma. A presença e acompanhamento da coordenadora de campo nesse momento, foi crucial para o bom andamento das respostas junto às pessoas que sentiram dificuldade de entendimento das pergun Destaca-setas.
ainda os desafios impostos pelo uso do aparelho celular durante a aplicação do questio nário que muitas vezes ficava sem internet ou com o aplicativo fora do ar, fazendo com que algumas pessoas desistissem de participar da pesquisa. To davia, foi levantado por todos e todas a facilidade que o uso do celular possibilita durante a pesquisa, atualizando e sistematizando em tempo real os dados ADesdobramentoscolhidos.avaliaçãoexecutiva quando realizada de for ma participativa e colaborativa abre espaço para
Esperamos que esta pesquisa seja o primeiro pas so de muitos acerca da cultura da gestão pública de implementar e avaliar políticas públicas com a colaboração da sociedade civil, de forma a incen tivar a participação cidadã no processo de tomada de decisão das mais diversas políticas existentes
uma análise e, posteriormente, o ajuste da política pública de maneira mais próxima e coerente com a demanda da vida cotidiana das pessoas que vivem no território e que são diretamente beneficiadas, nesse caso, pelo Compaz. Nesse sentido, preten demos que os resultados desse processo possam fornecer e complementar evidências para o apri moramento da política pública do Compaz, sendo uma fonte potente de informações quantitativas e qualitativas sobre o programa, levando em consi deração a percepção das pessoas que usufruem e/ou residem nos territórios diretamente atingidos pela política. E, ainda mais, esperamos que as infor mações aqui coletadas possam ser aprofundadas em processos futuros, servindo como incentivo para avaliações de pontos específicos, enriquecen do ainda mais o desempenho da política.
98
Até a próxima :)
que você chegou até aqui!
ou que venham a surgir e, além disso, servir como uma forma de empoderamento social e fortaleci mento da cogestão dos Compaz.Quebom
99
anexos
Nos anexos nós disponibilizamos todos os materiais de suporte utilizados, para visualização e download, assim como os roteiros das atividades (jornadas formativas, questionário e grupos focais)
Clique aqui para acesso ao termo de autorização de uso de imagem.
CliqueCliqueQUESTIONÁRIOaquiparaacessoaoquestionário.GRUPOSFOCAISaquiparaacessoaosroteirosdos grupos focais.
JORNADA FORMATIVA
Clique aqui para acesso ao termo de livre consentimento dos grupos focais.
Clique aqui para acesso ao termo de compromisso dos pesquisadores.
Clique aqui para o modelo da ata de presença.
Clique aqui para acesso ao roteiro da jornada formativa.
Clique aqui para acesso ao termo de remuneração da bolsa de pesquisa.
OUTROS DOCUMENTOS
Clique aqui para acesso termo de autorização dos grupos focais.
Clique aqui para acesso à ficha do relator dos grupos focais.
Secretaria de Segurança Cidadã
