Monitoramento e Avaliação de Programas Sociais: uma introdução aos conceitos e técnicas

Monitoramento e A valiação de P rogramas Sociais uma introdução aos conceitos e técnicas

Paulo de Martino Jannuzzi

DIRETOR GERAL Wilon Mazalla Jr. COORDENAÇÃO EDITORIAL Marídia R. Lima COORDENAÇÃO DE REVISÃO E COPYDESK Catarina C. Costa REVISÃO DE TEXTOS Paola Maria Felipe dos Anjos EDITORAÇÃO ELETRÔNICA Fabio Diego da Silva Patrícia Lagoeiro CAPA Patrícia Lagoeiro Dados Internacionais de Catalogação na Publicação (CIP) (Câmara Brasileira do Livro, SP, Brasil) Jannuzzi, Paulo de Martino Monitoramento e avaliação de programas sociais : uma introdução aos conceitos e técnicas / Paulo de Martino Jannuzzi. -- Campinas, SP : Editora Alínea, 2016.

Bibliografia.

1. Programas sociais - Avaliação 2. Programas sociais - Monitoramento I. Título.

15-11386

CDD-361.25

Índices para catálogo sistemático: 1. Programas sociais : Avaliação 361.25 ISBN 978-85-7516-761-8 Todos os direitos reservados ao

Grupo Átomo e Alínea Rua Tiradentes, 1053 - Guanabara - Campinas-SP CEP 13023-191 - PABX: (19) 3232.9340 e 3232.0047 www.atomoealinea.com.br Impresso no Brasil

À Simone, Letícia e Ana Paula

Sumário Prefácio.......................................................................................................... 7 Introdução..................................................................................................... 9 Capítulo 1 Programas Sociais: conceitos básicos, mapa de processos e resultados e o ciclo de formulação e avaliação................................... 13 Programa social: definições básicas......................................................................15 Mapa de processos e resultados como representação de um programa social......19 Um exemplo de MaPR: representação esquemática de um programa de qualificação profissional............24 O ciclo de formulação e avaliação de programas..................................................31 A demanda por Informação e Conhecimento em cada etapa do ciclo..................37 Capítulo 2 Avaliação de Programas: definição, tipologias e etapas para sua elaboração........................... 41 Avaliação de programas: uma definição operacional............................................45 Tipologia de avaliação de programas: o essencial a saber....................................50 Avaliação segundo o ciclo de programas..............................................................52 Avaliação segundo a natureza do produto de pesquisa.........................................55 Etapas para especificação e realização de uma pesquisa de avaliação.................57 Mapa de processos e resultados na especificação de uma pesquisa de avaliação.......68

Capítulo 3 Métodos da Pesquisa Social Aplicados à Avaliação de Programas: uma introdução.......................................................................................... 73 Estratégias qualitativas de avaliação.....................................................................76 As estratégias quantitativas de avaliação..............................................................89 Finalizando: a triangulação de técnicas e sujeitos como padrão-ouro................101 Capítulo 4 Monitoramento de Programas: conceitos, indicadores e painéis............................................................ 105 Monitoramento: definição e tipologias...............................................................108 Sistema de monitoramento: do MaPR aos painéis de indicadores......................112 Indicadores de monitoramento: conceitos e propriedades..................................116 Fontes de dados para construção de Indicadores de monitoramento..................119 MaPR na especificação de um sistema de monitoramento.................................125 Capítulo 5 Estruturação de Unidades e Sistemas de Monitoramento e Avaliação de Programas Sociais: algumas considerações práticas........................................................... 129 Sistemas de Monitoramento e Avaliação: definição, finalidades e características................................................................132 Os dez princípios e valores estruturantes de sistemas e unidades em M&A.......135 A definição da agenda de trabalho para atender demandas de governo e de Estado..................................................142 Formação da equipe técnica e sua departamentalização.....................................145 Por último, mas não menos importante: a efetividade das atividades de M&A..................................................................150 Considerações Finais................................................................................ 155 Referências................................................................................................ 159

Prefácio Rômulo Paes de Sousa1

As atividades de monitoramento e avaliação de políticas e programas cresceram de forma considerável no Brasil. A produção de estudos de avaliação, o desenvolvimento de sistemas de monitoramento, o número crescente de estratégias de disseminação dos métodos de avaliação indicam que essas etapas do planejamento e implementação de políticas estão se consolidando no Brasil.

Podemos arriscar afirmar que já há consenso, em nosso país, quanto ao léxico e a funcionalidade das atividades dessa natureza. Nota-se, também, crescente institucionalidade da função avaliação e monitoramento. Sistemas especializados têm forte presença institucional, sobretudo no Governo Federal, tanto nos níveis estratégico e de coordenação, quanto no nível setorial. No primeiro caso, observa-se o crescimento de sistemas nas atividades de planejamento e coordenação das estruturas de governo.

Veem-se, ainda, o florescimento de experiências setoriais, como na saúde, educação e assistência social.

O livro de Paulo Jannuzzi chega em boa hora. Reflete o acúmulo de conhecimento nacional sobre o tema e o faz embasado na dupla militância do autor: academia e gestão de política pública. Antes de chegar à Secretaria de Avaliação e Gestão da Informação do Ministério do Desenvolvimento, Jannuzzi já era uma das principais referências acadêmicas para o monitoramento de políticas públicas no Brasil.

Ao alinhar o grande domínio teórico sobre o tema com a desafiadora experiência de gerenciar uma das áreas mais sensíveis de M&A do governo federal, o autor retorna à 1. É Diretor do Centro Mundial para o Desenvolvimento Sustentável do PNUD (Centro Rio+) e também Pesquisador Sênior Associado do Instituto de Estudos do Desenvolvimento da Universidade de Sussex (Inglaterra). Foi Secretário Executivo do MDS (2009-2012) e Secretário de Avaliação e Gestão da Informação no mesmo ministério (2004-2007).

8 Prefácio teoria temperando a narrativa acadêmica com um intertexto crítico, próprio de quem conhece as agruras da gestão de políticas e programas públicos. É essa combinação de narrativas que torna o livro original.

Para organizar sua narrativa, Jannuzzi vai, de forma incremental, organizando o Mapa de Processos e Resultados (MaPR), usando diferentes programas como exemplos. Afinal, M&A nada mais é que a observação comparativa entre as correlações presentes entre esses dois conjuntos de elementos de uma equação. Obviamente, o leitor pode optar pela leitura separada dos capítulos do livro. Contudo, os que buscarem conhecer todo o seu conteúdo poderão observar o engenho da solução didática adotada.

A maioria dos livros especializados no tema não vai muito além da descrição dos métodos de M&A. Jannuzzi inova ao tratar com apuro tanto do objeto do M&A, quanto da Estruturação de Unidades e Sistemas de M&A. O autor sabe que, apesar do crescimento da área, há muito o que se construir na disseminação das práticas nesse âmbito. Sabe que o conhecimento deve chegar não apenas aos produtores de estudos e sistemas: é preciso formar gestores que compreendam o que tais estudos e sistemas podem oferecer. Então, o livro Monitoramento e Avaliação de Programas Sociais: uma introdução aos conceitos e técnicas é útil tanto para os que querem se iniciar nos métodos e sistemas de M&A, como aos gestores que desejam entender os alcances e limites desses métodos e práticas.

Para os leitores brasileiros, há uma componente adicional de grande valor: a dimensão prática do livro apoia-se na agenda contemporânea de programas sociais.

Dessa forma, a narrativa, quando mergulha nos exemplos práticos, o faz com base em uma agenda que nos é familiar. Uma agenda de programas que foi fortemente valorizada no período recente com grandes recursos alocados e, dentre estes, grandes recursos para M&A desses programas.

Este novo livro de Paulo Jannuzzi é para iniciados, iniciantes e para os que querem saber um pouco de M&A para a sua prática de gestão. É, portanto, um livro para avaliadores e gestores, mas, sobretudo, um livro para ler sem pressa e guardar para as urgências da implementação de programas. Afinal, o monitoramento, avaliação e implementação de programas são tão íntimos, que conhecer bem os conceitos de M&A e saber como aplicá-los – tanto na condição de pesquisador, como de comprador de serviços – pode fazer a diferença entre redirecionar uma intervenção pública aprimorando seu desenho e gestão ou perder tempo e dinheiro numa atividade sem relevância.

Boa leitura.