Avaliação Executiva de Projetos by PMIMG

AvaliaĂ§ĂŁo Executiva de Projetos

Estado para Resultados

Agenda  Programa Estado para Resultados  Antecedentes  Modelos de Avaliações Executivas  A Experiência Piloto de Minas Gerais  Resultados da fase Piloto

 Desafios

Programa Estado para Resultados Missão: “Estruturar uma gestão por resultados efetiva no Governo de Minas Gerais”

Vice-Governador

Parceiro estratégico Secretaria de Planejamento

Coordenação Executiva

Unidade de Indicadores

Unidade de

Empreendedores

Unidade de Gestão Estratégica

GERAES: Gestão Estratégica de Recursos e Ações do Estado

2003

2004

2006

2007

2010

A criação de uma carteira de projetos estratégicos aprimorou as técnicas de planejamento e a priorizou o fluxo de recursos, alinhando o plano e o orçamento. A plataforma de gerenciamento com metodologia diferenciada de monitoramento dos Projeto introduziu mecanismos que incentivaram o atingimento das metas.

Projetos Estruturadores 2004 - 2007 31 Projetos Estruturadores

2003

2004

4% da despesa orçamentária em 2004 Investimentos com recursos do tesouro estadual: R$ 354 milhões 2006

2007

2010

capacidade de transformar a estratégia do governo em ações concretas foco prioritário quanto à alocação de recursos do Estado de Minas Gerais

Planejamento

Desenho

Inputs

Atividades

Efeitos e Impactos

Produtos

Quais são os objetivos do Governo? Como alcançá-los? Desenho dos Projetos

Monitoramento dos Projetos

Desenho

Inputs

Atividades

Produtos

Efeitos e Impactos

Desdobramento das metas e detalhamento do cronograma das atividades

Modelo para Resultados

Estado para Resultados

2003

2004

2006

2007

2010

Consolidação do Equilíbrio Fiscal e do Gerenciamento Intensivo de Projetos Resultados para a Sociedade

Projetos Estruturadores 2004 - 2007 4% da despesa orçamentária em 2004

31 Projetos Estruturadores

2003

2004

Investimentos com recursos do tesouro estadual: R$ 354 milhões 2006

2007

2010

11,5% da despesa orçamentária em 2008

2007 - 2010

Investimentos com recursos do tesouro estadual: R$ 3,4 bilhões

57 Projetos Estruturadores

Indicadores e Avaliações

Desenho

Inputs

Atividades

Produtos

Efeitos e Impactos

» Criação de uma carteira de indicadores: Resultados Finalísticos » Desenvolvimento de avaliações para testar o marco causal de alguns projetos

Modelo Causal ImplĂcito Resultados FinalĂsticos

Projetos Estruturadores Desenho

Inputs

Atividades

Produtos

Efeitos e Impactos

Aprimorando o Modelo Causal Implícito

Resultados Finalísticos

Teste de Causalidade

Avaliação de impacto

Projetos Estruturadores Desenho

Inputs

Atividades

Produtos

Efeitos e Impactos

Testando o Modelo Causal Implícito

Resultados Finalísticos

Viabilizar melhorias no desenho e planejamento dos Projetos com vistas aos resultados finalísticos almejados

Projetos Estruturadores Desenho

Inputs

Atividades

Produtos

Avaliação Executiva de Projetos

Efeitos e Impactos

Ponto de partida: experiências internacionais Conhecimento das experiências internacionais: Consultora Gita Becker Busjeet, Junho/2009 2003

2004

2006

2007

2009

2010

Aprofundamento e debate: ESTADOS UNIDOS Program Assessment Rating Tool (PART), 2002

MÉXICO Consistencia y Resultados (CyR), 2007 COLÔMBIA Evaluación Ejecutiva (E2), 2008 Dezembro/2009

Resumo das experiências Avaliação

Modelo

Características 4 áreas: propósito e desenho, planejamento estratégico, gerenciamento, e resultados • 25 questões, formato binário principalmente (Sim/Não) • Ocorre a cada 5 anos • Ocasiona decisões orçamentárias. • 5 áreas: justificativa, desenho, organização e gestão, resultados e sustentabilidade • Questões abertas, amplas orientações fornecidas sobre como responder às perguntas. • 6 áreas: resultados, desenho, insumos, gestão operacional, estrutura organizacional e atividades de avaliação e controle. • Critérios específicos para cada seção. • Escala de classificação de 1 a 4 para cada questão. •

Program Rating Assessment Tool (PART)

Evaluación de Programas Gubernamentales (EPG)

Evaluación Ejecutiva (E2)

I e II

•6

Consistencia y Resultados (CyR)

I e II

áreas: desenho, planejamento estratégico, focalização e cobertura, operação, percepção da população-alvo, resultados. • 100 perguntas, formato binário e descritivas.

Avaliação Executiva de Projetos Objetivo estratégico Possibilitar uma visão geral e uniformizada sobre a carteira de Projetos Estruturadores do Estado de Minas Gerais Objetivos específicos

Consolidar a metodologia

Avaliar a maturidade dos Projetos

Subsidiar a tomada de decisão

Institucionalizar a Avaliação

Características da Avaliação

Imparcialidade e Independência

Foco em Oportunidades de Melhorias

Baseada em Evidências Objetivas

Caráter Consultivo

Igualdade de critérios para todos os Projetos

Principais atores Conselho Gestor

Avaliadores Gerente e Equipe do Projeto

Equipe GERAES

Como avaliar?

Inicialização

Realização de entrevistas

Coleta de evidências

Elaboração dos Relatórios

Devolutiva

Finalização

Como avaliar?

Inicialização

Realização de entrevistas

Coleta de evidências

Elaboração dos Relatórios

Kick-off com a equipe do Projeto

Devolutiva

Finalização

Como avaliar?

Inicialização

Realização de entrevistas

Coleta de evidências

Elaboração dos Relatórios

Manual de Aplicação

Devolutiva

Finalização

27 perguntas distribuídas em 4 eixos EIXO

OBJETIVO

Nº

PROPÓSITO E CONCEPÇÃO

Examinar a clareza da concepção do Projeto e a precisão em seu propósito (objetivo, público-alvo, escopo, etc).

PLANEJAMENTO

Avaliar a presença elementos essenciais de planejamento como metas, indicadores, cronograma de atividade, etc.

GERENCIAMENTO

Avaliar a gestão sobre a supervisão financeira, avaliação dos avanços físicos das atividades, compilação de dados de desempenho, sustentabilidade e responsabilização das ações e atividades.

RESULTADOS /ACCOUNTABILITY

Avaliar os resultados alcançados, a transparência na execução das ações e a publicização de informações.

Mapa Conceitual AEP

Como avaliar?

Inicialização

Realização de entrevistas

Coleta de evidências

Elaboração dos Relatórios

Relatório Completo

Devolutiva

Finalização

Relatório Executivo

Como avaliar?

Inicialização

Realização de entrevistas

Coleta de evidências

Elaboração dos Relatórios

Espaço para solicitações de Mudança

Devolutiva

Finalização

Como avaliar?

Inicialização

Realização de entrevistas

Coleta de evidências

57 PROJETOS ESTRUTURADORES

Elaboração dos Relatórios

Devolutiva

OPORTUNIDADES DE MELHORIA

Finalização

Pontos mais avançados dos projetos Os eixos de concepção e gerenciamento apresentaram maior presença de elementos desejáveis

Maior = 100%

100%

80%

Maior = 67%

60%

Menor = 50% 40%

100%

71%

40%

Menor = 33%

20%

Concepção

47%

Gerenciamento

Pontos mais vulnerรกveis dos projetos Os eixos de planejamento e resultados apresentaram maior espaรงo para oportunidades de melhoria 100%

100%

80%

Maior = 71%

60%

60% 40%

Maior = 40%

40% 20%

20%

25%

39% Menor = 0%

Planejamento

Resultados / Accountability

Menor = 20%

Resultado Final 61

12 NÃO

13 NÃO

16 NÃO

20 NÃO

100

20 40

8 13

17 21

20 20 0 1

A ausência dos elementos necessários aos requisitos da avaliação sugere espaço para oportunidades de melhorias

10 2

4 13 4 16 3

Nota Final 4 10 0 10 4

Resultados/Accoutability Gerenciamento Planejamento Propósito e Concepção

Desafios  DESAFIO 1: Como adequar as experiências internacionais ao contexto mineiro sem que se perca a comparabilidade entre as avaliações?  DESAFIO 2: Como institucionalizar a avaliação executiva de projetos?  DESAFIO 3: Como acompanhar a utilização das oportunidades de melhoria identificadas?  DESAFIO 4: Como publicizar os resultados da avaliação?

Diana Martins Barbosa diana.barbosa@planejamento.mg.gov.br