9.3 Processo geral para medição de impacto

Para além disso, tendo em conta a complexidade que envolve e a necessidade de conhecimento das especificidades da organização social, a medição do impacto deverá envolver um processo que inclui cinco passos principais, conforme sistematizado na figura 9.3.

Figura 9.3 – Processo geral para medição de impacto

5. Monitorização e impacto 1. Defi nição de objetivos

a l ia ção

4 . Verifi ca çã o e a v d o i m pa c t o

Gestão do impacto

recursos o dos 3. Mediçã

2. An á lise de stakeholders

Fonte: EVPA (2015)

Passo 1 – Identificação dos objetivos. Definição dos objetivos relevantes para todas as entidades interessadas na medição do desempenho da organização social, incluindo-se informação sobre aquilo que a organização pretende atingir e como. Como tal, implica a recolha de informações sobre a cadeia de valor social (recursos envolvidos, atividades, produtos e serviços disponibilizados, beneficiários e principais alterações pretendidas com a intervenção social prosseguida).

Passo 2 – Identificação e análise dos stakeholders. Definição sobre quem são os principais stakeholders, o seu nível de comprometimento com a organização social e as principais expectativas e desejos que estes terão relativamente à organização. Estas poderão condicionar as necessidades dos stakeholders em termos de medição de impacto na organização social. Por exemplo, as necessidades em termos de avaliação de impacto de um doador serão distintas da de um voluntário ou beneficiário.

Passo 3 – Definição das medidas relevantes. Tendo em conta a cadeia de valor social prosseguida pela organização social, será necessário desenvolver um conjunto de medidas que reflitam de forma adequada e útil o que está a ser alcançado

pela organização, determinando-se como poderão estas medidas ser concebidas/ apresentadas de uma forma simples e clara, e que permita satisfazer as necessidades dos principais stakeholders (identificados no passo 2).

Passo 4 – Medição, validação e avaliação do impacto . Avalia se os resultados esperados são efetivamente alcançados na prática e se são relevantes para os stakeholders. Implica determinar os benefícios gerados para os stakeholders, depois de deduzidos os custos ou sacrifícios incorridos para o efeito.

Passo 5 – Monitorização e reporte/divulgação. Divulgação do impacto obtido de uma forma regular, quer para os públicos internos como externos à organização social. A divulgação utilizada deverá ser adequada às necessidades dos stakeholders .

De seguida apresentam-se os principais instrumentos para a avaliação do desempenho e medição do impacto nas organizações sociais. A maioria destes métodos combina diversos elementos que incluem geralmente elementos quantitativos e qualitativos; variadas escalas de tempo; benefícios públicos e privados; uma grande variedade de tipos de avaliação em termos de confiabilidade e certeza; e que visam, frequentemente, fazer sentido para uma grande variedade de interesses.

No entanto, estas medidas não são totalmente universais, funcionando bem para algumas organizações sociais e outras não. Algumas destas poderão ser ferramentas úteis para organizações individuais, mas não poderão facilmente capturar as diferentes perspetivas que poderão existir em redor do projeto de uma comunidade. Outros instrumentos, poderão ser úteis para se compreender os efeitos indiretos de projetos que visem regenerar comunidades ou reduzir o crime, apesar dos resultados poderem ser discutíveis, como é o caso do Social Return On Investment (SROI). Não obstante, os métodos que procuram agregar diversos números numa só figura (como as análises custo-benefício ou SROI) pretendem imprimir uma consistência adequada naquilo que é inevitavelmente uma figura complexa construída por dados com níveis de confiabilidade muitos díspares.

9.3.1 Value Maps

Tratam-se de métodos visuais que auxiliam a refletir sobre aquilo que a organização efetivamente está a tentar alcançar através da sua intervenção. Permite criar um mapa mental, através de representação gráfica, que pretende refletir/compreender melhor sobre as características ou ações que contribuem para a concretização dos propósitos da organização social.

Na conceção dos mapas de valor será positivo fazer uso de processos colaborativos, onde as equipas da organização social e stakeholders relevantes possam, em conjunto, refletir sobre o processo de criação de valor, os pressupostos em que assenta a intervenção e em que medida estes estão ou não a ser verificados e a produzir o impacto esperado/desejado. Permite, ainda, incorporar diferentes dimensões, como por exemplo a social, a ambiental ou a cultural.

Estes mapas mentais ajudam a repensar quais as atividades da organização social que fazem a diferença e ajudam a mapear a relação entre aquilo que a organização social faz e os resultados a longo prazo que se pretendem alcançar. Existem diferentes abordagens para a realização dos mapas de valor. Apresentam-se, de seguida, algumas das abordagens mais utilizadas no setor social.

Modelo lógico (Logic Model)

Consiste numa listagem gráfica das atividades e resultados pretendidos, apresentados sob forma lógica, de acordo com os fluxos ocorridos. Na representação devem considerar-se os inputs, as atividades, os outputs e os resultados, tal como sistematizado no quadro 9.1.

Quadro 9.1 – Modelo Lógico para avaliação do impacto social

Inputs (recursos necessários para acompanhar as atividades)

Atividades (desenvolvidas para se fazer face ao problema social)

Outputs

(evidências da concretização das atividades desenvolvidas)

Resultados

(mudanças que as atividades irão provocar)

Curto prazo Médio prazo Longo prazo

Fonte: https://www.demonstratingvalue.org/resources/impact-mapping-worksheet

Mapa de resultados (Outcome Mapping)

De forma semelhante ao modelo lógico, o mapa de resultados define de uma forma mais clara quem se pretende influenciar e como, envolvendo essas pessoas na mudança que se está a mapear (quadro 9.2).

Quadro 9.2 – Mapeamento de resultados Descreva o contexto em que os objetivos que se pretendem alcançar ocorrem e as principais transformações que gostaria que ocorressem nesse contexto.

Descreva as pessoas e organizações que pretende afetar e influenciar Descreva como as pessoas e organizações que pretende afetar seriam diferentes num mundo ideal.

Descreva de que forma os seus comportamentos, ações e relações podem mudar para se chegar a este mundo ideal.

Mudanças mais fáceis Mudanças mais difíceis

Descreva as estratégias que a organização social tem orientadas para essas mudanças

Descreva outros fatores que podem influenciar essa mudança

Fonte: https://www.demonstratingvalue.org/resources/impact-mapping-worksheet

Teoria da Mudança (Theory of Change)

Através desta ferramenta pretende-se descrever graficamente e de uma forma clara e detalhada como pode ocorrer a mudança social/ambiental/cultural, desde as atividades desenvolvidas pela organização social até ao resultado final pretendido (quadro 9.3). Pretende-se esquematizar a “teoria” da organização social e a forma como a mudança social irá ocorrer através da estratégia desenvolvida pela organização. Para além disso, explicita os pressupostos em que assenta a teoria da mudança prosseguida .

Quadro 9.3 – Mapas de valor, método da Teoria da Mudança Se…. [por favor descreva]

Então…

Condições para que isto seja verdade. (Descreva o que tem de acontecer para que esta estratégia possa efetuar esta mudança) 1. 2. 3. 4. 5. 6.

Fonte: https://www.demonstratingvalue.org/resources/impact-mapping-worksheet

9.3.2 Análise custo-benefício

As organizações sociais prestam um conjunto de serviços para segmentos desfavorecidos da população . A abordagem custo/benefício consiste em medir os diversos benefícios e custos em termos dos recursos produzidos, consumidos ou poupados em resultado da aplicação de um determinado programa . A estimativa dos resultados do programa é realizada através de inquéritos periódicos a dois grupos distintos: o primeiro grupo, inclui os beneficiários apoiados pelo programa (grupo teste); enquanto o outro grupo integra as pessoas que não são apoiadas porque não carecem da intervenção da organização social (grupo de controlo).

Por exemplo, se uma organização social se dedicar a apoiar mulheres vítimas de violência doméstica, um dos grupos a inquirir será constituído por essas mulheres que são apoiados pela organização, enquanto o outro grupo integrará mulheres que não são vítimas de violência doméstica. Nos dois casos a seleção dos entrevistados deve ser aleatória e o questionário a administrar ser igual. Os dados são analisados e os dois grupos comparados de forma a estimar os efeitos do programa durante o período em que os inquéritos foram realizados. A medição dos efeitos, após o período considerado, será efetuada por extrapolação, assumindo-se que a magnitude dos impactos tende a diminuir ao longo do tempo .

Como se observa no quadro 9.4 é possível estimar os rendimentos proporcionados pelas mulheres vítimas de violência doméstica durante o programa com o seu trabalho para a própria organização que a acolhe. Após o programa é de esperar que a mulher retome a sua atividade e ingresse no mercado de trabalho e usufrua de um salário que deverá ser contabilizado, em termos líquidos, para os benefícios do programa, uma vez que o montante dos impostos pagos quando as mulheres ingressam no mercado do trabalho também é contabilizado. Por outro lado, é de esperar que sejam obtidas economias em relação aos apoios financeiros proporcionados por programas específicos dirigidos para aquele grupo de risco, o mesmo sucedendo com outros programas de apoio existentes .

Quadro 9.4 – Exemplo de uma análise custo/benefício de um programa por utilizador (euros)

Benefícios/Custos Benefícios (A) Outputs produzidos pelas mulheres Output durante o programa Output após o programa

Output dos impostos pagos após o programa Reduções provenientes de programas de apoio

Reduções na transferência de dinheiro

Reduções de custos administrativos Sociedade Utilizadores Resto da sociedade

500 8000 0

0

200

Redução no uso de outros programas

Redução no uso de serviços de justiça

Reduções no uso de serviços médicos 50

400

Custos (B) Despesas operacionais do programa Despesas do centro operacional (4000)

Transferências financeiras para as mulheres 0 Custos administrativos (1000) Custo oportunidade do trabalho das mulheres Salários perdidos (800) Pagamento de impostos perdidos 0 Outras despesas (50) Valor Atual Líquido (A-B) 3300 Rácio Benefício/Custo (A/B) 1.56

Fonte: adaptado de Rosenzweig (2004)

Os custos serão calculados a partir da contabilização das despesas operacionais do programa de apoio daquele grupo específico e do custo de oportunidade que representa a perda de rendimentos das mulheres para si (salário) e para a sociedade (impostos) pelo facto de terem sido obrigadas pelo marido a procurarem apoio naquela organização.

O custo/benefício deverá ser calculado individualmente, chegando-se ao valor atual líquido pela diferença entre benefícios e custos, enquanto o rácio benefício/custo é calculado pela divisão entre aqueles valores.

9.3.3 Modelo do Retorno Social do Investimento

As metodologias para a mensuração do impacto social deram um grande passo em frente no final dos anos 90 com o desenvolvimento do SROI (Social Return on Investment). O SROI mede o valor combinado (blended value), económico e social, criado pelas organizações sociais utilizando uma versão modificada do modelo clássico do Return on Investment (ROI).

O SROI é uma medida desenvolvida pelo Roberts Enterprise Development Fund (REDF), cujo objetivo era encontrar uma metodologia credível para o cálculo financeiro, com base numa análise de custo/benefício mais holística e realista. Mais recentemente, a ferramenta foi testada e desenvolvida pela New Economics Foundation. A técnica baseia-se na tradicional análise custo/benefício, com a atribuição de valores monetários a retornos sociais e ambientais na expectativa de demonstrar a criação de maior valor social .

O SROI mede o valor dos benefícios sociais criados por uma organização social em relação ao custo relativo dos objetivos alcançados, do seguinte modo: SROI = Valor atual líquido dos benefícios Valor atual líquido do investimento

Esta fórmula permite a projeção dos resultados no futuro, capturando assim o valor dos benefícios acumulados, que são ponderados pelo nível de investimento produzido/criado. O resultado do SROI é um rácio de valor social monetizado, isto é, expresso em termos monetários.

Como tal o cálculo do retorno social do investimento através do modelo do SROI divide-se em três partes . Em primeiro lugar, calcula-se o blended value de um projeto, combinando a criação de valor financeiro da organização e a representação monetária do seu impacto em termos de valor social, seja este tangível ou intangível. Depois, estabelece-se o investimento financeiro necessário à execução do projeto. Finalmente, calcula-se o blended return on investment, combinando o retorno da organização com os retornos sociais.

À semelhança do descrito para outros instrumentos de medição de impacto, para que a aplicação da metodologia do SROI seja eficaz devem ser tidos em consideração os seguintes aspetos: – deve definir-se as fronteiras da organização, de modo a clarificar quais os stakeholders da organização e identificar os objetivos sociais chave; – deve desenhar-se um “mapa de impacto” para clarificar o modo como se pretende alcançar esse impacto .

O processo de avaliação é conceptualizado como uma relação entre os inputs do projeto e os impactos que são produzidos na sociedade. Neste processo, os inputs representam o custo total do projeto, enquanto os outputs representam os

efeitos quantitativos simples (como por exemplo vendas, número de empregos criados, redução de custos relacionados com internamentos, etc.). Os resultados representam as mudanças diretas e indiretas nos stakeholders alvo e nas suas comunidades (como por exemplo, melhoria na educação, melhores níveis de saúde, fatores longitudinais, etc). Finalmente, devem ser identificados os indicadores financeiros adequados para capturar os elementos dentro do mapa de impacto e os valores monetários respetivos. Tendo em conta a natureza quantitativa do método, será de especial importância, e também complexidade, a estimativa dos valores envolvidos . Em particular, será difícil a estimação do valor monetário dos benefícios, uma vez que será necessário obter uma quantificação aproximada do benefício (quer tangível como intangível) que a ação da organização está a gerar. Trata-se, portanto, de um método de avaliação monetário, que trabalha com valores atuais, o que significa que procura harmonizar o valor dos fluxos ocorridos em diferentes momentos do tempo, para o valor do projeto à data de hoje. Para tal, será necessário definir a taxa de desconto, um fator financeiro que determina o valor do dinheiro ao longo do tempo. Como aproximação, poder-se-á considerar o custo médio de capital ou a taxa de juro para o período.

No quadro 9.5, sistematiza-se o cálculo do SROI, através de uma folha de cálculo produzida pelos autores.

Quadro 9.5 – Cálculo do SROI

Ano N Ano N+1 Ano N+2 Ano N+ 3 Ano N+4 Benefícios líquidos estimados 20 000,00 25 000,00 30 000,00 30 000,00 30 000,00

Investimento necessário 60 000,00 5 000,00 5 000,00 5 000,00 5 000,00 Valor líquido do projeto 55 000,00

Valor atual líquido do projeto 43 886,86 SROI 1,60

Taxa de desconto 5,00%

Fonte: folha de cálculo produzida pelos autores.

Neste exemplo, cujos valores foram arbitrados meramente para fins pedagógicos, estima-se um valor de investimento realizado sobretudo no 1.º ano, assumindo valores menores no decorrer do projeto. A estimativa dos benefícios líquidos procura traduzir em unidades monetárias (euros) o valor das mudanças diretas e indiretas trazidas pela intervenção da organização social. A taxa de desconto considerada foi de 5%.

Assim, o projeto é capaz de criar um valor combinado (económico e social) estimado em 55.000 euros. Alguns destes fluxos apenas ocorrem daqui a 4 anos. Assim, se considerarmos o valor destes fluxos à data de hoje, verificamos que o projeto tem um valor atual líquido de 43.886,88 euros, o que significa que considerando todos os impactos que o projeto é capaz de gerar, tem um retorno global positivo. Neste caso o SROI é de 1,6, o que significa que por cada euro que é investido na organização esta é capaz de produzir um resultado (social) total de cerca de 1,6 euros. Esta informação permite aferir a eficiência da organização social,

tendo em conta as virtualidades da sua atividade, podendo ser um importante indicador de benchmarking e divulgação junto dos stakeholders .

Assim, a análise SROI baseia-se nas práticas contabilísticas convencionais, fornece um rácio quantificado do retorno social do investimento e uma evidência qualitativa, fornecendo uma estrutura para aumentar a transparência e prestação de contas pela organização social.

Apesar das vantagens que o modelo SROI apresenta, como forma de operacionalização da medição do impacto, tem sido objeto de algumas críticas. Alguns atores consideram que o SROI funciona melhor enquanto metáfora, isto é, trata-se de uma conceptualização interessante que aplica, com as devidas transformações, uma ideia do setor empresarial ao setor social. No entanto, enquanto metodologia propriamente dita, funciona melhor em teoria do que na prática. O SROI é geralmente apresentado como um número. Alguns críticos têm defendido que uma ideia mais ampla do SROI poderia ter múltiplos numeradores, ser monetário, qualitativo e até narrativo. Estas alterações do modelo poderiam conduzir à sua divisão em medidas específicas, como por exemplo Return to Government Investment, para refletir retornos específicos e mais diretos para os diferentes stakeholders .

9.3.4 Balanced Scorecard

O Balanced Scorecard (BSC) é um dos instrumentos a que os responsáveis das organizações sociais poderão recorrer para o planeamento e controlo de gestão das organizações sociais.

A definição de uma estratégia organizacional, embora necessária, não é condição suficiente para o sucesso organizacional, pois sem a sua implementação, as ações nunca serão executadas. É através da implementação que se coloca em prática a estratégia, com a operacionalização do plano e a execução das táticas, permitindo que a organização se mova na direção pretendida.

De entre os principais desafios que a implementação da estratégia envolve, destaca-se: (i) o dilatado horizonte temporal; (ii) o elevado número de colaboradores envolvidos; e (iii) a posse das competências e capacidades necessárias. Importará, por isso, definir o responsável pela verificação da concretização das diferentes ações estratégicas e o momento em que deverá ser feita a verificação. O processo de implementação deverá, ainda, ser completado com sistemas de controlo e feedback . Estes sistemas facultam aos gestores ferramentas para avaliar o grau de progressão da estratégia e permitem redirecioná-la no sentido mais adequado, sempre que isso se revele necessário .

O Balanced Scorecard é uma ferramenta de gestão estratégica multicritério, cujo modelo inicial foi desenvolvido por Kaplan e Norton (1996) para o setor empresarial e, posteriormente, adaptado para o setor governamental e não lucrativo (Niven, 2003). O modelo enfatiza a utilização de várias perspetivas: – a perspetiva dos clientes (terminologia utilizada no modelo original de Kaplan e Norton), permitindo às organizações a monitorização do seu desempenho no que diz respeito à satisfação, fidelização, retenção, captação e lucratividade