Avaliação em Contextos de Complexidade by Instituto Padre António Vieira

AVALIAÇÃO EM CONTEXTOS DE COMPLEXIDADE

Propostas para melhorar práticas Hallie Preskill e Srik Gopal com Katelyn Mack e Joelle Cook

Uma edição

Fórum para a Governação Integrada

AVALIAÇÃO EM CONTEXTOS DE COMPLEXIDADE

Propostas para melhorar práticas

Hallie Preskill e Srik Gopal com Katelyn Mack e Joelle Cook

Uma edição

Fórum para a Governação Integrada

Edição: Fórum para a Governação Integrada Pré-impressão & Impressão: Impressral Center Unipessoal, Lda. Secretariado Executivo do Fórum para a Governação Integrada Travessa das Pedras Negras, n.º 1 - 4º andar, 1100-404 Lisboa http://www.forumgovernacaointegrada.pt

Sobre a FSG A FSG é uma empresa de consultoria que tem por missão apoiar a criação de mudança social em grande escala e de longa duração. Através da utilização de estratégia, avaliação e investigação-ação tem ajudado muitos agentes – individuais e coletivos – a progredir em relação aos problemas mais difíceis do mundo. As suas equipas trabalham em todos os setores por meio de parcerias com as principais fundações, empresas, organizações sem fins lucrativos e governos, em todas as regiões do globo. Procuram imaginar a mudança social através da identificação de formas de maximizar o impacto dos recursos existentes para ajudar a avançar no conhecimento e na prática, e inspiram os agentes de mudança em todo o mundo a produzir um maior impacto. Como parte da sua missão sem fins lucrativos, a FSG também suporta diretamente as comunidades de aprendizagem, como o Fórum Impacto Coletivo e a Iniciativa de Valor Compartilhado, oferecendo as ferramentas de que os agentes de mudança necessitam para serem bem-sucedidos. Saiba mais em www.fsg.org

Nota à edição portuguesa Esta edição do manual “Avaliação em contextos de complexidade: Propostas para melhorar práticas” resulta de uma iniciativa do Fórum para a Governação Integrada (www.forumgovernacaointegrada. pt), enquadrada na atenção aos fatores críticos de sucesso para a governação integrada. O Fórum para a Governação Integrada agradece à FSG a permissão para a tradução para língua portuguesa do presente documento por ocasião da IIIª Conferência Internacional sobre Governação Integrada, dedicada ao tema “Colaborar: missão impossível?”.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Nota de edição

Índice Introdução ............................................................................... 9 Complexidade como uma metáfora para a mudança social .... 11 Propostas para avaliar em complexidade ................................ 13 Proposta I: desenhar e concretizar avaliações adaptáveis, flexíveis e interativas ................................................................................. 14 Proposta II: entender e descrever o sistema global, incluindo as suas componentes e conexões .............................................................. 16 Proposta III: apoiar a capacidade de aprendizagem do sistema, reforçando os mecanismos de feedback e melhorando o acesso à informação ........... 18 Proposta IV: prestar particular atenção ao contexto e reagir às mudanças à medida que estas vão ocorrendo ..................................................... 22 Proposta V: procurar princípios eficazes de prática, ao invés de avaliar a conformidade com um conjunto predeterminado de atividades ............... 24 Proposta VI: identificar pontos de energia e influência, como as formas pelas quais o impulso e o fluxo de energia fluem no sistema ................... 26 Proposta VII: focar na natureza das relações e interdependências dentro do sistema .................................................................................... 30 Proposta VIII: explicar a relação não-linear e multidirecional entre a iniciativa e os seus resultados intencionais e não intencionais .............................. 32 Proposta IX: procurar padrões, quer únicos, quer recorrentes, em diferentes níveis do sistema ......................................................................... 34 Resumo e Conclusão .............................................................. 39 Referências Bibliográficas ....................................................... 43 Recursos Adicionais ................................................................ 45

Avaliação em contextos de complexidade: propostas para melhorar práticas | Índice

Avaliação em contextos de complexidade Propostas para melhorar práticas Introdução

“A verdadeira viagem de descoberta não consiste em procurar novas paisagens, mas em ter novos olhos.” - Marcel Proust

Ao longo dos últimos anos, tem havido uma crescente consciencialização no setor social de que a mudança sistémica não é linear, previsível ou controlável. Temos consciência de que os problemas sociais são mais resistentes do que no passado e que os meios tradicionais de resolução dos mesmos, muitas vezes, ficam aquém do desejável, sem que tal se deva a dolo, mas quase sempre a pressupostos equivocados. Consequentemente, torna-se evidente a necessidade cada vez mais premente das organizações da sociedade civil, fundações, bem como dos governos irem para além dos modelos estratégicos tradicionais ou mecanicistas e estabelecer uma abordagem “emergente” que se adequa melhor à natureza complexa dos problemas que se desejam resolver (Kania, Kramer e Russell, 2014; Patrizi, Thompson,Coffman e Beer, 2013). Uma mudança semelhante está em curso na forma como pensamos sobre o papel da avaliação. Tradicionalmente, o campo da avaliação incide sobre a avaliação dos efeitos e impactos específicos de programas, de acordo com um conjunto pré-determinado de resultados e de indicadores, com o objetivo de correlacionar as iniciativas com os resultados de forma tangível. Muitos avaliadores debruçaram-se sobre noções “newtonianas” de causa e efeito, assumindo que o “contexto” poderia ser apenas descrito, ou possivelmente controlado. Embora esta abordagem possa ser válida em programas autónomos muito bem definidos e em ambientes bastante estáveis, esta fica aquém do expectável quando se trata de avaliar iniciativas complexas (por exemplo, um programa de educação desde o berço até ao primeiro emprego, ou iniciativas que envolvam múltiplos agentes em áreas metropolitanas), bem como as iniciativas em ambientes complexos (por exemplo, melhorar a agricultura num país minado por conflitos). Essa abordagem, por si só não é novidade para a comunidade de avaliadores ou para profissionais do setor social. Temos conhecimento da forma como um conjunto diferente de ideias sobre a mudança social pode afetar a avaliação. Contudo, esse conhecimento não foi ainda traduzido em princípios explícitos, em ferramentas ou em processos que nos permitam efetuar efetivamente essa viragem. Este manual destina-se a colmatar a lacuna existente entre o conhecimento e a prática. Resulta de lições aprendidas no desempenho do nosso trabalho e também da perceção e contributo de muitos investigadores. Avaliação em contextos de complexidade: propostas para melhorar práticas | Introdução

As ideias específicas aqui apresentadas (especialmente para quem está muito familiarizado com as áreas da complexidade e da avaliação) não são novas, mas esperamos que este manual reúna o conhecimento atual sobre a mudança de sistemas, que esclareça e descreva como a prática da avaliação precisa de evoluir para melhor servir o setor social.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Introdução

A complexidade como uma metáfora para a mudança social “Se quisermos continuar a inspirar-nos na natureza para criar e gerir organizações, para desenhar projetos de pesquisa, e formular ideias… então precisamos, pelo menos, de fundamentar o nosso trabalho na ciência do nosso tempo.” - Margaret Wheatley, Liderança e a Nova Ciência, 1994, p. 8

Uma metáfora é o “esquema pelo qual damos sentido à nossa situação” (Zimmerman, Lindberg e Plšek, 1998). Embora as metáforas sejam, por definição, limitadas, a ciência da complexidade ofereceu, ao longo das últimas décadas, uma metáfora alternativa ao paradigma científico dominante que define como ocorre a mudança social. Assim como August Comte, no século XIX, se baseou na ciência da sua época para lançar as bases do positivismo como o alicerce da sociologia, então uma disciplina emergente, os profissionais do setor social olham agora para a “nova ciência” da complexidade para direcionar o pensamento sobre a mudança de sistemas. “Numa visão positivista do mundo, a ciência era vista como o caminho para chegar à verdade, para compreender o mundo, prever fenómenos e controlá-los. A visão do mundo e do universo era determinista – geriam-se por leis de “causa e efeito” que podiam ser compreendidas se fosse aplicado o método científico”1. Apesar de uma lente mecanicista ainda poder ser útil em alguns casos, quando adotamos a lente da complexidade passamos a ter uma visão mais alargada. É importante notar que a ciência da complexidade não é uma única teoria. Muitas vezes usamos o termo “complexidade” para descrever uma série de diferentes teorias e disciplinas que surgiram ao longo do século passado – teoria geral de sistemas, cibernética, sistemas adaptativos complexos e sistemas vivos, para citar apenas alguns. A ciência da complexidade também é interdisciplinar. Incluem-se entre os seus seguidores, físicos, biólogos, economistas, sociólogos, antropólogos e outros (Zimmerman et al., 1998). Sessões de formação e seminários sobre a ciência da complexidade são regularmente disponibilizadas em várias organizações de renome, como o Santa Fe Institute, o New England Complex Systems Institute e o Plexus Institute. Nesta abordagem eminentemente prática, acreditamos ser essencial compartilhar algumas características-chave de sistemas complexos e, a partir deles, inferir propostas para avaliar em complexidade. Chegámos às características que seguidamente se apresentarão, baseados no trabalho de diversos cientistas e teóricos, bem como de profissionais de avaliação. Nas páginas finais deste manual oferecemos um conjunto de referências e recursos adicionais. Por uma questão de clareza, tentamos destilar os conceitos até à sua essência. Reconhecemos que algumas das nuances possam perder-se com esta abordagem, mas sentimos ser um razoável trade-off ao serviço da promoção de uma valorização crescente destas características e as consequentes implicações para a prática da avaliação. 1 “No seu sentido mais amplo, o positivismo é uma rejeição da metafísica. É uma posição que sustenta que o objetivo do conhecimento é simplesmente descrever os fenómenos que experienciamos, para ficar com o que podemos observar e medir. O positivista defende que todo e qualquer conhecimento para além disto, é impossível.” Bill Trochim, http://www.socialresearchmethods.net/kb/ positvsm.php

Avaliação em contextos de complexidade: propostas para melhorar práticas

Características dos sistemas complexos

Propostas para a sua avaliação

1. U m sistema complexo está sempre em mutação, muitas vezes de forma imprevisível; nunca é estático.

1. D esenhar e concretizar avaliações adaptáveis, flexíveis e interativas.

2. T udo está conectado; o que acontece numa parte do sistema afeta todas as outras partes.

2. E ntender e descrever o sistema global, incluindo as suas componentes e conexões.

3. A informação é o combustível que impulsiona a aprendizagem e ajuda o sistema a desenvolver-se.

3. A poiar a capacidade de aprendizagem do sistema, reforçando os mecanismos de feedback e melhorando o acesso à informação.

4. O contexto importa; muitas vezes pode promover ou destruir uma iniciativa.

4. P restar particular atenção ao contexto e reagir às mudanças à medida em que estas vão ocorrendo.

5. C ada situação é única; os melhores princípios são mais úteis do que as melhores práticas.

5. P rocurar princípios eficazes de prática, ao invés de avaliar a conformidade com um conjunto predeterminado de atividades.

6. D iferentes fontes de energia e de convergência podem ser observadas em diferentes momentos.

6. I dentificar pontos de energia e influência, bem como as formas pelas quais o impulso e o fluxo de energia fluem no sistema.

7. O relacionamento entre as entidades é igualmente importante ˆ– ou mesmo mais importante – que as próprias entidades.

7. F ocar na natureza das relações e interdependências dentro do sistema.

8. C ausa e efeito não é um processo linear, previsível ou unidirecional; é muito mais interativo.

8. E xplicar a relação não-linear e multidirecional entre a iniciativa e os seus resultados intencionais e não intencionais.

9. P adrões emergem a partir de vários agentes semi-independentes que são livres para agir de forma autónoma.

9. P rocurar padrões, quer únicos, quer recorrentes, em diferentes níveis do sistema.

Avaliação em contextos de complexidade: propostas para melhorar práticas

Propostas para avaliar a complexidade “Para cada problema complexo existe uma resposta que é clara, simples e errada.” - H.L Mencken

Escolhemos intencionalmente o termo “propostas” para enquadramento das ideias neste pequeno manual porque queremos oferecer um conjunto de afirmações ou declarações que expressam o que é importante quando se avalia em complexidade. No entanto, o nosso principal motivo para apresentar estas propostas não é fornecer a “resposta certa”, mas sim oferecer orientação útil para aqueles que investigam e/ou estão envolvidos na avaliação em contexto de complexidade, tais como avaliadores, líderes e funcionários de fundações, líderes de instituições sem fins lucrativos e outros. Esperamos que estes princípios sejam úteis no sentido de colmatar a lacuna entre a teoria conhecida e a prática concreta da avaliação. Por outras palavras, gostaríamos de providenciar orientação geral sobre a forma como conceptualizar, projetar e implementar avaliações de iniciativas complexas e/ou iniciativas que operam em ambientes complexos. Ao detalhar cada uma das nove propostas para avaliar em complexidade, tentámos delinear as características de um sistema complexo que beneficiam com a proposta, que explicam a própria proposta em si mesmo, ou que identificam abordagens de amostras e métodos que suportam a aplicação da proposta (com notas de rodapé adicionais ou referências sobre métodos novos ou inovadores com os quais os leitores possam não estar familiarizados). Alguns leitores observarão a relevância de algumas, ou muitas, destas propostas para todas as avaliações, não apenas para iniciativas complexas ou iniciativas em ambientes complexos. Acreditamos que as propostas são extremamente importantes na avaliação em complexidade2. Por outras palavras, se as ignorarmos, os custos serão elevados (em termos de oportunidades de aprendizagem perdidas, avaliação do impacto e recursos de avaliação desperdiçados). As nove propostas para avaliar em complexidade são descritas em detalhe nas páginas seguintes, juntamente com três exemplos de casos específicos que ilustram como as propostas se traduzem na prática.

2 Optou-se na tradução por usar a expressão “avaliação em complexidade”, para se referir à avaliação de iniciativas elas próprias complexas ou sobre problemas e/ou contextos complexos. (N.T.) Avaliação em contextos de complexidade: propostas para melhorar práticas

1 Os sistemas estão constantemente a mudar e a evoluir; geralmente não são previsíveis.

As avaliações precisam de evoluir baseadas nas necessidades emergentes* de informação dos principais intervenientes, assim como no contexto mutável das diferentes iniciativas. *Emergentes no sentindo “que emergem”, “que surgem” e não associadas à urgência.

Proposta I:

Desenhar e concretizar avaliações adaptáveis, ﬂexíveis e interativas

Desenhar e concretizar avaliações adaptáveis, flexíveis e interativas Uma característica essencial dos sistemas complexos é que estes se encontram em constante mudança e evolução sendo por isso, muitas vezes, imprevisíveis. Da mesma forma que indivíduos interagem e o contexto responde às oportunidades e desafios, as mudanças no sistema afetam a iniciativa, e a iniciativa afeta o sistema. Impõe-se o desenvolvimento de um plano de avaliação abrangente que especifique claramente as questões essenciais da avaliação; o método utilizado, os métodos de conceção, recolha e análise de dados, prazos e orçamento podem não ser particularmente úteis para avaliar iniciativas complexas ou iniciativas em ambientes complexos. Tais planos são muitas vezes baseados no pressuposto de que a avaliação será feita seguindo um percurso pré-determinado, em que os resultados podem ser pré-determinados, e que as conclusões serão apresentadas em prazos pré-estabelecidos (nomeadamente em relatórios intercalares e relatórios finais). Contudo, as iniciativas complexas são naturalmente de longa duração e os ambientes dinâmicos em que se desenvolvem exigem atualizações periódicas dado o aparecimento de novas perspetivas e abordagens. Sabemos que as iniciativas complexas exigem um fluxo contínuo de informações sobre o que está a acontecer, quais os seus efeitos, e que o que importa saber no dia 10 é muito diferente do que é necessário saber no dia 122 ou 365. Embora seja necessário um conjunto inicial de perguntas e um plano para a recolha de dados, para dar início a qualquer avaliação, as avaliações de iniciativas complexas, especialmente aquelas focadas na mudança de sistemas, precisam de ser particularmente ágeis, visto os seus intervenientes principais aprenderem com o feedback fornecido pela avaliação. Isto significa que uma avaliação pode precisar de alterar o seu curso uma ou mais vezes durante todo o processo. Por exemplo, numa avaliação cujo plano inicial era o de realizar entrevistas com peritos, o contexto da iniciativa muda de repente e novas perspetivas revelam uma lacuna na compreensão sobre como os beneficiários interagem com o programa, num novo contexto. Como resultado, os avaliadores decidiram realizar um inquérito aos beneficiários. Da mesma maneira que as iniciativas complexas se vão adaptando às circunstâncias, assim também deverão fazê-lo os projetos de avaliação e de recolha de dados. Ter um plano de avaliação adaptável, flexível e interativo significa estar aberto a um processo de avaliação que está em constante evolução com base em informações provenientes das necessidades das partes interessadas, bem como da mudança de contexto onde a iniciativa se insere. A um nível prático, isso significa não só um orçamento de avaliação suficiente, mas também que se possa expandir ou contrair, conforme necessário. Além disso, significa trabalhar com uma equipa de avaliação flexível que se adapta à mudança de forma rápida e responsável.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta I

2 Os sistemas são compostos por componentes que interagem, estão interligados e são interdependentes; uma ocorrência numa parte do sistema afeta todas as outras partes.

As avaliações devem focar-se sobre como os componentes do sistema interagem e se influenciam mutuamente e como contribuem para o impacto global.

Proposta II:

Entender e descrever o sistema global, incluindo os seus componentes e conexões

Entender e descrever o sistema global, incluindo os seus componentes e conexões Um “sistema” é comumente descrito como um grupo de subsistemas e componentes interativos, interdependentes e inter-relacionados que formam um todo complexo e unificado (Coffman, 2007). “No contexto da mudança de sistemas, «o sistema» é o conjunto de intervenientes, atividades e padrões que são direta ou indiretamente capazes de ter influência ou de ser afetados por um determinado problema ou situação” (Foster-Fishman, Nowell, e Yang, 2007, p. 198). Por exemplo, no contexto de uma iniciativa para a primeira infância, os resultados podem envolver agentes, atividades e padrões nos subsistemas da educação, da saúde, da família e comunidade e do serviço social. Cada um dos subsistemas tem os seus componentes próprios (por exemplo, na área da educação a puericultura, o pré-escolar, e escolaridade obrigatória, entre outros), e diferentes tipos de conexões entre as várias partes do sistema. Na avaliação de iniciativas de mudança em sistemas complexos, é importante saber como e porquê, diferentes componentes e subsistemas interagem (ou não) na produção dos resultados desejados. Isto significa que, para além da procura dos componentes também é dada atenção à forma como os componentes interagem e se influenciam, e como contribuem para o impacto geral da iniciativa. Isto permite que os avaliadores se concentrem na recolha de dados e atividades de interpretação de uma forma que reconhece como o sistema age e se comporta. Por isso, a compreensão e descrição do sistema, incluindo os componentes e ligações específicas, tanto quanto possível, é parte integrante de uma avaliação. Uma maneira de fazer isto é pensar em três camadas específicas. Eoyang e os seus colegas do Human Systems Dynamics Institute descrevem a avaliação como o estudo “da parte, do todo, e do «todo maior»”. É importante notar que o sistema de observação e dos seus componentes é uma atividade contínua pois os limites do sistema encontram-se em permanente mudança e evolução. Portanto, a avaliação terá que continuamente pesquisar o sistema procurando mudanças à medida que estas ocorrem. Uma ferramenta útil nestas circunstâncias é o “mapeamento de sistemas”3. O processo de mapeamento de sistemas ajuda a apreender e descrever os elementos (por exemplo, agentes e organizações), relacionamentos e a energia, dentro do sistema que está a ser avaliado. O mapeamento mostra o nível de complexidade e, juntamente com outras ferramentas (por exemplo, mapas de resultados, cronogramas, teoria da mudança, teoria da ação e análise das redes sociais), ajuda a identificar como e onde se deve concentrar uma avaliação. A criação de um mapa de sistemas é melhor feito em estreita colaboração com os stakeholders ou as partes interessadas. No entanto, como Brenda Zimmerman observa, “os mapas de sistema são uma ótima maneira de iniciar conversas e criar a consciência da dinâmica do sistema, no entanto, estes podem perder eficácia se as pessoas acreditarem que o mapa espelha a realidade. Estes também perdem valor, se as pessoas não se aperceberem que os mapas evoluem à medida que os intervenientes vão interagindo entre si” (comunicação pessoal). Assim, é importante rever o mapa do sistema de forma regular e, idealmente, conduzir entrevistas adicionais, para ver se reflete e como reflete a realidade. 3 O mapeamento de sistemas é um processo interativo e participativo de representar graficamente um sistema, incluindo os seus componentes e conexões. Alguns mapas de sistemas também mostram as conexões causais, bem como os padrões de influência, entre os vários componentes. Há cada vez mais ferramentas de tecnologia disponíveis para apoiar o mapeamento de sistemas (por exemplo, Kumu).

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta II

3 Os sistemas requerem dados e informação para fazer trabalhar o seu “motor de aprendizagem” e para permitir a adaptação e a inovação.

As avaliações podem melhorar e reforçar a capacidade do sistema de aprender com a recolha, análise e cointerpretação de dados de forma adequada e atempada.

Proposta III:

Apoiar a capacidade de aprendizagem do sistema reforçando os mecanismos de feedback e melhorando o acesso à informação

Apoiar a capacidade de aprendizagem do sistema reforçando os mecanismos de feedback e melhorando o acesso à informação A chave para o sucesso das iniciativas complexas é a sua constante capacidade de aprender; esta aprendizagem permite que os intervenientes do sistema se adaptem e evoluam à medida que implementam estratégias e atividades da iniciativa. O fluxo regular de dados e informações é fundamental para a execução do “mecanismo de aprendizagem” do sistema, a sua adaptação, habilitação e inovação. A informação também pode fornecer feedback positivo e negativo, que reforça os padrões desejados ou amortece padrões improdutivos de comportamento.

As avaliações de iniciativas complexas podem ajudar a melhorar e reforçar a capacidade do sistema para aprender através da recolha, análise e cointerpretação de dados, de uma forma oportuna e acionável. Por exemplo, a avaliação pode recolher dados sobre a forma como os indivíduos no sistema se ligam e estabelecem relações de confiança e também o que apoia ou dificulta essas relações. Enquanto os dados são recolhidos e analisados, o contacto direto com as partes interessadas pode ser particularmente útil para os ajudar a entender como tudo se está a desenvolver e onde o sistema precisa de atenção para alcançar os resultados desejados, e como e onde o sistema responde às atividades da iniciativa. Entrevistas individuais e focus group são muitas vezes ferramentas eficazes para apoiar a capacidade do sistema, através da reflexão individual e coletiva. Feedbacks rápidos ou memorandos de aprendizagem, reuniões de balanço, relatórios de incidentes críticos e relatórios pós-ação são mecanismos eficazes para partilha de ideias emergentes4. As informações compartilhadas e as lições geradas a partir da avaliação fornecem às partes interessadas uma maior confiança na tomada de decisões para manter o curso da ação ou fazer alterações ou adaptações dentro do sistema. É importante notar aqui que o papel do avaliador na avaliação em complexidade é um pouco diferente do papel de um avaliador de um programa tradicional. Os avaliadores que trabalham em intervenções em sistemas complexos não são observadores externos; pelo contrário, estes estão ativamente envolvidos no processo de mudança e aprendizagem, juntamente com os que projetam, implementam e financiam sistemas de mudança (Patton, 2011).

4 Uma revisão pós-ação (RPA) é um processo de revisão ou balanço estruturado para analisar o que aconteceu, porque aconteceu e como pode ser melhorado pelos participantes e pelos responsáveis pelo projeto ou evento. As avaliações pós-ação, em sentido formal, foram originalmente desenvolvidas pelo exército dos EUA e desde então foram amplamente adotadas como uma ferramenta de aprendizagem e gestão do conhecimento. Consulte o seguinte link para mais informações http://en.wikipedia.org/wiki/ After-action_review

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta III

Casos práticos “Challenge Scholars”: Avaliação de uma iniciativa sistémica para melhorar o acesso e sucesso na Universidade Este desafio académico é uma iniciativa de base local nos bairros situados na zona este dos Grandes Rápidos, no Estado do Michigan (EUA), onde 25% dos adultos não completaram a escola secundária e 53% não têm formação universitária. Os alunos que se inscrevem neste programa recebem uma bolsa (que cobre todas as despesas, incluindo alojamento e alimentação, para além de outras ajudas financeiras) até terminarem o curso. Ao contrário dos “programas promessa” que oferecem bolsas de estudo, o “Challenge Scholars” é único, pois oferece apoio aos alunos e às suas famílias a partir do sexto ano de escolaridade, vários anos antes de começarem a sua candidatura à faculdade. As estratégias específicas incluem apoio educacional reforçado, prestação de serviços de saúde e humanos, consciencialização e ambição académicas e envolvimento da família. Dada a natureza multifacetada da iniciativa (isto é, vários componentes agindo em conjunto para o sucesso do programa) num contexto de constante mudança (por exemplo, a escola pública no distrito está em fase de reestruturação o que implica o fecho de escolas), os líderes deste programa decidiram adotar uma abordagem que tem em conta a avaliação dessa complexidade. A FSG trabalhou com os intervenientes do projeto na cocriação de um sistema de avaliação adaptável e flexível, a fim de acomodar a evolução das necessidades e condições da comunidade. À medida que a avaliação se foi desenvolvendo e que foram surgindo novas perspetivas, os líderes de projeto deram prioridade ao conjunto inicial de questões-chave de aprendizagem, adicionando ou eliminando atividades de recolha de dados, ampliando e ajustando as suas fontes de dados. Para entender a complexidade do programa e do ambiente, a avaliação procurou “mapear” o sistema na sua totalidade, utilizando o mapeamento de sistemas como ferramenta. O processo de mapeamento identificou os vários atores envolvidos no programa (incluindo a Community Foundation, o distrito escolar, instituições do ensino superior e da comunidade local) e as suas conexões entre si e atividades-chave (por exemplo, programas de enriquecimento no interior e exterior na escola, na

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta III

comunidade e nas instituições de ensino superior). O sistema de mapeamento provou ser um útil ponto de referência a que o grupo-chave de intervenientes recorreu em várias ocasiões. Ao longo do processo de avaliação, os líderes de projeto focaram-se no desenvolvimento de capacidades dos parceiros do “Challenge Scholars” através de feedback e utilizaram as informações daí resultantes na tomada de decisão. Os avaliadores elaboraram relatórios com os líderes do projeto, depois de cada visita ao local, destacando o que estava a funcionar e que áreas requeriam maior atenção. Foram realizadas reuniões bianuais com um amplo grupo de parceiros-chave que serviram para aprofundar o conhecimento e as conclusões. Estas aprendizagens formais e informais geraram processos de síntese e de significado, resultado do trabalho conjunto de avaliadores lado-a-lado com os líderes de projeto. A adoção de uma lente de avaliação em complexidade permitiu aos avaliadores serem sensíveis às necessidades do programa e, como resultado, conseguiram construir um elevado nível de confiança e envolvimento dos parceiros. Esta confiança permitiu uma avaliação “mais profunda”, como por exemplo, revelando premissas que de outra forma poderiam não ter sido explícitas, criando uma apropriação compartilhada dos resultados da avaliação e definindo o tom das prioridades e melhoria do programa. As principais conclusões quanto ao envolvimento da família e consciencialização para a inscrição na faculdade, carreira e aptidão escolar impulsionaram o programa. A avaliação continuará a ser uma importante fonte de aprendizagem e pode ajudar o programa “Challenge Scholars” a ter sucesso nos próximos anos.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta III

4 Os sistemas adaptam-se em resposta à alteração das condições; a compreensão do contexto é essencial para o entendimento dos efeitos e do impacto de uma iniciativa. As avaliações devem estudar o contexto, nomeadamente as características demográficas, sociais e económicas, o clima organizacional e as características da dinâmica política.

Proposta IV:

Dar particular atenção ao contexto e reagir às mudanças à medida que estas vão ocorrendo

Dar particular atenção ao contexto e reagir às mudanças à medida que estas vão ocorrendo Sendo que o contexto conta na maioria das avaliações, é particularmente importante compreender a natureza e a influência do contexto em iniciativas complexas e em iniciativas em ambientes complexos. O contexto em avaliação envolve normalmente a compreensão de dimensões específicas: “características demográficas, materiais e económicas; o clima institucional e organizacional; dimensões interpessoais ou meios típicos de interação e normas para as relações nesse ambiente; dinâmica política, incluindo questões e interesses” (Greene, 2005, citado por Fitzpatrick, 2012, p. 9). Tendo em conta que as iniciativas complexas tendem a envolver múltiplos intervenientes e organizações, são implementadas ao longo de vários anos e, naturalmente, se adaptam respondendo à mudança de condições (desafios e oportunidades, bem como estímulos negativos e positivos), as avaliações precisam de obter informações sobre como a iniciativa e o seu contexto “coevoluem”. Por outras palavras, a avaliação deve não só estudar o contexto e a sua influência, mas também medir a forma como a iniciativa afeta o contexto. Isto inclui frequentemente a recolha de informações descritivas sobre a organização e/ou o ambiente político mais amplo, a história, as culturas, as normas sociais, os valores, as suposições e as expectativas, a situação económica anterior e atual da organização e/ou comunidade. Adicionalmente, os resultados da avaliação devem ser interpretados e assentes no contexto, registando o progresso e o impacto de uma iniciativa. Por exemplo, uma avaliação pode descobrir que um programa criado para oferecer bolsas de estudo leva a um aumento do custo da habitação na área dada a crescente procura por parte de famílias que querem aproveitar a oportunidade concedida. Os avaliadores teriam de ter este facto em consideração ao fazerem a avaliação sobre a eficácia e o impacto da iniciativa. Este processo recursivo (o contexto afeta a iniciativa e a iniciativa afeta o contexto) tipifica a forma como ocorre a mudança em contextos complexos e deve, por isso, ser estudado. O contexto é também fundamental para entender como, quando, de que forma e para quem a iniciativa pode ser replicada ou escalada. A compreensão das razões pelas quais uma iniciativa tem sucesso numa comunidade e se existem condições básicas noutra (por exemplo, a existência a priori de relações de trabalho positivas entre os participantes) é fundamental na avaliação da complexidade. Por fim, a recolha de informação sólida sobre o contexto de uma iniciativa auxilia os avaliadores a concluírem em que medida e como é que a iniciativa tem contribuído para os seus objetivos desejados, bem como o sistema tem respondido ao contexto, exibindo manifestações de resiliência ou atrofia. Colecionar informação sobre o contexto de uma iniciativa poderá passar pelo desenvolvimento de um cronograma de eventos-chave, nomeadamente de cultura popular, mudanças organizacionais, eleições políticas, introdução de novas políticas, crises a nível local, nacional e mundial, flutuações económicas ou desvios na “narrativa”. Os avaliadores deverão analisar a forma como a imprensa e os social media tratam os temas relevantes para a iniciativa, rever mudanças demográficas e outros dados disponíveis publicamente, e conduzir entrevistas com uma amostra de indivíduos que tenham uma longa experiência com a iniciativa ou com o tema principal a que a iniciativa se destina.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta IV

5 As iniciativas em contextos complexos desenvolvem-se em função de princípios eficazes e não em atividades pré-determinadas.

As avaliações deverão considerar as “especificações mínimas” desejadas para orientar o comportamento de forma a permitir adaptação.

Proposta V:

Procurar princípios eﬁcazes de prática, ao invés de avaliar a conformidade com um conjunto predeterminado de atividades

Procurar princípios eficazes de prática, ao invés de avaliar a conformidade com um conjunto predeterminado de atividades Quando se tratam de iniciativas de mudança em sistemas complexos, cada situação é única. Por isso, as iniciativas são frequentemente concebidas para trabalhar de acordo com um conjunto de princípios, em vez de aderir a um conjunto pré-determinado de atividades ou “coisas para fazer”. No entanto, uma função fundamental da maioria das avaliações de programas/projetos tem sido a de se concentrar mais em avaliar a fidelidade da implementação de um programa, de modo a que seja executado de acordo com um modelo pré-determinado. A melhor função para a avaliação de iniciativas complexas seria identificar e explicar a forma como os princípios eficazes da prática estão vivos no trabalho (Patton, 2014). Tony Bryk, Presidente da Fundação Carnegie para o Avanço do Ensino, coloca a seguinte questão: A questão que nos devemos colocar não é: “Como é que vamos conseguir que A determine de forma regular e fiável B?”. Em vez disso, deveríamos procurar a resposta para a seguinte questão: “Como é que B vai ocorrer de forma fiável em situações de contexto diferentes?” (comunicação pessoal). No caso de programas multilocais, por exemplo, todos os locais poderiam concordar em aderir a um conjunto de princípios, mas cada um seria convidado a adaptar os princípios à sua própria população. Amostras de tais princípios podem incluir: “Construir sobre os ativos da comunidade, honrar as culturas dos beneficiários, envolver um conjunto diversificado de stakeholders e criar um espaço de diálogo na comunidade. Por exemplo, numa iniciativa em vários territórios, o princípio de “construir sobre os ativos” poderia ser um princípio fundamental de orientação, o que significa que quaisquer medidas tomadas deveriam capitalizar sobre os ativos existentes na comunidade. A avaliação a efetuar, então, será a de procurar saber se este princípio se manifesta (ou não) em comunidades diferentes. Dados e informação sobre quando, onde e com quem estes princípios surgem e se manifestam em diferentes locais pode ser uma rica fonte de aprendizagem. Ao olhar para os princípios eficazes de ação numa organização ou em diferentes locais, pode ser útil considerar quais as “especificações mínimas” ou “regras simples” desejáveis (Zimmerman et al., 1998), a fim de permitir a adaptação local. Os diálogos de prática reflexiva5, bem como laboratórios de design6, entrevistas e focus groups, permitem identificar os princípios eficazes da prática. Técnicas adicionais, tais como a “Mudança mais Significativa” (Davies e Dart, 2005) e “Investigação Apreciativa” (Preskill e Catsambas, 2006) também podem ajudar a identificar os princípios. Ao utilizar estas técnicas é importante partir de experiências reais vividas pelos participantes para os ajudar a conectar essas experiências com os princípios. Estudos de caso aprofundados, representações e vinhetas são formas úteis para ilustrar como os princípios da prática enunciados estão presentes na ação. 5 A sessão de prática reflexiva treina os participantes a concentrarem-se num conceito-chave ou área de investigação que surge a partir de entrevistas ou que é identificado pelos avaliadores. Os participantes compartilham experiências concretas e, juntos, analisam as suas experiências procurando padrões e temas recorrentes referentes aos resultados obtidos. O grupo passa então a determinar, coletivamente, quais as ações e passos seguintes que necessitam ser tomados. Além de fornecer dados valiosos, a sessão de reflexão destina-se a ser um processo de capacitação para os participantes, que beneficiam da partilha de ideias e troca de conhecimentos através de um processo de análise de dados e contribuição para as etapas seguintes (Patton, 2011). 6 Design Lab é uma ferramenta derivada da disciplina de “pensamento de design” (design thinking). Os participantes interagem uns com os outros através de um processo de “fases” destinado a provocar o pensamento e a encorajar o diálogo sobre como a iniciativa ganha força, como podem beneficiar da iniciativa e quaisquer outros potenciais resultados inesperados. (Para obter informações sobre este tema, consulte: http://www.fastcompany.com/919258/design-thinking-what)

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta V

6 As iniciativas são constituídas por diversos agentes que interagem constantemente uns com os outros; estas interações têm geralmente efeitos inesperados na implementação da iniciativa e nos seus resultados. As avaliações devem focar-se nas fases em que os participantes exercem influência, em locais onde existe estagnação ou dinamismo e como o poder é exercido de forma negativa e positiva.

Proposta VI:

Identificar pontos de energia e influência, bem como as formas pelas quais o impulso e o fluxo de energia fluem no sistema

Identificar pontos de energia e influência, bem como as formas pelas quais o impulso e o fluxo de energia fluem no sistema As iniciativas desenvolvem-se em sistemas (por exemplo, educação, saúde, governo, família), que são compostos por muitos agentes semi-independentes e diversificados que muitas vezes agem de maneiras imprevisíveis. Como tal, os indivíduos, quer agindo individualmente ou como organização, estão constantemente em interação com outros. Essas interações, que podem produzir conversas simples e/ou relacionamentos novos ou diferentes, podem afetar as motivações e ações de todos os envolvidos com a iniciativa, bem como as relações de poder dentro do sistema. Devido à sua natureza dinâmica, estas interações têm, muitas vezes, efeitos inesperados na implementação da iniciativa e nos seus resultados. O envolvimento por parte de indivíduos numa iniciativa leva-os, intencionalmente ou não, a afetar o pensamento e as ações de outros. Como resultado, a estratégia de ação e ritmo de progresso irá evoluir, muitas vezes, de forma não-linear. Fontes de energia e de convergência podem ser observadas como forma de “atractor”7. Assim, os avaliadores necessitam de olhar para os tempos e zonas onde a energia, influência, poder e dinamismo se revelam dentro do sistema. Isso implica procurar quando, onde e como os indivíduos estão a exercer influência e por quem o poder é exercido em ambos os sentidos, positivo e negativo. Por exemplo, uma iniciativa focada na mudança da forma como a população pensa e presta serviços a beneficiários com problemas de dependências acolhe uma série de reuniões orientadas para esta aprendizagem, com investigadores, decisores políticos, membros da comunidade, profissionais de saúde, organizações de defesa e líderes de organizações sem fins lucrativos. Em vez de se concentrar apenas na experiência individual (por exemplo, os participantes aprenderam algo nestas reuniões, ficaram satisfeitos com a experiência?), a avaliação pode também incidir sobre a forma como os participantes transmitem a sua mensagem uns aos outros (formal e informalmente), vendo se alguns indivíduos são capazes de criar um impulso e incrementar a energia em torno do tema. Os padrões de mudança – onde, porquê e entre quem ocorrem – devem ser explorados. As avaliações podem usar uma variedade de métodos de recolha de dados para entender onde, no sistema, se encontram a energia, influência, vigor e dinamismo. Estes incluem sistemas de mapeamento, focus

7 “Num sistema complexo, é definido um padrão ideal de ação e todo o sistema converge para esse padrão. A isto chama-se atractor ou estado de atração. Nas organizações humanas, um estado futuro desejado pode ser expresso através de uma visão coletiva compartilhada. Este estado de atração pode ocorrer naturalmente ou pode ter sido planeado – de qualquer forma, a organização, como um todo, está atraída por ele. Com o decorrer do tempo, esse forte padrão de pensamento e de trabalho pode tornar-se tão profundamente enraizado que será muito difícil alterá-lo. A substituição por um outro estado de atração deve ser feita através de uma forte conexão com a energia, necessidades e desejos da população-alvo, ou correrá o risco de não vingar”. http://www. codynamics.net/intro.htm

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta VI

groups, mapeamento de ondas de choque8, observações, narração digital, inquéritos instantâneos, entrevistas Bellwether9 e análise de redes sociais. Os dados recolhidos a partir destes métodos podem fornecer informações importantes sobre o nível de interesse e envolvimento das pessoas, bem como o ambiente político da iniciativa. Por exemplo, uma avaliação que procure exemplos da forma como os indivíduos e as organizações constroem novas conexões e onde veem novos interesses, novas dinâmicas de poder, novos/diferentes padrões de envolvimento e inovações ou experiências relacionados com a iniciativa.

Casos Práticos “Building Health Communities”: Avaliação de uma iniciativa de base local, desenvolvida em múltiplos locais Em 2010, a fundação privada California Endowment lançou um ambicioso programa de dez anos com um orçamento de 1 bilião de dólares chamado “Building Health Communities” (em português “Construindo Comunidades Saudáveis”), para melhorar a saúde das pessoas que vivem na Califórnia. O programa “Building Health Communities” é uma abordagem ousada e inovadora de uma iniciativa de base local, desenvolvida em vários territórios, que combina políticas estaduais de proteção para a saúde com o investimento concentrado em 14 comunidades desfavorecidas. Para além da diversidade geográfica e cultural das 14 comunidades, este programa abrange uma ampla gama de questões, desde a obesidade infantil e a sua prevenção, até à prevenção da violência, ao uso da terra e ao desenvolvimento. A fim de testar hipóteses sobre o modo como a mudança ocorre, a Fundação Endowment contratou a FSG para realizar uma avaliação independente (“revisão estratégica”) sobre o programa “Building Health Communities”, em 2013. Esta analisou o esforço desenvolvido a nível local, regional e estadual e explorou de que forma as estruturas e processos internos da Fundação Endowment afetam os seus beneficiários e parceiros. O objetivo da avaliação era o de munir os líderes da fundação com informação prática e atempada, assim como recomendações para reflexão e eventual modificação de estratégias. Ao projetar a revisão estratégica, a fundação e os seus avaliadores decidiram incluir três estudos de caso, desenvolvidos em profundidade, para complementar a ampla recolha de dados obtidos por meio de entrevistas e inquéritos. Os estudos de caso focaram-se no trabalho desenvolvido em duas comunidades específicas (Sacramento e Santa Ana) e numa questão transversal (rapazes e negros) e foram vitais para a compreensão do contexto destes esforços de

8 Ripple Effect Mapping (mapeamento de ondas de choque) é uma técnica que envolve parceiros do programa e da comunidade, levando-os a mapear retrospetivamente e visualmente a história resultante de um programa ou de uma colaboração complexa. Esta ferramenta utiliza elementos da Investigação Apreciativa, narração de histórias e mapeamento. Para mais informações consulte http:// blog.lib.umn.edu/vitality/ripple-e Effect-mapping/. 9 A metodologia Bellwether desenvolvida pelo projeto de investigação de Harvard, acrescenta duas características-chave às entrevistas: 1) a amostra da entrevista é constituída por sugestões (por exemplo, líderes de opinião cujas opiniões carregam um peso substancial e valor no domínio político); e 2) os entrevistados não são informados com antecedência do foco específico da entrevista e, em vez disso, são informados de que a mesma abordará várias questões políticas. Veja Coffman e Reed para mais informações: http://www. innonet.org/resources/files/Unique_Methods_Briefs.pdf/ Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta VI

mudança num sistema complexo. Provavelmente o mais importante foi, ao apresentar as suas conclusões, a equipa de avaliação ter tido ocasião de tomar conhecimento da história do trabalho nesses locais e destacar os desafios e oportunidades que poderiam ter naturalmente evoluído a partir desse contexto (por exemplo, forte ou fraca organização comunitária). Esta prática assegurou assim que a avaliação estratégica fundamentasse as suas conclusões no contexto do trabalho e não se precipitasse a tirar conclusões sobre o progresso ou o impacto da iniciativa. A abordagem da Fundação Endowment num esforço filantrópico local, desenvolvido em múltiplos territórios, promove em cada comunidade a flexibilidade para “customizar” e adaptar as orientações e requisitos da fundação ao seu próprio contexto. Consequentemente, a avaliação estratégica não poderia ter a abordagem típica da avaliação, verificando a adesão a um conjunto de atividades pré-determinadas. Em vez disso, os avaliadores procuraram identificar princípios eficazes de prática. Por exemplo, a cada uma das 14 comunidades que participaram no programa “Building Health Communities” foi-lhes requerido o estabelecimento de um órgão de colaboração que agregaria um conjunto diversificado de partes interessadas (nomeadamente residentes, jovens, líderes de organizações sem fins lucrativos e funcionários de entidades públicas). Embora existissem orientações sobre a natureza deste órgão de colaboração, as comunidades determinaram os papéis, processos e estrutura final que melhor servisse o seu contexto e o seu conjunto específico de objetivos. Para lidar com essa complexidade, os avaliadores utilizaram dados recolhidos a partir de estudos de caso, inquéritos e entrevistas para identificar padrões que permitissem operar com maior ou menor eficácia num determinado local. Esta análise levou a um conjunto de conclusões que se repercutiram num conjunto mais amplo de comunidades, para além daquelas que participaram nos estudos de caso em profundidade. A Fundação Endowment reconheceu também que o caminho para o sucesso não seria linear, nem previsível. Esta identificou vários objetivos a longo prazo, tais como reverter a epidemia de obesidade infantil e reduzir a violência juvenil e baseou a estratégia num processo interativo. Os profissionais identificaram locais que exibiam particular energia e impulso no ambiente sociopolítico local e tomaram medidas para alavancar essas mudanças. Alguns funcionários da Fundação Endowment referem-se a essa prática como “oportunismo estratégico”. Ao invés de usar a avaliação estratégica para acompanhar o progresso através de um conjunto predeterminado de resultados e indicadores, os avaliadores procuraram identificar no sistema pontos de progresso consideráveis, de energia ou de impulso. Por exemplo, alguns casos exibiram particular energia e impulso em torno de questões a nível local. Além disso, os avaliadores constataram que as partes interessadas foram ganhando força em torno de questões específicas, tais como o uso da terra, a disciplina escolar e o acesso aos alimentos. Ao identificar onde estava a energia do sistema, os avaliadores foram mais capazes de promover as estratégias e abordagens que contribuíram ou beneficiaram das alterações nos sistemas. Compreender e responder a contextos evolutivos, à procura de princípios em vez de “práticas” e identificar pontos de energia e momentum no sistema foram fundamentais para avaliar com sucesso a iniciativa “Building Health Communities”. Esta abordagem tornou os resultados mais credíveis e relevantes e ajudou a assegurar a relevância da revisão estratégica para os decisores. Como resultado, o conjunto de conclusões finais e os relatórios de estudo de caso apoiaram a Fundação Endowment a tomar medidas para melhorar e refinar a sua estratégia.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta VI

7 Os sistemas são constituídos por redes de relacionamentos e interdependências: este “tecido intersticial” é normalmente o fator de sucesso ou de fracasso de uma iniciativa. As avaliações de iniciativas complexas deverão descrever as qualidades, pontos fortes e desafios nos relacionamentos e interdependências entre as várias partes do sistema.

Proposta VII:

Foco na natureza dos relacionamentos e interdependências

Foco na natureza dos relacionamentos e interdependências dentro do sistema Uma característica dos sistemas complexos é a rede de relações e interdependências que estão presentes nos mesmos. Este “tecido intersticial” é o que muitas vezes faz com que uma iniciativa seja bem-sucedida ou fracasse, seja amplificando o seu impacto ou travando o seu sucesso. Também é possível argumentar que as relações entre as entidades são tão importantes, se não mais importantes, que as próprias entidades. Por exemplo, os investigadores educacionais descobriram que o nível da relação de confiança entre professores, administradores, pais e alunos numa escola, muitas vezes age como um fator da diferenciação entre as escolas com alto e baixo desempenho, mais do que a qualidade de ensino ou o currículo adotado (Bryk e Schneider, 2003). Em cada relação é importante compreender a sua natureza (por exemplo, é uma relação de captação de investimento ou uma relação de parceria?), a sua força (nomeadamente, é a relação forte, fraca ou ténue?) e a sua longevidade (é a relação permanente ou temporária, nova ou antiga?). Além disso, é importante conhecer o nível de confiança relacional, a qualidade da relação e a natureza da relação (a forma como partilham informação, como estabelecem planos em conjunto e co-constroem soluções). As avaliações de iniciativas complexas devem apreender e descrever as qualidades, pontos fortes e relações de interdependência entre as várias partes do sistema. Além de tornarem as relações explícitas, as avaliações podem ajudar-nos a entender como essas relações evoluem com o tempo. Por exemplo, a avaliação de um programa para a primeira infância (do nascimento aos 8 anos) pode procurar registar o relacionamento entre as entidades que apoiam bebés e crianças, aquelas que servem crianças da pré-primária e aquelas que servem alunos do primeiro ciclo. Tal análise pode determinar se estas partes, tradicionalmente em compartimentos estanques na linha contínua do apoio à primeira infância, estão de facto a transformar a forma como interagem umas com as outras (por exemplo, partilhando dados sobre as crianças que se passam de um sistema para outro). O mapeamento de sistemas e a análise da rede social podem ser ferramentas úteis para a compreensão das relações e interdependências entre os intervenientes num sistema. Inquéritos, entrevistas, narração digital e análise de dados da web, conseguem examinar a natureza, força, qualidade e longevidade dos relacionamentos críticos entre os indivíduos e as entidades dentro do sistema. A análise dessa recolha de dados pode ajudar a clarificar como os relacionamentos afetam os resultados da intervenção e a esclarecer de que forma a iniciativa afeta, ela própria, os relacionamentos dos intervenientes de um sistema.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta VII

8 As iniciativas demonstram relações não lineares, imprevisíveis, interativas entre causa e efeito.

As avaliações registam o desenvolvimento dos resultados de uma iniciativa e ajudam a compreender como estes variam em diferentes condições e circunstâncias.

Proposta VIII:

Explicar a relação não-linear e multidirecional entre a iniciativa e os seus resultados intencionais e não intencionais

Explicar a relação não-linear e multidirecional entre a iniciativa e seus resultados intencionais e não intencionais Uma característica distinta de sistemas complexos é a natureza não-linear e multidirecional de relações entre a iniciativa e os seus resultados. A evidência da não-linearidade advém da observação de que: (a) um conjunto de condições iniciais cria diferenças desproporcionais entre causa e efeito; (b) a distância entre causa e efeito pode ser longa ou curta no tempo; (c) há várias causas para qualquer mudança; (d) a mudança pode ocorrer através de grandes saltos e nem sempre é incremental ou proporcional (Forss e Schwartz, 2011, p. 11). Quando as condições forem adequadas, um esforço relativamente pequeno pode impactar significativamente os resultados (a proverbial “borboleta a bater as suas asas” pode, sob certas condições, catalisar ventos fortes noutro lugar). Por outro lado, um grande investimento de tempo e de recursos financeiros numa iniciativa pode não produzir resultados. A evidência da multidireccionalidade advém de observações, provando que o efeito muitas vezes influencia a causa e que vários fatores, incluindo os que são tradicionalmente classificados como “aberrantes”, influenciam as mudanças observadas. As avaliações de iniciativas complexas devem entender e captar a natureza não-linear e multidirecional de relações entre causa e efeito. Por exemplo, na avaliação de uma iniciativa de desenvolvimento económico podem colocar-se as seguintes questões: Porque é que certas estratégias de redução da pobreza realizadas no momento certo, no contexto certo, parecem resultar em grandes melhorias nas condições de vida, enquanto outras não? Como é que melhorando a saúde da família, melhora as suas condições económicas e vice-versa? A fim de responder a estas questões, os avaliadores podem querer acompanhar o percurso entre uma iniciativa e os seus resultados e compreender como estes variam em circunstâncias diferentes. Devido à variedade de atividades e de intervenientes, bem como à natureza emergente e relacional de iniciativas complexas ou iniciativas em ambientes complexos, as tradicionais teorias da mudança e os modelos lógicos podem ter uma utilidade limitada. Embora tais ferramentas possam ser úteis para visualizar e comunicar os resultados desejados, a partir de um conjunto de investimentos e de atividades, a sua natureza linear e preditiva não pode apreender a complexidade dos sistemas, na sua totalidade. Para compreender a não-linearidade e multidireccionalidade dos efeitos e do impacto de uma iniciativa, os avaliadores podem recolher dados de entrevistas, focus groups, investigação apreciativa, registos nos media, observações, exercícios de “mapeamento das ondas de choque”, “análise de contribuição” (Mayne, 2008) e diagramas de causalidade. Estes métodos podem ajudar a identificar resultados emergentes e imprevisíveis, enquanto ilustram a teia de relações entre as atividades e os resultados esperados, inesperados ou não intencionais (que podem ser tanto negativos como positivos). Também fornecem informações sobre a forma como a iniciativa contribui (ou não) para os resultados desejados.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta VIII

9 As iniciativas exibem padrões que emergem de diversos agentes semi-independentes que agem de forma autónoma.

As avaliações prestam atenção aos padrões como forma de verificar a coerência do sistema.

Proposta IX:

Procurar padrões, quer únicos, quer recorrentes, em diferentes níveis do sistema

Procurar padrões, quer únicos, quer recorrentes, em diferentes níveis do sistema Em sistemas complexos adaptativos, “padrões são semelhanças, diferenças e conexões que têm significado através do espaço e do tempo” (Eoyang e Holladay, 2013, p. 43). Padrões semelhantes de comportamento, interações e linguagem, designados de “fractais,” são muitas vezes repetidos nos vários níveis de uma organização ou sistema10. Esses padrões emergem de vários agentes semi-independentes e diversificados que são livres para se organizarem de forma autónoma. Por exemplo, se considerarmos uma organização sem fins lucrativos que trabalha para melhorar a vida dos sem-abrigo, poderemos, numa primeira fase, observar a “equipa de rua”, refletindo os seus valores nos padrões de interação, coordenando e reencaminhando os casos para outros serviços. Ao investigarmos mais a fundo, apercebemo-nos de que faz parte de um padrão mais alargado de resolução colaborativa de problemas modelado e defendido pelo CEO e pela sua equipa, refletindo a sua orientação para uma abordagem holística que inclui apoio no acesso a alojamento/habitação, aconselhamento e coordenação com outros serviços, em vez de simplesmente “retirarem as pessoas da rua”. Mas os padrões de comportamento de um sistema não são constantes; a interação entre o contexto mutante do sistema e a agenda da iniciativa estão em constante evolução e adaptação (Rogers, 2008, p. 39). Somente através da compreensão desses padrões se poderá tomar medidas para os transformar, de uma forma produtiva (Eoyang e Holladay, 2013). As avaliações de iniciativas complexas ou de iniciativas em ambientes complexos precisam de se focar em padrões, como uma forma de medir a coerência do sistema. Geralmente acredita-se que sistemas mais coerentes são mais eficientes e adaptáveis do que aqueles que são menos coerentes11. Por exemplo, pode ser importante para os avaliadores entender se as expectativas das pessoas face à iniciativa estão alinhadas, se se comportam de maneira complementar no que respeita à prossecução dos objetivos da iniciativa e se usam narrativas semelhantes para explicar os objetivos e operações da iniciativa. Dentro de uma iniciativa de impacto coletivo, por exemplo, uma avaliação poderia procurar padrões na forma como os grupos de trabalho operam – como desenvolvem as suas agendas, a abordagem da envolvência (por exemplo, democrática vs. autocrática) e como utilizam os dados para promover a aprendizagem.

10 “Um objeto fractal repete um padrão ou design similar em níveis cada vez menores de escala. Em qualquer objeto fractal vemos uma estrutura de organização simples que cria complexidade sem fim.” (Wheatley, 1994, p. 80) 11 A nossa definição de “coerência” concede um certo grau de diversidade permitindo que o sistema funcione bem e seja resiliente, por outras palavras, não é sinónimo de “mesmice”.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta IX

As avaliações também devem estar em sintonia com a forma como certos padrões (tanto produtivos, como improdutivos) se repetem em vários níveis de um sistema. Para dar sentido à informação, os avaliadores devem perguntar: “O que aparece aqui?” e “Que semelhanças e que diferenças vemos através dos diversos níveis do sistema?”. No exemplo acima referido da agência sem fins lucrativos de apoio aos sem-abrigo, observações de padrões de coerência comportamental entre os prestadores de serviços podem levar os avaliadores a analisar de perto as ações da equipa de liderança, o que pode então tornar necessária uma recolha adicional de dados, envolvendo todos os funcionários, a fim de compreender plenamente a origem e a natureza dos padrões. Conduzir observações é, frequentemente, a melhor forma inicial para os avaliadores entenderem os padrões. Isto inclui reuniões de observação, encontros e presença em “pontos de serviço” (por exemplo, salas de aula, clínicas, abrigos). Entrevistas, focus groups e inquéritos, fornecem informações úteis sobre como e por que é que certos padrões se desenvolvem.

Casos Práticos Alberta Family Wellness Initiative (AFWI): Avaliação de um esforço interdisciplinar de mobilização do conhecimento A Fundação Norlien estabeleceu a AFWI em 2009 como uma plataforma para investir na melhoria da saúde e bem-estar das crianças e famílias na província de Alberta, Canadá, através da partilha e aplicação de conhecimentos sobre o desenvolvimento cerebral e biológico, no que se refere ao desenvolvimento da primeira infância, saúde mental e dependências. Dada a natureza multissetorial e multidisciplinar que a AFWI pretendia atingir, foi criado um programa de mobilização de conhecimentos para envolver e catalisar as partes interessadas do mundo da ciência, da política e da prática. Atualmente no seu sexto ano, a iniciativa continua a gerir dinâmicas políticas e relacionais complexas em que procura novas e melhores maneiras de compartilhar o conhecimento sobre a ciência do cérebro, mudar os comportamentos e práticas dos prestadores de serviços diretos na província e aprofundar este impulso de mudança, para um efeito mais alargado na mudança dos sistemas da região. Um objetivo específico era o de compreender melhor a natureza das relações e interdependências dentro dos sistemas da primeira infância, de dependência e de saúde mental. A FSG trabalhou com os funcionários do programa e com os stakeholders, elaborando um mapa que mostrava as várias organizações que interagiam neste programa. Embora o mapa não representasse todos os possíveis intervenientes do sistema, destacou, no entanto, a complexidade do programa, observando o elevado número de atores envolvidos, as extensas relações que a AFWI tinha construído e as relações que necessitavam de mais atenção. Além de ter contribuído para uma clarificação sobre as organizações presentes no sistema, a avaliação

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta IX

também explorou o modo como os indivíduos geram mudança dentro das suas próprias organizações e no sistema. A avaliação estudou quatro desses agentes de mudança em profundidade para melhor entender o papel das relações na prossecução dos objetivos do programa. Para além de relações, uma série de outros fatores também contribuíram para impulsionar o sistema. A população de Alberta enfrenta uma complexa interseção de elementos interdependentes (por exemplo, indivíduos, organizações e instituições em vários setores), na procura de melhoria na saúde e bem-estar, especialmente no desenvolvimento da primeira infância e saúde mental. Grande parte da estratégia da AFWI até à data tem por objetivo informar e capacitar agentes de mudança individuais para incorporar conhecimento em estratégias, programas e práticas profissionais dentro das suas organizações e esferas de influência, bem como no estabelecimento de políticas, alocação de recursos e relações institucionais ao nível do sistema. No entanto, a iniciativa também procurou inovar ao nível organizacional e de sistemas. Para entender como e em que medida a iniciativa contribuía para a evolução dos sistemas existentes, foi cocriada uma “Teoria da Ação” com a equipa e gestores da iniciativa para descrever de que forma e por que razão as atividades de mobilização de conhecimento permitiriam estimular mudanças nas formas como os indivíduos, organizações e sistemas compreendiam e abordavam os temas do desenvolvimento na primeira infância, da dependência ou vício, e da saúde mental. Dada a natureza imprevisível do trabalho, a teoria da ação expressou o registo não-linear, multidirecional em sistemas de mudança, em vez de uma complicada série de resultados e setas. Fê-lo usando uma imagem circular para descrever como as atividades da iniciativa podem influenciar alterações nos sistemas e nas pessoas, em diferentes tempos ou ao mesmo tempo, com setas em várias direções. Incorporando a gestão de mudança e a perspetiva da complexidade permitiu a avaliação tornar-se útil. O mapa de agentes dos sistemas e a teoria da ação capturaram as complexas teias de relações no desenvolvimento multidirecional incorporado na iniciativa. Ajudou também a AFWI a narrar uma história mais aprofundada sobre como o seu trabalho contribui para as mudanças que propõe. Além disso, a identificação de padrões em vários níveis dentro do sistema mostrou progressos tangíveis e forneceu informações valiosas para decisões estratégicas relativas ao modo de continuar a apoiar a mudança organizacional e de sistemas.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Proposta IX

Resumo e Conclusão “O futuro não pode ser previsto, mas pode ser imaginado e amorosamente materializado. Os sistemas não podem ser controlados, mas podem ser concebidos e redesenhados. Não podemos marchar com certezas rumo a um futuro sem surpresas, mas podemos contar com surpresas e aprender com elas... Não podemos impor a nossa vontade sobre um sistema. Podemos ouvir o que o sistema tem para nos dizer, e descobrir como é que as suas propriedades e os nossos valores podem trabalhar em conjunto para concretizar algo muito melhor do que poderia ser produzido somente pela nossa vontade.” - Donella Meadows, (nd), Donella Meadows Institute.

Dadas as limitações das abordagens tradicionais da avaliação, quando se trata de avaliar iniciativas multifacetadas e complexas, bem como as iniciativas que operam em configurações e ambientes complexos, devemos considerar uma abordagem diferente, inspirada pelas nove propostas apresentadas. A tabela abaixo resume cada uma das propostas, juntamente com as ferramentas e métodos úteis que podem ser utilizados para melhorar a recolha de dados e a sua utilização. Propostas 1. Desenhar e implementar avaliações que sejam adaptáveis, flexíveis e interativas. 2. Procurar entender e descrever o sistema na sua totalidade, incluindo os seus componentes e as suas conexões.

3. Apoiar a capacidade do sistema para aprender, reforçando o feedback e melhorando o acesso à informação.

Descrição

Ferramentas Úteis/Métodos

A avaliação deve ser ágil e aberta a “atualizações” periódicas dado que os stakeholders aprendem constantemente através de feedback.

•P lanos de avaliação e orçamentos flexíveis

Os avaliadores têm de estar confortáveis com a ideia de mudança. É importante para os avaliadores entenderem como e porquê diferentes componentes interagem.

• Mapeamento de sistemas

Abordar como atividade “dinâmica” e em progresso, em vez de atividade estática.

• Entrevistas

A avaliação pode melhorar e reforçar a capacidade de aprendizagem do sistema, através da recolha, análise e co-interpretação de dados. À medida que os dados são recolhidos e analisados são particularmente úteis as informações e as conversas com os stakeholders sobre como e onde o sistema responde às atividades da iniciativa.

• Análise de redes sociais

• Sessões de feedback rápido • S umários/memorandos das aprendizagens • Avaliações de incidentes críticos • Avaliações pós-ação

Avaliação em contextos de complexidade: propostas para melhorar práticas | Resumo e conclusão

4. Prestar particular atenção ao contexto e responder à mudança, à medida que esta decorre.

5. Procurar princípios eficazes de prática, substituindo a adesão a um conjunto pré-determinado de atividades.

6. Identificação de pontos de energia e de influência e como estes fluem no sistema.

7. Foco na natureza das relações e interdependências dentro do sistema.

O contexto deverá ser explicitamente estudado como parte da avaliação.

•C ronograma de eventos fundamentais

A avaliação deve medir a forma como a iniciativa afeta o contexto.

•R evisão da informação respeitante ao contexto, incluindo os media, informação demográfica e outros dados do domínio público

Os resultados da avaliação devem ser interpretados e baseados no contexto. A avaliação deverá identificar e explicar como os princípios eficazes de prática estão presentes no trabalho. Dados e perceções sobre como, onde e com quem os príncipios se revelam, são uma fonte rica para a aprendizagem. A avaliação deve procurar os tempos e os locais onde a energia, influência, potência e momentum aparecem no sistema. Pode incluir exemplos que demonstrem onde os indivíduos e as organizações constroem novas e distintas conexões, dinâmicas de poder e padrões de envolvimento.

• Entrevistas • Prática reflexiva • Laboratórios de Design • Entrevistas • Focus groups • A mudança mais significativa • Pesquisa de apreciação • Estudos de caso aprofundados • Mapeamento do sistema • Focus groups • Mapeamento de ondas de choque • Observações • Narrativa digital • Inquéritos Snap Shot • Entrevistas • Análise das redes sociais

A avaliação deve encontrar e descrever as relações e interdependências entre as várias partes do sistema.

• Mapeamento dos sistemas

Em cada relacionamento-chave é importante compreender a sua natureza, a sua força e a sua longevidade.

• Entrevistas

• Análise da rede social • Inquéritos • Narrativa digital • Análise web • Entrevistas

8. Explicar o relacionamento não-linear e multidirecional entre a inicitativa e os seus resultados intencionais e não intencionais.

A avaliação deverá compreender e descrever a relação complexa entre causa e efeito. Este processo envolve o registo do caminho entre a iniciativa e os seus resultados, a compreensão do modo como estes variam consoante as condições e as circunstâncias.

• Focus groups • Pesquisa de apreciação • Registos dos media • Observações •M apeamento das ondas de choque • Análise de contribuição • Diagramas causais

9. Observar os padrões, únicos e repetitivos, em diferentes níveis do sistema.

A avaliação necessita de se focar nos padrões como uma forma de avaliar a coerência no sistema. Prestar atenção à forma como certos padrões (produtivos e improdutivos) se repetem em múltiplos níveis do sistema.

• Observações • Entrevistas • Focus groups • Inquéritos • Conceção de séries cronológicas

Avaliação em contextos de complexidade: propostas para melhorar práticas | Resumo e conclusão

Esperamos que os três casos apresentados neste breve resumo ofereçam exemplos concretos das propostas na prática. Cada caso é único e opera num contexto diferente. Tomados em conjunto, no entanto, eles representam o futuro de como as iniciativas de mudança social são concebidas, criadas e realizadas, envolvendo múltiplos atores e fatores, operando juntos em ambientes dinâmicos, muitas vezes de forma imprevisível, para produzir soluções sustentáveis para problemas crónicos. E cada iniciativa, a seu modo, adotou uma abordagem de avaliação que reconheceu e acomodou a complexidade, ao invés de a negligenciar. Os três casos, bem como a nossa ampla experiência, atestam os benefícios da conceção e implementação de avaliações a partir de uma lente complexa, ao invés de uma lente simples ou complicada (Westley, Zimmerman e Patton, 2006). Como reconhecemos que as nossas iniciativas necessitam ter em conta a complexidade na sua conceção estratégica e implementação, entendemos que os nossos métodos de avaliação também a devam incluir. Felizmente, aqueles que estão a tentar melhorar a vida das pessoas em todo o mundo, bem como a saúde do nosso ambiente, estão cada vez mais prontas a adotar a lente da complexidade. Esperamos que esta breve prática forneça algumas orientações e ferramentas para garantir que a avaliação não só abraça a complexidade do processo de mudança, como também sirva como uma bússola para navegar em contexto de confusão e de volatilidade da mudança.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Referências bibliográficas

Referências Bibliográficas Bryk, A.S. and Schneider, B. (2003). “Trust in schools: A core resource for school reform.” Educational Leadership, 60(6), 40–45. Coffman, J. (2007). A Framework for Evaluating Systems Initiatives. https://goo.gl/sO3WMW

Coffman, J. and Reed, E. (2009). Unique Methods in Advocacy Evaluation. The California Endowment. http://www.innonet.org/resources/ﬁles/Unique_Methods_Brief.pdf Davies, R. and Dart, J. (2005). The “Most Signiﬁcant Change” (MSC) Technique. http://www.mande.co.uk/docs/MSCGuide.pdf

Eoyang, G. H. and Holladay, R. J. (2013). Adaptive Action: Leveraging Uncertainty in Your Organization. Stanford, CA: Stanford University Press. Fitzpatrick, J. J. (2012). “An introduction to context and its role in evaluation practice.” New Directions for Evaluation, 135, 7–24. Forss, K., Marra, M., and Schwartz, R. (eds.) (2011). Evaluating the Complex: Attribution, Contribution, and Beyond. New Brunswick: Transaction Publishers. Foster-Fishman, P.G., Nowell, B., and Yang, H. (2007). “Putting the system back into systems change: A framework for understanding and changing organizational and community systems.” American Journal of Community Psychology, 39, 197–215. Greene, J.C. (2005). “Context.: In S. Mathison (ed.), Encyclopedia of Evaluation, 82–84. Thousand Oaks, CA: Sage. Kania, J., Kramer, M., and Russell, P. (Summer 2014). “Strategic philanthropy for a complex world.” Stanford Social Innovation Review, 12(3). Mayne, J. (May 2008). “Contribution analysis: An approach to exploring cause and effect.” Institutional Learning and Change (ILAC), Brief 16, http://www.cgiar-ilac.org/ﬁles/publications/ briefs/ LAC_Brief16_Contribution_Analysis.pdf

Meadows, D. H. (nd). “Dancing with Systems.” Donella Meadows Institute. http://www.donellameadows.org/archives/dancing-with-systems/

Patrizi, P., Thompson, E. H., Coffman, J., and Beer, T. (2013). “Eyes wide open: Learning as strategy under conditions of complexity and uncertainty.” Foundation Review, 5(3), 50–65. Patton, M.Q. (2011). Developmental Evaluation. New York: Guilford Press.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Referências bibliográficas

Patton, M. Q. (2014). Qualitative research and evaluation methods. (4th ed). Thousand Oaks, CA: Sage. Preskill, H. and Catsambas, T. (2006). Reframing Evaluation through Appreciative Inquiry. Thousand Oaks, CA: Sage. Rogers, P. J. (2008). “Using Programme Theory to Evaluate Complicated and Complex Aspects of Initiatives.” Evaluation, 14(29), 29–48. Zimmerman, B., Lindberg, C., and Plsek, P. (1998). Edgeware: Lessons From Complexity Science for Health Care Leaders, Dallas, TX: VHA Inc. Westley, F., Zimmerman, B., and Patton, M.Q. (2006). Getting to Maybe: How the World is Changed. Toronto, ON: Vintage Canada. Wheatley, M. J. (1994). Leadership and the New Science. Berrett-Koehler, San Francisco.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Referências bibliográficas

Recursos adicionais úteis sobre complexidade e avaliação em contextos de complexidade Ancona, D. (2012). “Framing and Acting in the Unknown.” In Snook, S., Nohria, N., and Khurana, R. (eds.) The Handbook of Teaching Leadership. Thousand Oaks, CA: Sage. Arthur, W. B. (1996). “Increasing returns and the new world of business.” Harvard Business Review, 74(4), 100–109. Auspos, P. & Cabaj, M. (September, 2014). Complexity and Community Change: Managing Adaptively to Improve Effectiveness. The Aspen Institute Roundtable on Community Change. Washington, DC. Eoyang, G. H. (2007). “Human systems dynamics: Complexity-based approach to a complex evaluation.” In Williams, B. and Iman, I. (eds.) Systems Concepts in Evaluation: An Expert Anthology, Point Reyes, CA: EdgePress of Inverness, 123–139. Eoyang, G. H. and Berkas, T. (1998) “Evaluating Performance in a CAS.” In Lissack, M. and Gunz, H. (eds.) Managing Complexity in Organizations. Westport, CT: Quorum Books. http://www.hsdinstitute.org/resources/evaluating-performance-in-a-cas.html

Funnell, S. C. and Rogers, P.J. (2011). Purposeful Program Theory: Effective Use of Theories of Change and Logic Models. San Francisco: Jossey-Bass. Hargreaves, M. B. (April, 2010). Evaluating System Change: A Planning Guide. Mathematica Policy Research, Inc. Princeton, NJ.

Avaliação em contextos de complexidade: propostas para melhorar práticas | Recursos adicionais

Holladay, R. (2005). “HSD at Work: Frequently Asked Questions About Human Systems Dynamics.” Human Systems Dynamics Institute. http://www.hsdinstitute.org/learn-more/library/faq-booklet.pdf Kania, J. and Kramer, M. (2013). “Embracing Emergence: How collective impact addresses complexity.” Stanford Social Innovation Review. Kelly, T. Jr. (2010). “Five simple rules for evaluating complex community initiatives.” Community Investments, 22(1), 19–36. Lacayo, V. (nd). What Complexity Science Teaches Us About Social Change. https://goo.gl/6g5eOw

Lacayo, V. (2008). When It Comes to Social Change, The Machine Metaphor Has Limits. https://goo.gl/TfVO0A

Langois, M., Blanchet-Cohen, N., and Beer, T. (2013). “The art of the nudge: Five practices for developmental evaluators.” The Canadian Journal of Program Evaluation, 27(2), 39–59. Network Impact and Center for Evaluation Innovation. (July 2014). “Framing Paper: The State of Network Evaluation.” Part 1 of the Guide. Parsons, B. A. (2007). “The State of Methods and Tools for Social Systems Change.” American Journal of Community Psychology, 39(3–4), 405 –409. Parsons, B. (2009). Evaluative Inquiry for Complex Times. OD Practitioner, 41(1), 44–49. Preskill, H. and Beer, T. (2012). Evaluating Social Innovation. FSG and the Center for Evaluation Innovation. http://www.fsg.org/publications/evaluating-social-innovation Rogers, P. J. (2011). “Implications of complicated and complex characteristics for key asks in evaluation.” In Forss, K., Marra, M., and Schwartz, R. (eds.) Evaluating the Complex: Attribution, Contribution, and Beyond, New Brunswick: Transaction Publishers, 33–52. Stroh, D. P. (2009). “Leveraging Grantmaking: Understanding the Dynamics of Complex Social Systems.” Foundation Review, 1(3), 109–122. Taylor, M., Plastrik, P., Coffman, J. and Whatley, A. (July 2014). Evaluating Networks for Social Change: A Casebook. Part 2 of the Guide. Network Impact and Center for Evaluation Innovation. Williams, B., and Iman, I. (2007). Systems Concepts in Evaluation: An Expert Anthology. Point Reyes, CA: EdgePress of Inverness. Williams, B. and van ‘t Hof, S. (2014). Wicked solutions: A systems approach to complex problems. www.gum.co/wicked

Avaliação em contextos de complexidade: propostas para melhorar práticas | Recursos adicionais

Autores Hallie Preskill Diretor Executivo hallie.preskill@fsg.org Srik Gopal Diretor srik.gopal@fsg.org Katelyn Mack Diretora Associada katelyn.mack@fsg.org Joelle Cook Diretor Associado joelle.cook@fsg.org

Este relatório foi publicado pela primeira vez em novembro de 2014. Todas as declarações e conclusões, a menos que atribuídas especificamente a outra fonte, são as dos autores e não refletem necessariamente opiniões de outras organizações ou referências, mencionadas neste relatório. “Avaliação em contextos de complexidade: Propostas para melhorar práticas” da FSG está licenciado ao abrigo da licença Creative Commons Attribution-NoDerivs 3.0. Permissões fora do âmbito desta licença encontram-se disponíveis em www.fsg.org